[go: up one dir, main page]

KR102018763B1 - 이동형 원격현전 로봇과의 인터페이싱 - Google Patents

이동형 원격현전 로봇과의 인터페이싱 Download PDF

Info

Publication number
KR102018763B1
KR102018763B1 KR1020187029010A KR20187029010A KR102018763B1 KR 102018763 B1 KR102018763 B1 KR 102018763B1 KR 1020187029010 A KR1020187029010 A KR 1020187029010A KR 20187029010 A KR20187029010 A KR 20187029010A KR 102018763 B1 KR102018763 B1 KR 102018763B1
Authority
KR
South Korea
Prior art keywords
robot
map
remote
tag
video feed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020187029010A
Other languages
English (en)
Other versions
KR20180118219A (ko
Inventor
율룬 왕
챨스 에스. 조단
팀 라이트
마이클 찬
마르코 핀터
케빈 한라한
다니엘 산체스
제임스 발랜틴
코디 허족
블레어 위트니
후지 라이
켈튼 템비
앤드류 노이셜
이븐 크리스토퍼 로엇
저스틴 에이치. 킨스
척 와 웡
티모시 스터트밴트 파로우
Original Assignee
인터치 테크놀로지스 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터치 테크놀로지스 인코퍼레이티드 filed Critical 인터치 테크놀로지스 인코퍼레이티드
Publication of KR20180118219A publication Critical patent/KR20180118219A/ko
Application granted granted Critical
Publication of KR102018763B1 publication Critical patent/KR102018763B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0095—Manipulators transporting wafers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/244—Arrangements for determining position or orientation using passive navigation aids external to the vehicle, e.g. markers, reflectors or magnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G05D1/2232—Touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G05D2201/0206—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Nursing (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

원격현전 로봇은 구동 시스템과, 제어 시스템과, 이미징 시스템, 및 매핑 모듈(mapping module)을 포함할 수 있다. 매핑 모듈은 일 영역의 평면도 지도 및 그 영역과 결부된 태그에 액세스할 수 있다. 다양한 실시예에서, 각 태그는 태그 좌표와, 태그 주석(tag annotation)을 포함할 수 있는 태그 정보를 포함할 수 있다. 태그 식별 시스템은 현재 위치의 기설정 범위 내의 태그를 식별할 수 있고, 제어 시스템은 그 태그 정보가 원격현전 로봇 동작 수정부(action modifier)를 포함하는 식별된 태그에 기초하여 동작을 실행할 수 있다. 원격현전 로봇은 하부에 독립적으로 상부를 회전시킬 수 있다. 원격 터미널은 조종자가, 라이브 비디오 피드에서 목적지를 선택하는, 평면도 지도 상에서 목적지를 선택하는, 또는 조이스틱 혹은 다른 주변장치를 사용하는 것을 포함하는 제어 방법의 임의의 조합을 사용하여 원격현전 로봇을 제어할 수 있게 한다.

Description

이동형 원격현전 로봇과의 인터페이싱{INTERFACING WITH A MOBILE TELEPRESENCE ROBOT}
본 개시는 이동형 원격현전 로봇에 관한 것이다.
로봇은 일반적으로 컴퓨터 또는 전자 프로그래밍에 의해 유도되는 전기-기계식 장치이다. 원격현전 로봇(telepresence robot)은 그 주변 환경을 따라 이동할 수 있는 능력을 가지며 하나의 물리적인 장소에 국한되지 않는다. 오늘날 흔히 사용되는 원격현전 로봇의 일례로는 AGV(automated/automatic guided vehicle: 무인 유도 차량)이 있다. AGV는 일반적으로 바닥에 있는 마커 또는 와이어를 따라가는 또는 운행(navigation)을 위해 비젼 시스템 혹은 레이저를 사용하는 원격현전 로봇이다. 원격현전 로봇은 산업계, 군사용, 및 보안 환경에서 찾을 수 있다. 이들은 엔터테인먼트 용으로 또는 가정내 보조(home assistance)와 같은 특정 임무를 수행하기 위한 소비재(consumer product)로도 나오고 있다.
본 발명의 원격현전 로봇은 산업계, 군사용, 및 보안 환경과, 엔터테인먼트 용으로 또는 가정내 보조와 같은 특정 임무를 수행하기 위한 소비재 등에 사용하기 위한 것이다.
본 개시의 일 양태는 로컬 터미널과 리모트 원격현전 로봇을 포함하는 원격현전 로봇 시스템을 제공한다. 로컬 터미널은 전자 디스플레이와, 프로세서, 및 프로세서와 통신 상태에 있는 메모리를 포함하며, 메모리는 프로세서에 의해 실행 가능한 명령어(instructions)를 포함한다. 실행 가능한 명령어는: 프로세서가 로봇 작동 표면(operating surface)의 로봇 운행 가능 구역(robot-navigable area)을 나타내는 평면도 지도의 적어도 일부를 검색하게 하고; 복수의 태그들 중 적어도 하나의 태그를 검색할 수 있게 하는데, 복수의 태그 각각은 태그의 상대 위치를 기술하는 태그 좌표 및 태그 주석(tag annotation)을 포함할 수 있는 태그 정보를 포함하며; 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드(video feed)를 수신하고; 포지셔닝 정보를 수신하며; 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하고; 평면도 지도 상의 원격현전 로봇의 현재 위치의 표시와 함께 평면도 지도를 디스플레이하며; 태그 좌표를 사용하여 비디오 피드와 평면도 지도 중 적어도 하나의 위에 적어도 하나의 태그의 태그 주석의 표현(rendition)을 디스플레이하고; 리모트 원격현전 로봇에 하나 이상의 명령을 전송하도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 적어도 하나의 태그의 관점과 위치를 기술하는 관점 데이터(perspective data) 및 해당 비디오 좌표를 결정하기 위해 적어도 하나의 태그의 태그 좌표에 왜곡을 적용하며; 태그 비디오 좌표를 사용하여 비디오 피드 상에 오버레이(overlay)된 적어도 하나의 태그의 태그 주석의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 태그 주석의 3차원 표현은 리모트 원격현전 로봇의 현재 위치 및 비디오 피드에 대한 적어도 하나의 태그의 관점을 기초로 동적으로 재렌더링(re-rendered)될 수 있다.
몇몇 실시예에서, 태그 주석의 3차원 표현은 비디오 피드에서 검출된 물체에 대해 비디오 피드에 오버레이될 수 있다.
몇몇 실시예에서, 태그 주석의 3차원 표현은 비디오 피드에서 검출된 벽을 따라서 오버레이될 수 있다.
몇몇 실시예에서, 적어도 하나의 태그의 태그 정보는 원격현전 로봇 동작 수정부(action modifier)를 포함하며, 로봇 동작 수정부는 적어도 하나의 태그의 태그 좌표의 기설정 범위 내에 있는 원격현전 로봇에 응답하여 제1의 동작을 실행하도록 원격현전 로봇의 제어 시스템에 실행 명령어를 제공하도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 프로세서가 원격현전 로봇이 적어도 하나의 태그의 태그 좌표의 기설정 범위 내에 있을 때 원격현전 로봇의 제어 시스템에 실행 명령어를 전송하도록 또한 구성된다.
몇몇 실시예에서, 로봇 동작 수정부는 원격현전 로봇의 제어 시스템이 제1의 동작을 실행해야 하는 시간 및 평면도 지도 상의 위치 중 하나와 관련된 명령어를 또한 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 리모트 원격현전 로봇이 이동한 경로를 형성하는 평면도 지도에 대한 좌표의 시퀀스를 수신하고; 경로를 형성하는 이 좌표의 시퀀스를 태그 좌표 및 태그 주석을 포함할 수 있는 태그 정보를 포함하는 경로 태그(path tag)로 저장하며; 리모트 원격현전 로봇이 태그 좌표의 기설정 거리 내에 도달하게 될 때 경로 태그를 검색하고; 태그 좌표를 사용하여 비디오 피드 및 평면도 지도의 적어도 하나의 위에 경로 태그의 태그 주석의 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 원격현전 로봇의 로컬 터미널은 적어도 하나의 사용자 입력 장치를 더 포함하며, 경로를 형성하는 좌표의 시퀀스는 이 사용자 입력 장치에 의해 제공될 수 있다.
몇몇 실시예에서, 경로를 형성하는 좌표의 시퀀스는 리모트 원격현전 로봇에 의해 제공될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 원격현전 로봇 시스템의 로컬 터미널과 리모트 원격현전 로봇 사이의 통신을 용이하게 하도록 구성된 통신 시스템을 더 포함한다.
몇몇 실시예에서, 로컬 터미널은 적어도 하나의 사용자 입력 장치를 더 포함하고, 사용자 입력 장치는 사용자가 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드 및 평면도 지도 중 적어도 하나에 리모트 원격현전 로봇의 희망 목적지의 표시를 제공할 수 있도록 구성될 수 있으며, 리모트 원격현전 로봇에 전송된 명령은 희망 목적지를 포함한다.
몇몇 실시예에서, 로봇의 경로를 형성하는 좌표의 시퀀스는 적어도 부분적으로 적어도 하나의 태그와 결부된 태깅 정보(tagging information)를 기초로 할 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 현재 위치와 원격현전 로봇의 희망 목적지 사이에 로봇의 경로를 생성할 수 있도록 평면도 지도에 대해 좌표의 시퀀스를 결정하도록 구성되고, 리모트 원격현전 로봇에 전송된 명령은 로봇의 경로를 형성하는 좌표의 시퀀스를 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도 상에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스를 디스플레이 하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 로봇의 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드 상에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드 상에 오버레이될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 리모트 원격현전 로봇의 운행 시스템으로부터 평면도 지도에 대한 좌표의 시퀀스를 수신하게 하는데, 좌표의 시퀀스는 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 희망 목적지 사이에 로봇의 경로를 형성하고; 평면도 지도 상에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드와 평면도 지도 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 로봇의 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드에 오버레이된 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 로봇의 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드 상에 오버레이될 수 있다.
몇몇 실시예에서, 태그 정보는: 무선 통신 신호의 가용성(availability), 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지(rest) 구역의 위치, 유리 벽의 위치, 램프(경사면)의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
몇몇 실시예에서, 태그 정보는 위치, 경로, 및/또는 부피에 관한 것일 수 있으며, 제어 시스템은 위치, 경로, 및/또는 부피에 대해 동작을 실행하도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 센서 시스템에 의해 검출된 장애물의 평면도 지도 상의 좌표를 수신하도록 구성된다.
몇몇 실시예에서, 평면도 지도와 복수의 태그는 원격 저장된다.
몇몇 실시예에서, 평면도 지도와 복수의 태그는 리모트 원격현전 로봇 내에 저장된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드의 혼합 도면을 포함하는 하이브리드 지도(hybrid map view)를 생성하도록 구성된다.
몇몇 실시예에서, 하이브리드 지도는 비디오 피드에 오버레이된 평면도 지도의 3차원 표시를 포함한다.
몇몇 실시예에서, 원격현전 로봇 시스템의 로컬 터미널은 적어도 하나의 사용자 입력 장치를 포함하고, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도 상의 리모트 원격현전 로봇의 가상 위치(virtual location)에 대해 렌더링된 미리보기(rendered look ahead)를 위한 요청을 적어도 하나의 사용자 입력 장치를 통해 수신하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 생성하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 디스플레이하도록 구성된다.
몇몇 실시예에서, 적어도 하나의 태그의 태그 정보는 보호 구역(protected region)을 규정하는 평면도 지도에 대한 좌표의 집합을 포함하며, 적어도 하나의 태그의 태그 주석은 보호 구역의 존재를 나타내도록 구성될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 새로운 태그를 생성하기 위한 요청을 수신하고; 새로운 태그의 상대 위치를 기술하는 태그 좌표와 태그 주석을 포함할 수 있는 태그 정보를 새로운 태그와 결부시키며; 태그 좌표를 사용하여 비디오 피드와 평면도 지도 중 적어도 하나에 새로운 태그의 태그 주석의 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 리모트 원격현전 로봇에 의해 생성될 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 비디오 피드에서 검출된 물체를 기초로 자동으로 생성될 수 있다.
몇몇 실시예에서, 새로운 태그는 검출된 물체가 비디오 피드에 더 이상 존재하지 않게 되면 종료되도록 구성된 임시 태그(temperary tag)일 수 있다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람과 결부된 식별 정보를 포함한다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람에 대해 리모트 원격현전 로봇이 실행할 수 있는 잠재적인 동작을 포함한다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 원격현전 로봇의 로컬 터미널과 통신 상태에 있는 사용자 입력 장치에 의해 생성될 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 비디오 피드에 대해 이루어질 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 평면도 지도에 대해 이루어질 수 있다.
몇몇 실시예에서, 새로운 태그를 생성하기 위한 요청은 리모트 원격현전 로봇의 현재 위치에 대해 이루어질 수 있다.
몇몇 실시예에서, 태그 정보는: 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 구역의 위치, 유리 벽의 위치, 램프(경사면)의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
다른 실시예에서는, 원격현전 로봇이 원격 터미널과 통신을 행할 수 있다. 원격현전 로봇은 구동 명령어에 따라 원격현전 로봇을 이동시키도록 구성된 구동 시스템과; 구동 시스템과 통신 상태에 있는 제어 시스템으로서, 구동 시스템이 원격현전 로봇을 이동시키도록 구동 명령어를 발생시키도록 구성된 제어 시스템과; 제어 시스템과 통신 상태에 있는 이미징 시스템과; 제어 시스템과 통신 상태에 있는 매핑 모듈(mapping module)로서, 매핑 모듈은 지도 데이터 소스(map data source)에 액세스하도록 구성되고, 지도 데이터 소스는 로봇 작동 표면의 로봇 운행 가능 영역을 나타내는 평면도 지도를 포함하는, 매핑 모듈과; 복수의 태그로서, 각 태그는 태그의 상대 위치를 기술하는 태그 좌표와 태그 주석을 포함할 수 있는 태그 정보를 포함하는 데이터 구조인, 복수의 태그와; 평면도 지도에 대해 현재 위치를 제공하도록 구성된 제어 시스템과 통신 상태에 있는 포지셔닝 시스템과; 원격현전 로봇의 운행 경로와 관련된 적어도 하나의 태그를 식별하도록 구성된 태그 식별 시스템과; 제어 시스템과 원격 터미널 사이의 통신을 용이하게 하도록 구성된 통신 시스템을 포함할 수 있으며, 제어 시스템은 그 태그 정보가 원격현전 로봇 동작 수정부를 포함하는 식별된 태그에 기초하여 동작을 실행하도록 구성될 수 있다.
몇몇 실시예에서, 식별된 태그의 태깅 정보는 제어 시스템이 동작을 실행해야 하는 시간과 평면도 지도 상의 위치 중 하나와 관련된 명령어를 포함한다.
몇몇 실시예에서, 제어 시스템은 이미징 시스템으로부터의 비디오 피드를 통신 시스템을 통하여 원격 터미널에 전송하도록 구성될 수 있으며, 제어 시스템은 통신 시스템을 통하여 원격 터미널로부터 평면도 지도 상의 희망 목적지의 표시를 수신하도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 원격현전 로봇 부근의 장애물을 식별하도록 구성된 복수의 센서와, 복수의 센서와 통신 상태에 있으며 제어 시스템과 통신 상태에 있는 장애물 회피 시스템을 더 포함할 수 있으며, 제어 시스템은 또한 원격현전 로봇 부근의 장애물을 회피하기 위해 추가적인 구동 명령어를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 복수의 센서는 근접 센서와, 접촉 센서와, 주행거리 측정 센서, 및 3차원 이미지 센서 중 적어도 하나를 포함한다.
몇몇 실시예에서, 복수의 센서는 장애물의 3차원 점유공간을 포함하는 포인트 클라우드(point cloud)를 형성하는 3차원 이미지 센서를 포함할 수 있으며, 구동 명령어는 장애물의 3차원 점유공간을 회피하도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 제어 시스템과 통신 상태에 있는 지도 생성 시스템을 더 포함할 수 있으며, 지도 생성 시스템은 로봇 작동 표면의 평면도 지도를 자율적으로 생성하도록 구성되며, 제어 시스템은 원격현전 로봇이 로봇 작동 표면 전체에 이동하면서 복수의 측정치를 획득하도록 하는 구동 명령어를 생성하고, 지도 생성 시스템은 평면도 지도를 생성하기 위해 이 복수의 측정치를 사용한다.
몇몇 실시예에서, 원격현전 로봇은 평면도 지도 상의 현재의 위치로부터 평면도 지도 상의 희망 위치로의 좌표의 시퀀스를 포함하는 운행 경로를 생성하도록 구성된 운행 시스템을 더 포함할 수 있다.
몇몇 실시예에서, 원격현전 로봇은 검출된 장애물의 평면도 지도에 대한 좌표를 통신 시스템을 통하여 원격 터미널에 전송할 수 있다.
몇몇 실시예에서, 운행 경로를 형성하는 좌표의 시퀀스는 적어도 부분적으로 식별된 태그와 결부된 태깅 정보를 기초로 할 수 있다.
몇몇 실시예에서, 운행 시스템은 복수의 잠재적인 운행 경로로부터 하나의 운행 경로를 선택함으로써 운행 경로를 생성하도록 구성되고, 원격현전 로봇의 운행 경로에 관련된 태그는 복수의 잠재적인 운행 경로와 결부되며, 운행 시스템은 적어도 부분적으로는 식별된 관련 태그를 기초로 하여 운행 경로를 선택하도록 구성된다.
몇몇 실시예에서, 운행 경로를 형성하는 좌표의 시퀀스는 통신 시스템을 통하여 원격 터미널에 전송된다.
몇몇 실시예에서, 원격현전 로봇은 새로운 태그가 좌표의 시퀀스, 운행 경로에 관련된 태깅 정보, 및 운행 경로에 관련된 태그 주석을 포함하도록, 운행 경로를 형성하는 좌표의 시퀀스를 사용하여 새로운 태그를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 복수의 태그 각각의 태그 정보는: 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 영역의 위치, 유리 벽의 위치, 램프(경사면)의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
몇몇 실시예에서, 제어 시스템은 또한 평면도 지도 상의 현재 위치로부터 평면도 지도 상의 희망 목적지로의 운행 경로를 수신하도록 구성될 수 있으며, 제어 시스템은 또한 구동 시스템이 운행 경로를 기초로 원격현전 로봇을 희망 목적지로 이동시키도록 하는 구동 명령어를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 통신 시스템은 원격현전 로봇과 원격 터미널 사이의 통신의 두절을 검출하도록 구성될 수 있으며, 제어 시스템은 또한 통신의 두절 중에도 원격현전 로봇이 희망 목적지로 자율적으로 이동하도록 하는 구동 명령어를 지속적으로 생성하도록 구성될 수 있다.
몇몇 실시예에서, 지도 데이터 소스는 매핑 모듈이 통신 시스템을 통하여 지도 데이터 소스에 액세스할 수 있게 구성될 수 있도록 원격 저장될 수 있다.
몇몇 실시예에서, 지도 데이터 소스는 매핑 모듈이 내부 지도 데이터 소스에 액세스할 수 있게 구성될 수 있도록, 원격현전 로봇 내에 저장될 수 있다.
몇몇 실시예에서, 내부 지도 데이터 소스는 원격 저장된 지도 데이터 소스와 동기화(synchronize)될 수 있다.
몇몇 실시예에서, 포지셔닝 시스템은 또한 평면도 지도에 대한 로봇의 자세를 제공하도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은: 새로운 태그의 상대 위치를 기술하는 태그 좌표를 평면도 지도와 이미징 시스템에 의해 생성된 비디오 피드 중 어느 하나에 대해 결부시킴으로써; 태그 정보를 새로운 태그와 결부시킴으로써; 및 태그 주석을 새로운 태그와 결부시킴으로써 새로운 태그를 생성하도록 구성될 수 있다.
몇몇 실시예에서, 새로운 태그는 원격현전 로봇이 비디오 피드에서 물체를 식별하는 것에 응답하여 생성될 수 있다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람과 결부된 식별 정보를 포함한다.
몇몇 실시예에서, 물체는 사람일 수 있으며, 새로운 태그의 태그 정보는 그 사람에 대해 리모트 원격현전 로봇이 실행할 수 있는 잠재적인 동작을 포함한다.
몇몇 실시예에서, 태그 정보는: 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 영역의 위치, 유리 벽의 위치, 램프의 위치, 물체의 위치, 조밀한 구역을 운행하기 위한 최적의 경로, 혼잡 구역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작 중 어느 하나와 관련된 정보를 포함한다.
몇몇 실시예에서, 원격현전 로봇 시스템은 포지셔닝 시스템과 통신 상태에 있는 RFID 리더를 더 포함할 수 있으며, 포지셔닝 시스템은 복수의 RFID 칩을 평면도 지도 상의 대응하는 복수의 좌표와 결부시키며, 포지셔닝 시스템은 적어도 부분적으로 RFID 리더의 범위 내의 하나 이상의 RFID 칩의 위치를 기초로 원격현전 로봇의 현재 위치를 결정하도록 구성될 수 있다.
본 발명의 시스템과 방법에는 다양한 제어 방법이 이용될 수 있다. 예를 들면, 원격현전 로봇 시스템의 로컬 터미널은: 전자 디스플레이와; 전자 디스플레이 인터페이스와 통신 상태에 있는 프로세서와; 프로세서와 통신 상태에 있는 메모리로서, 메모리는 프로세서가: 로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하고; 제1의 관점에서 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하며; 평면도 지도에 대해 리모트 원격현전 로봇의 포지셔닝 시스템으로부터 현재 위치를 수신하고; 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하며; 평면도 지도 상의 원격현전 로봇의 현재 위치의 표시와 함께 평면도 지도를 디스플레이하고; 리모트 원격현전 로봇에 명령을 전송하도록 구성된 프로세서에 의해 실행 가능한 명령어를 포함하는 메모리와; 프로세서와 통신 상태에 있는 사용자 입력 장치로서, 사용자 입력 장치는 사용자가 리모트 원격현전 로봇의 이동을 선택할 수 있도록 구성되고, 이동의 선택은: 비디오 피드에 대해서; 평면도 지도에 대해서; 및, 리모트 원격현전 로봇의 현재 위치에 대한 적어도 4개의 가능한 방향들 중 하나의 방향으로 리모트 원격현전 로봇을 증분적으로 전진시킴으로써, 리모트 원격현전 로봇의 목적지를 선택하는 것을 포함하는 사용자 입력 장치를 포함할 수 있다.
몇몇 실시예에서, 이동의 선택은 비디오 피드 내의 일 지점을 선택함으로써 비디오 피드의 다른 관점을 선택하는 것을 포함한다. 이 모드는 비디오 피드 상에서 보이는 지점에 이르는 중간 거리에 사용될 수 있다.
몇몇 실시예에서, 이동의 선택은 평면도 지도 내의 일 지점을 선택함으로써 비디오 피드의 다른 관점을 선택하는 것을 포함한다. 이 모드는 비디오 피드 상에서 보이지 않는 지점에 이르는 더 원거리(예를 들면, 방들 사이의 저 먼쪽 복도 등)에 사용될 수 있다. 몇몇 실시예에서, 이동의 선택은 수동 제어로서 조이스틱 또는 메타 조이스틱(meta joystick)을 사용하는 것을 포함한다. 이 모드는 마이크로/더 미세한 조정을 위해, 즉 사람/환자에 매우 근접한 방에서 사용될 수 있다.
몇몇 실시예에서, 이동의 선택은 리모트 원격현전 로봇이 현재 위치에 머물러 있는 동안에 이미징 시스템을 증분적으로 패닝(panning) 또는 틸팅(tilting)시킴으로써 비디오 피드의 다른 관점을 선택하는 것을 포함한다.
몇몇 실시예에서, 이동의 선택은 리모트 원격현전 로봇의 하부(lower portion)와 리모트 원격현전 로봇의 상부(upper portion) 중 어느 하나를 회전시키는 것과 관련될 수 있다.
몇몇 실시예에서, 모드들 사이에서 스위칭하는 방법이 있을 수 있는데, 즉 헤드/이미징 시스템의 이동 또는 리모트 원격현전 로봇의 베이스/하부의 이동을 제어하도록 선택할 수 있는 다중 모드 사용자 인터페이스가 있을 수 있다.
몇몇 실시예에서, 헤드/이미징 시스템의 이동의 제어가 선택되면, 마우스를 통한 위치 기반의 박스줌 헤드의 운동(box-zoom head motion) 또는 마우스를 통한 속도 기반의 헤드의 운동을 선택할 수 있는 옵션이 있을 수 있다.
몇몇 실시예에서, 리모트 원격현전 로봇의 베이스/하부의 제어가 선택되면, 다음 중 하나를 선택할 수 있는 옵션이 있을 수 있다: (1) 클릭-온-지도(click-on-map), 즉 탑 다운(top down) 지도 보기와 타겟 목적지 클릭 또는 목적지 목록으로부터 선택; (2) 클릭-온-비디오(click-on-video), 즉 비디오 내의 위치를 클릭할 수 있게 하고 로봇이 거기서 구동하는 위치-기반 제어; (3) 조이스틱 또는 메타 조이스틱, 예를 들면, 마우스 속도-기반 제어 또는 전진, 좌측, 우측 등을 지정하는 화살표들.
몇몇 실시예에서, 로봇 베이스가 이동하는 동안에 사용자에 의해 항상 액세스될 필요가 있는 기능/정보는: (1) 리모트 뷰(remote view), 즉 로봇이 향하는 곳(뷰는 사용자가 안전하게 조작할 수 있도록 의미있는 시작 정보를 제공하기에 충분한 크기여야 한다); (2) 감시 제어 모드에서, 필요에 따라 취소/중단(cancel/abort) 작업에 대한 오버라이드(override) 기능의 잠재적인 필요성을 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 사용자 입력 장치로부터 리모트 원격현전 로봇의 목적지의 선택을 수신하고; 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 선택된 목적지 사이에 운행 경로를 생성하기 위해 평면도 지도에 대한 좌표의 시퀀스를 결정하며; 운행 경로를 형성하는 좌표의 시퀀스를 포함하는 명령을 리모트 원격현전 로봇에 전송하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 운행 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에서, 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이될 수 있다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 사용자 입력 장치로부터 리모트 원격현전 로봇의 목적지의 선택을 수신하고; 평면도 지도에 대한 목적지 좌표를 리모트 원격현전 로봇에 전송하는 것으로, 목적지 좌표는 선택된 목적지에 대응하며; 리모트 원격현전 로봇의 운행 시스템으로부터 평면도 지도에 대한 좌표의 시퀀스를 수신하는 것으로, 좌표의 시퀀스는 리모트 원격현전 로봇의 현재 위치와 리모트 원격현전 로봇의 희망 목적지 사이의 운행 경로를 형성하며; 평면도 지도에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스를 디스플레이하도록 구성된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 좌표의 시퀀스의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 운행 경로를 형성하는 좌표의 시퀀스에 왜곡을 적용하며; 비디오 피드에 오버레이된 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현을 디스플레이하도록 구성된다.
몇몇 실시예에 있어서, 운행 경로를 형성하는 좌표의 시퀀스의 3차원 표현은 비디오 피드에서 검출된 바닥에 대해 비디오 피드에 오버레이될 수 있다.
몇몇 실시예에 있어서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 리모트 원격현전 로봇의 센서 시스템에 의해 검출된 장애물의 평면도 지도 상의 좌표를 수신하도록 구성된다.
몇몇 실시예에서, 평면도 지도는 원격 저장된다.
몇몇 실시예에서, 평면도 지도는 리모트 원격현전 로봇 내에 저장된다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드의 혼합 도면을 포함하는 하이브리드 지도를 생성하도록 구성된다.
몇몇 실시예에서, 하이브리드 지도는 비디오 피드에 오버레이된 평면도 지도의 3차원 표시를 포함한다.
몇몇 실시예에서, 프로세서에 의해 실행 가능한 명령어는 또한 프로세서가: 평면도 지도 상의 리모트 원격현전 로봇의 가상 위치에 대해 렌더링된 미리보기를 위한 요청을 입력 장치를 통하여 수신하고; 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 생성하며; 리모트 원격현전 로봇의 가상 위치에 기초한 가상의 3차원 비디오 피드를 디스플레이하도록 구성된다.
몇몇 실시예에서, 로봇은 사람과 같이 보이도록 상부와 하부를 독립적으로 언와인드(unwind) 및/또는 제어하도록 구성될 수 있다. 예를 들면, 원격현전 로봇은: 상부와; 상부에 회전 가능하게 결합된 하부와; 구동 명령어에 따라 원격현전 로봇을 이동시키도록 구성된 구동 시스템과; 구동 시스템과 통신 상태에 있는 제어 시스템으로서, 구동 시스템이 원격현전 로봇을 이동시키도록 구동 명령어를 생성하도록 구성된 제어 시스템과; 상부와 하부를 독립적으로 회전시킴으로써 제1의 진행방향으로부터 제2의 진행방향으로 로봇을 회전시키도록 구성된 회전 시스템을 포함할 수 있다.
몇몇 실시예에서, 회전 시스템은: 로봇의 상부를 제2의 진행방향 쪽으로 회전시키고; 로봇의 상부가 로봇의 하부에 대해 로봇의 상부의 패닝 한계(panning limit)에 도달하였음을 검출하며; 로봇의 상부의 패닝 한계에서 제2의 진행방향 쪽으로 로봇의 하부를 회전시키기를 시작하고; 로봇의 상부가 제2의 진행방향에 도달하였음을 검출하며; 로봇의 상부가 제2의 진행방향을 유지하도록 로봇의 상부를 동시에 반대방향으로 회전시키면서 로봇의 하부를 제2의 진행방향 쪽으로 계속하여 회전시킴으로써, 로봇을 제2의 진행방향 쪽으로 회전시키도록 구성될 수 있다.
몇몇 실시예에서, 패닝 한계는 상부가 로봇의 하부에 대해 물리적으로 더 이상 회전할 수 없을 때 도달될 수 있다.
몇몇 실시예에서, 패닝 한계는 상부가 하부에 대해 기설정 회전 각도로 어긋나 있을 때 도달될 수 있다.
몇몇 실시예에서, 패닝 한계는 상부가 하부에 대해 어긋나는 각도 및 상부가 하부에 대해 어긋나는 시간(length of time)의 함수일 수 있다,
몇몇 실시예에서, 회전 시스템은: 로봇의 상부를 제1의 회전 속도로 제2의 진행방향 쪽으로 회전시키고; 로봇의 하부를 제2의 회전 속도로 제2의 진행방향 쪽으로 회전시키며; 로봇의 상부가 제2의 진행방향에 도달하였음을 검출하고; 로봇의 상부가 제2의 진행방향을 유지하도록 로봇의 상부를 동시에 반대방향으로 회전시키면서 로봇의 하부를 제2의 진행방향 쪽으로 계속하여 회전시킴으로써, 로봇을 제2의 진행방향 쪽으로 회전시키도록 구성될 수 있다.
몇몇 실시예에서, 원격현전 로봇은 제어 시스템과 통신 상태에 있는 이미징 시스템과, 평면도 지도에 대해 로봇의 현재 위치 및 평면도 지도에 대해 상부의 현재 정렬상태를 제공하도록 구성된 제어 시스템과 통신 상태에 있는 포지셔닝 시스템을 더 포함할 수 있으며, 제어 시스템은 원격 터미널이 평면도 지도와 리모트 원격현전 로봇의 이미징 시스템으로부터 수신된 비디오 피드 사이의 왜곡(예를 들면, 2차원 좌표계와 3차원 좌표계 사이의 좌표 변환)을 결정하고; 비디오 피드에 대한 태그의 관점과 위치를 기술하는 관점 데이터 및 해당 비디오 좌표를 결정하기 위해 평면도 지도와 결부된 좌표를 갖는 태그에 왜곡을 적용하며; 비디오 좌표를 사용하여 비디오 피드에 오버레이된 태그의 3차원 표현을 디스플레이하도록, 이미징 시스템으로부터의 비디오 피드, 로봇의 현재 위치, 및 상부의 현재 정렬상태를 원격 터미널에 전송하도록 구성될 수 있다.
전술한 실시예는 로봇 및/또는 로컬 터미널의 관점에서 기술되었다. 전술한 실시예가 시스템으로 구현되고, 시스템에 의해 행해지는 방법으로 변경되거나, 또는 시스템에 의해 실행될 수 있는 컴퓨터 판독 가능 매체로 실시될 수 있음이 당해업자에게는 자명할 것이다. 예를 들면, 로봇의 진행방향을 변경하는 방법은 로봇의 제어 시스템에 진행방향을 전송하는 단계로서, 구동 시스템과 통신 상태에 있는 로봇의 제어 시스템은 구동 명령어에 따라 로봇을 이동시키도록 구성되는 단계와, 로봇의 하부에 독립적으로 로봇의 상부를 진행방향 쪽으로 회전시키는 단계를 포함할 수 있다.
몇몇 실시예에서, 리모트 원격현전 로봇을 제어하는 방법은 로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하는 단계와; 복수의 태그들 중 적어도 하나의 태그를 검색하는 단계로서, 복수의 태그 각각은 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하는, 검색하는 단계와; 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하는 단계와; 리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 정보를 수신하는 단계와; 전자 디스플레이를 통하여 리모트 원격현전 로봇의 이미징 시스템으로부터의 비디오 피드를 디스플레이하는 단계와; 전자 디스플레이를 통하여, 태그 좌표를 사용하여 비디오 피드 상의 적어도 하나의 태그 정보의 표현을 디스플레이하는 단계; 및, 리모트 원격현전 로봇에 명령을 전송하는 단계를 포함할 수 있다. 원격현전 로봇을 제어하는 방법은: 평면도 지도의 적어도 일부를 검색하는 단계와; 복수의 태그들 중 적어도 하나의 태그를 검색하는 단계로서, 각 태그는 태그의 상대 위치를 기술하는 태그 좌표와 태그 정보를 포함하는 데이터 구조인, 검색하는 단계와; 평면도 지도에 대해 현재 위치를 결정하는 단계와; 원격현전 로봇의 운행 경로와 관련된 복수의 태그들 중 적어도 하나의 태그를 식별하는 단계와; 그 태그 정보가 원격현전 로봇의 동작 수정부를 포함하는 식별된 태그를 기초로 동작을 실행하는 단계를 포함한다.
몇몇 실시예에서, 원격현전 로봇을 제어하는 방법은: 로봇 작동 표면의 로봇 운행 가능 구역을 나타내는 평면도 지도의 적어도 일부를 검색하는 단계와; 제1의 관점에서 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하는 단계와; 리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 데이터를 수신하는 단계와; 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 디스플레이하는 단계와; 리모트 원격현전 로봇에 명령을 전송하는 단계; 및, 사용자 입력 장치 이동으로부터 복수의 이동 선택을 수신하는 단계를 포함할 수 있으며, 이동 선택은: (1) 비디오 피드에 대해서; (2) 평면도 지도에 대해서; 및/또는 (3) 리모트 원격현전 로봇의 현재 위치에 대해 한 방향으로 리모트 원격현전 로봇를 증분적으로 전진시킴으로써 이루어진다.
본 개시의 하나 이상의 구현예의 상세사항이 첨부된 도면에 개시되고 아래에 기술되어 있다. 다른 양태, 특징, 및 이점은 상세한 설명, 도면 및 특허청구범위로부터 분명해질 것이다.
전술한 바와 같이, 본 개시는 이동형 원격현전 로봇을 제공하는 효과를 갖는다.
도 1은 예시적인 원격현전 로봇의 사시도.
도 2는 예시적인 원격현전 로봇의 입면 사시도.
도 3a 내지 도 3c는 예시적인 원격현전 로봇의 개략도.
도 4a는 이동형 인간 인터페이스 로봇의 예시적인 베이스의 정면 사시도.
도 4b는 도 4a에 도시된 베이스의 배면 사시도.
도 4c는 도 4a에 도시된 베이스의 평면도.
도 4d는 원격현전 로봇의 예시적인 베이스의 평면 개략도.
도 4e는 원격현전 로봇의 예시적인 구동 시스템의 저면 사시도.
도 4f는 도 4e에 도시된 구동 시스템의 평면 사시도.
도 5는 원격현전 로봇의 제어기에 의해 실행되는 예시적인 제어 시스템의 개략도.
도 6a는 로못의 종점 서버와 통신 상태에 있는 복수의 로봇을 포함하는 예시적인 로봇 시스템의 개략도.
도 6b는 로봇 또는 터미널에 의해 실행되는 원격조종 소프트웨어 애플리케이션을 도시한 도면.
도 6c는 반자율적인 원격현전 로봇의 운행을 제어하는 사용자 인터페이스의 스크린숏(screenshot)의 일 실시예를 도시한 도면.
도 6d는 지도 윈도우(map window)에 할당된 스크린의 상대 구역이 증대된, 스크린숏을 도시한 도면.
도 7은 예시적인 로봇 시스템 아키텍쳐의 개략도.
도 8a는 예시적인 점유공간 지도의 개략도.
도 8b는 작업 구역의 현장(scene)의 시계(視界)를 갖는 원격현전 로봇의 개략도.
도 8c는 예시적인 배치 지도(layout map)의 개략도.
도 8d는 도 8c에 도시된 배치 지도에 대응하는 예시적인 로봇 지도의 개략도.
도 8e는 배치 지도와 로봇 지도를 사용하여 환경 주변을 운행하기 위해 원격현전 로봇을 조종하는 조종의 예시적인 배열을 제공하는 도면.
도 8f는 비디오 피드와 평면도 지도 사이의 왜곡을 결정하기 위해 로봇 위치와 관점을 사용하는 방법을 도시한 도면.
도 9a는 복도에 위치한 로봇으로부터의 예시적인 원격 비디오 뷰(video view)의 개략도.
도 9b는 호실을 나타내는 지도와 함께, 도 9a에 도시된 원격 비디오 뷰가 통합된 예시적인 하이브리드 지도의 개략도.
도 10a는 원격현전 소프트웨어 애플리케이션의 원격 비디오 윈도우의 예시적인 리모트 뷰(remote view)를 제공하는 도면.
도 10b는 도 10a의 리모트 뷰에 의해 도시된 구역의 예시적인 지도의 개략도.
도 10c는 원격현전 소프트웨어 애플리케이션의 예시적인 미리보기 뷰의 개략도.
도 10d는 로봇 아이콘과 해당 카메라의 시계가 있는 도 10b에 도시된 지도의 개략도.
도 10e는 원격현전 소프트웨어 애플리케이션의 예시적인 미리보기 뷰의 개략도.
도 10f는 로봇 아이콘과 해당 카메라의 시계가 있는 도 10b에 도시된 지도의 개략도.
도 10g는 원격현전 소프트웨어 애플리케이션의 미리보기 루틴에 대한 작업의 예시적인 배열을 제공하는 도면.
도 11a는 사용자가 식별된 운행 가능 구역 내에서 로봇의 목적지를 특정할 수 있게 하는 예시적인 사용자 인터페이스의 개략도.
도 11b는 로봇을 목적지로 운행하는 방법에 대한 작업의 예시적인 배열을 제공하는 도면.
도 11c는 사용자에게 램프가 로봇의 목적지로 선택되었음을 통보하는 예시적인 사용자 인터페이스의 개략도.
도 11d는 사용자에게 장애물이 로봇의 목적지로 선택되었음을 통보하는 예시적인 사용자 인터페이스의 개략도.
도 12는 사용자가 식별된 운행 가능 구역 내에서 로봇 구동 경로를 특정할 수 있게 하는 예시적인 사용자 인터페이스의 개략도.
도 13은 하이퍼태그(hyper-tag)와 문맥 민감 명령(context sensitive command)이 통합된 예시적인 사용자 인터페이스의 개략도.
도 14는 사람에게 센서의 시계를 유지하는 예시적인 원격현전 로봇의 사시도.
도 15a는 하이퍼태그를 포함하는 예시적인 3차원 지도의 개략도.
도 15b는 하이퍼태그를 포함하는 예시적인 2차원 지도의 개략도.
도 16a는 예시적인 로봇 시스템의 개략도.
도 16b는 지도 데이터 소스와의 예시적인 상호작용의 개략도.
도 16c는 로봇 제어 시스템과 지도 데이터 소스 사이의 예시적인 상호작용의 개략도.
도 16d는 예시적인 로봇 시스템의 개략도.
도 17은 원격현전 로봇에 대응하는 증강된 오버레이(augmented overlay)를 포함하는 예시적인 사용자 인터페이스의 개략도.
도 18은 로봇 동작의 예시적인 시퀀스의 개략도.
도 19는 원격현전 로봇으로부터 수신된 원격 비디오 피드에 오버레이된 스크린 지시기(screen indicator)를 갖는 예시적인 사용자 인터페이스의 개략도.
도 20a 내지 도 20c는 로봇의 통신 두절로부터 회복하는 동작의 예시적인 배열을 제공하는 도면.
다양한 도면에서 동일 참조 부호는 동일 요소를 지칭한다.
원격현전 로봇은 원격 의료 상담, 가정내 보조, 상업적 보조 등을 제공하는 내과의 또는 의료계 종사자와 같이, 다양한 서비스를 제공하기 위해 인간과 상호작용 또는 인터페이스할 수 있다. 가정내 보조의 예로서, 원격현전 로봇은 투약 처방의 유지, 이동 보조, 통신 보조(예를 들면, 화상 회의, 원거리 통신, 인터넷 액세스 등), 가정 또는 현장 모니터링(내부 및/또는 외부), 개인 모니터링, 및/또는 개인 응급 응답 시스템(PERS: personal emergency response system)을 포함하나 이에 국한되지 않는, 노인들의 일상 업무를 도와줄 수 있다. 상업적 보조의 경우에, 원격현전 로봇은 (예를 들면, 병원 환경에서) 화상 회의, POS(point of sale) 단말기, 상호작용식 정보/마케팅 단말기 등을 제공할 수 있다.
도 1 내지 도 3b를 참조하면, 몇몇 구현예에 있어서, 원격현전 로봇(100)은 전방 구동 방향(F)을 규정하는 로봇 몸체(또는 섀시)(110)를 포함한다. 로봇(100)은 구동 시스템(200)(도 4d)과, 인터페이싱 모듈(300), 및 센서 시스템(400)을 또한 포함하며, 이들 각각은 로봇 몸체(110)에 의해 지지되며 로봇의 동작 및 이동을 조정하는 제어기(500)(도 5)와 통신 상태에 있다. 전원(105)(예를 들면, 배터리)이 로봇 몸체(110)에 구비될 수 있으며, 이들 구성요소 각각과 전기통신 상태에 있으며 필요에 따라 전력을 공급할 수 있다.
로봇 몸체(110)는 도시된 예에서 베이스(120)와, 베이스(120)로부터 아래쪽으로 연장된 적어도 하나의 다리(130), 및 적어도 하나의 다리(130)에 의해 지지되는 몸통(140)을 포함한다. 베이스(120)는 구동 시스템(200)을 지지할 수 있다. 로봇 몸체(하부)(110)는 몸통(140)에 의해 지지되는 목(150)을 또한 포함한다. 목(150)은 머리(head)(상부)(160)를 지지하며, 머리(160)는 인터페이싱 모듈(300)의 적어도 일부를 지지한다. 베이스(120)는 기계적인 안정성을 유지하기 위한 베이스(120)의 낮은 무게중심(CGB) 및 로봇(100)의 낮은 전체 무게중심(CGR)을 유지하기 위해 {예를 들면, 전원(150)(배터리)을 지지함으로써} 충분한 무게를 갖는다.
도 2 및 도 4a 내지 도 4c를 참조하면, 몇몇 실시예에서 베이스(120)는 3변 대칭 형상(trilaterally symmetric shape)(예를 들면, 평면도 지도에서는 삼각형)을 형성한다. 예를 들면, 베이스(120)는 3변 형상의 베이스(120)(도 4a 참조)의 각각의 다리에 대응하는 제1, 제2, 및 제3의 베이스 몸체부(124a, 124b, 124c)를 갖는 베이스 몸체(124)를 지지하는 베이스 섀시(122)를 포함할 수 있다. 각각의 베이스 몸체부(124a, 124b, 124c)는 물체와의 접촉에 응답하여 베이스 섀시(122)에 대해 독립적으로 이동할 수 있도록 베이스 섀시(122)에 의해 이동 가능하게 지지될 수 있다. 베이스(120)의 3변 대칭 형상은 로봇(100) 주변에서 360° 충돌 검출을 가능케 한다. 각각의 베이스 몸체부(124a, 124b, 124c)는 베이스 섀시(122)에 대해 해당 베이스 몸체부(124a, 124b, 124c)의 이동을 검출하는 관련 접촉 센서{예를 들면, 정전용량형 센서, 리드 스위치(read switch) 등}을 구비할 수 있다.
몇몇 실시예에서, 구동 시스템(200)은 로봇(100)의 전방향 및/또는 홀로노믹 운동 제어를 제공한다. 본 명세서에서 사용되는 "전방향(omni-directional)"이라는 용어는 실질적으로 임의의 평면상 방향으로, 즉 옆으로(측면으로), 전/후, 및 회전운동할 수 있는 능력을 지칭한다. 이들 방향은 본 명세서에서 일반적으로 각각 x, y, 및 θz로 지칭된다. 또한, "홀로노믹(holonomic)"이라는 용어는 용어의 문헌상 사용과 실질적으로 일관된 방식으로 사용되며, 3의 평면 자유도, 즉 2개의 병진운동 및 하나의 회전운동으로 평면 방향에서 이동할 수 있는 능력을 지칭한다. 그래서 홀로노믹 로봇은 실질적으로 임의의 비율의 3개의 평면 속도(측방향, 전/후, 및 회전)로 이루어진 하나의 속도로 평면상 방향으로 이동할 수 있는 능력과 함께, 실질적으로 연속적인 방식으로 이들 비율을 변경할 수 있는 능력을 갖는다.
로봇(100)은 휠에 의한 이동성을 이용하여 인간적인 환경(예를 들면, 두 발을 가진 걷는 점유자를 위해 전형적으로 설계된 환경)에서 동작할 수 있다. 몇몇 실시예에서, 구동 시스템(200)은 수직축(Z)을 중심으로 등간격으로 이격된(예를 들면 120° 이격된) (즉, 3변 대칭의) 제1, 제2, 및 제3의 구동 휠(210a, 210b, 210c)을 포함하나; 다른 배치도 또한 가능하다. 도 4d를 참조하면, 구동 휠(210a, 210b, 210c)은 횡방향의 아치형 구름 표면{즉, 구름 방향(DR)에 횡방향 또는 수직한 방향으로의 곡면 윤곽}을 형성할 수 있으며, 이는 홀로노믹 구동 시스템(200)의 조작성에 도움을 줄 수 있다. 각 구동 휠(210a, 210b, 210c)은 다른 구동 모터(220a, 220b, 220c)에 독립적으로 전진 및/또는 후진 방향으로 구동 휠(210a, 210b, 210c)을 구동할 수 있는 각각의 구동 모터(220a, 220b, 220c)에 결합된다. 각 구동 모터(220a-c)는 각각 인코더(encoder)를 구비할 수 있으며, 인코더는 제어기(500)에 휠 회전 피드백을 제공한다. 몇몇 실시예에서, 각 구동 휠(210a, 210b, 210c)은 정삼각형의 세 꼭지점 각각에 또는 근접하게 장착되며, 각 삼각형 꼭지점의 각(角) 이등분선(angle bisector)에 수직한 구동 방향(전진 및 후진 방향)을 갖는다. 전진 구동 방향(F)에 의한 3변 대칭 홀로노믹 베이스(120)의 구동은, 로봇(100)이 갇힘 또는 혼잡상태로부터 자율적인 탈출을 위해 비전진 구동 방향으로 전이할 수 있게 하며 그리고 나서 탈출이 해소되고 나면 전진 구동 방향(F)을 따라 구동하도록 회전 및/또는 병진운동할 수 있게 한다.
도 4e와 도 4f를 참조하면, 몇몇 실시예에서, 구동 시스템(200)은 평면도 지도로 봤을 때 정사각형 또는 직사각형 형상(예를 들면, Z축으로부터 등간격 이격된)으로 배열된 제1, 제2, 제3, 및 제4의 구동 휠(210a-d)를 포함한다. 구동 시스템(200)은 홀로노믹 방식으로 동작할 수 있으며, 그에 따라 연속동작을 허용한다. 각 구동 휠(210a-d)은 다른 구동 모터(220a-d)에 독립적으로 전진 및/또는 후진 방향으로 구동 휠(210a-d)을 구동할 수 있는 각각의 구동 모터(220a-d)에 결합된다. 각 구동 모터(220a-d)는 각각 인코더를 구비할 수 있으며, 인코더는 제어기(500)에 휠 회전 피드백을 제공한다. 베이스 섀시(122)는 구동 모터(220a-d)와, 대응하여 결합된 구동 휠(210a-d)을 지지한다.
도 2에 예시된 바와 같은 몇몇 실시예에서, 제1의 구동 휠(210a)은 전진 구동 방향(F)을 따라서 선단(leading) 구동 휠로 배치되고, 나머지 2개의 구동 휠(210b, 210c)은 뒤따르게 된다. 이러한 배치에서, 전진 구동하기 위해, 제어기(500)는 제1의 구동 휠(210a)이 전진 구동 방향(F)을 따라 미끄러지는 동안에 제2 및 제3의 구동 휠(210b, 210c)은 동일 속도로 전진 구름 방향으로 구동하게 하는 구동 명령을 발할 수 있다. 또한, 이러한 구동 휠 배치는 로봇(100)이 갑자기 멈춰설 수 있게 한다{예를 들면, 전진 구동 방향(F)과 반대로 급속한 음의 가속도(negative acceleration)을 발생시킨다}. 이는 3개의 휠을 갖는 설계의 자연스런 동적 불안정성에 기인한다. 만약 전진 구동 방향(F)이 2개의 전진 구동 휠 사이의 각의 이등분선을 따라서 이루어졌다면, 갑작스런 멈춤은 로봇(100)을 넘어뜨려서는 그 2개의 "전방" 휠에 대해 선회하게 하는 토크를 발생했을 것이다. 대신에, 갑작스럽게 멈춰서야 할 필요가 있는 경우에, 하나의 구동 휠(210a)에 의한 전진 이동은 자연스럽게 로봇(100)을 지지하거나 또는 앞쪽으로 넘어지는 것을 방지한다. 하지만, 정지 상태로부터 가속할 때는, 제어기(500)가 그 전체적인 무게중심(CGR)으로부터 로봇(100)의 관성 모멘트(I)를 고려할 수 있다.
구동 시스템(200)의 몇몇 실시예에서, 각 구동 휠(210a, 210b, 210)은 로봇(100)의 X 및 Y축에 직교하는 수직축(Z)을 중심으로 반경방향으로 정렬된 구름 방향(rolling direction: DR)을 갖는다. 제1의 구동 휠(210a)은 전진 구동 방향(F)을 따라서 선단 구동 휠로 배치될 수 있으며, 나머지 2개의 구동 휠(210b, 10c)은 뒤따르게 된다. 이러한 배치에서, 전진 구동하기 위해, 제어기(500)는 제1의 구동 휠(210a)이 전진 구름 방향으로 구동되게 하고 제2 및 제3의 구동 휠(210b, 210c)은 제1의 구동 휠(210a)과 동일 속도이지만 반대 방향으로 구동되게 하는 구동 명령을 발할 수 있다.
다른 구현예에서, 구동 시스템(200)은 2개의 구동 휠(210a, 210b) 사이의 각의 각 이등분선이 로봇(100)의 전진 구동 방향(F)과 정렬되도록 제1 및 제2의 구동 휠(210a, 210b)이 위치되게 배치될 수 있다. 이러한 배치에서, 전진 구동하기 위해, 제어기(500)는 제1 및 제2의 구동 휠(210a, 210b)이 전진 구름 방향으로 및 동일 속도로 구동되게 하는 한편, 제3의 구동 휠(210c)이 반대 방향으로 구동되거나 또는 아이들 상태로 유지되어 제1 및 제2의 구동 휠(210a, 210b) 뒤에서 끌려가도록 하는 구동 명령을 발할 수 있다. 전진 구동하면서 좌측 또는 우측으로 회전하기 위해, 제어기(500)는 해당하는 제1 또는 제2의 구동 휠(210a, 210b)이 상대적으로 더 신속한/더 느린 속도로 구동되게 하는 명령을 발할 수 있다. 다른 구동 시스템 배치도 또한 이용될 수 있다. 구동 휠(210a, 210b, 210c)은 원통형, 원형, 타원형, 또는 다각형 윤곽을 형성할 수 있다.
다시 도 1 내지 도 3b를 참조하면, 베이스(120)는 이 베이스(120)로부터 Z 방향으로 위쪽으로 연장된 적어도 하나의 다리(130)를 지지한다. 다리(130)는 베이스(120)에 대해 몸통(140)을 승강시키기 위해 가변 높이를 갖도록 구성될 수 있다. 몇몇 실시예에서, 각각의 다리(130)는 서로에 대해 이동하는(예를 들면, 텔레스코픽, 선형, 및/또는 각 이동으로) 제1 및 제2의 다리부(132, 134)를 포함한다. 서로에 대해서 및 상대적으로 더 큰 베이스 사출부로부터 텔레스코픽 방식으로 (포개어지게) 이동하는 점점 더 작은 직경의 사출부를 갖는 대신에, 제2의 다리부(134)는 도시된 예에서 제1의 다리부(132)의 위로 텔레시코픽 방식으로 (포개어지게) 이동하며, 그에 따라 다른 구성요소가 제2의 다리부(134)를 따라 배치될 수 있게 하며 잠재적으로는 제2의 다리부(134)와 함께 베이스(120)에 비교적 가까운 근접위치까지 이동할 수 있게 한다. 다리(130)는 제1의 다리부(132)에 대해 제2의 다리부를 이동시키기 위한 액추에이터 조립체를 포함할 수 있다. 액추에이터 조립체(136)는 제어기에 위치 피드백을 제공하는 인코더 및 리프트 모터와 통신 상태에 있는 모터 구동기를 포함할 수 있다.
일반적으로, 텔레스코픽 배치는 다리(130) 전체의 무게중심(CGL)을 가능한 한 낮게 유지하기 위해 베이스(120)에서 비교적 더 큰 사출부로부터 위로 텔레스코픽 방식으로 (포개어지게) 이동하는 점점 더 작은 직경의 사출부를 포함한다. 또한, 다리(130)가 완전히 펼쳐졌을 때, 베이스(120)에서 겪게되는 더 큰 토크를 감당하기 위해 바닥에는 더 강한 및/또는 더 큰 구성 요소가 배치될 수 있다. 하지만, 이러한 방법은 두 가지 문제를 초래한다. 첫 번째로, 상대적으로 더 작은 구성요소가 다리(130)의 상단부에 배치되게 되면, 빗물, 먼지, 또는 다른 입자가 아래로 사출부로 구르거나 떨어져서는, 사출부 사이의 공간으로 들어가며, 그에 따라 사출부의 포개어짐을 방해하게 된다. 이는 다리(130)의 온전한 이동성/관절 운동성을 여전히 유지하기에는 매우 난감한 밀봉 문제를 발생시킨다. 두 번째로, 로봇(100)에는 유상하중(payload) 또는 액세서리를 장착하는 것이 바람직할 수 있다. 액세서리를 장착하는 하나의 흔한 장소는 몸통(140)의 상단부이다. 제2의 다리부(134)가 제1의 다리부에 대해 텔레스코픽 방식으로 이동하게 되면, 액세서리와 구성요소는 이들이 몸통(140)과 함께 이동될 필요가 있는 경우에는 제2의 다리부(134) 전체보다 더 위에만 장착될 수 있게 된다. 그렇지 않으면, 제2의 다리부(134)에 장착된 임의의 구성요소는 다리(130)의 텔리스코픽 이동을 제한하게 된다.
제2의 다리부(134)를 제1의 다리부(132)의 위로 텔레스코픽 방식으로 이동하게 함으로써, 제2의 다리부(134)는 베이스(120)에 대해 수직으로 이동할 수 있는 추가적인 유상하중 부착 지점을 제공하게 된다. 이러한 유형의 배치는 물 또는 공기중의 입자가 몸통(140)을 따라 흘러내려서는 다리부(132, 134) 사이의 공간으로 들어가는 일 없이 각 다리부(132, 134) 외부로 흐르게 한다. 이는 다리(130)의 임의의 조인트의 밀봉을 크게 단순화시킨다. 또한, 몸통(140) 및/또는 제2의 다리부(134)의 유상하중/액세서리 장착 특징부는 항상 노출되며, 다리(130)가 어떻게 펼쳐지든지 간에 이용 가능하게 된다.
도 2를 참조하면, 다리(130)는 몸통(140)을 지지하며, 몸통은 베이스(120)의 위로 연장되는 어깨(soulder: 142)를 구비할 수 있다. 도시된 예에서, 몸통(140)은 어깨(142)의 적어도 일부를 형성하는 (예를 들면, 베이스 쪽으로의) 하향 또는 바닥 표면(144)과 반대의 상향 또는 상부 표면(146)(도 3a 참조)을 가지며, 그 사이에 측면 표면(148)이 연장된다. 몸통(140)은 다리(들)(130)에 의해 지지되는 중앙부(141) 및 다리(들)(130)의 측방향 경계 너머로 측방향으로 연장되며, 그에 따라 하향 표면(144)을 형성하는 돌출부(overhanging portion)를 제공하게 되는 주변 자유부(peripheral free portion: 143)를 갖는 원형 또는 타원형 형태와 같이 다양한 형상 또는 기하학적 구조를 가질 수 있다. 몇몇 예에서, 몸통(140)은 어깨를 한정하는 다각형 또는 다른 복합 형상을 한정하며, 어깨는 베이스(120)의 위로 다리(들)(130) 너머로 연장되는 돌출부를 제공한다.
로봇(100)은 유상하중을 수용하기 위한 하나 이상의 액세서리 포트(170)(예를 들면, 기계적인 및/또는 전기적인 접속 지점)를 포함할 수 있다. 액세서리 포트(170)는, 수용된 유상하중이 센서 시스템(400)의 센서들을 방해하거나 가리지 않도록 {예를 들면, 몸통(140)의 바닥 및/또는 상부 표면(144, 146) 등에} 배치될 수 있다.
몸통(140)의 외부 표면은 사용자로부터 터치식 명령을 수신할 수 있도록 사용자에 의한 접촉 또는 터치에 민감할 수 있다. 예를 들면, 사용자가 몸통(140)의 상부 표면(146)을 터치하게 되면, 로봇(100)은 {예를 들면, 몸통(140)을 지지하는 다리(130)의 높이를 낮춤으로써} 바닥에 대해 몸통의 높이를 낮추도록 반응한다. 유사하게, 사용자가 몸통(140)의 바닥 표면(144)을 터치하게 되면, 로봇(100)은 {예를 들면, 몸통(140)을 지지하는 다리(130)의 높이를 높임으로써} 바닥에 대해 몸통(140)의 높이를 높이도록 반응한다. 또한, 몸통(140)의 측면 표면(들)(148)의 전방, 후방, 좌측 또는 우측에 대한 사용자의 터치에 따라, 로봇(100)은 수신된 터치 명령(예를 들면, 각각 후진, 전진, 좌측, 및 우측)의 대응 방향으로 이동하도록 반응한다. 몸통(140)의 외부 표면(들)은 사용자의 접촉을 검출하는 제어기와 통신 상태에 있는 정전용량형 센서(capacitive sensor)를 포함할 수 있다.
다시 도 1 내지 도 3b를 참조하면, 몸통(140)은 목(150)을 지지하며, 목(150)은 몸통(140)에 대해 머리(160)의 패닝(panning) 및 틸팅(tilting)을 제공한다. 도시된 예에서, 목(150)은 로테이터(152)와 틸터(tilter: 154)를 포함한다. 로테이터(152)는 약 90°와 약 360°사이의 소정 범위의 (예를 들면, Z축을 중심으로) 각 이동(angular movement: θR)을 제공할 수 있다. 다른 범위도 물론 가능하다. 또한 몇몇 실시예에서, 로테이터(152)는 머리(160)와 로봇(100)의 나머지 부분 사이의 전기 통신을 유지하면서 무제한적인 횟수의 회전으로 몸통(140)에 대해 머리(160)의 연속적인 360°회전을 가능케 하는 전기 커넥터 또는 접점을 포함한다. 틸터(154)는 머리(160)와 로봇(100)의 나머지 부분 사이의 전기 통신을 유지하면서 몸통(140)에 대해 머리(160)의 회전을 가능케 하는 유사한 전기 커넥터 또는 접점을 포함할 수 있다. 로테이터(152)는 링{예를 들면, 치형 링 랙(toothed ring rack)}에 결합되거나 또는 계합되는 로테이터 모터를 포함할 수 있다. 틸터(154)는 로터(152)에 독립적으로 몸통(140)에 대해 (예를 들면, Y축을 중심으로) 소정의 각도(θT)로 머리를 이동시킬 수 있다. 몇몇 예에서, 틸터(154)는 틸터 모터를 포함하며, 틸터 모터는 Z축에 대해 ±90°의 각도(θT)의 사이에서 머리(160)를 이동시킨다. ±45° 등과 같은 다른 범위도 또한 가능하다. 로봇(100)은 이 로봇(100)의 안정된 이동성을 유지시키기 위해 다리(들)(130)와, 몸통(140)과, 목(150), 및 머리(160)가 베이스(120)의 주변경계 내에서 유지되도록 구성될 수 있다.
머리(160)는 사용자로부터 터치식 명령을 수신할 수 있도록 사용자에 의한 접촉 또는 터치에 민감할 수 있다. 예를 들어, 사용자가 머리(160)를 전방쪽으로 당기면, 헤드(160)는 소극적 저항(passive resistance)으로 전방쪽으로 틸팅되며 그리고 나서 그 위치를 유지하게 된다. 또한, 사용자가 머리(160)를 수직으로 아래쪽으로 밀면/당기면, 몸통(140)은 {다리(130)의 길이를 줄임을 통해서} 머리(160)를 낮출 수 있다. 머리(160) 및/또는 목(150)은 사용자의 접촉 또는 조작을 감지하는 접촉 센서(165) 및/또는 스트레인 게이지(strain gauge)를 포함할 수 있다.
몇몇 구현예에서, 머리(160)는 인터페이싱 모듈(300)의 하나 이상의 부분을 지지한다. 머리(160)는 웹 패드(web pad) 또는 태블릿 PC라고도 불리며 각각 터치 스크린(312)을 가질 수 있는 하나 이상의 컴퓨팅 태블릿(310)을 착탈 가능하게 수용하는 독(dock: 302)을 포함할 수 있다. 웹 패드(310)는 전방, 후방 또는 위쪽으로 향할 수 있다. 몇몇 구현예에서, 웹 패드(310)는 터치 스크린, 선택적인 I/O(예를 들면, 마이크로 USB 등과 같은 커넥터 및/또는 버튼), 프로세서, 및 프로세서와 통신 상태에 있는 메모리를 포함한다. 예시적인 웹 패드(310)는 애플사(Apple Inc.)의 애플 아이패드를 포함한다. 몇몇 예에서, 웹 패드(310)는 로봇(100)을 제어함에 있어서 제어기(500)로 기능하거나 또는 제어기(500)를 보조한다. 터치 스크린은 사용자 입력을 수신하고 터치 상호작용식인 그래픽 사용자 인터페이스(GUI)를 제공하기 위해 사용자의 터치 지점을 검출, 모니터링, 및/또는 재생할 수 있다. 몇몇 예에서, 웹 패드(310)는 사용자로 하여금 언제 웹 패드가 로봇(100)으로부터 제거되었는지를 알 수 있게 하는 터치 스크린 호출기(caller)를 포함한다.
인터페이싱 모듈(300)은 머리(160)에 배치된 카메라(320)를 포함할 수 있으며(예를 들어, 도 3a 참조), 카메라(320)는 머리(160)의 높은 관망 지점(elevated vantage point)으로부터 비디오를 캡쳐하는데 사용될 수 있다(예를 들면, 화상 회의), 도 2에 도시된 예에서, 카메라(320)는 목(150)에 배치된다. 몇몇 예에서, 카메라(320)는 웹 패드(310)가 머리(160)로부터 분리되거나 또는 도킹 분리될 때에만 작동된다. 웹 패드(310)가 머리(160)에 독(302) 내에 부착되거나 또는 도킹{및 선태적으로 카메라(320)를 덮을}될 때는, 로봇(100)은 비디오를 캡쳐하기 위해 웹 패드(310)의 카메라를 사용할 수 있다. 이러한 경우에, 카메라(320)는 도킹된 웹 패드(310)의 뒤에 배치될 수 있으며, 웹 패드(310)가 머리(160)로부터 분리 또는 도킹 해제될 때 활성 상태(active state)에 들어가고, 웹 패드(310)가 머리(160)에 부착 또는 도킹될 때에 비활성(inactive) 상태로 들어갈 수 있다.
로봇(100)은 인터페이싱 모듈(300)을 통하여{예를 들면, 웹 패드(310), 카메라(320), 마이크로폰(330), 및/또는 스피커(340)를 사용하여} 화상 회의(예를 들면, 24 fps 이상)를 제공할 수 있다. 화상 회의는 다자간에 이루어질 수 있다. 로봇(100)은 머리(160)가 사용자의 얼굴과 마주하도록 조작함으로써 화상 회의의 양자(兩者)간에 시선을 맞추게 할 수 있다. 또한 로봇(100)은 5°미만의 응시 각도(gaze angle)을 가질 수 있다{예를 들면, 머리(160)의 전방쪽 면에 수직한 축으로부터의 각도}. 로봇(100) 상의 적어도 하나의 3차원 이미지 센서(450) 및/또는 카메라(320)는 보디 랭귀지를 포함하여 실물 크기의 이미지를 캡쳐할 수 있다. 제어기(500)는 오디오와 비디오를 {예를 들면, 50 ms 미만의 차(差)로} 동기화할 수 있다. 카메라(320)는 웹 패드(310)로부터 떨어져서 적어도 1°의 자유도 내에서 이동 가능하다. 머리(160)는 화상 회의를 디스플레이하는 웹 패드(310) 근처에서 머리(160)로부터 사운드를 발하도록 하나 이상의 스피커(340)를 포함할 수 있다.
인터페이싱 모듈(300)은 사운드 입력을 수신하기 위한 마이크로폰(330)(또는 마이크로폰 어레이)과, 사운드 출력을 제공하기 위해 로봇 몸체(110)에 배치된 하나 이상의 스피커(340)를 포함할 수 있다.
도 1 내지 도 3c를 참조하면, 신뢰적이며 확실한 자율 이동(autonomous movement)을 달성하기 위해, 센서 시스템(400)은, 로봇(100)이 그 로봇 환경에서 취하게 되는 동작에 대해 지능형 결정(intelligent decision)을 내리기에 충분한 로봇 환경의 인식(perception)을 생성할 수 있도록 서로 연계되어 사용될 수 있는 여러가지 다른 유형의 센서를 포함할 수 있다. 센서 시스템(400)은 로봇 몸체(110)에 의해 지지되는 하나 이상의 유형의 센서를 포함할 수 있으며, 이는 장애물 검출 장애물 회피(ODOA: obstacle detection obstacle avoidance) 센서, 통신 센서, 운행 센서 등을 포함할 수 있다. 예를 들면, 이들 센서는 근접 센서, 접촉 센서, 3차원 이미징/깊이 지도 센서, 카메라(예를 들면, 가시광선 및/또는 적외선 카메라), 소나(sonar), 레이더, 원거리 목표물의 리 및/또는 다른 정보를 파악하기 위해 산란광의 특성을 측정하는 광학 원격 감지를 수반할 수 있는 라이다(LIDAR: light detection and ranging), 레이더(LADAR:Laser Detection and Ranging) 등을 포함하나 이에 국한되지 않는다. 몇몇 구현예에서, 센서 시스템(400)은 거리측정 소나 센서(410){예를 들면, 베이스(120)의 둘레를 따라서 9개}, 근접 클리프 검출기(420), 접촉 센서(430)(도 4a), 레이저 스캐너(440), 하나 이상의 3차원 이미징/깊이 센서(450), 및 이미징 소나(460)를 포함한다.
몇몇 구현예에서, 센서 시스템(400)은 임의의 근처의 또는 침투성 장애물을 검출하기 위해 제어기(500)와 통신 상태에 있으며 로봇(100)의 하나 이상의 구역 또는 부분에 배열된{예를 들면, 로봇 몸체(110)의 베이스 몸체부(124a, 124b, 124c)에 또는 그 근처에 배치된} 근접 센서(410, 420)의 세트 또는 어레이를 포함한다. 근접 센서(410, 420)는, 물체가 로봇(100)의 소정 범위 내에 있을 때 제어기(500)에 신호를 제공하는 수렴형 적외선(IR) 방사체-센서 요소, 소나 센서, 초음파 센서, 및/또는 이미지 센서(예를 들면, 3D 깊이 지도 이미지 센서)를 포함할 수 있다.
도 4a 내지 도 4c에 도시된 예에서, 로봇(100)은 몸체(120)의 베이스(124) 둘레에 (예를 들면, 실질적으로 등간격으로) 배치되며 상향 시계(upward field of view)로 배열된 소나 유형의 근접 센서(410)의 어레이를 포함한다. 제1, 제2, 및 제3의 소나 근접 센서(410a, 410b, 410c)는 제1의 (전방) 베이스 몸체부(124a)에 또는 그 근처에 배치되고, 이들 소나 근접 센서들 중 적어도 하나는 몸체(120)의 제1의 베이스(124a)의 반경방향 최외측 가장자리(125a)에 가까이 있다. 제4, 제5, 및 제6의 소나 근접 센서(410d, 410e, 410f)는 제2의 (우측) 베이스 몸체부(124b)에 또는 그 근처에 배치되고, 이들 소나 근접 센서들 중 적어도 하나는 몸체(120)의 제2의 베이스(124b)의 반경방향 최외측 가장자리(125b)에 가까이 있다. 제7, 제8, 및 제9의 소나 근접 센서(410g, 410h, 410i)는 제3의 (좌측) 베이스 몸체부(124c)에 또는 그 근처에 배치되고, 이들 소나 근접 센서들 중 적어도 하나는 몸체(120)의 제3의 베이스(124c)의 반경방향 최외측 가장자리(125c)에 가까이 있다. 이러한 구성은 적어도 3개의 검출 구역을 제공한다.
몇몇 예에서, 몸체(120)의 베이스(124) 둘레에 배치된 소나 근접 센서(410)의 집합(예를 들면, 410a-410i)은 위쪽으로(예를 들어, 실질적으로 Z 방향으로) 향하고 또한 선택적으로 Z축으로부터 외측으로 각지게 배치됨으로써, 로봇(100)의 둘레에 검출 커튼(412)을 생성한다. 각각의 소나 근접 센서(410a-410i)는 소나 방사를 위쪽으로 또는 적어도 로봇 몸체(110)의 다른 부분 쪽으로는 향하지 않게 유도하는{예를 들면, 그 자신에 대해 로봇 몸체(110)의 이동을 검출하지는 않도록} 가리개 또는 방사 가이드(414)를 구비할 수 있다. 방사 가이드(414)는 쉘(shell) 또는 쉘 절반부의 형상을 형성할 수 있다. 도시된 예에서, 몸체(120)의 베이스(124)는 다리(130) 너머로 측방향으로 연장되며, 소나 근접 센서(410)(예를 들면, 410a-410i)는 다리(130)의 둘레를 따라(예를 들면, 실질적으로 몸체(120)의 베이스(124)의 둘레를 따라) 몸체(120)의 베이스(124)에 배치된다. 또한 위쪽으로 향하는 소나 근접 센서(410)는 다리(130)의 둘레를 따라 연속적인 또는 실질적으로 연속적인 소나 검출 커튼(412)을 형성할 수 있도록 이격된다. 소나 검출 커튼(412)은 테이블 상부면, 선반 등과 같이 높은 위치의 측방향으로 돌출한 부분을 갖는 장애물을 검출하는데 사용될 수 있다.
위쪽으로 보는 소나 근접 센서(410)는 테이블 상부면과 같이 주로 수평 평면으로 있는 물체를 보는 능력을 제공한다. 이들 물체는 그 종횡비(aspect ratio)로 인해 레이저 스캐너(440) 또는 이미징 센서(450)와 같은 센서 시스템의 다른 센서에 의해서는 놓칠 수 있으며, 이는 로봇(100)에 문제를 초래할 수 있다. 베이스(120)의 둘레를 따라 배열된 위쪽으로 보는 소나 근접 센서(410)는 이러한 유형의 물체/장애물을 보거나 검출하는 수단을 제공한다. 또한, 소나 근접 센서(410)는 로봇(100)의 몸통(140) 또는 머리(160)에 의해 가려지거나 방해되지 않도록, 그래서 로봇(100) 그 자체의 부분을 감지하는 거짓 긍정(flase positive)을 초래하지 않도록, 베이스 둘레의 가장 넓은 지점의 둘레에 약간 외측으로 기울어지게 배치될 수 있다. 몇몇 구현예에서, 소나 근접 센서(410)는 이 소나 근접 센서(410)의 시계(視界) 외부에 몸통(140) 정도의 부피를 남겨두고 그에 따라 바스킷(360)과 같은 장착된 유상하중 또는 액세서리를 자유롭게 수용하도록 (위쪽으로 및 외측으로) 배치된다. 소나 근접 센서(410)는 가시적인 은폐(visual concealment)를 제공하고 어떠한 외부 특징부도 장애물에 걸리거나 부딪히지 않도록 베이스 몸체(124) 안으로 함몰될 수 있다.
센서 시스템(400)은 후진시에 장애물을 검출하기 위해 (예를 들면, 전방 구동 방향(F)에 반대의) 후방쪽으로 향하는 하나 이상의 소나 근접 센서(410)(예를 들면, 후방 근접 센서(410j))를 포함할 수 있다. 후방 소나 근접 센서(410j)는 그 소나 검출계(detection field)(412)를 안내하기 위해 방사 가이드(414)를 포함할 수 있다. 또한, 후방 소나 근접 센서(410j)는 로봇(100)과 후방 소나 근접 센서(410j)의 시계 내의 검출된 물체 사이의 거리를 결정하기 위해(예를 들면, "후진" 경보로서) 거리측정에 사용될 수 있다. 몇몇 예에서, 후방 소나 근접 센서(410j)는 하우징 형태에 어떠한 가시적인 또는 기능적인 불규칙성도 제공하지 않도록 몸체(120)의 베이스(124) 내에 함몰되게 장착된다.
도 2와 도 4b를 참조하면, 몇몇 구현예에서, 로봇(100)은 구동 휠(210a, 210b, 210c)이 절벽(예를 들면, 계단)에 맞닥뜨리기 전에 절벽 검출이 가능하도록 구동 휠(210a, 210b, 210c) 근처에 또는 그 주위에 배열된 절벽 근접 센서(420)를 포함한다. 예를 들면, 절벽 근접 센서(420)는 베이스 몸체(124a-c)의 반경방향 최외측 가장자리(125a-c)의 각각에 또는 그 근처에 및 그 사이의 지점에 배치될 수 있다. 몇몇 경우에, 절벽 감지는 바닥이 예상되는 지점에서 적외선(IR) 근접 또는 실제 거리측정 감지를 사용하여, 중첩되는 방사계(emission field) 및 검출계를 가지며 그에 따라 검출 구역을 갖도록 서로를 향해 소정 각도를 갖는 적외선 방사체(422)와 적외선 검출기(424)를 사용하여 구현된다. IR 근접 감지는 비교적 좁은 시계를 가질 수 있으며, 신뢰성을 위해 표면 알베도(albedo)에 의존하며, 표면마다 변하는 거리측정 정확도를 가질 수 있다. 그 결과, 로봇(100) 상의 복수의 지점으로부터 절벽을 적절히 검출하기 위해, 복수의 개별 센서가 로봇(100)의 둘레를 따라 배치될 수 있다. 또한, IR 근접 기반의 센서는 전형적으로 로봇(100)이 문지방을 오르고 난 직후와 같이 절벽과 안전한 이벤트 사이를 구분할 수 없다.
절벽 근접 센서(420)는 로봇(100)이 일단(一團)의 계단에 맞닥뜨렸을 때와 같이, 바닥의 하강 모서리(falling edge)에 맞닥뜨렸을 때를 검출할 수 있다. (제어 시스템을 실행하는) 제어기(500)는 모서리가 검출되었을 때 로봇(100)이 그 이동 방향을 변경하는 것과 같이 동작(조치)을 취하게 하는 거동을 실행할 수 있다. 몇몇 구현예에서, 센서 시스템(400)은 하나 이상의 제2의 절벽 센서(예를 들면, 절벽 감지 및 선택적으로 다른 유형의 감지 용도로 구성된 다른 센서)를 포함한다. 절벽 검출 근접 센서(420)는 절벽의 조기 검출을 제공하고, 실제 절벽과 (문지방을 넘는 것과 같이) 안전한 이벤트 사이를 구별하는 데이터를 제공하며, 그 시계가 로봇 몸체(110)로부터 떨어진 영역 및 로봇 몸체(110)의 적어도 일부를 포함하도록 위치되게 배열될 수 있다. 몇몇 구현예에서, 제어기(500)는 지지 작업 표면(예를 들면, 바닥)의 가장자리, 작업 표면의 가장자리를 통과하고 나서의 거리의 증가, 및/또는 로봇 몸체(110)와 작업 표면사이의 거리의 증가를 식별 및 검출하는 절벽 검출 루틴을 실행한다. 이러한 구현은 다음의 것을 가능케 한다: 1) 잠재적인 절벽의 조기 검출(이는 미지의 환경에서는 더 신속한 이동 속도를 가능케 함); 2) 제어기(500)가 절벽 이벤트가 진정으로 안전하지 않은지 또는 (예를 들면, 문지방을 올라서 넘는 것과 같이) 안전하게 건널 수 있는지를 알 수 있도록 절벽 검출 근접 센서(420)로부터 절벽 이미징 정보를 수신하게 됨으로 인한 자율 이동성의 신뢰성의 증가; 3) (예를 들면, 가장자리 검출 대(versus) 좁은 시계를 갖는 복수의 개별 IR 근접 센서의 사용으로 인한) 절벽의 거짓 긍정의 감소. "휠 드롭(wheel drop)" 센서로서 배열된 추가적인 센서가 중복용(redundancy)으로 및 거리측정 카메라가 소정 유형의 절벽을 신뢰성있게 검출할 수 없는 상황을 검출하기 위해 사용될 수 있다.
문지방 및 계단 검출은 로봇(100)이 오를 수 있는 문지방을 건너거나 또는 너무 높은 계단을 회피하는 것을 효과적으로 계획할 수 있게 한다. 이는 로봇(100)이 안전하게 건널 수 있거나 건널 수 없는 작업 표면상의 임의의 물체에 대해서도 동일하게 적용될 수 있다. 로봇(100)이 오를 수 있다고 판단하는 그러한 장애물 또는 문지방의 경우에, 그 높이를 아는 것은 로봇(100)이 필요하다고 판단되는 경우에 적절히 속도를 낮출 수 있게 하며, 급가속으로 인한 불안정성을 최소화하고 원활함을 극대화할 수 있도록 원활한 전이를 가능게 한다. 몇몇 구현예에서, 문지방 및 계단 검출은 기하학적 구조의 인식와 함께 작업 표면 위의 물체의 높이를 기초로 한다(예를 들면, 문지방 또는 전기 케이블과 양말과 같은 작은 물체 사이의 구분). 문지방은 가장자리 검출에 의해서 인식될 수 있다. 제어기(500)는 절벽 검출 근접 센서(420)로부터 이미징 데이터를 수신하고, 가장자리 검출 루틴을 실행하며, 가장자리 검출 루틴의 결과에 기초하여 구동 명령을 발할 수 있다. 제어기(500)는 물체를 식별하기 위해 패턴 인식도 또한 사용할 수 있다. 문지방 검출은 원활한 계단 오름 능력을 극대화하기 위해 로봇(100)이 문지방에 대한 그 배향(背向)을 변경할 수 있게 한다.
근접 센서(410, 420)는 단독으로 기능할 수도 있고, 또는 이와 달리, 중복용도로 하나 이상의 접촉 센서(430)(예를 들면, 충돌 스위치)와 조합되어 기능할 수도 있다. 예를 들면, 로봇 몸체(110)에 있는 하나 이상의 접촉 또는 충돌 센서(430)는 로봇(100)이 물리적으로 장애물에 맞닥뜨렸는지를 검출할 수 있다. 이러한 센서는 언제 장애물에 맞닥뜨렸는지를 판단하기 위해 로봇(100) 내의 물리적인 변위 또는 커패시턴스와 같은 물리적 특성을 이용할 수 있다. 몇몇 구현예에서, 베이스(120)의 각 베이스 몸체부(124a, 124b, 124c)는 베이스 섀시(122)(예를 들면, 도 4a 참조)에 대해 해당 베이스 몸체부(124a, 124b, 124c)의 이동을 검출하는 관련 접촉 센서(430)(예를 들면, 정전용량형 센서, 리드 스위치 등)를 갖는다. 예를 들면, 몸체(120-c)의 각 베이스(124a)는 3방향 충돌 검출을 제공할 수 있도록 베이스 섀시(122)의 Z축에 대해 반경방향으로 이동할 수 있다.
다시 도 1 내지 도 4c를 참조하면, 몇몇 구현예에서, 센서 시스템(400)은 로봇 몸체(110)의 전방 부분에 장착되며 제어기(500)와 통신 상태에 있는 레이저 스캐너(440)를 포함한다. 도시된 예에서, 레이저 스캐너(440)는 (예를 들면, 로봇의 구동 방향(F)을 따라 최대의 이미징 범위를 갖도록) 몸체(120)의 제1의 베이스(124a)에 또는 그 위에서 전방을 향하게 몸체(120)의 베이스(124)에 장착된다. 또한, 삼각형 베이스(120)의 전방 첨단부에 또는 그 근처에의 레이저 스캐너의 배치는 로봇 베이스의 외부 각도(예를 들면, 300°)가 레이저 스캐너(440)의 시계(442)(예를 들면, ~285°)보다 더 크며, 그에 따라 베이스(120)가 레이저 스캐너(440)의 검출 시계(442)를 가리거나 방해하는 것을 방지함을 의미한다. 레이저 스캐너(440)는 레이저 스캐너의 임의의 부분이 (예를 들면, 미적 관점에서 및 장애물에 걸리는 것을 최소화하기 위해) 베이스 몸체(124) 너머로 튀어나오는 것을 최소화할 수 있도록, 그 시계를 가리는 일 없이 가능한 한 깊이 베이스 몸체(124) 내에 함몰되어 장착될 수 있다.
레이저 스캐너(440)는 레이저 스캐너(440)로부터 수신된 신호를 이용하여 로봇(100) 및 제어기(500)의 주변의 영역을 스캔하며, 스캐닝된 영역의 물체의 지도 또는 주변환경 지도를 생성한다. 제어기(500)는 운행, 장애물 검출, 및 장애물 회피를 위해 물체의 지도를 사용할 수 있다. 또한, 제어기(500)는 물체의 지도를 생성하기 위해서 및/또는 운행을 위해 센서 시스템(400)의 다른 센서들로부터 감각 입력을 이용할 수 있다.
몇몇 예에서, 레이저 스캐너(440)는 스캐닝 LIDAR이며, 이는 하나의 영역을 1차원적으로 "주" 스캔 라인으로 신속하게 스캔하는 레이저와, 위상차(phase difference) 또는 라인에 생성된 각 픽셀에 깊이(depth)를 할당하는 다른 기법(스캐닝 평면에서 2차원적 깊이 라인을 반송함)을 사용하는 TOF(time of flight) 이미징 요소를 사용할 수 있다. 3차원 지도를 생성하기 위해, LIDAR는 (예를 들면, 스캐너를 "기울임"으로써) 제2의 방향으로 "보조" 스캔을 행할 수 있다. 이러한 기계적인 스캐닝 기법은 보충되는 경우가 아니라면, "플래시" LIDAR/LADAR 및 "스위스 레인저(Swiss Ranger)" 유형의 초점 평면 이미징 요소 센서와 같은 기술, (인코딩된 발광체 또는 발광 레이저에 의해) 각 픽셀에 깊이를 제공하기 위해, 또는 심지어는 각 픽셀에 일련의 깊이를 제공하기 위해 픽셀의 전체적인 2차원 매트릭스를 위한 TOF 계산을 허용하기 위해 반도체 적층을 사용하는 기법에 의해 보완될 수 있다.
센서 시스템(400)은 제어기(500)와 통신 상태에 있는 하나 이상의 3차원 이미지 센서(450)를 포함할 수 있다. 3차원 이미지 센서(450)가 제한된 시계를 갖는 경우에, 제어기(500) 또는 센서 시스템(400)은 확실한 장애물 검출/장애물 회피(ODOA)를 행하기 위해 상대적으로 더 넓은 시계를 생성하기 위해 병치(倂置) 스캐닝 방식으로 3차원 이미지 센서(450a)를 작동시킬 수 있다. 도 1 내지 도 3b를 참조하면, 몇몇 구현예에서, 로봇(100)은 (예를 들면, 로봇의 구동 방향(F)을 따라서 최대의 이미징 범위를 갖도록) 시계가 전진 구동 방향(F)을 따라서 이루어지는 상태로, 로봇 몸체(110)의 전방 부분에 장착된 스캐닝 3차원 이미지 센서(450a)를 포함한다. 스캐닝 3차원 이미지 센서(450a)는 일차적으로 ODOA 용으로 사용될 수 있다. 도시된 예에서, 스캐닝 3차원 이미지 센서(450a)는 예를 들면, 사용자가 스캐닝 3차원 이미지 센서(450a)에 접촉하는 것을 방지하기 위해 도 2에 도시된 바와 같이, 어깨(142)의 아래에서 몸통(140)에 또는 바닥 표면(144) 상에서 몸통(140) 내에 함몰되게 장착된다(예를 들면, 바닥 표면(144)에 동일 높이로 또는 그 너머로). 스캐닝 3차원 이미지 센서(450)는 (예를 들면, 베이스(120) 또는 로봇 몸체(110)의 다른 부분에 의한 방해에 의한) ODOA를 위해 로봇(100)의 전방에서 하향 시계(452)를 갖도록 로봇 몸체(110)로부터 실질적으로 아래쪽으로 그리고 이로부터 멀어지게 향하도록 배치될 수 있다. 몸통(140)의 전방 가장자리에 또는 그 근처에의 스캐닝 3차원 이미지 센서(450a)의 배치는 3차원 이미지 센서(450)의 시계(예를 들면, ~285°)가 3차원 이미지 센서(450)에 대한 몸통(140)의 외부 표면 각도(예를 들면, 300°)보다 더 작을 수 있게 하며, 그에 따라 몸통(140)이 스캐닝 3차원 이미지 센서(450a)의 검출 시계(452)를 가리거나 방해하지 않게 할 수 있다. 또한, 스캐닝 3차원 이미지 센서(450a)(및 그 관련 액추에이터)는 (예를 들면, 또한 미적 관점에서 및 장애물에 걸리는 것을 최소화하기 위해) 그 시계를 가리는 일 없이 가능한 한 깊게 몸통(140) 내에 함몰되게 장착될 수 있다. 스캐닝 3차원 이미지 센서(450a)의 산만한 스캐닝 이동은 사용자에게 보이지 않으며, 그에 따라 덜 산만한 상호작용 경험을 초래한다. 돌출한 센서 또는 특징부와 달리, 함몰된 스캐닝 3차원 이미지 센서(450a)는 실질적으로 어떠한 이동부도 몸통(140)의 경계부 너머로 돌출하지 않으므로 특히 이동 또는 스캐닝할 때, 주변환경과의 의도치 않는 상호작용(사람, 장애물에 걸리는 등)을 할 가능성이 적게 된다.
몇몇 구현예에서, 센서 시스템(400)은 몸체(120)의 베이스(124)와, 다리(130)와, 목(150), 및/또는 머리(160)에 배치된 추가적인 3차원 이미지 센서(450)를 포함한다. 도 1에 도시된 예에서, 로봇(100)은 몸체(120)의 베이스(124)와, 몸통(140), 및 머리(160) 상의 3차원 이미지 센서(450)를 포함한다. 도 3a에 도시된 예에서, 로봇(100)은 몸체(120)의 베이스(124)와, 몸통(140), 및 머리(160) 상의 3차원 이미지 센서(450)를 포함한다. 도 3b에 도시된 예에서, 로봇(100)은 다리(130)와, 몸통(140), 및 목(150) 상의 3차원 이미지 센서(450)를 포함한다. 다른 구성도 또한 가능하다. (예를 들면, 목(150)에 및 머리(160)의 위에 있는) 하나의 3차원 이미지 센서(450)는 사람 인식, 동작 인식, 및/또는 화상 회의용으로 사용될 수 있는 한편, (예를 들면, 베이스(120) 및/또는 다리(130)에 있는) 다른 3차원 이미지 센서(450)는 운행 및/또는 장애물 검출 및 장애물 회피용으로 사용될 수 있다.
목(150) 및/또는 머리(160)에 배치된 전방으로 향하는 3차원 이미지 센서(450)는 로봇(100) 주변의 사람, 얼굴, 및/또는 사람들의 동작 인식용으로 사용될 수 있다. 예를 들면, 머리(160)에 있는 3차원 이미지 센서(450)로부터의 신호 입력을 사용하여, 제어기(500)는 본/캡쳐한 사용자의 얼굴의 3차원 지도를 생성하고, 생성된 3차원 지도를 사람들의 얼굴의 알려진 3차원 이미지와 비교하며, 알려진 3차원 얼굴 이미지들 중 하나와의 일치(매치)를 판단함으로써 사용자를 인식할 수 있다. 안면 인식은 사용자를 로봇(100)의 허용된 사용자로 인증하는데 사용될 수 있다. 또한, 하나 이상의 3차원 이미지 센서(450)는 로봇(100)이 본 사람의 동작을 판단하기 위해서, 및 선택적으로 판단된 동작(들)(예를 들면, 손으로 가리키기, 손 흔들기, 및/또는 수신호)을 기초로 하여 반응하는데 사용될 수 있다. 예를 들면, 제어기(500)는 인식된 특정 방향으로의 손으로 가리키기에 응답하여 구동 명령을 발할 수 있다.
3차원 이미지 센서(450)는 다음과 같은 유형의 데이터를 생성할 수 있다: (i) 깊이 지도, (ii) 반사율 기반의 강도 이미지(intensity image), 및/또는 (iii) 보통 강도 이미지. 3차원 이미지 센서(450)는 이미지 패턴 매칭, 광원으로부터 방출되고 타겟으로부터 반사된 광에 대한 위상 지연 이동(phase delay shift) 및/또는 TOF의 측정에 의해 이러한 데이터를 획득할 수 있다.
몇몇 구현예에서, 프로세서(예를 들면, 로봇 제어기(500))에서 실행 가능한 추론 또는 제어 소프트웨어는 센서 시스템(400)에 의해 생성된 다양한 데이터 유형을 사용하여 실행된 알고리즘의 조합을 사용한다. 추론 소프트웨어는 센서 시스템(400)으로부터 수집된 데이터를 처리하며, 로봇(100)이 예를 들면 장애물에 충돌하는 일 없이 이동할 수 있는 운행 결정을 내리는 데이터를 출력한다. 로봇의 주변환경의 이미징 데이터를 소정 시간에 걸쳐 축적함으로써, 추론 소프트웨어는 3차원 이미지 센서(450)의 깊이 측정치(depth measurements)를 개선할 수 있도록 감지된 이미지(들)의 선택된 세그먼트에 효과적인 방법을 적용할 수 있다. 이는 적절한 시간 및 공간 평균화 기법을 이용하는 것을 포함할 수 있다.
로봇의 무충돌 이동의 실행에 대한 신뢰도는: (i) 소정 시간에 걸쳐 높은 수준의 추론에 의해 성립된 신뢰도 수준과 (ii) 분석을 위해 3가지의 주요 유형의 데이터: (a) 깊이 이미지, (b) 활성 조도(illumination) 이미지, 및 (c) 주위의 조도 이미지를 축적하는 깊이 지각 센서(depth-perceptive sensor)를 기초로 할 수 있다. 상이한 유형의 데이터를 인식하는 알고리즘은 깊이 지각 이미지 센서(450)에 의해 획득된 이미지 각각에서 실행될 수 있다. 집합된 데이터는 단 한 종류의 데이터를 사용하는 시스템에 비해 신뢰도 수준을 향상시킬 수 있다.
3차원 이미지 센서(450)는 하나 이상의 물체를 포함하는 로봇(100) 주변의 현장(예를 들면, 방 또는 작업 영역의 센서 뷰 부분)으로부터 깊이 및 휘도 데이터를 포함하는 이미지를 획득할 수 있다. 제어기(500)는 현장으로부터 캡쳐된 반사광을 기초로 물체에 대한 점유공간 데이터를 결정하도록 구성될 수 있다. 또한 제어기(500)는 몇몇 예에서, 장애물(즉, 현장의 물체)을 회피하여 운행하기 위해 적어도 부분적으로 점유공간 데이터에 기초하여 구동 시스템(200)에 구동 명령을 발한다. 3차원 이미지 센서(450)는 로봇(100)이 현장 내의 어떠한 물체에도 충돌하지 않고 그 현장을 운행하도록 제어기(500)에 의한 실시간 결정을 위해 현장의 깊이 이미지를 반복적으로 캡쳐할 수 있다. 예를 들면, 이미지 데이터가 3차원 이미지 센서에 의해 획득되는 깊이 속도 또는 횟수는 3차원 이미지 센서(450)의 셔터 속도에 의해 제어될 수 있다. 또한, 제어기(500)는 이 제어기(500)에 근접 물체 또는 위험을 통보하는 (예를 들면, 근접 센서(410, 420)와 같은 센서 시스템(400)의 다른 센서 구성요소로부터) 이벤트 트리거(event trigger)를 수신할 수 있다. 제어기(500)는 이벤트 트리거에 응답하여, 3차원 이미지 센서(450)로 하여금 깊이 이미지가 캡쳐되고 점유공간 정보가 획득되는 횟수를 증가시키도록 할 수 있다.
몇몇 구현예에서, 로봇은 로봇(100) 주변 영역의 음향 이미징(acoustic imaging)을 위한 소나 스캐너(460)를 포함한다. 도 1 및 도 2에 도시된 예에서, 소나 스캐너(460)는 몸체(120)의 베이스(124)의 전방 부분에 배치된다.
도 1 내지 도 3b를 참조하면, 몇몇 구현예에서, 로봇(100)은 중복 감지(redundant sensing)를 위한 레이저 스캐너 또는 레이저 거리 측정기(440)와 함께 안전을 위한 후방으로 향한 소나 근접 센서(410j)를 사용하며, 양자 모두는 지면(G)에 평행하게 배향된다. 로봇(100)은 로봇(100) 주변의 환경의 확실한 감지를 제공하기 위해 제1 및 제2의 3차원 이미지 센서(450a, 450b)(깊이 카메라)를 포함할 수 있다. 제1의 3차원 이미지 센서(450a)는 몸통(140)에 장착되며 지면(G)에 대해 고정된 각도로 아래쪽으로 향한다. 제1의 3차원 이미지 센서(450a)를 아래쪽으로 각지게 함으로써, 로봇(100)은 로봇(100)의 바로 전방 또는 인접한 영역에서 조밀한 센서 범위를 수신하는데, 이는 전진 방향으로의 로봇(100)의 단기(短期) 이동과 관련된다. 후방으로 향한 소나(410j)는 로봇이 후방으로 이동할 때 물체의 검출을 제공한다. 후방 이동이 로봇(100)에 전형적인 경우라면, 로봇(100)은 로봇의 바로 후방 또는 인접한 영역에서 조밀한 센서 범위를 제공하기 위해 아래쪽으로 및 후방으로 향한 제3의 3차원 이미지 센서(450)를 포함할 수 있다.
제2의 3차원 이미지 센서(450b)는 머리(160)에 장착되며, 머리(160)는 목(150)을 통해서 패닝(panning) 및 틸팅(tiling)될 수 있다. 제2의 3차원 이미지 센서(450b)는 원격 구동에 유용할 수 있는데, 이는 인간 조종자가 로봇(100)이 어디로 가는지를 볼 수 있게 하기 때문이다. 목(150)은 근거리 및 원거리의 물체 모두를 볼 수 있도록 조종자로 하여금 제2의 3차원 이미지 센서(450b)를 틸팅 및/또는 패닝할 수 있게 한다. 제2의 3차원 이미지 센서(450b)의 패닝은 관련 수평 시계(horizontal field of view)를 증대시킨다. 고속 이동 중에, 로봇(100)은 2개의 3차원 이미지 센서(450a, 450b) 모두의 전체 또는 통합 시계를 증대시키고, 로봇(100)이 장애물을 회피할 수 있는 충분한 시간을 주기 위해(고속은 일반적으로 장애물에 반응하기 위한 더 적은 시간을 의미하므로), 제2의 3차원 이미지 센서(450b)를 아래쪽으로 약간 틸팅시킬 수 있다. 저속에서, 로봇(100)은 이 로봇(100)이 뒤따르고자 하는 사람을 추적하기 위해 제2의 3차원 이미지 센서(450b)를 위쪽으로 또는 지면(G)에 실질적으로 평행하게 틸팅시킬 수 있다. 또한, 비교적 저속으로 구동하는 동안에, 로봇(100)은 이 로봇(100) 주변의 그 시계를 증대시키기 위해 제2의 3차원 이미지 센서(450b)를 패닝할 수 있다. 제1의 3차원 이미지 센서(450a)는 로봇이 구동될 때 그 지각 범위를 확장하기 위해 고정 상태로 유지될 수 있다(예를 들면, 베이스(120)에 대해 움직이지 않는다). 추가적으로 및/또는 이와 달리, 제1의 3차원 이미지 센서(450a)는 로봇이 조작중일 때 로봇 주변의 잠재적인 장애물을 검출하기 위해 저속으로 스캔할 수 있다. 몇몇 예에서, 제1의 3차원 센서(450a)의 시계를 최적화하기 위해, 제1의 3차원 이미지 센서(450a)의 높이가 예컨대 Z-리프트(Z-lift)의 이용을 통해서 위쪽으로 조절될 수 있다.
몇몇 구현예에서, 3차원 이미지 센서들(450) 중 적어도 하나는 지면으로부터 1 또는 2피트보다 더 높은 높이에서 (또는 지면 위의 약 1 또는 2 피트의 높이에서) 로봇(100)에 위치되고 (전방향 구동 시스템(200)을 통하여) 로봇의 이동 방향에서 바닥 평면(floor plane)을 포함하는 공간의 체적으로부터 포인트 클라이드를 획득하도록 배향된 (스페클(speckle) 또는 TOF 카메라와 같은) 체적측정 포인트 클라우드 이미징 장치(volumetric point cloud imaging device)일 수 있다. 도 1과 도 3에 도시된 예에서, 제1의 3차원 이미지 센서(450a)는 지면으로부터 1 또는 2피트보다 더 높은 높이에서 베이스(120)에 위치될 수 있으며, (예를 들면, 장애물 검출 및 장애물 회피를 위해) 구동 중에 바닥을 포함하는 체적의 이미지(예를 들면, 체적측정 포인트 클라우드)를 캡쳐하기 위해 전진 구동 방향(F)을 따라 배향될 수 있다. 제2의 3차원 이미지 센서(450b)는 로봇(100)에 인접한 공간의 체적으로부터 골조 인식(skeletal recognition) 및 해상도 포인트 클라우드를 획득하기 위해 (예를 들면, 지면으로부터 약 3 또는 4피트보다 더 높은 위치에서) 머리(160)에 장착 도시되어 있다. 제어기(500)는 캡쳐된 체적측정 포인트 클라우드의 데이터를 분석하기 위해 골조/디지털 인식 소프트웨어를 실행할 수 있다.
도 3a 내지 도 4c를 참조하면, 센서 시스템(400)은 로봇(100)의 전체적인 무게중심(CGR)에 대해 로봇(100)의 관성 모멘트를 측정 및 모니터하기 위해 제어기(500)와 통신 상태에 있는 관성측정 장비(IMU: inertial measurement unit)(470)을 포함할 수 있다.
제어기(500)는 정상적인 방해받지 않는 작동에 대응하는 한계치 신호로부터 IMU(470)로부터의 피드백에 있어서의 임의의 편차(deviation)를 모니터할 수 있다. 예를 들면, 로봇이 직립 위치로부터 기울기 시작하면, 이는 "무엇에 걸리거나" 또는 달리 방해를 받거나, 또는 누군가가 갑자기 무거운 유상하중을 추가했을 수 있다. 이러한 경우에, 로봇(100)의 안전한 작동을 보장하기 위해 긴급 조치(회피 조작, 재캘리브레이션, 및/또는 가청/시각 경고를 발함을 포함하나 이에 국한되지 않는)를 취하는 것이 필요할 수 있다.
로봇(100)은 인간 환경에서 작동할 수 있으므로, 인간과 상호작용할 수 있으며 인간을 위해 설계된(및 로봇 제약이 없는) 공간에서 작동할 수 있다. 로봇(100)은 예컨대 칵테일 파티나 분주한 병원과 같이, 혼잡하거나, 제약을 받거나, 또는 매우 역동적인 환경에 있을 때는 그 구동 속도 및 가속도를 제한할 수 있다. 하지만, 로봇(100)은 긴 빈 복도와 같이 비교적 고속으로 구동해도 안전하고, 그러면서도 무언가가 로봇의 이동 경로를 가로지를 때 갑작스럽게 감속할 수 있는 상황에 부닥뜨릴 수 있다.
정지상태로부터 가속할 때, 제어기(500)는 로봇의 넘어짐을 방지하기 위해 그 전체적인 무게중심(CGR)으로부터 로봇(100)의 관성 모멘트를 고려할 수 있다. 제어기(500)는 그 현재의 관성 모멘트를 포함하여, 그 자세의 모델을 사용할 수 있다. 유상하중이 지지되면, 제어기(500)는 전체적인 무게중심(CGR)에 대한 하중 영향을 측정하고 로봇의 관성 모멘트의 이동을 모니터할 수 있다. 예를 들면, 몸통(140) 및/또는 목(150)은 변형률(strain)을 측정하기 위한 스트레인 게이지를 포함할 수 있다. 이것이 가능하지 않으면, 제어기(500)는 실험적으로 안전 한계를 결정하기 위해 구동 휠(210)에 시험용 토크 명령을 인가하고 IMU(470)를 사용하여 로봇의 실제 선형 및 각 가속도를 측정할 수 있다.
급감속시에, 제2 및 제3의 구동 휠(210b, 210c)(후방 휠)에 가해진 하중은 감소되는 한편, 제1의 구동 휠(210a)(전방 휠)은 전방 구동 방향으로 미끄러지며 로봇(100)을 지지한다. 제2 및 제3의 구동 휠(210b, 210c)(후방 휠)의 하중이 비대칭이면, 로봇(100)은 "한쪽으로 쏠릴(yaw)"수 있으며 이는 동적 안정성을 저감시킨다. IMU(470)(예를 들면, 자이로(gyro))는 이러한 한쪽으로의 쏠림을 검출하기 위해 사용될 수 있으며 로봇(100)을 재배향(reorient)하도록 제2 및 제3의 구동 휠(210b, 210c)(후방 휠)을 조정한다.
도 5를 참조하면, 몇몇 구현예에서, 제어기(500)는 제어 시스템(510)을 실행시키며, 이 제어 시스템(510)은 서로 통신 상태에 있는 거동 시스템(behavior system: 510a)과 제어 중재 시스템(510b)을 포함한다. 제어 중재 시스템(510b)은 애플리케이션(520)이 제어 시스템(510)에 동적으로 추가 및 제거될 수 있게 하며, 애플리케이션(520)이 각각 다른 애플리케이션(520)에 대해 알 필요없이 로봇(100)을 제어하는 것을 용이하게 한다. 즉, 제어 중재 시스템(510b)은 애플리케이션(520)과 로봇(100)의 리소스(resource: 530) 사이에 간단한 우선화된 제어 메커니즘(simple prioritized control mechanism)을 제공한다. 리소스(530)는 구동 시스템(200)과, 센서 시스템(400), 및/또는 임의의 유상하중 또는 제어기(500)와 통신 상태에 있는 제어가능 장치를 포함할 수 있다.
애플리케이션(520)은 로봇(100)(예를 들면, 프로세서)에서 동시 구동되고 동시에 로봇(100)을 제어하기 위해, 로봇(100)의 메모리에 저장되거나 로봇(100)과 통신할 수 있다. 애플리테이션(520)은 거동 시스템(behavior system: 510a)의 거동(512)에 액세스할 수 있다. 독립적으로 배치된 애플리케이션(520)은 실행시간(runtime)에 동적으로 통합되며 로봇(100)의 로봇 리소스(530)(예를 들면, 구동 시스템(200), 팔(들), 머리(들) 등)를 공유한다. 실행시간에 애플리케이션(520)들 간에 로봇 리소스(530)를 동적으로 공유하기 위해 저수준 폴리시(low-level policy)가 구현된다. 폴리시는 어느 애플리케이션(520)이 그 애플리케이션(520)에 의해 요구되는 로봇 리소스(530)의 제어를 가질 지를 결정한다(예를 들면, 폴리시는 애플리케이션(520) 간에 우선순위 계층구조를 생성한다). 애플리케이션(520)은 동적으로 개시 및 정지할 수 있으며, 서로 전적으로 독립적으로 구동될 수 있다. 제어 시스템(510)은 또한 서로 보조하기 위해 서로 통합될 수 있는 복합 거동(complex behavior: 512)을 허용할 수 있다.
제어 중재 시스템(510b)은 하나 이상의 리소스 제어기(540)와, 로봇 매니저(550), 및 하나 이상의 제어 아비터(control arbiter: 560)을 포함한다. 이들 구성요소는 공통의 프로세스 또는 컴퓨터에 있을 필요는 없으며, 어느 특정한 순서로 시작될 필요도 없다. 리소스 제어기(540) 구성요소는 애플리케이션(520)을 위해 제어 중재 시스템(510b)에 인터페이스를 제공한다. 모든 애플리케이션(520)에는 이러한 구성요소의 사례(instance)가 있다. 리소스 제어기(540)는 인증(authentication), 분산 리소스 제어 아비터, 명령 버퍼링(command buffering) 등의 복잡성을 발췌 및 요약한다. 로봇 매니저(550)는 어느 애플리케이션(520)이 임의의 특정 시간에 어떤 로봇 리소스(530)의 독점적인 제어를 갖는지를 제어함으로써, 애플리케이션(520)의 우선순위를 조정한다. 이는 정보의 중앙 조정자이므로, 로봇마다 단 하나의 로봇 매니저(550)의 사례가 있다. 로봇 매니저(550)는 리소스 제어기(540)의 선형 우선순위 순서(linear prioritized order)를 갖는 우선순위 폴리시를 이행하며, 하드웨어 제어를 제공하는 리소스 제어 아비터(560)를 추적한다. 제어 아비터(560)는 모든 애플리케이션(520)으로부터 명령을 수신하고, 애플리케이션의 우선순위에 기초하여 단일 명령을 생성하며, 그 결부 리소스(530)를 위해 이를 발행한다. 제어 아비터(560)는 또한 그 결부 리소스(530)로부터 상태 피드백을 수신하고는 애플리케이션(520)에 이를 되전송한다. 로봇 리소스(530)는 하나 이상의 하드웨어 제어를 갖는 기능성 모듈(예를 들면, 액추에이터, 구동 시스템, 및 그 그룹)의 네트워크일 수 있다. 제어 아비터(560)의 명령은 특정 동작을 수행하기 위한 리소스(530)에 특정된다.
제어기(500) 상에서 실행 가능한 동역학적 모델(dynamics model: 570)은 현재 로봇의 상태에 액세스하기 위해 무게중심(CG), 관성 모멘트, 및 로봇(100)의 다양한 부분의 관성의 외적(cross product)를 계산하도록 구성될 수 있다. 동역학적 모델(570)은 이들 구성요소의 형상, 무게, 및/또는 관성 모멘트를 또한 모델링할 수 있다. 몇몇 예에서, 동역학적 모델(570)은 로봇(100)의 다양한 무게중심을 산출하기 위해 IMU(470) 또는 로봇(100)에 배치된 것(예를 들면, 가속도계 및/또는 자이로)의 일부와 통신을 행하며 제어기(500)와 통신 상태에 있다. 동역학적 모델(570)은 로봇(100)과 그 구성요소의 작동 한계를 결정하기 위해 다른 프로그램(520) 또는 거동(512)과 함께 제어기(500)에 의해 사용될 수 있다.
각 애플리케이션(520)은 동작 선택 엔진(580)과 리소스 제어기(540), 동작 선택 엔진(580)에 접속된 하나 이상의 거동(512), 및 동작 선택 엔진(580)에 접속된 하나 이상의 동작 모델(590)을 갖는다. 거동 시스템(510a)은 예측 모델링을 제공하며, 로봇 동작의 가능한 결과를 평가함으로써 거동(512)으로 하여금 합작으로 로봇의 동작을 결정할 수 있게 한다. 몇몇 예에서, 거동(512)은 다수의 리소스로부터의 감각 피드백을 선험적(a-priori) 한계 및 정보와 결합하여 로봇의 허용 가능한 동작에 대한 평가 피드백(evaluation feedback)으로 되게 하는 계층구조식, 상태 평가 기능을 제공하는 플러그인(plug-in) 구성요소이다. 거동(512)은 애플리케이션(520)에 플러그인될 수 있으므로(예를 들면, 애플리케이션(520) 내부에 또는 외부에 상주), 이들은 애플리케이션(520) 또는 제어 시스템(510)의 임의의 다른 부분을 변경시킬 필요없이 제거되거나 추가될 수 있다. 각 거동(512)은 스탠드얼론 폴리시(standalone policy)이다. 거동(512)을 더 강력하게 하기 위해, 복합 조합 기능(complex combination function)을 가질 수 있도록 다수의 거동(512)의 출력을 함께 다른 거동의 입력에 부착할 수 있다. 거동(512)은 로봇의 전체 인식범위의 관리 가능한 부분을 구현하기 위한 것이다.
동작 선택 엔진(580)은 제어 시스템(510)의 조정 요소이며, 모든 거동(512)의 입력이 주어지면 최상의 동작을 검색하는 고속의 최적화된 동작 선택 사이클(예측/정정 사이클)을 구동한다. 동작 선택 엔진(580)은 3개의 단계: 지명(nomination), 동작 선택 검색, 및 완료를 갖는다. 지명 단계에서, 각 거동(512)에는 동작 선택 사이클이 시작되었다는 것이 통보되며, 사이클 개시 시간, 현재 상태, 및 로봇 액추에이터 공간의 한계가 제공된다. 내부 폴리시 또는 외부 입력에 기초하여, 각 거동(512)은 이 동작 선택 사이클에 참여하기를 원하는지 여부를 결정하게 된다. 이 단계에서, 그 입력이 로봇(100)에서 실행될 명령의 선택에 영향을 미치는 활성 거동 프리미티브(active behavior primitive)의 목록이 생성된다.
동작 선택 검색 단계에서, 동작 선택 엔진(580)은 동작 공간(action space)이라고도 불리는 가용 동작 공간으로부터 실행가능 결과를 생성한다. 동작 선택 엔진(580)은 미래의 시계(time horizon)에 의한 상이한 시간 단계(time steps)에서 각 명령의 동작을 시뮬레이션한 결과로서 (한계 내에서) 실행 가능 명령의 집합체(pool) 및 그 대응하는 결과를 제공하기 위해 동작 모델(590)을 이용한다. 동작 선택 엔진(580)은 거동(512)의 결과 평가에 기초하여 선호되는 결과를 산출하고, 그 대응하는 명령을 제어 중재 시스템(510b)에 전송하며, 동작 모델(590)에 그 선택된 명령을 피드백으로 통보한다.
완료 단계에서, 공동으로 최고의 점수를 받은 결과에 대응하는 명령들이 서로 통합되어 전체 명령(overall command)으로 되며, 이는 로봇 리소스(530) 상에서의 실행을 위해 리소스 제어기(540)에 제공된다. 최상의 결과는 미래의 평가 사이클에 사용될 수 있도록 활성 거동(512)에 피드백으로 제공된다.
센서 시스템(400)으로부터 수신된 센서 신호는 동작을 실행하기 위해 하나 이상의 거동(512)과의 상호작용을 유발할 수 있다. 예를 들면, 제어 시스템(510)을 사용하여, 제어기(500)는 그 자신 및 로봇(100)이 인식하고 있는 로봇(100) 주변의 임의의 물체에 충돌하는 것을 회피하는 효율적인 방식으로 각 로봇 구성요소의 조정된 이동을 실행하기 위해, 대응하는 동작 공간(예를 들면, 가능한 동작의 집합 또는 그 특정 구성요소를 위한 동작)으로부터 각 로봇 구성요소(예를 들면, 모터 또는 액추에이터)를 위한 동작(또는 이동 명령)을 선택한다. 제어기(500)는 그 전체 내용이 본 명세서에 참고로 병합된 2010년 2월 16일자로 제출된 미국 특허출원 일련번호 제 61/305,069호에 기재된 바와 같이, EtherIO 네트워크와 같은 로봇 네트워크를 통하여 조정된 명령을 발할 수 있다.
도 6a는 브리지(bridge: 602)와 통신 상태에 있는 하나 이상의 원격현전 로봇(100)을 갖는 예시적인 로봇 시스템(600)의 개략도를 제공하며, 브리지(602)는 로컬 로봇 종점 서버(604a) 및 (예를 들면, 클라우드 컴퓨팅 서비스(720)(도 7 참조)와 같은) 원격 종점 서버(604b)와 통신을 행한다. 로컬 로봇 종점 서버(604a)는 로컬 기술자 전산 장치(606)와 통신을 행하고, 원격 종점 서버(604b)는 원격 조종자 전산 장치(608)와 통신을 행한다.
도 2와 도 4c를 참조하면, 몇몇 구현예에서, 로봇(100)은 복수의 안테나를 포함한다. 도시된 예에서, 로봇(100)은 제1의 안테나(490a)와 제2의 안테나(490b)를 포함하며, 양자 모두는 베이스(120)에 배치된다(안테나는 다리(130), 몸통(140), 목(150), 및/또는 머리(160)와 같이 로봇(100)의 다른 임의의 부분에 배치될 수도 있다). 복수의 안테나의 사용은 확실한 신호 수신 및 전송을 제공한다. 복수의 안테나의 사용은 로봇(100)에 MIMO(multiple-input and multiple-output)를 제공하며, 이는 통신 성능을 향상시키기 위해 송신기 및/또는 수신기에 복수의 안테나를 사용한다. MIMO는 추가적인 대역 또는 전송 출력 없이 데이터 전송률 및 링크 범위에 있어서 실질적인 증가를 제공한다. 이는 더 높은 스펙트럼 효율(대역의 헤르쯔당 더 많은 비트수) 및 링크 신뢰도 또는 다이버시티(diversity)(패이딩 저감)에 의해 달성된다. 이러한 특성으로 인해, MIMO는 IEEE 802.11n(Wifi), 4G, 3GPP LTE, WiMAX 및 HSPA+와 같은 현대의 통신 표준에 있어서 중요한 부분이다. 또한, 로봇(100)은 근처의 다른 전자 장치를 위한 Wi-Fi 브리지, 허브 또는 핫스팟으로 기능할 수 있다. 로봇(100)의 이동성 및 MIMO의 사용은 로봇이 비교적 신뢰적인 Wi-Fi 브리지(602)로 기능할 수 있게 한다.
도 6a와 도 6b를 참조하면, 원격조종 소프트웨어 애플리케이션(601)은 로봇 제어기(500), 로컬 로봇 종점 서버(604a), 원격 종점 서버(604b), 로컬 기술자 전산 장치(606), 및 원격 조종자 전산 장치(608) 중 적어도 하나에서 실행된다. 몇몇 예에서, 원격조종 소프트웨어 애플리케이션(601)의 일부는 하나 이상의 전술한 장치에서 실행된다. 원격조종 소프트웨어 애플리케이션(601)은 로봇(100)의 원격현전 특징을 통하여 한 명 이상의 사용자가 (예를 들면, 로봇(100)을 구동하기 위해) 로봇(100) 및/또는 원격적으로 다른 사람들 또는 로봇(100) 근처의 물체와 상호작용할 수 있다.
도 6c는 로봇(100)의 운행, 원격현전, 및/또는 다른 양태를 제어하기 위해, 웹 패드(310)의 터치 스크린(312) 및/또는 원격 조종자 전산 장치(608)와 같이 디스플레이 상에 렌더링될 수 있는 원격조종 소프트웨어 애플리케이션(601)의 예시적인 사용자 인터페이스(605)의 개략도를 제공한다. 사용자 인터페이스(605)는 환자(614)의 비디오 피드와 같은 리모트 뷰(remote view: 612)를 디스플레이하는 원격 비디오 피드 윈도우(610)를 포함한다. 비디오 피드는 로봇(100) 상의 카메라들(320, 450) 중 하나에 의해 생성될 수 있다. 사용자 인터페이스(605)는 로봇(100)이 작동 중인 로컬 영역의 지도(622)를 갖는 평면도 지도 위도우(620)를 디스플레이할 수 있다. 도시된 예에서, 평면도 지도 윈도우(620)에 디스플레이된 지도(622)는 2차원 탑다운(top-down) 지도(622a)(도 6d)이지만; 다른 유형의 지도도 또한 가능하다. 사용자 인터페이스(605)는 (로봇(100)으로부터 멀리 떨어진) 사용자의 비디오 피드와 같은, 로컬 뷰(local view: 632)를 디스플레이하는 로컬 비디오 윈도우(630)도 또한 포함할 수 있다. 로컬 비디오 윈도우(630)에 디스플레이된 비디오 피드는 로봇(100)에 전송될 수 있으며, 로봇(100) 상의 웹 패드(310)와 같은 디스플레이 장치를 사용하여 환자(614)에게 딧플레이할 수 있다.
대시보드(dashboard: 640)는 로봇(100)의 배향, 로봇의 배터리의 충전상태의 표시, 무선 데이터 신호의 세기의 표시, 및/또는 네트워크 품질과 관련된 정보를 제공할 수 있다. 로봇(100)의 배향은 몸통(140) 또는 베이스(120)에 대해 로봇(100)의 머리(160)의 배향을 디스플레이하는 아이콘(642)에 의해 표시될 수 있다. 이러한 표시는 관심 항목을 보기 위해서 로봇(100)을 방향 전환함에 있어서 사용자에 도움을 줄 수 있다. 로봇의 머리(160)의 운동 범위는 제한될 수 있다. 따라서, 소정 구현예에서는 머리(160)의 회전 위치 및 머리(160)의 운동 범위의 표시가 디스플레이될 수 있다.
매체 제어(647)는 사용자로 하여금 다양한 유형의 매체를 사용하여 환자(614)와 상호작용할 수 있게 하고 사용자와 환자(614)의 상호작용을 기록하는 매체를 획득 및 저장할 수 있다. 매체 제어(647)는 사용자로 하여금 예를 들면 환자(614)에게 질병 상태 또는 절차에 대해 교육시키는데 사용될 수 있는 오디오 및/또는 비디오 클립을 재생하게 할 수 있다. 다양한 상태를 기록하기 위해 로봇(100)의 카메라(320, 450)를 사용하여 정사진(still photograph)이 획득될 수 있다. 또한 로봇(100)은 사용자와 환자(614)의 상호작용을 기록하는 오디오(예를 들면, 마이크로폰(330)을 사용하여) 또는 비디오(예를 들면, 카메라(320)를 사용하여)를 기록할 수 있고, 획득된 오디오/비디오를 선택적으로 제어기(500)의 메모리에 저장할 수 있으며, 및/또는 획득된 오디오/비디오를 원격 장치 또는 클라우드 서비스에 전송할 수 있다.
몇몇 구현예에서, 매체 제어(647)는 사용자로 하여금 일시적인 접속 문제를 관리할 수 있게 한다. 예를 들면, 예기치 않은 세션의 두절시에, 비디오 녹화가 시작될 수 있다. 로봇(100)은 비디오를 녹화하고 이를 제어기(500)의 로컬 메모리와 같은 로컬 메모리에 저장하는 것을 지속할 수 있다. 예기치 않은 두절시에, "세션 종료 - 비디오 녹화 지속..."과 같은 메시지가 로봇에 의해 디스플레이될 수 있다. 아래의 버튼에 "녹화 중지"의 제목이 디스플레이될 수 있다. 로봇 측의 간호사가 (예를 들면, 터치 스크린(312) 상의) "녹화 중지" 버튼을 터치하고는 로컬 녹화를 종료할 수 있다. 그렇지 않으면, 특정된 시간 동안에 녹화가 지속될 수 있다. 동일한 사용자가 특정된 시간 동안에 다시 로봇(100)에 로그인하면, 원격 스테이션의 녹화 버튼은 녹화가 진행 중임을 보여줄 수 있다. 로봇의 로컬 녹화가 완료되면, 연결 해제된 사용자가 액세스할 수 있는 원격 스테이션 또는 다른 지점에 비디오 파일을 전송하기 시작할 수 있다. 따라서, 사용자는 세션이 중단된 시간 동안에 어떤 일이 벌여졌는지를 볼 수 있다.
도 6c에 도시된 예에서, 원격 비디오 피드 윈도우(610)는 디스플레이 영역의 비교적 큰 부분을 차지한다. 사용자 인터페이스(605)는 640×480 픽셀 해상도의 원격 비디오 피드 윈도우(610), 320×240 픽셀 해상도의 로컬 비디오 윈도우(630), 및 530×200 픽셀 해상도의 평면도 지도 윈도우(620)를 가질 수 있다. 따라서, 이러한 뷰는 사용자가 환자(614)와 통신을 행하고 있을 때 및/또는 로봇(100)을 수동으로 구동하고 있을 때 가장 적합할 수 있다. 도 6c에 도시된 디폴트 사용자 인터페이스(605a)의 배치는 사용자로 하여금 평면도 지도 윈도우(620)와 원격 비디오 피드 윈도우(610)의 콘텐츠를 서로 맞바꿀 수 있게 한다. 예를 들면, 평면도 지도 윈도우(620)를 더블 클릭함으로써 이러한 뷰가 맞바뀔 수 있다. 원격 비디오 피드 윈도우(610)를 더블 클릭함으로써 윈도우들은 나중에 다시 되바뀔 수 있다.
사용자에 의해 행해지는 업무에 적합한 경우에 다른 양태의 스크린 배치가 디스플레이될 수 있다. 도 6d에 도시된 예에서, 반자율(semi-autonoous) 운행을 사용하여 하나의 위치로부터 다른 위치로 로봇(100)이 이동하도록 유도하는 것을 예측함에 따라, 평면도 지도 윈도우(620)의 크기가 증대된다. 예를 들면, 도 6c에 도시된 사용자 인터페이스(605, 605a)는 환자의 상호작용을 위한 디폴트 상태가 될 수 있고, 도 6d에 도시된 사용자 인터페이스(605, 605b)는 로봇의 운행을 위한 다른 상태가 될 수 있다.
사용자 인터페이스의 지도 보기 스위치 버튼(645)은 사용자로 하여금 상대적으로 더 큰 평면도 지도 윈도우(620)를 포함하는 다른 양태의 사용자 인터페이스(605b)를 불러올 수 있게 한다. 예를 들면, 도 6d에 도시된 사용자 인터페이스(605b)는 주로 로봇(100)을 수동으로 구동하는데 또는 희망 목적지로 자율적으로 운행하는데 사용될 수 있다. 지도 보기 스위치 버튼(645)을 다시 클릭하면, 사용자를 다시 디폴트 사용자 인터페이스(605a)로 되돌아가게 하며, 이는 의료 상담을 행할 때에 사용될 수 있다. 따라서, 사용자는 원하는 바에 따라 평면도 지도 윈도우(620)를 강조하거나 또는 덜 강조할 수 있다(예를 들면, 최대화하거나 또는 최소화할 수 있다). 원격 비디오 피드 윈도우(610) 및 로컬 비디오 윈도우(630)와 같은, 다른 양태의 사용자 인터페이스(605b)에 도시된 소정의 윈도우도 또한 디스플레이된다. 몇몇 예에서, 평면도 지도 윈도우(620)는 880×700의 픽셀 해상도로 디스플레이될 수 있고, 원격 비디오 피드 윈도우(610)는 320×240의 픽셀 해상도로 디스플레이될 수 있으며, 로컬 비디오 윈도우(630)는 160×120의 픽셀 해상도로 디스플레이될 수 있다.
도 6d를 참조하면, 평면도 지도 윈도우(620)는 로컬 환경 내에서 로봇(100)의 위치를 지정하는 로봇 위치 아이콘(650)을 제공할 수 있다. 사용자는 로봇이 선택된 지점으로 반자율적으로 또는 자율적으로 운행하도록 하기 위해 디스플레이된 지도(622) 상의 한 지점을 클릭하거나 터치할 수 있다. 몇몇 예에서, 사용자는 커서가 평면도 지도 윈도우(620)의 위에 있을 때 마우스 휠을 사용하여 또는 터치 스크린(312) 상에 디스플레이되었을 때 터치 동작에 의해 줌인(zoom-in: 확대) 또는 줌아웃(zoom-out: 축소)할 수 있다.
SLAM(simultaneous localization and mapping) 기술은 로컬 환경의 지도를 작성하고 지도 상에 로봇(100)을 위치 설정하기 위해 레이저 거리측정 스캐너, 주행거리 측정, 음향 거리 측정기(acoustic range finder), 또는 이들 모두를 사용할 수 있다. 로봇이 소정 환경을 지나감에 따라 (예를 들면, 카메라(320) 또는 3차원 이미지 센서(450)를 통하여) 로봇(100)에 의해 녹화된 이미지는 (예를 들면, 제어기(500)의) 내부 데이터베이스에 및/또는 원격 데이터베이스(예를 들면, 클라우드 서비스)에 저장될 수 있다. 로봇(100)이 현재 데이터베이스에 있는 이미지를 재획득했을 때, 알고리즘은 로봇의 현재 위치를 그 랜드마크(landmark)가 처음으로 데이터베이스에 입력되었을 때 기록된 것으로 재설정한다. 이 방법은 휠 인코더(wheel encoder) 주행거리 측정의 내재적인 드리프트(drift)를 상쇄하는 것에 도움을 준다. 시스템은 RFID 칩 및/또는 무선 액세스 포인트의 삼각법을 또한 이용할 수 있다. 게다가, 특정 호실의 이름 또는 식별 번호가 지도 상의 위치와 결부될 수 있다. 이미지 데이터는 소정 시간에 걸쳐 축적될 수 있으며, 비용 절감 또는 공간 절감으로서, 로봇(100)은 각각 원격 데이터 스토리지 및/또는 이미지 데이터를 저장 및/또는 처리하기 위한 원격 처리를 이용할 수 있다. 예를 들면, RFID 리더는 로봇의 현재 위치를 식별하기 위해 평면도 지도 상의 좌표와 결부된 RFID 칩을 검출할 수 있다. "RFID 칩"은 당해 업자가 이해하고 있는 바와 같이 RFID 장치 또는 RFID "태그"를 포함할 수 있다. RFID 칩은 수동, 능동, 또는 배터리 보조식 수동(BAP) RFID 칩으로 실시될 수 있다.
도 7은 로봇(100)(제어기(500) 또는 구동 시스템(200)과 같은, 그 일부)과, (예를 들면, 머리(160)에 탈착 가능하게 또는 고정 부착된) 전산 장치(310)와, 클라우드(720)(즉, 클라우드 컴퓨팅 서비스), 및 포털(portal: 730)을 포함할 수 있는 예시적인 로봇 시스템 아키텍쳐(700)의 개략도를 제공한다. 전산 장치(310)는 보안, 의약 준수(medicine compliance), 원격현전, 행동거지 지도, 소셜 네트워킹, 능동 경보(active alarm), 가정 관리 등을 위한 (예를 들면, 메모리에 저장되고 프로세서에서 실행되는) 소프트웨어 애플리케이션를 포함할 수 있는 하나 이상의 로봇 애플리케이션(710)을 실행할 수 있다. 전산 장치(310)는 통신 능력(예를 들면, 보안 무선 접속 및/또는 셀룰러 통신)과, 정확한 애플리케이션 개발 툴과, 음성 인식, 및 사람 또는 물체 식별 능력을 제공할 수 있다. 전산 장치(310)는 몇몇 예에서 구글사(Google Inc.)가 제공하는 안드로이드(Android), 애플사(Apple Inc.)가 제공하는 iOS, 또는 다른 스마트폰 운영체계와 같은 상호작용/COMS 특화된 운영체계, 또는 RSS A2와 같은 특화된 로봇 운영체계를 이용한다.
클라우드(720)는 클라우드 컴퓨팅 및/또는 클라우드 스토리지 능력을 제공한다. 클라우드 컴퓨팅은 인터넷 기반의 컴퓨팅을 제공할 수 있으며, 이에 의해 공유 서버가 온디맨드(on demand)로 리소스, 소프트웨어, 및 데이터를 컴퓨터 또는 다른 장치에 제공한다. 예를 들면, 클라우드(720)는, 서비스 추상화 계층(service abstraction layer) 및 그 위에 인스턴스와된 서버 가상 머신을 통한 하이퍼텍스트 전송 프로토콜 래퍼(hypertext transfer protocol wrapper)를 포함할 수 있는 적어도 하나의 서버 전산 장치를 포함하는 클라우드 컴퓨팅 서비스일 수 있다. 서버 전산 장치는 HTTP 요청을 분석하고 HTTP 응답을 전송하도록 구성될 수 있다. 클라우드 컴퓨팅은 데이터와 애플리케이션을 유지하기 위해 인터넷과 중앙 원격 서버를 사용하는 기술일 수 있다. 클라우드 컴퓨팅은 사용자로 하여금 설치할 필요없이 애플리케이션(710)에 액세스 및 사용할 수 있게 하고 인터넷 액세스를 갖는 임의의 컴퓨터에서 개인 파일에 액세스할 수 있게 한다. 클라우드 컴퓨팅은 스토리지, 메모리, 프로세싱, 및 대역을 중앙 집중화함으로써 상대적으로 더 효율적인 컴퓨팅을 가능케 한다. 클라우드(720)는 (예를 들면, CPU 및 메모리 사용을 자유롭게 함으로써) 로봇 하드웨어 요건을 저감하면서, 확장 가능한, 온디맨드 컴퓨팅 파워, 스토리지, 및 대역을 제공할 수 있다. 로봇의 클라우드(720) 접속성은 로봇(100)을 베이스 스테이션으로 되돌려보낼 필요없이 로봇 작동 및 사용 이력에 대한 자동 데이터 수집을 가능케 한다. 또한, 소정 시간에 걸친 지속적인 데이터 수집은 마케팅, 제품 개발, 및 지원용으로 사용될 수 있는 풍부한 데이터를 산출할 수 있다.
클라우드 스토리지(722)는 일반적으로 제3자(third party)에 의해 호스트되는 다수의 가상 서버에 데이터가 저장되는 네트워크화된 컴퓨터 데이터 스토리지의 모델일 수 있다. 로봇(100)과 클라우드(720) 사이에 통신을 제공함으로써, 로봇에 의해 수집된 정보는 웹 기반의 정보 포털을 통하여 인가된 사용자가 안전하게 볼 수 있다.
포털(730)은 개인 정보, 가정 상태 정보, 및 로봇 상태 정보와 같은 정보를 수집 및/또는 제공하는 웹 기반의 사용자 포털일 수 있다. 정보는 사용자 및/또는 로봇(100)에 추가적인 기능 및 리소스를 제공할 수 있도록 제3자 정보와 통합될 수 있다. 로봇 시스템 아키텍쳐((700)는 능동적(proactive) 데이터 수집을 용이하게 할 수 있다. 예를 들면, 전산 정치(310)에서 실행되는 애플리케이션(700)은 로봇(100)에 의해 수행되는 동작 및/또는 (센서 시스템(400)을 사용하여) 로봇(100)이 본 사람 또는 환경에 대해 데이터를 수집하고 보고할 수 있다. 이 데이터는 로봇(100)의 고유 자산일 수 있다.
"조밀 데이터(dense data)" 대 "성긴 데이터(sparse data)" 및 "조밀 특징부" 대 "성긴 특징부"는 본 명세서에서 공간 데이터 집합에 대해 지칭된다. 당해 업자가 이러한 용어를 해석하는 의미를 제한하거나 축소하는 일 없이, "조밀" 대 "성긴"은 일반적으로 공간 표현(spatial representation)당 많은 데이터 포인트 대 적은 데이터 포인트를 의미하며, 특히 다음을 의미할 수 있다:
(i) 2차원 이미지 데이터 또는 2차원 이미지 및 범위를 포함하는 3차원 "이미지"의 문맥에서, "조밀" 이미지 데이터는 픽셀로 실질적으로 완전히 채워지거나 또는 실질적으로 손실 없이 픽셀로 래스터되고(rasterized) 및/또는 (실질적으로 압축되지 않은, 미가공(raw), 또는 무손실 압축 이미지를 포함하는) 원래의 이미지 캡쳐로부터 아티팩트(artifact)될 수 있는 이미지 데이터를 포함하는 한편, "성긴" 이미지는 정량화되고, 샘플링되고, 손실성 압축되고, 벡터화되고, (예를 들면, 슈퍼픽셀, 노드, 모서리, 표면, 관심 지점, 복셀(voxel)로) 세그먼트화되거나, 또는 달리 원래의 캡쳐로부터 해상도에 있어서 물질적으로 저화되거나, 또는 이미지를 재현하기 위해 픽셀로 래스터함에 있어서 보간(interpolate)되어야 하는 이미지를 말한다;
(ii) 2차원 또는 3차원 특징의 문맥에서, "조밀 특징부"는 검출 방법의 해상도로 실질적으로 제한되지 않는 방식으로 채워지는 특징부, 검출 및 기록되는 모든 것, 및/또는 서브이미지 위의 많은 특징부(HOG, 소형 파형(wavelet))를 수집하기 위해 인식되는 검출기에 의해 인식되는 특징부일 수 있고; "성긴 특징부"는 개수, 특징 입력의 개수, 측방향 억제, 및/또는 특징 선택에 있어서 의도적으로 제한될 수 있으며, 및/또는 이미지(해리스 코너(Harris corner), 모서리, 시 토마시(Shi-Tomasi))에 있어서 제한된 개수의 고립 지점을 식별하기 위해 인식되는 검출기에 의해 인식될 수 있다.
3차원 환경 구조와 관련하여, 로봇(100)은 작업 표면(5)을 이동하면서 로봇(100) 주변의 현장(10)의 조밀 이미지(701)와 같은 이미지를 획득할 수 있다. 몇몇 구현예에서, 로봇(100)은 조밀 이미지(701)를 획득하기 위해 카메라(320) 및/또는 이미지 센서(450)(예를 들면, 체적측정 포인트 클라우드 이미징 장치)를 사용한다. 카메라(320) 및/또는 이미지 센서(450)와 통신 상태에 있는 제어기(500)는 가속도계 데이터 트레이스, 주행거리 측정 데이터, 및/또는 타임스탬프와 함께 센서 시스템(400)으로부터의 기타 데이터와 같은, 정보를 조밀 이미지(701)와 결부시킬 수 있다(예를 들면, 조밀 이미지(701)를 데이터와 함께 마크업 표시 또는 태그를 붙인다). 몇몇 예에서, 로봇(100)은 조밀 이미지(701)의 스트리밍 시퀀스를 캡쳐하고는 조밀 이미지 시퀀스를 마크업 데이터로 표시함으로써, 마크업된 조밀 이미지 시퀀스를 제공한다. 클라우드 서비스(720)는 수신된 이미지 데이터(701)를 처리하고는 처리된 데이터 집합을 로봇 제어기(500)에 회신할 수 있으며, 로봇 제어기(500)는 현장(10) 주변을 이동시키기 위해 수신된 처리된 데이터 집합에 기초하여 구동 시스템(200)에 구동 명령을 발할 수 있다.
클라우드 서비스(720)는 저장된 이미지 데이터 집합(703)을 현장(10)(환경)의 조밀한 3차원 지도 또는 모델(705)로 처리하고 그리고 나서 이 조밀한 3차원 지도 또는 모델(705)을 2차원 높이 지도(707)로 단순화하기 위해 다양한 오프라인(off-line) 방법들 중 하나를 실행할 수 있으며, 2차원 높이 지도(707)는 각 포인트에 높이 데이터를 갖는 (예를 들면, 2차원 지형도와 유사한) 2차원 지도일 수 있다. 몇몇 예에서, 2차원 높이 지도(707)는 Z 데이터와 함께 X 및 Y 좌표를 갖는 지형도이다. 각각의 X, Y 좌표는 하나 이상의 Z 포인트(즉, 높이 데이터)를 가질 수 있다. 각 X, Y 좌표에 대해 다수의 Z 포인트(예를 들면, 수 백 또는 수 천 개의 Z 포인트)를 가질 수 있는 조밀한 3차원 지도와 달리, 2차원 높이 지도(707)는 예컨대 2 내지 20 사이(예를 들면, 10)와 같이 각 X, Y 좌표에 대해 한계 개수 미만의 Z 포인드를 가질 수 있다. 사무실에 있는 테이블의 3차원 지도로부터 얻어진 2차원 높이 지도(707)는 테이블을 따라서의 각 X, Y 좌표에 대해 테이블 판의 바닥 표면에 대한 하나의 제1의 Z 포인트와 테이블 판의 상부 표면에 대한 하나의 제2의 Z 포인트를 나타낼 수 있다. 이 정보는 로봇(100)으로 하여금 테이블 판의 아래를 통과할 수 있는지를 판단할 수 있게 한다. 각 X, Y 좌표에 대한 연속적인 범위의 Z 포인트의 조밀 데이터 집합으로부터 검출된 물체(12)를 나타내는 선택된 개수의 Z 포인트의 성긴 데이터 집합으로 Z 포인트를 저감시킴으로써, 로봇(100)은 클라우드 서비스(720)에 의해 사용되는 3차원 지도보다 상대적으로 더 작은 크기를 갖는 2차원 높이 지도(707)를 수신할 수 있다. 이는 다시 로봇(100)으로 하여금 클라우드 서비스(720)에 이용 가능한 확장 가능한 메모리 공간에 비해 실용적이며 비용 효율적인 크기를 갖는 로컬 메모리에 2차원 높이 지도(707)를 저장할 수 있게 한다. 로봇(100)은 클라우드(720)로부터 2차원 높이 지도(707)를 수신하며, 이는 로봇(100) 및 결부된 제어기(500)에 현장(10)에서의 추후의 작업을 위한 운행 데이터를 제공한다.
3차원 지도 데이터의 압축에 대한 추가적인 방법 및 특징은 IEEE/RSJ International Conference On Intelligent Robots and Systems, 2006의 R. Triebel, P. Pfaff 및 W. Bargard에 의한 "Multi-Level Surface Maps for Outdoor Terrain Mapping and Loop Closing"에 에 개시되어 있으며, 상기 문헌은 본 명세서에 그 전체가 참고로 병합되어 있다.
클라우드(720)는 로봇(100)에 달리 로봇(100)에서는 실용적이거나 비용 효과적이지 않을 수 있는 리소스의 온디맨드 확장성(예를 들면, 전산, 처리, 메모리 등)을 제공한다. 예를 들면, 클라우드(720)는 상대적으로 많은 양의 데이터(701)를 저장 및/또는 처리하기 위한 제1의 크기로 확장되는 확장가능 클라우드 스토리지(722)를 제공할 수 있으며, 이는 단기간 동안에만 사용되고 그리고 나서 폐기되며, 다시 제2의 크기로 축소될 수 있다. 또한, 클라우드(720)는 상대적으로 복잡한 계산 또는 달리 로봇에서는 가능하지 않을 수 있는 "브루트 포스(brute force)" 알고리즘을 실행하기 위한 컴퓨터 처리 능력을 제공할 수 있다. 컴퓨터 처리 능력과 메모리를 확장 가능 클라우드(720)에 배치함으로써, 로봇(100)은 상대적으로 적은 전산 능력 및 메모리를 갖는 제어기(500)를 사용할 수 있으며, 그에 따라 비용 효과적인 해법을 제공한다. 또한, 로봇(100)은 비실시간 또는 시간이 촉박하지 않은 업무를 처리 및 추후 회수를 위해 클라우드(720)에 이관하면서, 장애물 회피와 같은 실시간 업무를 (제어기(500) 또는 웹 패드(310)에서) 실행할 수 있다.
클라우드(720)는 저장된 이미지 데이터 집합(703)을 3D 표현으로 처리하기 위해 하나 이상의 필터(예를 들면, 번들 조정, RANSAC, 기대치 최대화(Expectation Maximization: EM), SAM, 또는 다른 3D 구조 예측 알고리즘)를 실행할 수 있다. 처리되어 조밀한 3차원 지도(705)가 생성 또는 업데이트되고 나면, 이미지 데이터 집합(703)은 클라우드 스토리지(722)로부터 폐기될 수 있으며, 그 결과 리소스를 자유롭게 하고 클라우드(720)가 그에 따라 재조정될 수 있게 한다. 그 결과, 로봇(100)은 클라우드 기반의 리소스의 사용으로 인해 이미지 데이터 집합(703)의 저장 및 처리를 다루기 위해 온-보드 스토리지 및 처리를 자체에 구비할 필요가 없다. 클라우드(720)는 처리된 운행 데이터(701) 또는 지도(707)(예를 들면, 압축된 2차원 높이 지도)를 로봇(100)에 반송할 수 있으며, 로봇(100)은 이를 상대적으로 더 간단한 로컬화(localization) 및 운행 처리를 위해 사용할 수 있다.
3차원 재구성의 추가적인 방법 및 특징은 Fifth International Conference on three-dimensional Digital Imaging and Modeling, 2005의 J. Repko 및 M. Pollefeys에 의한 "3D Models from Extended Uncalibrated Video Sequences: Addressing Key-frame Selection and Projective Drift"에 개시되어 있으며, 상기 문헌은 본 명세서에 그 전체가 참고로 병합되어 있다.
도 8a와 도 8b를 참조하면, 몇몇 상황에서, 로봇(100)은 현장(10) 및/또는 작업 표면(5)의 물체(12)의 점유공간 지도(800)를 수신하거나, 로봇 제어기(500)는 소정 시간에 걸친 이미지 센서(450)(예를 들면, 제2의 3차원 이미지 센서(450b))로부터 수신된 이미지 데이터 및/또는 이미지 깊이 데이터에 기초하여 점유공간 지도(800)를 생성한다(그리고 업데이트할 수 있다). SLAM은 동시에 그 현재 위치를 계속적으로 추적하면서 (선험적으로 알지 못하는) 미지의 환경 또는 현장(10) 내에서 점유공간 지도(800)를 작성하기 위해, 또는 (주어진 지도로부터 선험적으로 아는) 알려진 환경 내에서 점유공간 지도(800)를 업데이트하기 위해 로봇(100)에 의해 사용될 수 있는 기법이다.
제어기(500)는 사용자 인터페이스(605)에 지도(622)를 디스플레이하기 위해, 점유공간 지도(800)를 원격현전 소프트웨어 애플리케이션(601)에 전송할 수 있다. 사용자 인터페이스 지도(622)는 부분적으로 또는 전체적으로 점유공간 지도(800)로부터 유도될 수 있다. 게다가, 도 7을 또한 참조하면, 원격현전 소프트웨어 애플리케이션(601)은 클라우드 서비스(720)를 통하여 점유공간 지도(800)의 주기적인 업데이트를 수신할 수 있다. 예를 들면, 클라우드 서비스(720)는 사용자 인터페이스 지도(622)를 생성하기 위해 로봇(100) 주변의 현장(10)의 조밀한 3차원 지도 또는 모델(705) 및/또는 단순화된 2차원 높이 지도(707)를 원격현전 소프트웨어 애플리케이션(601)에 제공할 수 있다. 다른 예에서, 클라우드 서비스(720)는 조밀한 3차원 지도 또는 모델(705) 또는 2차원 높이 지도(707)에 기초하여 사용자 인터페이스 지도(622)를 원격현전 소프트웨어 애플리케이션(601)에 제공한다.
다시 도 8a와 도 8b를 참조하면, 지도(800)는 환경 내에서 위치를 결정하고 계획 및 운행을 위한 환경을 묘사하기 위해 사용될 수 있다. 지도(800)는 지각 형태로부터 얻어진 정보를 기록하고 이를 현재의 지각 집합(set of perceptions)과 비교함으로써 실체 위치의 평가를 지원한다. 위치의 평가를 보조함에 있어서의 지도(800)의 이점은 현재의 지각의 정확도와 품질이 저하됨에 따라 증가한다. 지도(800)는 일반적으로 지도(800)가 제공되거나 생성된 시점에서의 상태를 나타낸다. 이는 반드시 지도(800)가 사용되는 시점에서의 환경의 상태와 일치되는 것은 아니다. 다른 로컬화 기법으로는 MonoSLAM(monocular visual SLAM) 및 MonoSLAM 해법을 위한 확장 칼만 필터(EKF: extended Kalman filter)를 사용한 구현이 포함된다.
제어기(500)는 캡쳐된 이미지의 로컬 특징부를 검출 및 기술하기 위해 SIFT(scale-invariant feature transform)를 실행할 수 있다. 이미지 내의 임의의 물체(12)에 대해, 물체(12)의 "특징부 기술(feature description)"을 제공하기 위해 물체(12) 상의 관심 지점이 추출될 수 있다. 트레이닝 이미지(training image)로부터 추출된 이러한 기술은 많은 다른 물체를 포함하는 테스트 이미지에서 물체(12)를 위치 파악하고자 할 때 물체(12)를 식별하는데 사용될 수 있다. 신뢰적인 인식을 이행하기 위해, 트레이닝 이미지로부터 추출된 특징부는 이미지 축척, 잡음 및 조명에 있어서의 변화시에도 검출 가능함이 중요하다. 이러한 지점은 보통 물체의 가장자리와 같이, 이미지의 높은 콘트라스트 영역에 놓인다. 물체의 인식 및 검출을 위해, 로봇(100)은 위치, 축척 및 회전에 대해 변치 않으며 또한 아핀 변환(affine transformation)(축척, 회전, 변형, 및 위치에 있어서의 변화) 및 조명의 변화에 강인한 고유한 핵심 지점을 찾기 위해 SIFT를 이용할 수 있다. 몇몇 구현예에서, 로봇(100)은 (예를 들면, 상이한 조건 하에서, 상이한 각도로부터 등) 현장(10) 또는 물체(12)의 복수의 이미지를 (카메라(320) 및/또는 이미지 센서(450)를 사용하여) 캡쳐하고는 이들 이미지를 매트릭스(행렬) 형태와 같이 저장한다. 로봇(100)은 비교, 필터 등에 의해 새로운 이미지를 식별하기 위해 저장된 이미지에 액세스할 수 있다. 예를 들면, SIFT 특징부는 입력 이미지로부터 얻어질 수 있으며, (이전에 캡쳐된) 트레이닝 이미지로부터 얻어진 SIFT 특징부 데이터베이스에 매치될 수 있다. 특징부 매칭은 유클리드 거리(Euclidean-distance) 기반의 최단거리 이웃(nearest neighbor) 방법을 통하여 행해질 수 있다. 동일 물체에 속하는 특징들은 집단화(clustering)하고 집단화 과정에서 남겨진 특징들은 거절함으로써 물체의 식별을 증가시키기 위해 허프 트랜스폼(Hough transform)이 사용될 수 있다. SURF(speeded up robust feature)는 강인한 이미지 검출기 및 기술자(descriptor)일 수 있다.
현장(10)(예를 들면, 로봇(100) 주변의 환경) 내에서의 로봇(100)의 로컬화 외에, 로봇(100)은 센서 시스템(400)을 사용하여 연결 공간(예를 들면, 작업 표면(5)) 내의 다른 지점으로 이동할 수 있다. 로봇(100)은 로봇(100) 주변의 근접 영역을 매핑하고 상대적으로 가까운 물체(12)를 식별하기 위해 (예를 들면, 도 1과 도 3에 도시된 바와 같이 몸통(140)의 하부면에 장착된) 근거리 유형의 이미지 센서(450a)와, 로봇(100) 주변의 상대적으로 넓은 영역을 매핑하고 상대적으로 멀리 떨어진 물체(12)를 식별하기 위해 (예를 들면, 도 1과 도 3에 도시된 바와 같이 머리(160)에 장착된) 장거리 유형의 이미지 센서(450b)를 포함할 수 있다. 로봇(100)은 현장(10) 내에서 알려진 물체(12)를 식별할 뿐만 아니라 차단부(16)(예를 들면, 물체(12)가 어느 곳에 있어야 하는지 또는 있지 않아야 하는지, 하지만 현재의 관망 지점으로부터는 확인될 수 없는)를 위해 점유공간 지도(800)를 사용할 수 있다. 로봇(100)은 새로운 물체(12)의 위치 또는 차단부(16)의 임의의 물체(12)를 확인하기 위해 현장(10) 내의 차단부(16) 또는 새로운 물체(12)를 등록하고는 이 차단부(16) 또는 새로운 물체(12)를 우회하도록 시도할 수 있다. 또한 점유공간 지도(800)를 사용하여, 로봇(100)은 현장(10) 내의 물체(12)의 이동을 결정 및 추적할 수 있다. 예를 들면, 이미지 센서(450, 450a, 450b)는 현장(10) 내의 물체(12)의 매핑된 위치를 검출하지 못하면서도 현장(10) 내의 물체(12)의 새로운 위치를 검출할 수 있다. 로봇(100)은 이전 물체(12)의 위치를 차단부(16)로 등록하고는 물체(12)의 위치를 확인하기 위해 차단부(16)를 우회하도록 시도할 수 있다. 로봇(100)은 새로운 이미지 깊이 데이터를 이전의 이미지 깊이 데이터(예를 들면, 지도(800))와 비교하고는 현장(10) 내의 물체(12)의 위치의 신뢰도 수준을 할당할 수 있다. 현장(10) 내의 물체(12)의 위치의 신뢰도 수준은 한계 시간 후에 타임 아웃될 수 있다. 센서 시스템(400)은 이 센서 시스템(400)의 각 이미징 사이클 후에 각 물체(12)의 위치 신뢰도 수준을 업데이트할 수 있다. 몇몇 예에서, 차단부 검출 기간 내에 검출된 새로운 차단부(16)(예를 들면, 점유공간 지도(800)에서 보이지 않는 물체(12))는 현장(10) 내의 "라이브(live)" 물체(12)(예를 들면, 움직이는 물체(12))를 나타낼 수 있다.
몇몇 구현예에서, 현장(10) 내에서 검출된 제1의 물체(12a) 뒤에 위치한 제2의 관심 물체(12b)는 현장(10) 내에서 차단부(16)로서 초기에는 검출되지 않을 수 있다. 차단부(16)는 이미지 센서(450, 450a, 450b)에 의해 용이하게 검출되지 않거나 또는 보이지 않을 수 있는 현장(10) 내의 영역일 수 있다. 도시된 예에서, 로봇(100)의 센서 시스템(400)(또는 예를 들면, 이미지 센서(450, 450a, 450b)와 같은 그 일부)은 현장(10)을 보기 위한 (0도 내지 360도 사이의 임의의 각도일 수 있는) 시야각(θV)을 갖는 시계(field of view: 452)를 갖는다. 몇몇 예에서, 이미지 센서(450)는 360도의 시야각(θV)을 위한 전방향 광학장치를 포함할 수 있는 한편, 다른 예에서는 이미지 센서(450, 450a, 450b)가 360도 미만(예를 들면, 약 45도 내디 180도 사이)의 시야각(θV)을 갖는다. 시야각(θV)이 360도 미만인 예에서, 이미지 센서(450, 450a, 450b)(또는 그 구성요소)는 360도의 시야각(θV)을 달성하기 위해 로봇 몸체(110)에 대해 회전할 수 있다. 몇몇 구현예에서, 이미지 센서(450, 450a, 450b) 또는 그 일부는 로봇 몸체(110) 및/또는 구동 시스템(200)에 대해 이동할 수 있다. 또한, 제2의 물체(12b)를 검출하기 위해, 로봇(100)은 제2의 물체(12b)의 검출을 가능케 하는 관망 지점을 얻기 위해 (예를 들어, 작업 표면(5) 상에서 병진운동 및/또는 회전운동함으로써) 하나 이상의 방향으로 현장(10) 주변을 구동함으로써 이미지 센서(450, 450a, 450b)를 이동시킬 수 있다. 로봇의 이동 또는 이미지 센서(450, 450a, 450b) 또는 그 일부의 독립적인 이동은 단안(單眼: monocular)의 난점도 또한 해소할 수 있다.
작업 영역(5)에서의 물체(12)의 검출된 위치 또는 추적된 움직임에 신뢰도 수준이 할당될 수 있다. 예를 들면, 점유공간 지도(800)를 생성 또는 업데이트함에 따라, 제어기(500)는 지도(800) 상의 각 물체(12)에 신뢰도 수준을 할당할 수 있다. 신뢰도 수준은 물체(12)가 지도(800) 상에 표시된 바와 같이 실제로 작업 영역(5) 내에 위치해 있을 확률에 직접 비례할 수 있다. 신뢰도 수준은 물체를 검출하는데 사용된 센서의 개수 및 유형과 같은, 다수의 변수에 의해 결정될 수 있다. 예를 들면, 접촉 센서(430)는 로봇(100)에 의한 물체(12)와의 실제 접촉을 감지하므로 가장 높은 신뢰도 수준을 제공할 수 있다. 이미지 센서(450)는 다른 신뢰도 수준을 제공할 수 있으며, 이 신뢰도 수준은 근접 센서(430)보다 더 높을 수 있다. 센서 시스템(400)의 2개 이상의 센서로부터 수신된 데이터는 어떤 단일 센서보다도 상대적으로 더 높은 신뢰도 수준을 제공하도록 합쳐지거나 누적될 수 있다.
주행거리 측정은 소정 시간에 걸친 위치에 있어서의 변화(이동 거리)를 예측하기 위한 액추에이터의 이동으로부터의 데이터의 사용을 말한다. 몇몇 예에서, 휠의 회전수, 및 그에 따른 로봇(100)에 의해 이동된 거리를 측정하기 위해 인코더가 구동 시스템(200)에 배치된다. 제어기(500)는 물체의 위치에 대한 신뢰도 수준을 평가함에 있어서 주행거리 측정을 사용할 수 있다. 몇몇 구현예에서, 센서 시스템(400)은 로봇(100)에 의해 이동된 거리를 검출하기 위해 주행거리 측정기 및/또는 각속도 센서(예를 들면, 자이로스코프 또는 IMU(470))를 포함한다. 자이로스코프는 각운동량 보존 법치에 따라 배향을 측정 또는 유지하는 장치이다. 제어기(500)는 작업 영역(5) 및/또는 점유공간 지도(800) 내의 로봇(100)의 위치를 결정하기 위해 주행거리 측정기 및/또는 각속도 센서로부터 각각 수신된 주행거리 측정 및/또는 자이로 신호를 사용할 수 있다. 몇몇 예에서, 제어기(500)는 추측 항법(dead reckoning)을 이용한다. 추측 항법은 이전에 산출된 위치를 기초로 하여 그 위치를 시간 경과에 대해 알려지거나 추정된 속도 및 경로에 기초하여 이동시키면서 현재의 위치를 추정하는 방법이다. (예를 들면, 주행거리 측정기, 자이로스코프를 통한) 작업 영역(5) 내에서의 로붓의 위치와 함께 (센서 시스템(400)을 통한) 작업 영역(5) 내의 하나 이상의 물체(12)의 감지 위치를 앎으로써, 제어기(500)는 (주행거리 측정기 또는 자이로스코프의 미사용에 대해) 점유공간 지도(800) 및 작업 영역(5)에서의 물체(12)의 위치 또는 이동에 대해 상대적으로 더 높은 신뢰도 수준을 평가할 수 있다.
휠의 운동에 기초한 주행거리 측정은 전기적인 잡음을 갖는다(electrically noisy). 제어기(500)는 휠의 주행거리 측정과 연계하여 또는 그 대신에 스캔 매칭(scan matching)을 이용할 수 있다. 스캔 매칭의 사용은 정확도의 개선 및/또는 연산 부담(computational burden)을 저감시킬 수 있다. 이러한 실시예에서, LIDAR 및/또는 다른 지도제작 방법을 사용하여 얻어진 2개의 부분 지도가 단일 지도로 병합될 수 있다. 2개 이상의 부분 지도는 알려진 스캐닝 지점을 사용하여 병합될 수 있다. 이와 달리, 2개 이상의 부분 지도는 부분 스캔에 대한 기하학적 특징을 사용하여 병합될 수도 있다. 제어기(500)는 가시적인 주행거리 측정을 통해 구동 시스템(200)의 휠에 기초한 주행거리 측정에 독립적으로, 로봇의 이동을 계산하기 위해 로봇(100) 주변의 환경 또는 현장(10)의 이미지 센서(450)로부터 이미지 데이터를 수신할 수 있다. 가시적인 주행거리 측정은 이미지 센서(450)의 이동을 산출하기 위해 광학 흐름(optical flow)을 사용하는 것을 수반할 수 있다. 제어기(500)는 휠에 기초한 주행거리 측정에 있어서의 임의의 오류를 수정하고, 그에 따라 개선된 지도제작 및 동작 제어를 가능케 하기 위해 이미지 센서(450)로부터의 이미징 데이터에 기초하여 계산된 동작을 이용할 수 있다. 가시적인 주행거리 측정은 이미지 센서(450)가 캡쳐된 이미지(들) 내의 특징부를 추적할 수 없게 되면 저 텍스쳐(low-texture) 또는 저 조도(low-light) 현장(10)에서 한계를 가질 수 있다.
본 명세서에 기재된 것과 조합될 수 있는 주행거리 측정 및 이미징 시스템에 대한 다른 상세사항 및 특징은 ("시계 깊이(depth-of-field)" 이미징 시스템을 기술하는) 미국특허 제 US 7,158,317호 및 (파면 코딩 간섭 대비 이미징 시스템(wavefront coding interference contrast imaging systme)을 기술하는) 미국특허 제 US 7,115,849호에서 찾을 수 있으며, 상기 문헌은 그 전체 내용이 본 명세서에 참고로 병합되어 있다.
도 8c와 도 8d를 참조하면, 로봇이 그 작업을 하게 될 건물에 익숙하지 않으면, 로봇은 자율 운행을 위해 둘러보도록 할 수 있거나 또는 건물(예를 들면, 호실 및 복도의 위치)의 지도가 제공될 수 있다. 예를 들면, 병원에서는 로봇이 각 환자의 호실, 간호사실 등의 위치를 알아야 할 필요가 있다. 몇몇 구현예에서, 로봇(500)은 도 8c에 도시된 것과 같은 평면도 지도(810)를 수신하며, 평면도 지도(800)을 익히도록 트레이닝될 수 있다. 예를 들면, 건물 주위로 로봇(100)을 유도하면서, 로봇(100)은 평면도 지도(810) 상의 위치에 대응하는 특정 위치를 기록할 수 있다. 로봇(100)은 평면도 지도(810)를 웹 패드(310) 상에 디스플레이할 수 있으며, 사용자가 로봇(100)을 특정 위치로 데려가면, 사용자는 평면도 지도(810) 상의 그 위치를 (예를 들면, 웹 패드(310)의 터치 스크린 또는 다른 포인팅 디바이스를 사용하여) 태그를 붙일 수 있다. 사용자는 호실 이름 또는 호실 번호와 같이, 태그가 붙여진 위치에 라벨을 입력하도록 선택될 수 있다. 태그 부착시에, 로봇(100)은 도 8d에 도시된 것과 같이 평면도 지도(810) 상의 지점과 로봇 지도(820) 상의 대응 지점을 갖는 태그를 저장할 수 있다. 예시된 바와 같이, 로봇 지도(820)는 평면도 지도(810)와 유사한 2차원 평면도 지도일 수 있다. 다른 양태의 실시예에서, 로봇 지도(820)는 평면도 지도(810)와 유사한 2차원 평면도 지도에 대응하는 지반면(ground level)을 포함하는 3차원 지도일 수 있다.
센서 시스템(400)을 사용하여, 로봇(100)은 돌아다니면서 로봇 지도(820)를 작성할 수 있다. 예를 들면, 센서 시스템(400)은 로봇(100)이 얼마나 멀리 이동했는지 및 이동 방향에 대한 정보를 제공할 수 있다. 로봇 지도(820)는 평면도 지도(810)에 제공된 벽 외에 고정 장애물을 포함할 수 있다. 로봇(100)은 자율 운행을 실행하기 위해 로봇 지도(820)를 사용할 수 있다. 로봇 지도(820)에서 "벽"은 예를 들면 해당 복도에서 벽을 따라서 검출된 패킹용 판재(packing crate) 및/또는 다양한 칸막이 공간 내부에서 검출된 가구로 인해 완전히 직선으로 보이지 않을 수 있다. 또한, 평면도 지도(810)와 로봇 지도(820) 사이에 회전 및 해상도 차(差)가 존재할 수 있다.
도 8e를 참조하면, 몇몇 구현예에서, 원격현전 소프트웨어 애플리케이션(601)은 사용자로 하여금 평면도 지도(810)에 태그(662)를 붙일 수 있게 하는 태깅 뷰(tagging view: 660)를 디스플레이한다. 평면도 지도(810)는 평면도 지도 윈도우(620)에 의해 디스플레이된 것과 동일한 지도일 수도 있고, 운행을 목적으로 내부적으로 사용되는 다른 지도일 수도 있다.
사용자, 원격 터미널, 및/또는 로봇은 지도 위치에 구동 위험, 장애물, 로봇 보조 등과 같은 정보를 표시하기 위해 평면도 지도(810) 및/또는 로봇 지도(820)의 특정 위치에 태그(662)를 삽입할 수 있다. 예를 들면, 사용자는 평면도 지도(810)의 특정 위치에 태그(662)를 드래그 앤 드롭(drag and drop)할 수 있다. 본 명세서에 기술되는 바와 같이, 태그는 한 지점 또는 한 구역과 결부된 태그 좌표, 태그의 용도를 규정하는 태그 정보, 태그의 유형, 태그의 성질, 태그와 연관된 사용자 및/또는 로봇에 대한 지시문, 및/또는 태그와 관련된 기타 정보를 포함할 수 있으며, 마지막으로 태그는 이 태그에 대응하는 2차원 및/또는 3차원 그래픽 또는 텍스트를 포함하는 태그 주석(tag annotation)을 포함할 수 있다. 태그 주석의 일례는 로봇이 들어가서는 안 되는 영역을 나타내는 태그 정보를 포함하는 태그와 결부된 8각형 적색 정지 표시(red stop sign)이다. 태그 주석은 인간 및/또는 기계 판독 가능할 수 있다. 태그 좌표는 점(points), 직선, 평면, 표면, 체적, 및/또는 2.5D 또는 하이브리드 표면일 수 있다. 태그는 임의의 개수의 추가적인 필드(field) 및/또는 매개변수를 갖는 데이터 구조로 형성될 수 있다. 예를 들면, 태그는 시간, 스케쥴링, 공간 좌표, 및/또는 기설정 기능에 대한 트리거와 결부된 필드를 포함한다.
본 명세서에서 사용되는 주석(annotation)이라는 용어는 텍스트, 단어, 또는 기타 언어 표현을 포함한다. 따라서, 태그 주석은 사진(그림), 그래픽 이미지, 그림 그래프(pictograph), 하이어 주석(hieroannotation), 비언어 심벌일 수 있다. 또한, 태그 주석은 단어, 문자, 문구(phrase), 또는 기타 텍스트 형태일 수 있다. 예를 들면, 간호사실과 결부된 태그는 간호사들 이름을 나타내는 텍스트 표현을 포함하는 태그 주석을 포함할 수 있다. 간호사들 이름의 텍스트 표현은 2차원 텍스트일 수도 있고, 3차원 텍스트일 수도 있다. 이와 달리, 간호사실과 결부된 태그 주석은 큰 글자로 N, 또는 간호사실을 나타내는 심벌(예를 들면, 간호사 모자 또는 간호사 심벌)일 수 있다.
태그(662)는 상대적으로 양호한 신호 수신을 갖는 영역을 나타내는 WLAN 웜 태그(warm tag)(662a)와 상대적으로 불량한(약한) 신호 수신을 갖는 영역을 나타내는 WLAN 콜드 태그(cold tag)(662b)를 포함할 수 있다. 로봇(100)은 상대적으로 불량한 무선 신호 수신을 갖는 영역은 회피하면서 상대적으로 양호한 무선 신호 수신을 갖는 영역을 통하여 하나의 위치로부터 다른 위치로 운행하기 위해 이 정보를 사용할 수 있다.
저 소통량 태그(low traffic tag: 662c)는 상대적으로 적은 소통량(사람 및/또는 로봇)을 갖는 영역을 나타낸다. 로봇(100)은 상대적으로 높은 소통량을 갖는 영역을 통과하는 대신에, 상대적으로 저 소통량을 갖는 영역을 통과하는 이동 경로를 선택할 수 있다. 또한, 로봇(100)이 고 소통량 영역을 통하여 이동해야 하면, 로봇(100)은 그 영역을 충돌없이 성공적으로 운행하기 위해 하나 이상의 특정 장애물 검출 장애물 회피(ODOA) 거동을 실행할 수 있다.
독 태그(dock tag: 662d)는 로봇 도킹 스테이션의 위치를 나타낸다. 저 배터리(low battery) 이벤트는 제어기(500)에 재충전을 하라고 신호를 보낼 수 있다. 로봇(100)은 재충전을 위한 로봇 도킹 스테이션을 찾기 위해 독 태그(662d)가 부착된 지도 위치를 사용할 수 있다. 예를 들면, 평면도 지도(810)와 로봇 지도(820)(도 8c 및 도 8d) 사이의 산출된 왜곡을 적용함으로써, 로봇(100)은 로봇 도킹 스테이션과 도킹하기 위해 그 태그 부착된 위치로 운행할 수 있도록 태그 부착된 배치 지도 위치(814)에 대응하는 로봇 지도 위치(824)를 결정할 수 있다. 왜곡의 산출은 동일한 좌표계를 사용하는 두 지도 사이의 왜곡을 결정하는 것을 포함할 수 있다. 로봇 지도(820)와 평면도 지도(810)는 모두 2차원일 수 있으며, 그래서 왜곡의 결정은 상이한 차원간의 좌표 변환을 결정하는 것을 요하지 않을 수 있다.
어떤 태그(662)는 장애물 또는 특수 통과 영역을 나타내는데 사용될 수 있다. 예를 들면, 유리 태그(662e)는 유리 벽, 창문, 또는 문의 위치를 나타낸다. 로봇(100)은 적외선 근접 센서가 유리 구조물을 검출하지 못할 수 있으므로 태그 부착된 유리 구조물을 회피하기 위해 이 정보를 사용할 수 있다. 램프 태그(662f)는 바닥 램프(floor ramp)의 위치를 나타낸다. 원거리에 대해, 로봇(100)은 램프를 장애물로 검출할 수 있는데, 이는 램프가 한계치 통과 높이보다 더 높은 수직 높이를 갖는 것처럼 보일 수 있기 때문이다. 태그 부착된 램프에 접근하면, 로봇(100)은 램프를 성공적으로 통과하기 위해 램프 또는 통과 거동을 실행할 수 있다. 밀착 태그(tight tag: 662g)는 상대적으로 좁은 복도 또는 통행로의 위치를 나타낸다. 로봇(100)은 갇히는 상황을 회피하기 위해 이러한 영역을 회피할 수 있다.
저속 태그(slow tag:662h)는 로봇(100)이 상대적으로 저속으로 구동되는 위치 또는 영역을 나타낸다. 이 위치 또는 영역은 고 소통량 영역과 일치할 수 있다. 회피 태그(avoid tag: 662i)는 로봇(100)이 회피해야 하는(즉, 통과하지 말아야 하는) 위치 또는 영역을 나타낸다. 몇몇 구현예에서, 회피 태그(662i)는 동작 모드에 종속적일 수 있다. 예를 들면, 회피 태그(662i)는 로봇이 완전한 자율 모드로 작동중일 때만 적용할 수 있다. 원격 조종시에, 회피 태그(662i)는 로봇에 의해 효과적으로 무시될 수 있다. 수술실 사용자 인터페이스(OR UI: operating room user interface) 태그(662j)는 병원의 수술실 위치 또는 영역을 나타낼 수 있다. 로봇(100)은 OR 영역으로 들어감에 따라 원격현전 지원을 제공하고 및/또는 특정 사용자 인터페이스(예를 들면, OR UI)를 디스플레이할 수 있도록 수술실을 찾기 위해 이 태그를 사용할 수 있다. 트레이닝 태그(training tag: 662k)는 로봇(100)이 그 주변환경(10)을 익히도록 트레이닝하기 위해 복도 및 호실과 같은 일반 위치를 표시하는데 사용될 수 있다.
수동 엘리베이터 태그(662l)는 로봇(100)이 사용자로 하여금 로봇이 엘리베이터 안으로 들어가는/나오는 것을 돕도록 해야 하는 엘리베이터의 위치를 나타낸다. 수동 엘리베이터 절충(negotiation)은 원격 사용자 조종 또는 로봇 로컬 사용자 가이드를 기초로 할 수 있다. 원격 사용자 조종의 경우에, 원격 사용자는 로봇(100)에 (예를 들면, 조이스틱을 사용하여) 구동 명령을 제공할 수 있다. 로봇-로컬 사용자 가이드의 경우에, 로봇(100)에 인접한 사람이 로봇(100)을 물리적으로 터치할 수 있고, 이러한 터치에 응답하여, 로봇(100)은 따라 이동한다. 본 명세서에 기술된 것과 조합될 수 있는 사용자 터치에 대한 로봇 응답성에 관한 특징은 2011년 2월 22일자로 제출된, 특허출원 일련번호 제13/032,390호에서 찾을 수 있으며, 상기 문헌은 그 전체가 참고로 본 명세서에 병합되어 있다.
자동 엘리베이터 태그(662m)는 로봇(100)이 자율적으로 운행할 수 있는(들어가고 나올 수 있는) 엘리베이터의 위치를 나타낸다. 로봇(100)은 넘어지는 것을 회피하도록 엘리베이터 안으로 들어가고 나오기 위해 한계치 통과 거동(512d)(도 5)을 실행할 수 있다. 본 명세서에 기술된 것과 조합될 수 있는 사용자 터치에 대한 로봇 응답성에 관한 특징은 2011년 11월 9일자로 제출된 특허출원 일련번호 PCT/US11/59910에서 찾을 수 있으며, 상기 문헌은 그 전체가 참고로 본 명세서에 병합되어 있다.
우측 유지 태그(662n)는 로봇(100)이 우측으로 유지해야 하는 지도 위치 또는 영역을 나타낸다. 사용자는 고 소통량 복도와 같은, 특정 복도를 따라 이 태그를 배치할 수 있다. 우측 유지 태그(662n)에 응답하여 로봇(100)은 태그 부착 영역을 구동하면서 벽을 따라서 유지하는 벽 추종 거동(wall following behavior)을 실행할 수 있다.
지도 트레이닝 후에, 사용자가 로봇(100)을 소정 위치로 보내기를 원하면, 사용자는 라벨/태그(622)를 참조(예를 들면, 웹 패드(310)에 디스플레이된 위치 텍스트 박스에 라벨 또는 태그를 입력)할 수 있거나, 또는 로봇(100)이 웹 패드(310) 상에서 사용자에게 평면도 지도(810)를 디스플레이할 수 있고 사용자는 평면도 지도(810) 상의 위치를 선택할 수 있다. 사용자가 태그 부착된 배치 지도 위치(814)를 선택하면, 로봇(100)은 로봇 지도(820) 상의 해당 로봇 지도 위치(824)를 용이하게 결정할 수 있으며, 선택된 위치(814)로 운행하도록 진행할 수 있다.
몇몇 구현예에서, 로봇 제어기(500)는 제1의 영역을 이동하면서 제1의 거동(512)을 실행할 수 있고, 그리고 나서 결부된 로봇 거동 수정부(robot behavior modifier)를 갖는 태그와 결부된 제2의 영역을 이동하면서 제2의 거동(512)을 실행할 수 있다. 예를 들면, 사람 추종 거동(512b)을 실행하면서, 로봇 제어기는 그 거동(512b)의 실행을 멈추거나 또는 램프 태그(662f) 또는 자동 엘리베이터 태그(622m)가 부착된 지도 위치(814)에 이름에 따라 한계치 통과 거동(512d)을 동시에 실행할 수도 있다.
평면도 지도(810)에서 선택된 위치가 태그 부착된 위치(814)가 아니면, 로봇(100)은 로봇 지도(820) 상에서 대응하는 위치(824)를 결정한다. 몇몇 구현예에서, 로봇(100)은 존재하는 태그 부착된 위치를 사용하여 평면도 지도(810)와 로봇 지도(820) 사이에 축척 크기(scaling size), 원점 매핑, 및 회전을 계산하며, 그리고 나서 계산된 매개변수들을 적용하여 (예를 들면, 아핀 변환 또는 좌표를 사용하여) 로봇 지도 위치를 결정한다.
로봇 지도(820)는 평면도 지도(810)와 동일한 배향 및 축척이 아닐 수 있다. 게다가, 배치 지도는 축척에 맞춰지지 않을 수 있으며, 지도 영역마다 변하는 왜곡을 가질 수 있다. 예를 들면, 호텔, 사무실, 및 병원에서 전형적으로 볼 수 있는 화재 대피 지도를 스캐닝하여 생성된 평면도 지도(810)는 보통 축척에 맞춰 그려지지는 않으며, 심지어는 지도의 상이한 구역에서 상이한 축척을 가질 수도 있다. 로봇 지도(820)는 그 자체의 오류를 가질 수 있다. 예를 들면, 로봇 지도(820) 상의 위치는 거리 측정으로서 휠의 회전을 계수함으로써 산출되었을 수 있으며, 바닥이 약간 미끄러웠거나 또는 코너를 돌면서 여분의 휠 회전이 발생하였다면, 부정확한 회전 계산은 로봇(100)으로 하여금 매핑된 물체의 부정확한 위치를 산출하게 할 수 있다.
평면도 지도(810) 상의 소정 지점(814)을 로봇 지도(820) 상의 대응하는 지점(824)으로 매핑하는 방법은 배치 지도 지점을 포함하는 (예를 들면, 한계 반경 내의) 영역에서 평면도 지도(810)와 로봇 지도(820) 사이의 (동일한 2차원 좌표계에서의) 국부 왜곡(local distortion)을 계산하기 위해 기존의 태그 부착된 지점(812)을 사용하는 단계를 포함할 수 있다. 이 방법은 대응하는 로봇 지도 지점(824)을 찾기 위해 배치 지도 지점(814)에 왜곡 계산을 적용하는 단계를 더 포함한다. 예를 들면 로봇에게 그 현재 위치를 묻기 위해, 로봇 지도(820) 상의 소정 지점으로부터 시작하여 평면도 지도(810)의 해당 지점을 찾기를 원하면, 역으로 행해질 수 있다.
임의의 매우 다양한 태그 체계 및 데이터 구조가 사용될 수 있다. 예를 들면, 태그는 태그의 용도, 태그 매개변수, 및 태그 특성(일반적으로 "태그 정보")을 특정하는 핵심 값의 쌍(雙)의 형태의 특성을 포함할 수 있다. 아래의 표 1은 특정 예를 제공한다.
필드 이름 데이터 유형 설명
tagID 정수 전술한 태그 표에 있는 태그 항목의 ID
name(이름) 텍스트 매개변수 이름
value(값) 텍스트 매개변수 값
영역과 결부된 태그는 그 용도를 특정하고 그 영역과 결부된 거동에 영향을 미치는 매개변수를 특정하는 그 태그와 결부된 특징을 가질 수 있다. 이들 핵심 값의 쌍은 아래의 표 2에 있는 예와 유사한 데이터 구조를 사용하여 저장될 수 있다.
필드 이름 데이터 유형 설명
regionID 정수 전술한 영역 표에 있는 영역 항목의 ID
name 텍스트 매개변수 이름
value 텍스트 매개변수 값
각 태그의 데이터 구조는 태그 좌표와, (태그의 2차원 및/또는 3차원 그래픽 표현과 같은) 태그 주석을 포함할 수 있는 태그 정보를 포함할 수 있다. 아래의 표 3은 태그의 데이터 구조의 특정 예를 제공한다.
필드 이름 데이터 유형 설명
id 정수 데이터베이스의 태그에 대한 전범위에 걸쳐 고유한 식별자
mapId 정수 태그가 속하는 로봇 지도의 식별자
timestamp
(타임스탬프)		 부동소수점(float) 언제 태그가 생성되었는지를 나타내는 타임스탬프
poseX 부동소수점 로봇 지도의 좌표계에서의 태그의 X 좌표
poseY 부동소수점 로봇 지도의 좌표계에서의 태그의 Y 좌표
poseZ 부동소수점 로봇 지도의 좌표계에서의 태그의 Z 좌표
poseXr 부동소수점 X축에 대한 태그의 회전
poseYr 부동소수점 Y축에 대한 태그의 회전
poseZr 부동소수점 Z축에 대한 태그의 회전
name 텍스트 태그의 인간 판독 가능 식별자
annotation
(주석)		 이미지 2D 및/또는 3D 그래픽 표현
본 명세서에서 기술되는 바와 같이, 태그는 특정 지점보다는 지도 상의 영역에 결부될 수 있다. 태그 정보와 태그 사이에는 다대일(many-to-one)의 관계를 가질 수 있다. 영역과 결부된 태그에 대한 데이터 구조의 특정 예가 아래의 표 4에 제공되어 있다.
필드 이름 데이터 유형 설명
id 정수 데이터베이스의 영역에 대한 전범위에 걸쳐 고유한 식별자
mapId 정수 영역이 속하는 로봇 지도의 식별자
timestamp 부동소수점 언제 영역이 생성되었는지를 나타내는 타임스탬프
poseX 부동소수점 로봇 지도와 동일한 좌표계에서의 영역의 중심의 X 좌표
poseY 부동소수점 로봇 지도와 동일한 좌표계에서의 영역의 중심의 Y 좌표
poseZ 부동소수점 로봇 지도와 동일한 좌표계에서의 영역의 중심의 Z 좌표
poseXr 부동소수점 X축에 대한 영역의 회전
poseYr 부동소수점 Y축에 대한 영역의 회전
poseZr 부동소수점 Z축에 대한 영역의 회전
name 텍스트 영역의 인간 판독 가능 식별자
annotation 이미지 2D 및/또는 3D 그래픽 표현
몇몇 예에서, 영역의 기하학적 형상은 그 중심의 컴포넌트들로 세분화될 수 있으며, 많은 물체의 위치 및 회전이 신속하게 업데이트될 수 있도록 하기 위해 중심으로부터 편심된다. CPU 리소스가 허용하면, 최종 좌표의 경계 상자(bounding box)(중심의 자세에 의해 지도의 좌표계로 변환된, 중심에 대한 다각형의 지점들)는 R*-트리 또는 유사한 데이터 구조를 사용하여 인덱싱될 수 있다. 영역의 다각형을 포함하는 지점들은 광선 추적(ray-tracing) 알고리즘을 기초로 한 PIP(point-in-polygon) 테스트를 용이하게 하기 위해 시계(또는 반시계) 방향으로 저장될 수 있다.예로서, 저속 구역인 영역을 나타내는 태그는 아래의 표 5에 제공된 바와 같은 데이터 구조를 가질 수 있다.
이름 값
type speedZone
subtype explicit (명시적)
maxXVelocity 0.75
maxYVelocity 0.0
maxThetaVelocity 0.75
표 5는 제한 속도가 영역 그 자체와 결부된 값을 기초로 명시적으로 설정된 저속 구역 태그의 예를 예시한다. 이와 달리, 영역은 로봇이 그 영역을 저속 구역으로 해석하도록 하는 방식으로 규정될 수도 있다. 예를 들면 아래의 표 6에서, 로봇은 교차로로 규정된 영역을 저속 구역으로 해석하며 기설정 속도로 그 속도를 낮추게 된다.
이름 값
type speedZone
subtype intersection (교차로)
지도 상의 지점 또는 영역에 결부된 태그는 태그 좌표, 태그 정보, 및 임의의 다양한 종류의 태그 주석을 포함할 수 있다. 또한, 태그는 위에서 표 1 내지 6에 예시된 것들을 포함하는, 매우 다양한 종류의 데이터 유형을 사용하여 구현될 수 있다. 태그 정보 및 태그 주석이라는 용어는 본 명세서에서 개별 요소로 지칭된다. 하지만, 다양한 실시예에 따르면, 태그 주석은 태그 정보의 일부일 수 있다. 구체적으로 데이터 구조는 태그 주석에 대해 구별되는 필드를 포함할 수도 있고 포함하지 않을 수도 있다. 대신에, 태그 정보에 대한 데이터 구조의 필드는 태그 주석을 병합할 수도 있다.
도 8f는 평면도 지도(810)와 로봇 지도(820)를 사용하여 소정 환경 주변을 운행하기 위해 로봇(100)을 작동시키는 동작의 예시적인 배열(800f)을 제공한다. 동작은 로봇(100)의 환경에 대응하는 평면도 지도(810)를 수신하는 단계(802f)와, 환경 내의 로봇(100)을 평면도 지도(810) 상의 배치 지도 위치(812)로 이동시키는 단계(804f)와, 환경에 대응하며 로봇(100)에 의해 생성된 로봇 지도(820) 상에 로봇 지도 위치(822)를 기록하는 단계(806f)와, 기록된 로봇 지도 위치(822) 및 대응하는 배치 지도 위치(812)를 사용하여 로봇 지도(820)와 평면도 지도(810)의 사이에 (2차원) 왜곡을 결정하는 단계(808f)와, 대응하는 타겟 로봇 지도 위치(824)를 결정하기 위해 결정된 왜곡을 타겟 배치 지도 위치(814)에 적용하는 단계(810f)를 을 포함하며, 그에 따라 로봇이 평면도 지도(810) 상의 선택된 위치(814)로 운행할 수 있게 한다. 몇몇 구현예에서, 동작은 존재하는 태그 부착된 위치를 사용하여 평면도 지도(810)와 로봇 지도(820)의 사이에 축척 크기, 원점 매핑, 및 회전을 결정하는 단계와, 선택된 타켓 배치 지도 위치(814)에 대응하는 로봇 지도 위치를 결정하는 단계를 포함한다. 동작은 로봇 지도 위치를 해석하기 위해 결정된 축척 크기, 원점 매핑, 및 회전에 아핀(affine) 변환을 적용하는 단계를 포함할 수 있다. 임의의 상기 동작들은 정확도 및/또는 효율을 높이기 위해 임의의 횟수 반복될 수 있다. 예를 들면, 환경 내에서 로봇(100)을 이동시키는 단계(804f)와 로봇 지도 위치를 기록하는 단계(806f)는 후속 변환 및 배치 지도와 로봇 지도 사이의 계산을 위해 충분한 상관(相關) 지점을 수집할 수 있도록 복수 회 반복될 수 있다.
본 개시와 조합될 수 있는 다른 상세사항 및 특징은 2011년 11월 16일자로 제출된 PCT 국제출원 일련번호 제 PCT/US11/60935호에서 찾을 수 있으며, 상기 문헌은 그 전체가 본 명세서에 참고로 병합되어 있다.
도 9a와 도 9b를 참조하면, 몇몇 구현예에서, 원격조종 소프트웨어 애플리케이션(601)은 지도 윈도우(620)에 하이브리드 3차원 이미지 지도(622b)(하이브리드 지도)를 디스플레이한다. 하이브리드 지도(622b)는 원격 비디오 피드 윈도우(610)에 디스플레이되는 원격 뷰(612)와, 평면도 지도 윈도우(620)(도 6d)에 디스플레이되는 2차원 탑다운 지도(622a)와 같은 평면도 지도(810)의 조합일 수 있다. 도 9a는 로봇(100)이 복도에 위치될 때 사용자가 볼 수 있는 원격 비디오 뷰(612)를 예시한다. 도 9b는 평면도 지도(810)가 원격 뷰(612)에 맞도록 부분적으로 오버레이되고 수정된 하이브리드 지도(622b)를 예시하며, 로봇(100)의 시계 내의 영역의 호실 번호 및/또는 호실 유형을 나타낸다. 라이브 비디오 피드를 보게 되면, 사용자는 윈도우의 위에 커서를 위치시킬 수 있고 스크롤 휠을 위로 움직이기 시작할 수 있다. 전이(transition) 과정 동안에, (로봇(100)의 카메라(320)로부터의) 조망 비디오 뷰는 원격 비디오 뷰(612)와 지도(622) 사이에서 점진적으로 전이된다. 지도(622)는 조망 원격 비디오 뷰(612)를 매핑할 수 있도록 전이의 개시시에 완전히 와핑(warping)되며, 그리고는 전이의 말단부에 그 와핑되지 않은 뷰로 점진적으로 되돌아간다. 그래서 마우스 휠이 30% 위로 움직이면, 사용자는 70%의 비디오와 30%의 지도를 포함하는 오버랩된 이미지를 보게 되고, 비디오 부분은 30% 디와핑(de-warping)되는 한편, 지도는 70% 와핑된다. 이러한 구현은 단일의 뷰가 유동적으로 조망 원격 비디오 뷰(612)와 지도(622) 모두를 나타낼 수 있게 한다.
하이브리드 지도(622b)를 제공하기 위해, 원격조종 소프트웨어 애플리케이션(601)은 로봇 지도(820)의 기록된 로봇 지도 위치(822) 및 대응하는 배치 지도 위치(812)를 사용하여 원격 뷰(612)와 평면도 지도(810)의 사이에(2차원 좌표와 3차원 좌표 사이의) 왜곡을 결정할 수 있으며, 그리고 나서 평면도 지도(810)가 원격 뷰(612)에 맞도록 결정된 왜곡을 적용할 수 있다. 몇몇 구현예에서, 왜곡을 결정하는 것은 예를 들면, 결정된 축척 크기, 원점 매핑, 및 회전에 아핀 변환을 적용함으로써 평면도 지도(810)와 원격 뷰(612)의 사이에 축척 크기, 원점 매핑, 및 회전을 결정하는 것을 포함한다. 2차원 평면도 지도와 3차원 비디오 피드 사이에 왜곡을 결정하는 것은 상이한 좌표계 사이의 좌표 변환을 결정하는 것을 포함할 수 있다.
도 6d와 도 10a 내지 10e를 참조하면, 몇몇 구현예에서, 사용자 인터페이스(605)는 지도 윈도우(620), 전용의 개별 윈도우, 또는 다른 윈도우에 표시된 미리보기 뷰(612a)의 디스플레이를 발생시키는 미리보기 명령(624)을 제공한다. 로봇(100)을 구동하면서, 사용자는 미리보기 명령(624)을 불러올 수 있는데, 이는 로봇(100)이 물리적으로 이동하는 것을 정지시키는 한편, 원격조종 소프트웨어 애플리케이션(601)은 로봇(100)이 마치 그 구동 경로를 따라 계속적으로 움직이고 있었던 것처럼 제안된 로봇의 구동 경로의 조망도를 제공하는 제작된 미리보기 뷰(612a)를 생성 및 디스플레이한다. 이는 벽의 위치와 같은 지도 데이터를 사용하며 로봇(100)의 가상 위치에 기초하여 조망 "가상 현실" 뷰를 구성함으로써 달성될 수 있다. 예를 들면, 원격현전 소프트웨어 애플리케이션(601)은 미리보기 뷰(612a)를 구성하기 위해 평면도 지도(810), 로봇 지도(820), 및/또는 저장된 이미지 데이터(701)(도 7)을 사용할 수 있다. 도 7에 도시된 예와 같이 클라우드 컴퓨팅 서비스(720)를 이용하는 로봇의 경우에, 원격현전 소프트웨어 애플리케이션(601)과 선택적으로 로봇(100)은 클라우드 컴퓨팅 서비스(720)와 통신을 행할 수 있으며, 이 클라우드 컴퓨팅 서비스(720)는 저장된 이미지 데이터(701), 3차원 지도(705), 및/또는 2차원 높이 지도(707)(또는 달리 2.5D 하이브리드 지도)에 기초하여 미리보기 뷰(612a)를 구성할 수 있으며, 그리고 나서 지도 윈도우(620)에 표시하기 위해 미리보기 뷰(612a)를 제공할 수 있다. 이러한 구현은 원격현전 소프트웨어 애플리케이션(601)으로 하여금 클라우드 서비스의 확장 가능한 컴퓨터 처리 및 데이터 저장 능력(예를 들면, 클라우드 서비스(720)는 데이터를 처리하기 위해 탄력적으로 확장될 수 있고 그리고 나중에 다시 축소될 수 있다)을 이용할 수 있게 하며, 그에 따라 원격현전 소프트웨어 애플리케이션(601)를 실행하는 전산 장치에 대한 처리 및 메모리 요건을 저감시킨다.
도 10a는 원격현전 소프트웨어 애플리케이션(601)의 원격 비디오 피드 윈도우(610)의 예시적인 원격 뷰(612)를 도시한다. 도 10b는 지도 윈도우(620)에 디스플레이된 상보적인 지도(622)를 예시한다. 지도(622)는 로봇의 카메라(320)에 대한 카메라 시계(322)와 함께 로봇 아이콘(650)으로 표시된 로봇(100)의 현재 위치를 제공한다. 도 10c와 도 10e는 원격 비디오 피드 윈도우(610)에 디스플레이된 예시적인 미리보기 뷰(612a)를 제공한다. 원격 비디오 피드 윈도우(610)는 예를 들면 원격 비디오 피드 윈도우(610)의 코너에 위치된 PIP(picture-in-picture) 윈도우에 로봇 카메라(320)로부터의 원격 뷰(612)를 계속하여 디스플레이할 수 있다. 도 10d와 도 10f는 지도 윈도우(620)에 디스플레이된 예시적인 지도(622)를 제공한다. 미리보기 명령을 실행하면서, 원격현전 소프트웨어 애플리케이션(601)은 로봇의 카메라의 시계(322)와 함께 로봇의 현재 위치에 로봇 아이콘(650)을 표시할 수 있다. 부가적으로 또는 이에 대신하여, 원격현전 소프트웨어 애플리케이션(601)은 예측된 미리보기 카메라 시계(322a)와 함께 미리보기 경로를 따라 이동하는 가상의 로봇 아이콘(650a)을 평면도 지도 윈도우(620)에 표시할 수 있다.
몇몇 구현예에서, 사용자가 원격현전 소프트웨어 애플리케이션(601)과 통신 상태에 있는 조이스틱을 사용하여 복도를 따라 로봇(100)을 구동함에 따라, 사용자는 (예를 들면, 사용자 인터페이스(605) 상의 해당 버튼 또는 조이스틱을 선택함으로써) 미리보기 명령(624)을 불러올 수 있다. 예를 들면, 복도에서 모퉁이로부터 50 피트(약 15.2m) 떨어진 위치에서, 사용자는 미리보기 명령(624)을 불러올 수 있으며, 그에 따라 미리보기 뷰(612a)가 생성되고 복도를 따라서의 로봇(100)의 추가적인 이동이 정지된다. 하지만, 사용자는 미리보기 모드로 계속하여 로봇(100)을 가상으로 이동시킬 수 있다. 사용자 인터페이스(605)는 동일 위치에서 동일 복도의 미리보기 뷰(612a)(예를 들면, 3차원 모델)를 디스플레이할 수 있다. 사용자가 미리보기 모드로 전방으로 구동하면서, 50 피트(약 15.2m) 진행하고는, 좌회전하고서, 계속하여 구동함에 따라, 사용자는 3차원 모델/미리보기 뷰(612a)에서 그 길을 따라서 있는 호실과 다른 복도의 위치를 볼 수 있다. 몇몇 예에서, 처음 30 피트(약 9.1m)의 "가상" 구동의 경우에, 원격현전 소프트웨어 애플리케이션(601)은 (가상 위치와 일치되도록 더 확대되고 조망 와핑된, 정지상태의 물리적인 로봇으로부터의) 실제 뷰와 3차원 모델/미리보기 뷰(612a)의 혼합분을 디스플레이할 수 있다.
도 10g는 원격현전 소프트웨어 애플리케이션(601)의 미리보기 모드를 실행하기 위한 동작의 예시적인 배열(1000)을 제공한다. 이 동작은 미리보기 모드(플라이스루(flythrough) 모드라고도 지칭됨)를 개시하는 단계(1002)와, 로봇(100)의 현재 자세 및/또는 좌표와 같은, 로봇(100)의 실제 로컬화를 체킹하는 단계(1004)를 포함한다. 로봇(100)은 그 센서 시스템(400)의 수신된 센서 신호에 기초하여 그 로컬화를 결정하고, 그리고 나서 이 로컬화를 원격현전 소프트웨어 애플리케이션(601) 및/또는 클라우드 컴퓨팅 서비스(720)에 전달할 수 있다. 이 작업은 로봇(100)의 가상 로컬화 및/또는 자세를 생성하는 단계(1006)를 더 포함한다. 원격현전 소프트웨어 애플리케이션(601) 또는 클라우드 컴퓨팅 서비스(720)는 가상 로컬화 및/또는 자세를 생성하기 위해 로봇(100) 및 이미지 데이터(701)(도 7)(예를 들면, 체적측정 포인트 클라우드 이미지 데이터)와 결부된 동역학적 모델(570)(도 5)을 사용할 수 있다. 이 작업은 산출된 가상 로봇 로컬화에 대응하는 3차원 렌더링 데이터에 액세스하는 단계(1008)와 로봇(100) 및/또는 로봇(100) 주변의 로컬 환경의 3차원 렌더링을 생성하는 단계(1010)를 포함할 수 있다. 이는 원격현전 소프트웨어 애플리케이션(601)에 의해 원격 비디오 피드 윈도우(610)에 디스플레이될 수 있는 로컬 3차원 모델/미리보기 뷰(612a)를 구성하기 위해, 이미지 데이터(701)(예를 들면, 체적측정 포인트 클라우드 이미지 데이터) 및/또는 로컬에 저장되거나 또는 클라우드 스토리지(722)에 원격 저장된 3차원 지도(705)에 액세스하는 것을 수반할 수 있다. 또한, 이는 지도 윈도우(620)에서 가상 로봇 아이콘(650a)으로 예시된 로봇(100)의 3차원 모델과 예측된 미리보기 카메라의 시계(322a)를 생성하는 것을 수반할 수 있다. 이 동작은 디스플레이된 미리보기 뷰(612a) 또는 1인칭 관점(POV: point of view)을 업데이트하는 단계(1012)와, 로봇(100)이 미리보기 모드로 가상적으로 이동함에 따라 로봇(100)의 가상 로컬화/자세를 업데이트하는 단계를 포함할 수 있다. 단계들(1008 내지 1014)은 미리보기/플라이스루(flythrough) 모드가 종료(1016)될 때까지 (예를 들면, 주기적으로) 반복될 수 있다.
도 11a를 참조하면, 몇몇 구현예에서, 원격현전 소프트웨어 애플리케이션(601)의 사용자 인터페이스(605)는 원격 비디오 피드 윈도우(610)(또는 다른 윈도우)에 원격 운행 뷰(612b)를 디스플레이할 수 있다. 원격 운행 뷰(612b)는 원격 뷰(612)의 라이브 비디오 피드 위에 렌더링된 운행 가능 영역(616)을 가질 수 있다. 사용자는 원격 뷰(612)와 원격 운행 뷰(612b) 사이에서 전환할 수 있다. 운행 가능 영역(616)은 평면도 지도 및/또는 로봇 지도(820)를 기초로 결정될 수 있다. 운행 가능 영역(616)은 장애물을 제외하고, 로봇 카메라(들)(320, 450)의 시계(832)에 의해 경계지어진 영역으로 도시될 수 있다. 또한, 운행 가능 영역(616)은 이 운행 가능 영역이 장애물 또는 다른 방해물이 없다고 사용자에게 전하는 색상 또는 다른 신호로 채워질 수 있다.
배치 지도 상의 운행 가능 영역은 로봇의 내부 장애물 지도의 정보에 기초하여 강조될 수 있다. 일 실시예에서, 운행 가능 영역은 이미지에서 백색(흰색) 픽셀로 식별될 수 있다. 로봇은 로봇 지도 상에서의 그 위치 및 3D 깊이 카메라의 위치 및 배향을 회신할 수 있다. 프로세서는 비디오 스크린 상의 어느 픽셀이 지반 평면(ground plane)을 나타내는지를 결정하기 위해 로봇의 위치와 머리의 카메라의 운동학적 상태(예를 들면, 팬 및 틸트 각도)를 사용할 수 있다. 즉, 프로세서는 비디오 피드 상에서 각 지반면 픽셀에 대한 좌표를 산출하기 위해 로봇 위치와 비디오 피드의 관점을 이용할 수 있다. 운행 가능 영역을 나타내는 백색 픽셀은 그 다음에 비디오 피드 상의 지반면 픽셀에 오버레이될 수 있다. 따라서, 로봇 및/또는 로봇을 제어하는 사용자는 백색 픽셀을 따라감으로써 운행 가능 영역을 식별할 수 있다. 다른 양태의 실시예에서는, 다른 색의 픽셀 또는 다른 식별 마크가 사용될 수 있다. 백색 픽셀 대신에 다른 형태의 데이터 구조 또는 마크가 사용될 수 있다. 특히, 로봇의 POV(관점)에서, 운행 가능한 지반면 픽셀의 좌표는 로봇이 인식할 수 있도록 구성되는 한 임의의 다양한 방식으로 태그화될 수 있다.
사용자는 운행 가능한 영역(616)에서 로봇 목적지(618)를 선택할 수 있으며, 이는 원격현전 소프트웨어 애플리케이션(601)으로 하여금 선택된 로봇 목적지(618)에 대응하는 위치로 이동하도록 로봇(100)에 구동 명령을 발하게 한다. 도시된 예에서, 사용자 인터페이스(605)의 원격 비디오 피드 윈도우(610)는 병원의 병실에서 로봇(100)의 원격 운행 뷰(612b)를 제공한다. 사용자는 로봇 목적지(618)를 환자의 침대 옆 병실 내의 위치로 선택한다. 원격현전 소프트웨어 애플리케이션(601)은 원격 운행 뷰(612b) 상의 선택된 로봇 목적지(618)와 대응하는 로봇 지도 위치(824) 사이의 (동일 차원내 및/또는 차원들 간에) 왜곡을 결정하기 위해, 평면도 지도(810), 로봇 지도(820), 3차원 지도(705), 2차원 (또는 2.5D 하이브리드) 높이 지도(707), 및/또는 저장된 이미지 데이터(701)를 사용할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 그 다음에 이동 중인 사람들과 같은 임의의 장애물을 회피하도록 그 센서 시스템(400) 및 거동 시스템(510a)을 사용하여, 로봇 지도 위치(824)로 자율적으로 또는 반자율적으로 이동하도록 로봇(100)에 구동 명령을 발할 수 있다.
일례에서, 로봇 API 호출로부터 PNG, JPG, 또는 TIFF 이미지와 같은 이미지로서 지도가 반송될 수 있다. 로봇은 이미지 내의 장애물의 윤곽을 형성하는 픽셀(예를 들면, 검정색 픽셀)을 검출하기 위해 이미지를 처리할 수 있다. 장애물의 윤곽을 형성하는 픽셀을 처리하기 위해 곡선 맞춤(curve fitting) 알고리즘이 사용될 수 있다. 산출되는 곡선(들)은 그 다음에 장애물 지도를 생성하는데 사용될 수 있다. 장애물 검출을 더 향상시키고 및/또는 검출된 장애물 윤곽에 맞는 곡선의 정확도를 향상시키기 위해 추가 처리가 행해질 수 있다. 예를 들면, 곡선이 닫혀져서는 원과 유사한 형상을 형성하면, 장애물 지도는 단순히 원을 그 대체부로 사용할 수 있다. 유사한 아이디어가 직사각형 또는 타원형과 같은 형상, 사람, 얼굴, 및/또는 다양한 관점으로부터 알려진 물체의 형상의 데이터베이스에 근접한 물체에 적용될 수 있다.
사용자 인터페이스(605)는 센서 시계(442, 452) 내(3차원 이미징 센서의 시계(452) 및/또는 레이저 스캐너 시계(442) 내)의 장애물의 근접도를 디스플레이하는 근접 센서 윈도우(670)를 제공할 수 있다.
몇몇 구현예에서, 사용자는 회피 태그(662, 662i)를 사용하여 원격 비디오 피드 윈도우(610) 및/또는 평면도 지도 윈도우(620)(도시하지 않음) 상의 보호 영역/구역을 표시할 수 있다. 보호 구역은 로봇(100)에 의해 물체(12)로 처리될 수 있으며, 그에 따라 보호 구역은 자율 운행 중에 회피될 수 있다. 보호 구역은 정교한 장비 주변에 넓은 간격을 형성하는 것을 돕기 위해, 또는 로봇이 이러한 영역을 확실히 회피하도록 하기 위해 사용될 수 있다. 사용자는 태깅 뷰(tagging view: 660)의 평면도 지도(810) 상에 또는 원격 운행 뷰(612b) 상에 회피 태그(662, 662i)를 배치할 수 있다. 또한, 사용자는 원격 운행 뷰(612b)에 다른 태그(662)를 배치할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 원격 운행 뷰(612b)와 평면도 지도(810) 및/또는 로봇 지도(820) 사이에 왜곡을 해석할 수 있으며, 그에 따라 로봇 지도(820)을 업데이트할 수 있다.
예를 들면, 평면도 지도와 비디오 피드 사이에 왜곡을 결정하는 것은 운행 뷰(612b), 평면도 지도(810), 및/또는 로봇 지도(820) 중 임의의 것의 좌표 지점들 사이에 변환 매핑을 생성하는 것을 포함할 수 있다. 비디오 피드에서 지반면의 제한 영역을 오버레이하는 것과 유사하게, 2차원 지도의 지반면은 로봇에 의해 제공된 비디오 피드에서 검출된 지반면에 효과적으로 좌표 매핑될 수 있다.
도 11b는 선택된 로봇 목적지(618)로의 로봇 운행(예를 들면, 반자율)의 방법에 대한 동작의 예시적인 배열(1100)의 플로우차트를 도시한다. 본 방법은 로봇(100)의 시계(322, 442, 452) 내의 운행 가능 영역(616)을 식별하는 단계(1102)를 포함한다. 운행 가능 영역(616)의 식별은 로봇(100)의 센서 시스템(400)을 사용하여 달성될 수 있다. 본 방법은 예를 들면, 원격 운행 뷰(612b) 상에 경계지어진 영역(예를 들면, 색상 또는 패턴이 채워진 강조된 경계)을 디스플레이함으로써, 사용자 인터페이스(605) 상에 운행 가능 영역(616)을 시각적으로 표시하는 단계(1104)를 또한 포함한다. 본 방법은 로봇 목적지(618)의 사용자 선택을 수신하는 단계(1106)와 로봇 목적지(618)가 식별된 운행 가능 영역(616) 내에 있는지 여부를 판단하는 단계(1108)를 포함할 수 있다. 로봇 목적지가 식별된 운행 가능 영역(616) 밖에 있으면, 본 방법은 사용자에게 운행 가능 영역(616) 내의 유효한 로봇 목적지(618)를 촉구하는 단계(1110)를 포함한다. 로봇 목적지(618)가 식별된 운행 가능 영역(616) 내에 있으면, 본 방법은 로봇 목적지(618)로의 경로를 결정하는 단계(1112)를 포함할 수 있다. 이는 원격 운행 뷰(612b)와 로봇 지도(820) 사이의 왜곡을 결정하는 것과 그리고 나서 선택된 로봇 목적지(618)에 대응하는 로봇 지도 위치(824)를 해석하는 것을 수반할 수 있다. 본 방법은 로봇(100)이 로봇 목적지(618)로 (자율적으로 또는 반자율적으로) 운행하게 하는 단계(1114)를 포함한다.
도 11c와 도 11d는 사용자가 운행 가능 영역(616) 너머로 또는 (실제 또는 로봇(100)이 인식한) 장애물(1120)에 로봇 목적지(618)를 선택한 경우의 예시적인 원격 운행 뷰(612b)를 도시한다. 도 11c에 도시된 예에서는, 사용자가 인식된 장애물(1120a), 즉 램프(1122)에 로봇 목적지(618)를 선택하였다. 원거리에서, 로봇 센서(400)는 램프(1122)를 장애물로 인식할 수 있는데, 이는 원거리에서는 램프(1122)가 로봇(100)의 한계치 통과 높이보다 높은 인식된 높이를 갖고 있을 수 있기 때문이다. 또한, 로봇 거동 시스템(510a)은 한계치 통과 높이보다 더 높은 높이를 갖는 장애물을 나타내는 센서 시스템(400)의 센서 신호로 인해 야기된 센서 결과에 응답하여 ODOA 거동(512c)를 실행할 수 있다. 평면도 지도(810) 및/또는 로봇 지도(820)를 사용하여, 로봇(100)은 환경에 대한 그 로컬 인식이 부정확할 수 있다는 것과, 램프(1122)는 실제 장애물이 아니라 인식된 장애물(1120a)이라는 것을 결정할 수 있다.
램프(1122)가 운행 가능 영역(616) 내에 있기는 하나, 원격현전 소프트웨어 애플리케이션(601)은 램프(1122) 상의 로봇 목적지(618)는 정지하기에는 안전하지 않은 위치에 있음을 결정할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 경고 대화상자(alear dialog box: 1130)를 디스플레이하여, 선택된 로봇 목적지가 정지하기에는 안전하지 않음을 알릴 수 있다. 도시된 예에서, 경고 대화상자(1130)는 사용자가 로봇 목적지(618)로 램프(1122)를 선택하였다는 것을 나타내며, 램프(1122) 바로 직전의 대안적인 로봇 목적지(619)를 제안한다. 로봇(100)을 램프(1122) 상에 정지시키는 것은, 로봇(100)이 넘어지거나 램프(1122)를 굴러내리게 되면 로봇(100) 근처의 사람들과 로봇(100) 그 자체에 위험할 수 있다. 로봇 목적지(618)가 램프(1122) 상에 있음을 결정함으로써, 원격현전 소프트웨어 애플리케이션(601)은 이러한 로봇 목적지(618)를 금지하고 및/또는 안전한 대안적인 목적지(619), 본 경우에는 램프(1122) 직전을 제안할 수 있다.
도 11d를 참조하면, 사용자가 실제 장애물(1120b)를 선택하면, 원격현전 소프트웨어 애플리케이션(601)은 경고 대화상자(1130)를 디스플레이하여, 선택된 로봇 목적지(618)가 운행 가능 영역(616)의 외부에 있거나 또는 장애물(1120)임을 알릴 수 있다. 도시된 예에서, 경고 대화상자(1130)는 사용자가 장애물(1120b)을 로봇 목적지(618)로 선택하였음을 나타내고, 장애물(1120b) 바로 직전을 대안적인 로봇 목적지(619)로 제안한다.
도 12를 참조하면, 몇몇 구현예에서, 원격현전 소프트웨어 애플리케이션(601)의 사용자 인터페이스(605)에 의해 디스플레이되는 원격 운행 뷰(612b)는 사용자로 하여금 로봇 경로(652)를 운행 가능 영역(616) 내의 선택된 로봇 목적지(618)로 특정할 수 있게 한다. 사용자는 다양한 입력 장치를 사용하여 로봇 경로(652)를 특정할 수 있다. 예를 들어, 터치 스크린 디스플레이 상에서, 사용자는 현재의 로봇 위치를 나타내는 로봇 아이콘(650)으로부터 로봇 목적지(618)로 그 손가락 또는 스타일러스를 드래그할 수 있다. 다른 예에서, 사용자는 규정된 로봇 경로(652)를 따라 (예를 들면, 마우스 또는 터치 동작을 이용하여) 로봇 아이콘(650)을 로봇 목적지(618)로 드래그할 수 있다. 도시된 예에서, 사용자는 이 사용자로 하여금 운행 가능 영역(616) 내에서 행해지는 동작은 로봇 경로(652)로 해석되어야 한다는 것을 나타낼 수 있게 하는, 사용자 인터페이스(605) 상의 경로 설정 버튼(set path buttong: 1202)을 선택할 수 있다. 사용자는 원격 비디오 피드 윈도우(610) 내에서 로봇 경로(652)를 추적할 수 있다. 유사하게, 사용자는 지도 윈도우(620)에 2차원 지도(622a)로서 디스플레이된 평면도 지도(810) 상에 로봇 경로(652)를 선택할 수 있다. 로봇 경로(652)를 설정하고 난 후에, 사용자는 로봇(100)이 움직이도록 하기 위해 진행 버튼(go button: 1204)을 누를 수 있다. 유사하게, 로봇(100)의 동작을 멈추기 위해 정지 버튼(1208)이 사용될 수 있다. 경로 해소 버튼(clear path button: 1206)은 원격 운행 뷰(612b)로부터 설정된 로봇 경로(652)를 삭제하거나 해소할 수 있다.
디스플레이 윈도우는 마우스가 위로 이동하면 드러나는 플라이아웃(fly-out) 아이콘 패널을 포함할 수 있다. 예를 들면, 이 아이콘 패널은 윈도의 좌측 상단으로부터 튀어나온다. 이 아이콘 패널은 사용자로 하여금 수동 구동, 구동 클릭, 및 머리 이동 아이콘을 선택할 수 있게 한다. 일 실시예에서, 사용자는 스페이스 바(space bar)를 사용하여 차례로 아이콘들을 바꿀 수 있다. 수동 구동은 사용자로 하여금 목적지 클릭 및/또는 경로 클릭 및 드래그를 할 수 있게 한다. 지도 상에 경로를 그리고 난 후에, 사용자는 (마우스의) 우측 버튼을 클릭하여 팝업 메뉴로부터 "경로 저장"을 선택할 수 있다. 이들은 경로에 대한 이름을 줄 수 있다. 나중에 사용자는 "경로 불러오기"를 할 수 있으며, 로봇은 경로의 시작점으로 운행하고는 지정된 경로를 따라 목적지로 운행하게 된다. 경로는 태그 좌표와 태그 정보를 포함하는 태그 데이터 구조로 저장될 수 있다. 태그 경로는 그 길을 따라 복수의 정류점(stop: 정지점)을 포함한다. 경로를 그릴 때, 사용자는 경로를 따라서 중간 지점(way points)을 나타낼 수 있다. 몇몇 실시예에서, 중간 지점은 정지 사인을 포함하는 태그 주석에 의해 표현될 수 있다. 나중에 경로를 이동할 때, 하나의 중간 지점에 이름에 따라, 로봇은 "정지" 버튼을 반짝일 수 있으며, 그러면 경로는 연한석으로 되고 및/또는 반투명으로 될 수 있다. 이 지점에서 사용자는 참고하여 로컬 구동(local driving)을 행할 수 있으며, 그리고 나서 경로를 재개하기 위해 "진행" 버튼을 클릭한다. 따라서, 내과의는 선호하는 순서로 및 미리 계획된 경로로 모든 호실과 부서를 들르는, 그 저녁 회진을 위한 경로를 저장할 수 있다.
머리 모드(head mode)에서, 사용자는 로봇의 머리(상부)를 상자(박스)의 중심에 또는 상자 내의 물체에 중심을 맞추기 위해 비디오 피드의 일부에 상자 또는 윤곽선을 그릴 수 있다. 또한, 사용자는 로봇의 머리(상부) 및/또는 로봇 전체의 진행방향을 변경하기 위해 하나의 위치를 클릭할 수 있다. 로봇의 베이스(하부) 및 머리(상부)를 독립적으로 제어하기 위해 다양한 버튼 및 주변 제어 토글(toggle)이 사용될 수 있다. 예를 들어, 머리 모드에서 시프트 키를 누르고 있으면, 커서가 스크린 상에서 손모양 아이콘(hand icon)으로 되게 하며 사용자로 하여금 머리의 관점(viewpoint)을 잡아서 드래그할 수 있게 한다.
몇몇 실시예에서, 로봇의 운행을 제어하기 위해 별모양 아이콘(star icon)이 사용될 수 있다. 별모양 아이콘은 임의의 다양한 지도에 디스플레이될 수 있으며, 로봇의 방향 및/또는 속도를 변경하기 위해 사용자에 의해 선택적으로 이동될 수 있다. 별모양 아이콘 대신에 다른 아이콘도 사용될 수 있다.
도 12로 돌아가면, 가상 조이스틱 윈도우(680)는 원하는 경로(652)를 특정하기 위해 또는 로봇(100)을 수동으로 제어하기 위해 다른 입력 장치를 제공할 수 있다. 가상 조이스틱 윈도우(680)는 로봇 배향 지시기(robot orientation indicator: 682)와 운행 벡터(684)를 디스플레이할 수 있다. 사용자는 운행 벡터(684)를 사용하여 로봇(100)의 방향 및 속도를 제어할 수 있다. 가상 조이스틱은 태블릿 컴퓨터와 같이 마우스 또는 종래의 조이스틱을 전형적으로 구비하지 않을 수 있는 장치의 사용자에 의한 로봇(100)의 제어를 용이하게 할 수 있다.
가상 조이스틱 윈도우(680)에는 "스티칭된(stitched)" 비디오 이미지가 디스플레이될 수 있다. "스티치" 비디오 및 이미지는 로봇(100)의 전방에 있는 라이브 다운로드 포인팅 카메라(320, 450)를 사용해서 및 로봇(100)의 후방에 있는 라이브 다운로드 포인팅 카메라를 사용하여 생성될 수 있다. 사용자는 로봇의 이동 방향 및 구동 속도를 특정하기 위해 로봇 동작 지시기(686) 위를 (예를 들면, 마우스 또는 터치 동작을 사용하여) 잡아서 드래그할 수 있다. 가상 조이스틱 윈도우(680)로부터 로봇(100)을 구동하는 것은 마우스 기반의 또는 가상 조이스틱 구동을 위한 원격 비디오 피드 윈도우(610)를 사용하는 것보다 이점을 갖는다. 구체적으로 이러한 뷰(view)는 사용자가 원격 비디오 피드 윈도우(610)에 디스플레이된 비디오 피드를 사용하여 로봇(100)을 구동할 때 겪을 수 있는 로봇 머리(160)의 회전에 의거한 인식 문제, 깊이 정보의 결여, 및 렌즈 왜곡을 저감할 수 있다.
사용자로 하여금 원격 비디오 피드 윈도우(610) 내에서 원하는 경로를 특정할 수 있게 하는 것 외에, 사용자는 지도 윈도우(620)에 디스플레이된 지도(622) 상에서 로봇 경로(652)를 특정할 수 있다. 평면도 지도(620)에서 로봇 경로(652)를 특정하는 것은 로봇(100)으로 하여금 더 먼 거리에 걸쳐서 운행할 수 있게 하며, 그에 따라 로봇(100)이 이동 중일 때에는 사용자가 다른 업무를 행할 수 있도록 자유롭게 할 수 있다. 지도 윈도우(620)에 도시된 지도(622)의 디스플레이되는 영역과 줌(zoom)을 조작하기 위해 다양한 제어가 또한 제공될 수 있다. 슬라이더(1210)를 사용하여 원하는 줌을 특정할 수 있으며, 원하는 영역은 영역 팬 제어(area pan control: 1212)를 사용하여 디스플레이될 수 있다.
따라서, 비전문적인 사용자도 다양한 운행 방법 및 제어의 임의의 조합을 사용하여 하나의 위치로부터 다른 위치로 운행할 수 있다. 예를 들면, 장거리 이동에서, 사용자는 평면도 지도 상의 목적지를 클릭할 수 있고, 로봇은 자율적으로 그 선택된 위치로 운행할 수 있다. 중거리 이동에 있어서, 사용자는 로봇의 시계 내의 위치의 비디오 윈도우 내의 목적지를 선택할 수 있다. 근거리 이동에 있어서, 사용자는 마우스, 조이스틱, 가상 조이스틱, 또는 메타-조이스틱을 사용하여 로봇의 운행 경로, 회전, 머리의 이동 등을 수동으로 제어할 수 있다.
도 13은 사용자에 의해 선택 가능한 하이퍼태그(hyper-tag)(1310) 및/또는 문맥 민감 명령(context sensitive command)을 받아들이는 원격 운행 뷰(612b)를 디스플레이하는, 최대화된 원격 비디오 피드 윈도우(610)를 갖는 원격현전 소프트웨어 애플리케이션(601)의 예시적인 사용자 인터페이스(605)를 도시한다. 사용자 인터페이스(605)는 로컬 비디오 윈도우(630) 및 원격 비디오 피드 윈도우(610) 상에 오버레이된 평면도 지도 윈도우(620)를 포함한다. 도시된 예에서, 평면도 지도 윈도우(620)는 3차원 지도(622c)를 디스플레이한다. 3차원 지도(622c)는 로봇(100)으로 하여금 3차원 지도(612c) 상의 선택된 로봇 목적지(618)로 반자율적으로 운행하도록 하기 위해 사용자에 의해 이용될 수 있다. 몇몇 구현예에서, 원격 운행 뷰(612b)에는 가상의 3차원 그리드(1302)가 디스플레이된다. 평면도 지도(810)와 로봇 지도(820) 사이에 산출된 왜곡을 이용하여, 원격현전 소프트웨어 애플리케이션(601)은 3차원 지도(622c)를 오버레이하기 위해 라이브 비디오 피드에서 바닥 표면(5)의 위치를 결정할 수 있다. 사용자는 로봇(100)이 선택된 그리드 스퀘어(grid square:1304)로 자율적으로 운행하도록 하기 위해 가상 그리드(virtual grid:1302) 상에 그리드 스퀘어(1304)를 로봇 목적지(618)로 선택할 수 있다. 가상의 3차원 그리드(1302)는 로봇(100)의 위치 설정에 있어서 개선된 정확도를 가능케 할 수 있다.
도시된 예에서, 문맥 민감 동작을 제공하는 다양한 하이퍼태그(태그)(1310)가 사용자에게 디스플레이 및 이용가능할 수 있다. 문맥 민감 동작은 접근 명령(approach command: 1312) 및 추종 명령(1314)을 포함한다. 이들 문맥 민감 동작은 로봇(100)의 시계(322, 442, 452) 내에 사람(1330)의 식별시에 생성될 수 있다. 사용자는 사람(1330)의 앞에 로봇(100)을 위치시키기 위해 접근 명령(1312)을 불러올 수 있다. 접근 명령(1312)은 로봇 거동 시스템(510a)에 의한 접근 거동(512a)(도 5)의 실행을 유발할 수 있으며, 이로써 로봇(100)은 그 센서 시스템(400)을 사용하여 (예를 들면, 안면 인식을 사용하여) 사람(1330)을 식별하여 그 식별된 사람(1330)에 마주하도록 구동한다. 사용자는 사람(1330)의 뒤로 로봇(100)을 구동하여 3 피트(약 9.1m) 떨어져서 따라가도록 추종 명령(1314)을 불러올 수 있다. 추종 명령(1314)은 로봇 거동 시스템(510a)에 의한 사람 추종 거동(512b)(도 5)의 실행을 유발할 수 있으며, 이로써 로봇(100)은 그 센서 시스템(400)을 사용하여 (예를 들면, 안면 인식을 이용하여) 사람(1330)을 식별하고는 그 식별된 사람(1330)을 따라가도록 구동한다. 몇몇 예에서, 로봇(100)은 안면 인식 루틴을 이용하여 그 시계(322, 442, 452) 내의 개인들을 검출할 수 있다. 개인을 식별하는 라벨(1340)이 디스플레이될 수 있다. 예를 들면, 정보는 성명, 직위, 직업, 주소, 사업지 주소, 이메일 주소, 웹 페이지 주소, 사용자 노트 등을 포함할 수 있다.
원격현전 소프트웨어 애플리케이션(601)은 디스플레이된 2차원 지도(622a)와 로봇 카메라(320)에 의해 캡쳐된 1인칭 비디오 피드 사이에 왜곡을 결정할 수 있다. 이러한 왜곡을 결정하는 것은 2차원 지도와 3차원 "지도" 사이에 좌표 변환을 결정하는 것을 포함할 수 있다. 사용자가 원격 비디오 피드 윈도우(610)의 원격 뷰(612) 상에 또는 지도 윈도우(620)의 2차원 지도(622a) 상에 태그(662) 및/또는 (태그를 포함할 수 있는) 하이퍼태그(1310)을 배치하면, 원격현전 소프트웨어 애플리케이션(601)는 대응하는 비디오 좌표 또는 평면도 지도 좌표를 각각 결정하고, 결정된 비디오 또는 지도 뷰 좌표를 사용하여 각각 디스플레이된 원격 뷰(612)(즉, 1인칭 비디오 피드) 또는 지도(622) 상에 태그(662) 또는 하이퍼태그(1310)와 결부된 태그 주석을 오버레이하기 위해, 태그(610) 및/또는 하이퍼태그(1310)와 결부된 태그 지도 좌표에 왜곡을 적용할 수 있다. 다양한 실시예에서, 태그 주석의 3차원 표현은 원격현전 로봇의 현재 위치 및 비디오 피드에 대한 태그의 관점에 기초하여 동적으로 재렌더링(re-rendering)될 수 있다. 따라서, 로봇의 머리(상부)가 패닝되거나 틸팅될 때와 같이, 로봇의 위치 및/또는 라이브 비디오 피드의 관점이 바뀌게 되면, 태그 주석은 동적으로 재렌더링될 수 있다. 램프에 대응하는 태그 주석은 바닥에 대해 비디오 피드에 오버레이될 수 있다. 유사하게, 벽에 있는 물체와 결부된 태그 주석은 물체 또는 벽에 대해 오버레이될 수 있다.
본 명세서에서 기술된 바와 같이, 태그는 로봇 동작 수정부를 포함하는 태그 정보를 포함할 수 있다. 태그는 로봇 조종자, 로컬 터미널, 또는 리모트 원격현전 로봇에 의해 해석될 수 있으며, 로봇으로 하여금 미리 설정된 동작을 실행하게 할 수 있다. 예를 들면, 로봇 동작 수정부는 로봇이 특정 영역에는 들어가지 않도록, 소정 영역은 서행으로 통과하도록, 소정 영역은 신속하게 통과하도록, 아주 조심을 하도록, 및/또는 다른 동작을 행하게 할 수 있다. 태그는 무선 통신 신호의 가용성, 리모트 원격현전 로봇이 이동해야 하는 속도, 관심 지점의 위치, 사람의 위치, 도킹 스테이션의 위치, 휴지 영역의 위치, 유리 벽의 위치, 램프의 위치, 물체의 위치, 조밀한 영역을 운행하기 위한 최적의 경로, 혼잡 영역을 운행하기 위한 최적의 경로, 및 리모트 원격현전 로봇이 실행해야 하는 동작과 같은 임의의 매우 다양한 정보를 포함할 수 있다. 태그는 사용자에 의해, 터미널에 의해 자동으로, 로봇에 의해 자동으로, 및/또는 터미널 및/또는 로봇에 의해 수집된 이력 데이터에 응답하여 생성될 수 있다.
로봇은 운행 경로를 따라서 맞닥뜨리는 태그 좌표를 갖는 태그를 식별하도록 구성된 태그 식별 시스템을 포함할 수 있다. 로봇은 태그 좌표가 로봇의 로컬 인식 공간 내에 있고 및/또는 태그 좌표가 목적, 계획된 운행 경로, 또는 운행 경로의 기획에 연관될 때 태그에 "맞닥뜨릴(encounter)" 수 있다. 따라서, 태그 식별 시스템은 로봇이 태그의 태그 좌표에 아직 근접하지 않은 및/또는 결코 근접하지 않는 경우에도 운행 경로를 따라서 태그에 "맞닥뜨릴" 수 있다.
로봇 및/또는 로봇의 운행 경로를 결정하는 원격 터미널은 운행 경로에 영향을 줄 수 있는 태그 또는 잠재적인 태그를 참작할 수 있다. 따라서 태그 식별 시스템은 운행 경로의 결정 시에 잠재적인 운행 경로를 따라서 있을 것으로 예측되는 태그 좌표를 갖는 태그를 식별하는데 사용될 수 있다. 예를 들면, 원하는 목적지에 도달하는데 여러 개의 잠재적인 운행 경로가 사용될 수 있으며, 어느 운행 경로가 사용될지의 선택은 잠재적인 운행 경로 각각에 연관된 태그에 달려있을 수 있다. 복수의 잠재적인 운행 경로들 간에 선택을 하는 로봇은 어느 운행 경로가 최상의 무선 접속성을 제공하게 되는지를 결정할 수 있도록 관련 태그를 식별할 수 있다. 램프, 엘리베이터, 거리, 혼잡도, 물체와 같은 다른 요인들도 고려될 수 있다.
도시된 예시적인 사용자 인터페이스(605)에서, 대시보드 윈도우(dashboard window: 640)는 배터리 충전 상태, 무선 신호 강도 표시기, 및 서비스가 요구될 때 조명이 켜질 수 있는 부분을 갖는 로봇 윤곽을 제공한다. 옵션 윈도우(690)는 사용자로 하여금 로봇을 도킹 스테이션과 결합하거나 분리하도록 할 수 있게 소프트웨어 및/또는 로봇 옵션을 설정할 수 있게 한다.
도 14를 참조하면, 몇몇 구현예에서, 사람 추종 거동(512b)을 실행하면서, 로봇(100)은 사람(1330)을 검출, 추적, 및 따라갈 수 있다. 로봇(100)은 목(150)을 이용하여 머리(160)를 패닝 및 틸팅할 수 있기 때문에, 로봇(100)은 사람(1330)에 대한 해당 시계(452)를 유지하도록 제2의 3차원 이미지 센서(450b)를 방향 변경할 수 있다. 또한 머리(160)는 (예를 들면, 구동 시스템(200)을 사용하여) 베이스(120)보다 상대적으로 더 신속하게 움직일 수 있으므로, 머리(160)(및 그 결부된 제2의 3차원 이미지 센서(450b))는 로봇(100)을 적소로 방향을 트는 것보다 더 신속하게 사람(1330)을 추적할 수 있다. 로봇(100)은 (예를 들면, 센서의 시계에 대응하는) 한계치 추종 거리 범위(DF) 내를 유지하도록 사람(1330) 쪽으로 구동될 수 있다. 몇몇 예에서, 로봇(100)은 사람(1330)을 추적하면서 사람/사용자(1330) 쪽으로 향하도록 방향을 바꾼다. 로봇(100)은 사람(1330)을 따라가기 위해 속도 명령 및/또는 기준점 명령을 이용할 수 있다.
사람 인식 및 사람 추종과 관련된 추가적인 상세사항 및 특징은 2011년 5월 6일자로 제출된 PCT 출원 일련번호 PCT/US11/35488호에서 찾을 수 있으며, 상기 문헌은 그 전체가 본 명세서에 참고로 병합되어 있다.
도 15a와 도 15b는 다양한 정보와 결부된 하이퍼태그(1310)를 포함하며 로봇으로 하여금 특정 목적지로 자율적으로 운행하게 하는데 사용될 수 있는 평면도 지도 윈도우(620)에 디스플레이 가능한 다른 양태의 3차원 지도(622c) 및 2차원 지도(622a)를 도시한다. 하이퍼태그(1310)는 다양한 위치에 관한 정보 또는 환자와 관련된 정보를 포함할 수 있다. 사용자는 개인 노트, 공유 노트, 스케치, 그림 등과 같은 라벨(1502) 또는 마크업(mark-up: 1504)을 추가할 수 있다. 로봇 위치(1510)도 또한 식별될 수 있다. 사용자는 간호사실과 같은 로봇 목적지(1512)를 특정할 수 있다. 로봇(100)은 특정된 로봇 목적지(1512)로 자율적으로 운행할 수 있다.
원격현전 소프트웨어 애플리케이션(601)은 물리적인 관심 영역을 나타내는 정보를 원격 비디오 뷰(612) 및/또는 지도(622)에 디스플레이할 수 있다. 예를 들면, "Pharma"라고 쓰인 풍선이 달린 작은 화살표는 약제실의 위치를 나타낼 수 있다. 이러한 풍선은 태그를 포함할 수 있다. 예를 들면, 태그는 "Pharma"라는 글자가 어디에 디스플레이되어야 하는지를 나타내는 태그 좌표; 약제실에 관련된 관련 정보와 같은 태그 정보; 및 "Pharma"라는 글자의 2차원 및/또는 3차원 그래픽 표현과 같은 태그 주석을 포함할 수 있다. 몇몇 예에서, 사용자는 그 영역 위로 마우스를 움직이거나 또는 동작을 취함으로써 임의의 대응하는 가용 정보가 디스플레이되게 함으로써, 근처의 호실 주변에서 어떤 정보가 이용 가능한 지를 결정할 수 있다. 이러한 정보에 의해, 사용자는 원격 운행 뷰(612b)(도 12)에서 로봇 목적지(618)를 선택함으로써 목적지(예를 들면, 약제실)로 가도록 신속하게 선택할 수 있다.
예를 들어, 일례에 따르면, 로봇 또는 원격 터미널은 로봇 지도와 결부된 태그에 대응하는 태그 좌표를 검색할 수 있다. 로봇 위치를 이용하여, 로봇 근처에 있는 태그가 식별될 수 있다. 로봇의 시계 내에 있는 태그는 로봇의 머리(상부)의 배향을 이용하여 식별될 수 있다. 로봇 및/또는 원격 터미널은 그리고 나서 비디오 스크린 상에 있는 픽셀들 모두에 대해 한 세트의 좌표를 계산하고, 로봇의 위치 및 로봇의 현재 머리의 배향(팬 및/또는 틸트)에 의해 제공된 관점을 기초로 시선(line of sight) 내의 각 태그와 결부된 태그 주석을 렌더링할 수 있다. 몇몇 실시예에 따르면, 비디오 피드와 평면도 지도 사이의 공간 연동(spatial linkage)을 위한 표준 좌표계로서 DH 매개변수(Denavit-Hartenberg parameters)가 사용될 수 있다.
다시 도 8e를 참조하면, 사용자 인터페이스(605)의 태깅 뷰(660)는 사용자로 하여금 관심 위치를 지정하고 및/또는 평면도 지도(810)에 장애물, 선호되는 로봇 이동 경로 등과 같은 정보를 마크하기 위해 평면도 지도(810)에 태그(662)를 배치할 수 있게 한다. 도 13을 또한 참조하면, 사용자는 여러 위치에 문맥 민감 정보를 마크하기 위해 원격 운행 뷰(612b) 상에 하이퍼태그(1310)를 배치할 수 있다. 지도 데이터 소스(1620)는 배치 지도 및/또는 로봇 지도 정보와 함께 태깅 및 하이퍼태그 정보(예를 들면, 위치, 태그 식별자, 태그 내용)을 저장할 수 있다. 본 명세서에서 사용되는 바와 같이, 하이퍼태그는 태그로 실시될 수 있으며, 본 명세서에서 기술되는 바와 같이 태그와 유사한 데이터 구조를 사용할 수 있다.
사용자로 하여금 사용자 인터페이스(605)에 태그(662)와 하이퍼태그(1310)을 배치할 수 있도록 하는 것에 더해 또는 이에 대신하여, 사용자는 로봇(100)의 작동 중에 사용자 특정 하이퍼태그(1310)를 입력할 수 있다. 사용자는 현재의 로봇 위치에 하이퍼태그(1310)의 삽입을 가능케 하는 명령을 불러올 수 있다. 다른 명령은 하이퍼태그(1310)의 제거를 가능케 할 수 있다. 또한, 다른 사용자(예를 들면, 간호사)는 로봇(100)의 사용자에게 보여질 수 있는 하이퍼태그(1310)를 추가하도록 허용될 수 있다. "간호사 지도 애플리케이션"은 예를 들면, 조만간에 로그인할 수 있는 의사의 관심사인 호실을 식별하기 위해 임시 하이퍼태그(1310)의 배치를 가능케 하는 탑다운 지도 또는 태깅 뷰(660)를 디스플레이할 수 있다. 또한, 어떤 하이퍼태그(1310)는 사용자 특정 및/또는 시간 특정일 수 있다. 예를 들면, 병실의 뇌졸중 환자는 악화 조짐을 보이고 있을 수 있다. 간호사는 "간호사 지도 애플리케이션"을 불러서는 지도 상에서 그 병실을 찾고는 하이퍼태그(1310)를 입력할 수 있다. 간호사는 다음과 같이 하이퍼태그를 채울 수 있다: hyper-tag_name = "뇌졸중 환자 악화중" user_specific = "Dr. Reynolds(레이놀즈 의사)", duration(지속시간) = 1시간. 그래서, 레이놀즈 의사가 1시간 내에 로그인하면, 추가적으로 "뇌졸중 환자 악화중"을 나타내는 지도 상의 환자의 병실과 결부된 하이퍼태그(1310)를 볼 수 있게 된다. 그 건물에 접근함에 따라, 그는 "뇌졸중 환자 악화중"이라는 라벨이 붙은 비디오 스트림으로 그 방을 가르키는 하이퍼태그(1310) 팝업도 또한 볼 수 있다. 다른 의사는 이러한 라벨을 보지 않게 되며, 레이놀즈 의사는 그 첫 1시간 동안에만 이들을 볼 수 있게 된다.
의사도 그의 업무 계획을 보조하기 위해 로컬 또는 원격 스테이션 인터페이스(606, 608)에 직접 임시 북마크 및 리마인더(reminder) 하이퍼태그(1310)를 설정할 수 있다. 몇몇 예에서, 의사는 회진의 개시시에 여러 환자의 병실에 번호를 할당할 수 있다. 회진 동안에, 의사는 어느 순서로 그가 환자(614)를 방문해야 하는지를 상기시키기 위해 디스플레이된 지도(622) 및 팝업 하이퍼태그(1310)에 있는 번호들을 볼 수 있다. 의사는 회진 또는 다음의 재회진시에 리마인더를 통해서 볼 수 있는 노트, 예를 들면 한 환자에게는 "회진 종료시 다시 올 것", 또는 "처방전 쓸 것" 또는 "오후 4시에 다시 체크인"을 추가할 수 있다.
추가적으로, "스마트" 하이퍼태그(1310)가 자동으로 디스플레이될 수 있다. 예를 들면, 간호사는 그 전자 진료 기록과 상호참조된 (예를 들면, 로컬에 및/또는 클라우드 스토리지(722)에 저장된) 데이터베이스에 접수하는 환자들(614)의 사진을 입력할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 데이터베이스에 상호참조될 수 있는 환자들(614, 1330)을 식별하기 위해 로봇 카메라(320)에 의해 캡쳐된 비디오 스트림에 안면 인식 알고리즘을 실행할 수 있다. 환자의 얼굴의 인식시에, 원격현전 소프트웨어 애플리케이션(601)은 자동으로 그 환자의 전자 진료 기록을 끌어내서 디스플레이할 수 있다.
다시 도 14를 참조하면, 몇몇 구현예에서, 각 환자(614, 1330)는 손목 밴드와 같은 RFID(radio frequency identification) 칩(497)을 받는다. 로봇(100)은 RFID 칩을 통해서 근처의 환자를 인식할 수 있도록 그 센서 시스템(400)의 일부로서 제어기(500)와 통신 상태에 있는 RFID 리더(498)을 구비할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 환자가 로봇(100)의 RFID 범위(예를 들면, 6피트(약 1.83m)) 내로 들어오면 대응하는 하이퍼태그를 디스플레이할 수 있다. RFID는 특정 방향(방향성)을 갖는 것이 아니므로, 하이퍼태그(1310)는 공중에 떠 있는 것처럼 보일 수 있다. 다른 양태의 혼성 방법은 사람의 얼굴을 인식하고, 그리고 나서 RFID 매치가 그 환자에 속한다고 가정하고는 환자(614, 1330)에 있는 하이퍼태그(1310)를 로컬화함으로써, 로봇(100)의 시계(322) 내에서 환자(614, 1330)의 존재를 식별하기 위해 컴퓨터 비젼 기법을 사용할 수 있다.
도 16a 내지 도 16d를 참조하면, 몇몇 구현예에서, 로봇 시스템(1600)은 브리지(602)와 통신 상태에 있는 하나 이상의 원격현전 로봇(100)을 포함하며, 브리지(602)는 로컬 로봇 종점 서버(604a) 및 (예를 들면, 클라우드 컴퓨팅 서비스(720(도 7)와 같은) 원격 종점 서버(604b)와 통신을 행한다. 로컬 로봇 종점 서버(604a)는 로컬 기술자 전산 장치(606)와 통신을 하고, 원격 종점 서버(604b)는 원격 조종자 전산 장치(608)과 통신을 한다. 로봇 시스템(1600)은 로봇 센서 시스템(400)으로부터 수신된 센서 데이터 및/또는 웹 패드(310) 및/또는 사용자 인터페이스(605)를 통하여 사용자로부터 얻어진 정보와 같은 사용자 상호작용 데이터를 저장하기 위한 하나 이상의 데이터 소스(1610)를 또한 포함한다. 도시된 예에서, 로봇 시스템(1600)은 센서 데이터를 저장하기 위한 적어도 하나의 로봇 센서 데이터 소스(1610a)와 사용자 상호작용 데이터를 저장하기 위한 적어도 하나의 헤드 데이터 소스(1610b)를 포함한다. 데이터 소스(1610)는 로봇(100), 클라우드 스토리지(722)(도 7), 로컬 로봇 종점 서버(604a), 및/또는 원격 종점 서버(604b)에 에 상주할 수 있다.
로봇(100), 클라우드 스토리지(722), 로컬 로봇 종점 서버(604a), 및/또는 원격 종점 서버(604b)에 저장된 데이터베이스와 같은, 지도 데이터 소스(1620)는 평면도 지도(810), 로봇 지도(820), 태그(662) 정보, 및/또는 하이퍼태그(1310) 정보를 위한 정보를 저장할 수 있다. 지도 데이터 소스(1620)는 단일의 데이터베이스일 수도 있고, 또는 로봇 센서 데이터 소스(1610a) 및 헤드 데이터 소스(1610b)와 같은 데이터 소스(1610)의 조합일 수도 있다. 원격현전 소프트웨어 애플리케이션(601) 및/또는 로봇(100)(예를 들면, 제어기(500))은 실시간 또는 오프라인 콘코던스 처리(concordance processing)를 실행하고, 사용자 인터페이스 피드백을 제공하며, 운행 루틴을 수행하고, 지도(622)를 렌더링 하는 등을 위해 지도 데이터 소스(1620)에 액세스할 수 있다.
몇몇 구현예에서, 로봇(100)의 제어기(500) 상에서 실행되는 제어 시스템(510)은 거동 시스템(510a)에 의해 인식 가능한 이벤트를 발하기 위해, 로봇 센서 데이터 소스(1610a), 헤드 데이터 소스(1610b), 및/또는 지도 데이터 소스(1620)와 같은 하나 이상의 데이터 소스(1610)에 액세스한다. 발생된 이벤트에 대응하여, 거동 시스템(510a)은 로봇 리소스(530)(도 5) 상의 리소스 제어 아비터(560)에 의해 실행되는 명령의 선택에 영향을 미치는 하나 이상의 거동(512)을 실행할 수 있다. 도 16c에 도시된 예에서, 로봇 제어 시스템(510)은 콘코던스(concordance) 매트릭스/데이터베이스에 액세스하기 위해 지도 데이터 소스와(1620) 통신을 하며, 콘코던스 매트릭스/데이터베이스는 실시간 센서/플래그 데이터(1622a), 조종자 명령(1622b), 로컬 인식 공간 데이터(1622c)(예를 들면, 3차원 이미지 센서(450)로부터 수신된 체적측정 포인트 클라우드 데이터), 점유공간 비트맵 데이터(1622d)(예를 들면, 로봇 지도(820)), 평면도 데이터(1622e)(예를 들면, 평면도 지도(810)), 및 (예를 들면, x, y, z 좌표와 태그 필드를 저장하는) 최종 사용자 태그 표(1622f)와 같은 콘코던스 처리 정보를 저장할 수 있다. 도 5를 또한 참조하면, 거동 시스템(510a)의 거동(512)은 센서 시스템(400)으로부터의 센서 이벤트 및 태그 표(1622f, 1622g)에 저장된 배치된 태그(662, 1310)에 의해 발생된 (예를 들면, 센서 이벤트를 모방할 수 있는) 태그 이벤트와 같은, 발생된 이벤트에 기초하여 로봇 동작의 가능한 결과를 평가할 수 있다. 따라서 동작 선택 엔진(580)은 거동 평가에 기초하여 최상의 결과를 갖는 실행 가능한 로봇 동작을 선택할 수 있다. 그 결과, 로봇(100)은 원격현전 소프트웨어 애플리케이션(601)에 의해 수신된 태그(662, 1310)를 참작하는 방식으로 자율적으로 작동할 수 있다.
도 11c에 도시된 램프의 예를 다시 참조하면, 로봇(100)이 램프(1122)에 접근하면, 로봇 제어 시스템(510)은 센서 시스템(400)으로부터 수신된 센서 신호에 기초하여 램프(1122)를 장애물(1120)로 인식할 수 있다. 인식된 장애물(1120a)과 실제 장애물(1120b) 사이를 구별하기 위해, 제어 시스템(510)은 로봇 데이터와 사용자 데이터를 저장하는 지도 데이터 소스(1620)와 같은 공용 데이터베이스에 액세스할 필요가 있다. 지도 데이터 소스(1620)를 이용하여, 제어 시스템(510)은 검출된 램프(1122)가 실제 장애물(1220b)이 아니라 인식된 장애물(1120a)이라는 것을 결정할 수 있다. 또한, 제어 시스템(510)은 사용자가 램프(1122)를 실제 장애물(1120b)로 인식하는지 여부에 대한 사용자 입력을 수신하고 및/또는 대안적인 로봇 경로(652) 및/또는 대안적인 로봇 목적지(619)를 수신하기 위해 원격현전 소프트웨어 애플리케이션(601)과 통신할 수 있다. 원격현전 소프트웨어 애플리케이션(601)은 하이브리드 지도(622b)(도 9b)를 제공하기 위해, 2차원 지도(622a, 810)와 3차원 지도(622c) 사이, 원격 뷰(612)의 라이브 비디오 피드와 2차원 및/또는 3차원 지도(622a, 622c)의 사이에 왜곡을 해석하기 위해 지도 데이터 소스(1620)를 사용할 수 있다. 또한, 원격현전 소프트웨어 애플리케이션(601)은 평면도 지도 윈도우(620)(도 10c)의 미리보기 뷰(612a)를 렌더링하기 위해, 지도 데이터 소스(1620)를 사용할 수 있다.
다시 도 12를 참조하면, 또 다른 구현예에서, 사용자가 2차원 지도(622a), 하이브리드 지도(622b), 3차원 지도(622c), 및 원격 뷰(610) 중 하나에서 로봇 경로(652)를 선택하면, 원격현전 소프트웨어 애플리케이션(601)은 지도들(622) 중 임의의 것과 원격 뷰(612)의 사이에 왜곡을 해석하고 목적지(618)로의 구동 명령을 실행할 때 로봇 제어기(500)에 의해 사용하기 위해 로봇 지도(820) 상의 로봇 경로 지도 좌표의 해당 시퀀스를 결정하기 위해 선택된 로봇 경로에 그 왜곡을 적용하기 위해 지도 데이터 소스(1620)를 이용할 수 있다. 또한, 원격현전 소프트웨어 애플리케이션(601)은 로봇 경로(652)를 지도들(652) 중 임의의 것과 원격 뷰(612)에 디스플레이하기 위한 로봇 경로 좌표의 해당 시퀀스를 해석하기 위해 결정된 왜곡(들)을 적용할 수 있다. 지도 데이터 소스(1620)는 결정된 왜곡 및/또는 로봇 경로(622)를 지도들(652) 중 임의의 것과 원격 뷰(612)에 디스플레이하기 위한 로봇 경로 좌표의 시퀀스를 저장할 수 있다.
따라서, 본 명세서에서 사용되는 "왜곡"이라는 용어는 공간 좌표 오류, 및 서로 다른 차원의 좌표계간을 포함하는 하나의 좌표계로부터 다른 좌표계로의 변환의 차를 결정하는 것에 관련된 것으로 폭넓게 이해되어야 한다. 예를 들면, 로봇 및/또는 원격 터미널은 2차원 평면도 지도와 다양한 로봇 센서 또는 레이저 스캔을 이용하여 생성된 것과 같은, 적어도 일부가 로봇에 의해 생성된 2차원 지도 사이에 왜곡을 결정할 수 있다. 또한, 로봇 및/또는 원격 터미널은 3차원 지도 또는 비디오 피드와 2차원 평면도 지도 사이에 왜곡을 결정할 수 있다. 더욱이, 왜곡의 결정은 1인칭 시점, 3인칭 시점, 평면도 지도 시점, 하이브리드 지도 시점 간에, 및/또는 2개의 서로 다른 좌표계간, 또는 동일 좌표계 내의 관점들간에 좌표을 변환하는 것에 관련될 수 있다.
다시 도 13을 참조하면, 몇몇 구현예에서, 사용자가 지도 윈도우의 지도(622)로 디스플레이된 평면도 지도(810) 상에 태그(662) 또는 하이퍼태그(1310)를 배치하면, 원격현전 소프트웨어 애플리케이션(601)은 지도(622)를 디스플레이하는 전자 디스플레이 상에 사용자 선택 위치를 결정하고, 지도(622) 상에 태그(662, 1310)와 결부된 주석을 오버레이한다. 원격현전 소프트웨어 애플리케이션(601)은 또한 평면도 지도(810)와 원격 뷰(610)(즉, 로봇 카메라(320)에 의해 캡쳐된 1인칭 비디오)의 사이에 왜곡을 결정하고, 원격 뷰(610)의 대응하는 비디오 좌표를 결정하기 위해 평면도 지도(810) 상의 태그(662, 1310)의 좌표에 왜곡을 적용할 수 있다. 태그(662, 1310)와 결부되고 지도 데이터 소스(1620)에 의해 저장된 태그 주석은 결정된 비디오 좌표를 사용하여 원격현전 소프트웨어 애플리케이션(601)에 의해 원격 뷰(610) 상에 디스플레이될 수 있다.
도 17을 참조하면, 몇몇 구현예에서, 사용자 인터페이스(605)는 예를 들면, 원격 비디오 피드 윈도우(610) 및/또는 지도 윈도우(620)에, 사용자로 하여금 로봇 베이스(120)에 대해 로봇 머리(160)의 위치를 시각화할 수 있게 하는 증강된 오버레이(augmented overlay: 1710)를 제공한다. 증강된 오버레이(1710)는 사용자로 하여금 360도의 완전한 시계에 대해, 도시된 예에서 원호(arc: 1720)로 표시된 로봇 센서 시스템(400)의 현재 시계(322, 442, 452)를 인식할 수 있게 한다. 이는 사용자로 하여금 현재의 시계(322, 442, 452) 밖에 있는 (예를 들면, 머리(160) 및/또는 베이스(120)의) 회전을 선택할 수 있게 한다.
사용자는 가상의 머리(1728)를 그 지점으로 회전하기 위해 제1 및 제2의 고리(1722, 1724)에 의해 형성된 구역 내부를 클릭할 수 있다. 사용자가 가상의 머리(1728)를 회전함에 따라, 로봇의 머리(160)는 원격현전 소프트웨어 애플리케이션(601)과 함께 실시간으로 이동하여, 원격 비디오 피드 윈도우(610)의 원격 뷰(612)에 디스플레이되는 로봇 카메라(320)로부터의 라이브 비디오 피드를 또한 실시간으로 업데이트할 수 있다. 도시된 예에서, 증강된 오버레이(1710)는 로봇 베이스(120)에 대응하는 가상의 베이스(1726)와, 로봇(100)의 현재 자세에 대응하는 가상의 베이스(1726)에 대해 소정의 각도로/배향으로 배치된 로봇 머리(160)에 대응하는 가상의 머리(1728)를 갖는다. 몇몇 예에서, 가상의 베이스(1726)와 가상의 머리(1728) 중 하나는 정적인 반면, 다른 하나는 정적인 것에 대해 자유롭게 움직일 수 있다.
사용자가 현재의 시계(1720) 밖의 머리(1728)를 회전시키기 위해 제1 및 제2의 고리(1722, 1724)에 의해 한정된 구역 내부를 클릭하면, 로봇(100)은 사용자의 명령을 달성하기 위해 머리(160) 및/또는 베이스(120)를 회전시킬 수 있다. 몇몇 예에서, 사용자의 명령에 따라 머리(160)를 회전시킨 후에, 베이스(120)가 회전할 수 있으며 머리(160)는 그리고 나서 중앙 위치로 이동할 수 있다. 위치에 있어서의 이러한 변화는 사용자가 이전의 회전에 의거하여 로봇(100)을 재위치시키려고 하는 경우에는 문제가 될 수 있다. 이를 완화하기 위해, 어떤 구현예는 머리의 회전을 수용하기 위해 베이스의 회전 요건을 저감시키기 위한 시스템을 이용할 수 있다. 예를 들면, 가상의 머리(1728)가 소정 각도로 회전하면 역회전이 개시될 수 있다. 로봇의 머리(160)가 소정 시간 동안 그 각도로 유지되면, 이 시스템은 베이스(120)에 대해 머리(160)를 중심을 맞추기 위해 베이스(120)를 서서히 회전시키는 한편, 동일한 속도로 반대 방향으로 머리(160)를 동시에 회전시킬 수 있다. 이는 현재의 대상물을 보이게 유지하는 한편, 머리(160)와 베이스(120)가 현재 정렬 상태이며 전방 기준계(forward frame of reference)가 사용자가 보고 있는 곳에 의해 정해짐을 또한 보장하게 된다. 또한, 사용자가 그 방향으로 계속해서 더 멀리 보기를 원하면, 머리(160)의 이동의 전체 패닝 범위(full panning range)가 이용 가능하다.
도 18은 예를 들면 원격현전 소프트웨어 애플리케이션(601)에서, 사용자 명령에 응답하는 로봇의 이벤트의 예시적인 시퀀스를 도시한다. 초기 상태에서, 로봇(100)은 하나의 위치로부터 다른 위치로 이동하도록 구동 명령을 받을 수 있다. 이 명령은 조종자에 의해 개시되거나, (예를 들면, 제어기의 제어 시스템에서 실행되는 거동의) 거동에 의해 개시되거나, 또는 기획자에 의해 개시될 수 있다(예를 들면, 사전에 기획된 업무 또는 루틴). 본 예에서, 명령은 새로운 목적지로 반대방향으로 이동하기 위한 새루운 진행방향을 포함한다. 명령에 응답하여, 로봇(100)은 그 머리(160)를 패닝 한계쪽으로 (좌측으로 또는 우측으로) 돌릴 수 있다. 패닝 한계에 이르고 나면, 로봇(100)은 머리가 새로운 진행방향 쪽으로 회전할 수 있도록 머리(160)의 이동을 허용하기 위해 (예를 들면, 적소에 홀로노믹하게) 베이스(120)를 회전시킬 수 있다. "패닝 한계(panning limit)"라는 용어는 로봇의 상부가 로봇의 하부에 대해 물리적으로 더 이상 회전할 수 없는 지점, 상부가 하부에 대해 기설정 회전 각도로 어긋나 있는 지점을 지칭할 수 있으며, 및/또는 "패닝 한계"라는 용어는 상부가 하부에 대해 어긋나는 각도 및 상부가 하부에 대해 어긋나는 시간(length of time)의 함수일 수 있다,
몇몇 예에서, 로봇(100)은 전방 구동 방향(F)이 새로운 진행방향과 일치되고, 그래서 머리(160)에 비교적 동일한 좌측/우측 패닝 능력을 제공하도록, 베이스(120)를 계속하여 회전시킬 수 있다. 로봇(100)이 베이스를 회전시킴에 따라, 진행방향을 향하도록 및 선택적으로 머리(160)에 있는 센서(320, 450, 450b)의 시계(322, 452)가 새로운 진행방향을 따라서 가리키도록 머리(160)를 동시에 회전시킬 수 있다. 몇몇 구현예에서, 머리(160)가 상대적으로 더 신속하게 새로운 진향방향으로 향하도록, 로봇(100)은 베이스(120)와 머리(160)를 함께 회전시킨다. 베이스(120)가 과도하게 회전하면, 머리(160)는 정렬상태를 회복하기 위해 역패닝을 행할 수 있다.
도 19는 원격현전 소프트웨어 애플리케이션(601)이 스크린 표시자(1910)를 로봇(100)으로부터 수신된 원격 비디오 피드에 오버레이하는 예시적인 원격 뷰(612)를 도시한다. 스크린 표시자(1910)는 마우스 커서(1912)에 가까이 디스플레이될 수 있으며, 현재의 머리의 이동 범위를 나타낼 수 있다. 사용자가 (예상 가능케는 머리를 그쪽으로 향하도록 이동시키기 위해 클릭할 의도로) 마우스 커서(1912)를 원격 비디오 뷰(612)의 좌측 또는 우측으로 이동시킴에 따라, 스크린 표시자(1910)는 그 방향으로 얼마만큼의 머리의 이동이 남았는지(즉, 얼마만큼의 머리(160)의 이동의 잔여 범위가 이용가능한 지)를 나타내기 위해 커서(1912)의 위에 디스플레이될 수 있다.
강조 박스(highlight box:1920)는 원격 비디오 뷰(612) 내의 관심 영역을 강조할 수 있다. 사용자는 예를 들면, 박스를 스크린 상에 드래그 및 드롭함으로써 및/또는 관심 영역의 둘레에 오픈 박스를 클릭 및 드래그함으로써, 원격 비디오 뷰(612)의 일부의 관심 영역 둘레에 강조 박스(1920)를 생성할 수 있다. 이에 응답하여, 원격현전 소프트웨어 애플리케이션(601)은 로봇의 머리(160)가 강조 박스(1920)의 중심으로 이동하게 할 수 있다. 또한, 카메라(320)는 강조 박스(1920)의 치수와 일치되도록 확대(zoom in)될 수 있다.
도 20a와 도 20b를 참조하면, 로봇(100)이 뜻하지 않게 통신 접속상태를 잃게 되면(예를 들면, 무선 신호의 두절), 로봇(100)은 정지하거나 또는 그 목적지로의 구동을 지속할 수 있다. 원격현전 로봇이 주변환경을 통과하여 이동함에 따라서, 예를 들면, 로봇(100)이 다양한 무선 액세스 포인트 사이에서 전이되고 및/또는 약한 신호 강도의 결과로서 데이터 전송에 있어서 두절을 겪게 됨에 따라 통신이 두절될 수 있다. 자율적으로 운행을 지속하게 함으로써, 로봇이 희망 목적지에 이를 즈음에는 통신이 복구될 수 있다.
로봇(100)이 통신 접속 두절을 겪게되면, 로봇(100)은 목적지로의 운행을 지속하기 위해 (예를 들면, 제어기(500)에 의해 로컬에 저장된) 바로 직전의 신뢰되는 로컬화/자세 및/또는 (로봇의 센서 시스템(400)에 의거한) 현재 결정된 로컬화/자세를 참고할 수 있다. 로봇 경로가 계획된 경로이면, 로봇(100)은 목적지로의 계획된 경로를 재개할 수 있다. 반면에, 사용자가 로봇(100)을 목적지로 원격조종하고 있었으면, 통신 접속{예를 들면, 무선 주파수(radio frequency) 및/또는 무선(wireless)}을 갖는 가장 가까운/바로 직전의 신뢰되는 위치로의 계획된 경로를 따라갈 수 있다. 이와 달리, 로봇(100)은 통신 접속을 갖는 가장 가까운/바로 직전의 신뢰되는 위치로 최단 경로(즉, 새로운 경로)를 따라 구동될 수 있다.
가장 가까운/바로 직전의 신뢰되는 위치에 이르게 되면, 로봇(100)은 통신 접속이 복구되었는지 및 그렇다면, 목적지에 도달했는지를 결정할 수 있다. 통신 접속이 복구되지 않았으면, 로봇(100)은 제어기(500)에 의해 저장된 후속의 신뢰되는 위치로 이동하기 위해 그 비디오 녹화분(및 센서 시스템(400)의 임의의 다른 센서 데이터)을 동기화할 수 있다. 또한, 목적지에는 도달하지 않았지만 통신 접속은 복구되었으면, 제어기(500)는 세이프 하버(safe harbor) 조치를 취할 수 있는데, 이는 센서 데이터의 기록을 지속하는 것과 통신 접속의 두절로 인해 세션이 종료되었다는 것을 나타내는 (예를 들면, 웹 패드(310) 상에) 새로운 로봇측 사용자 인터페이스를 디스플레이하는 것을 수반한다. 로봇(100)은 (ODOA를 사용하여) 바로 직전의 신뢰되는 위치로 이동하기 위해 경로 기획(path planning)을 재평가 및/또는 실행함으로써 그 접속 복구율을 향상시킬 수 있다. 로봇(100)은 가능케는 더 우수한 통신 수신을 얻기 위해 그 안테나(490a, 490b)(도 2와 도 4c)를 또한 움직일 수 있다. 로봇(100)은 모바일 애드 혹 네트워크(mobile ad-hoc network: MANET)를 이용할 수 있으며, 이는 무선 링크에 의해 접속된 무선 장치(mobile device)의 자체 구성식의 기초구조물이 없는 네트워크이다.
몇몇 예에서, 로봇(100)은 통신 두절의 위치 및 임의의 복구된 통신의 위치를 마크함으로써 로봇 지도(820)의 완성도/정확도를 개선할 수 있다. 로봇(100)은 알려진 접속성을 갖는 영역(예를 들면, WLAN 웜 구역 또는 강신호 구역)으로 이동하기 위해 기준점 운행(waypoint navigation)을 이용할 수 있다. 기준점은 물리적 공간의 지점을 식별하는 좌표의 집합이다. 로봇(100)은 목적지로 이동하기 위해 로봇 지도(820)에 성립된 기준점을 이용할 수 있다.
다른 세이프 하버 조치로는 가장 가까운 가장 저소통량의 영역으로의 경로를 기획하는 것 또는 로봇 지도(820)에 기초하여 가장 가까운 충전/도킹 스테이션으로 이동하는 것이 포함된다. 몇몇 예에서, 로봇(100)은 Wi-Fi 브리지(602) 기능을 하도록 MIMO용의 복수의 안테나(490a 490b)를 사용할 수 있는 다른 가장 가까운 로봇(100)쪽으로 이동할 수 있다.
본 명세서에 기재된 시스템 및 기술의 다양한 구현예는 디지털 전자회로, 집적회로, 특수 설계된 ASIC(application specifica integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이들 다양한 구현예는 적어도 하나의 프로그램 가능형 프로세서(programmable process)를 포함하는 프로그램 가능형 시스템에서 실행 및/또는 해석될 수 있는 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있으며, 적어도 하나의 프로그램 가능형 프로세서는 스토리지 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령어를 수신하고 또한 데이터 및 명령어를 전송하도록 결합된 특수 또는 일반 용도일 수 있다.
(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려진) 이들 컴퓨터 프로그램은 프로그램 가능형 프로세서를 위한 기계 명령어를 포함하며, 고수준 절차 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어는 기계 명령어를 기계 판독 가능 신호로 수신하는 기계 판독 가능 매체를 포함하여 기계 명령어 및/또는 데이터를 프로그램 가능형 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들면, 자기 디스크, 광 디스크, 메모리, PLD(Programmable Logic Devices))를 지칭한다. "기계 판독 가능 신호"라는 용어는 프로그램 가능형 프로세서에 기계 명령어 및/또는 데이터를 제공하는데 사용되는 임의의 신호를 지칭한다.
본 명세서에 기재된 기술 내용 및 기능 작용의 구현예는 디지털 전자회로로, 또는 본 명세서에 개시된 구조 및 그 구조상 동등물을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로, 혹은 이들의 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 기재된 기술 내용의 실시예는 하나 이상의 컴퓨터 프로그램 제품으로, 즉 데이터 처리 장치에 의한 실행 또는 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 판독 가능 매체에 인코딩된 컴퓨터 프로그램 명령어의 하나 이상의 모듈로 로 구현될 수 있다. 컴퓨터 판독 가능 매체는 기계 판독 가능 스토리지 장치, 기계 판독 가능 스토리지 기판, 메모리 장치, 기계 판독 가능 전파 신호에 영향을 미치는 물질의 구성물, 또는 이들의 하나 이상의 조합일 수 있다. "데이터 처리 장치"라는 용어는, 예로서 프로그램 가능형 프로세서, 컴퓨터, 복수의 프로세서 또는 컴퓨터를 포함하여, 데이터를 처리하기 위한 모든 장치, 디바이스, 및 기계를 포함한다. 장치는 하드웨어 외에, 해당 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들면 프로세서 펌웨어, 프로토콜 스택(protocol stack), 데이터베이스 관리 시스템, OS(운영체계), 또는 이들의 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파 신호는 인공적으로 생성된 신호, 예를 들면 적절한 수신기 장치로의 전송을 위해 정보를 인코딩하도록 생성된 기계 발생 전기, 광, 또는 전자기 신호이다.
(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드 라고도 알려진) 컴퓨터 프로그램은 컴파일러형 또는 해석형 언어를 포함하여 임의의 형태의 프로그래밍 언어로 쓰여질 수 있으며, 스탠드얼론 프로그램으로서 또는 전산 환경에 사용하는데 적합한 모듈, 서브루틴, 혹은 다른 유닛을 포함하는 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 반드시 파일 시스템의 파일에 대응하는것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유한 파일의 일부에(예를 들면, 마크업 언어 문서에 저장된 하나 이상의 스크립트), 해당 프로그램 전용의 단일 파일에, 또는 복수의 조합 파일(예를 들면, 하나 이상의 모듈, 서브프로그램, 또는 코드의 일부를 저장한 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 한 장소에 위치되거나 또는 복수의 장소에 걸쳐 분산되어 통신 네트워크를 통해 상호 접속된 복수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
본 명세서에 기재된 프로세스와 논리 순서(logic flow)는 입력 데이터에 연산을 행하고 출력을 발생시킴으로써 기능을 행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능형 프로세서에 의해 행해질 수 있다. 본 프로세스와 논리 순서는 또한 특수 목적의 논리 회로, 예를 들면 FPGA(field programmable gate array) 또는 ASIC에 의해서도 행해질 수 있으며, 장치는 이러한 특수 목적의 논리 회로, 예를 들면 FPGA(field programmable gate array) 또는 ASIC로도 또한 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들면, 일반 및 특수 목적의 마이크로프로세서 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 ROM(read only memory) 또는 RAM(rnadom access memory) 혹은 양자 모두로부터 명령어와 데이터를 수신하게 된다. 컴퓨터의 필수 요소는 명령어를 수행하기 위한 프로세서와 명령어 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대용량 스토리지 디바이스, 예를 들면 자기 디스크, 광자기 디스크, 또는 광디스크도 또한 포함하거나, 또는 이로부터 데이터를 수신하거나 혹은 이에 데이터를 전송하기 위해 혹은 양자 모두를 위해 이러한 하나 이상의 대용량 스토리지 디바이스에 작동 연결될 수 있다. 하지만, 컴퓨터가 이러한 디바이스를 구비할 필요는 없다. 또한, 컴퓨터는 다른 장치, 예를 들어 몇 가지 이름을 대면 휴대 전화기, PDA(personal digital assistant), 휴대용 오디오 재생기, GPS(global positioning system) 수신기 내에 삽입될 수 있다. 컴퓨터 프로그램 명령어와 데이터를 저장하는데 적합한 컴퓨터 판독 가능 매체는: 예로서 반도체 메모리 디바이스, 예를 들면, EPROM, EEPROM, 및 플래시 메모리 디바이스를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스; 자기 디스크, 예를 들면 내장형 하드디스크 또는 분리 가능 디스크; 광자기 디스크; CD ROM 및 DVD-ROM 디스크를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보완되거나 또는 이에 병합될 수 있다.
본 명세서에 기재된 기술 내용의 구현예는 예를 들면, 데이터 서버로 백엔드 컴포넌트(back end component)를 포함하거나; 미들웨어(middleware) 컴포넌트, 예를 들면 애플리케이션 서버를 포함하거나; 또는 프런트엔드(front end) 컴포넌트, 예를 들면 사용자가 본 명세서에 기재된 기술 내용의 구현물과 상호작용할 수 있게 하는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하거나; 또는 백엔드, 미들웨어, 프런트엔드 컴포넌트의 하나 이상의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신, 예를 들면 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크의 예로는 LAN(local area network)과 WAN(wide area network), 예를 들면 인터넷이 포함된다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 전형적으로 통신 네트워크를 통하여 상호작용한다. 클라이언트와 서버의 관계는 각 컴퓨터에서 구동되며 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생된다.
본 명세서는 많은 상세사항을 포함하나, 이들은 본 발명 또는 청구하는 범위를 제안하는 것으로 해석되어서는 안 되며, 본 발명의 특정 구현예에 구체화된 특징을 설명하는 것으로 해석되어야 한다. 개별 구현예의 문맥에서 본 명세서에 기재된 소정의 특징은 단일 구현예의 조합에서도 또한 구현될 수 있다. 반대로, 단일 구현예의 문맥에서 기재된 다양한 특징은 개별적으로 복수의 구현예에서 또는 임의의 적절한 하부 조합에서도 또한 구현될 수 있다. 게다가, 특징들은 위에서 소정의 조합으로 기능하는 것으로 기재되고 초기에는 그러하다고 언급되었을 수 있으나, 언급된 조합으로부터의 하나 이상의 특징들은 어떤 경우에는 그 조합으로부터 제거될 수 있으며, 그 언급된 조합은 하부 조합으로 또는 하부 조합의 변형예로 될 수 있다.
유사하게, 동작들은 도면에서 특정 순서로 도시되었으나, 이는 바람직한 결과를 달성하기 위해 이러한 동작들이 도시된 특정 순서로 또는 순차적으로 행해진다거나, 또는 도시된 모든 동작이 행해져야 하는 것으로 해석되어서는 안 된다. 어떤 상황에서는, 다중 작업 또는 병렬(병행) 처리가 유익할 수 있다. 게다가, 전술한 실시예에서 다양한 시스템 컴포넌트의 분리는 모든 실시예에서 이러한 분리가 요구되는 것으로 이해되어서는 안 되며, 기재된 프로그램 컴포넌트와 시스템은 일반적으로 단일의 소프트웨어 제품으로 서로 통합되거나 또는 복수의 소프트웨어 제품으로 패키지화 될 수 있음을 이해해야 한다.
다수의 구현예가 기재되었다. 하지만, 본 개시의 사상과 범위로부터 벗어남이 없이 다양한 변형예가 이루어질 수 있음을 이해할 것이다. 따라서, 다른 구현예도 이하의 청구항의 범위 내에 있다. 예를 들어, 청구항에 명시된 동작은 다른 순서로 행해질 수 있으며 여전히 바람직한 결과를 달성할 수 있다.
100: 원격현전 로봇 105: 전원
110: 로봇 몸체 120: 베이스
122: 베이스 섀시 124: 베이스 몸체
130: 다리 140: 몸통
150: 목 160: 머리
200: 구동 시스템 300: 인터페이싱 모듈
400: 센서 시스템 500: 제어기
600: 로봇 시스템 F: 전방 구동 방향

Claims (20)

  1. 로컬 터미널을 포함하는 원격현전(telepresence) 로봇 시스템으로서,
    상기 로컬 터미널은,
    전자 디스플레이와;
    상기 전자 디스플레이와 통신 상태에 있는 프로세서와;
    상기 프로세서와 통신 상태에 있는 메모리와;
    상기 프로세서와 통신 상태에 있는 사용자 입력 장치를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 명령어들을 포함하고,
    상기 프로세서는 상기 명령어들에 의해,
    로봇 작동 표면의 로봇 운행 가능 구역들을 나타내는 지도(map)의 적어도 일부를 검색하고;
    제1의 관점(perspective)에서 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드(video feed)를 수신하고;
    상기 리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 데이터를 수신하고;
    상기 리모트 원격현전 로봇의 상기 이미징 시스템으로부터의 상기 비디오 피드를 디스플레이하고; 그리고
    상기 리모트 원격현전 로봇에 명령을 전송하도록 구성되고,
    상기 사용자 입력 장치는 사용자가 단일 사용자 인터페이스상의 적어도 3개의 옵션들 중 임의의 옵션을 통해 상기 리모트 원격현전 로봇의 이동을 선택할 수 있도록 구성되고,
    상기 적어도 3개의 옵션들은,
    상기 비디오 피드에 대해 상기 리모트 원격현전 로봇의 목적지를 선택하는 것;
    목적지 목록으로부터 상기 리모트 원격현전 로봇의 목적지를 선택하는 것; 및
    조이스틱을 사용하여 상기 리모트 원격현전 로봇의 상기 현재 위치에 상대적인 방향으로 상기 리모트 원격현전 로봇을 드래깅(dragging)함으로써 상기 리모트 원격현전 로봇의 목적지를 선택하는 것을 포함하는, 원격현전 로봇 시스템.
  2. 제1항에 있어서, 상기 이동의 선택은 상기 비디오 피드 내의 포인트를 선택함으로써 상기 비디오 피드의 대안적인 관점(alternative perspective)을 선택하는 것을 포함하는, 원격현전 로봇 시스템.
  3. 제1항에 있어서, 상기 이동의 선택은 상기 지도 상의 포인트를 선택함으로써 상기 비디오 피드의 대안적인 관점을 선택하는 것을 포함하는, 원격현전 로봇 시스템.
  4. 제1항에 있어서, 상기 이동의 선택은 상기 리모트 원격현전 로봇이 정지 상태에 있는 동안에 상기 이미징 시스템을 점진적으로 패닝(panning) 또는 틸팅(tilting)함으로써 상기 비디오 피드의 대안적인 관점을 선택하는 것을 포함하는, 원격현전 로봇 시스템.
  5. 제1항에 있어서, 상기 이동의 선택은 상기 리모트 원격현전 로봇의 하부와 상기 리모트 원격현전 로봇의 상부 중 어느 하나를 회전시키는 것과 관련될 수 있는, 원격현전 로봇 시스템.
  6. 제1항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는:
    상기 사용자 입력 장치로부터 상기 리모트 원격현전 로봇의 목적지의 선택을 수신하고;
    상기 리모트 원격현전 로봇의 현재 위치와 상기 리모트 원격현전 로봇의 상기 선택된 목적지 사이에 운행 경로를 생성하기 위해 상기 지도에 대한 좌표들의 시퀀스를 결정하고; 그리고
    상기 운행 경로를 형성하는 상기 좌표들의 시퀀스를 포함하는 명령을 상기 리모트 원격현전 로봇에 전송하도록
    추가로 구성되는, 원격현전 로봇 시스템.
  7. 제6항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는,
    상기 지도 상에 오버레이된(overlaid) 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스를 디스플레이하도록 추가로 구성되는, 원격현전 로봇 시스템.
  8. 제6항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는:
    상기 리모트 원격현전 로봇의 상기 이미징 시스템으로부터 수신된 상기 비디오 피드와 상기 지도 사이의 왜곡을 결정하고;
    상기 비디오 피드에 대한 상기 좌표들의 시퀀스의 위치 및 관점을 기술하는(describing) 관점 데이터(perspective data) 및 해당 비디오 좌표들을 결정하기 위해 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스에 상기 왜곡을 적용하고; 그리고
    상기 비디오 피드에 오버레이된 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스의 3차원 표현을 디스플레이하도록
    추가로 구성되는, 원격현전 로봇 시스템.
  9. 제8항에 있어서, 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스의 상기 3차원 표현은 상기 비디오 피드에서 검출된 바닥(floor)에 대해 상기 비디오 피드 상에 오버레이되는, 원격현전 로봇 시스템.
  10. 제1항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는:
    상기 사용자 입력 장치로부터 상기 리모트 원격현전 로봇의 목적지의 선택을 수신하고;
    상기 지도에 대한 목적지 좌표들을 상기 리모트 원격현전 로봇에 전송하고 - 상기 목적지 좌표들은 상기 선택된 목적지에 대응함 -;
    상기 리모트 원격현전 로봇의 운행 시스템으로부터 상기 지도에 대한 좌표들의 시퀀스를 수신하고 - 상기 좌표들의 시퀀스는 상기 리모트 원격현전 로봇의 현재 위치와 상기 리모트 원격현전 로봇의 희망 목적지의 사이에 운행 경로를 형성함 -; 그리고
    상기 지도 상에 오버레이된 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스를 디스플레이하도록
    추가로 구성되는, 원격현전 로봇 시스템.
  11. 제10항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는:
    상기 리모트 원격현전 로봇의 상기 이미징 시스템으로부터 수신된 상기 비디오 피드와 상기 지도 사이의 왜곡을 결정하고;
    상기 비디오 피드에 대한 상기 좌표들의 시퀀스의 위치 및 관점을 기술하는 관점 데이터 및 해당 비디오 좌표들을 결정하기 위해 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스에 상기 왜곡을 적용하고; 그리고
    상기 비디오 피드에 오버레이된 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스의 3차원 표현을 디스플레이하도록
    추가로 구성되는, 원격현전 로봇 시스템.
  12. 제11항에 있어서, 상기 운행 경로를 형성하는 상기 좌표들의 시퀀스의 상기 3차원 표현은 상기 비디오 피드에서 검출된 바닥에 대해 상기 비디오 피드 상에 오버레이되는, 원격현전 로봇 시스템.
  13. 제1항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는,
    상기 리모트 원격현전 로봇의 센서 시스템에 의해 검출된 장애물의 상기 지도 상의 좌표들을 수신하도록 추가로 구성되는, 원격현전 로봇 시스템.
  14. 제1항에 있어서, 상기 지도는 원격으로 저장되는, 원격현전 로봇 시스템.
  15. 제14항에 있어서, 상기 지도는 상기 리모트 원격현전 로봇 내에 저장되는, 원격현전 로봇 시스템.
  16. 제1항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는,
    상기 리모트 원격현전 로봇의 상기 이미징 시스템으로부터 수신된 상기 비디오 피드와 상기 지도 사이의 왜곡을 결정하고; 그리고
    상기 리모트 원격현전 로봇의 상기 이미징 시스템으로부터의 상기 비디오 피드와 상기 지도의 혼합된 뷰(view)를 포함하는 하이브리드 지도 뷰(hybrid map view)를 생성하도록
    추가로 구성되는, 원격현전 로봇 시스템.
  17. 제16항에 있어서, 상기 하이브리드 지도 뷰는 상기 비디오 피드 상에 오버레이된 상기 지도의 3차원 표시를 포함하는, 원격현전 로봇 시스템.
  18. 제1항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는:
    상기 지도 상에서 상기 리모트 원격현전 로봇의 가상 위치에 대한 렌더링된 미리 보기(look ahead)를 위한 요청을 입력 장치를 통해 수신하고;
    상기 리모트 원격현전 로봇의 상기 이미징 시스템으로부터 수신된 상기 비디오 피드와 상기 지도 사이의 왜곡을 결정하고;
    상기 리모트 원격현전 로봇의 가상 위치에 기초하여 가상 3차원 비디오 피드를 생성하고; 그리고
    상기 리모트 원격현전 로봇의 가상 위치를 기반으로 상기 가상 3차원 비디오 피드를 디스플레이하도록
    추가로 구성되는, 원격현전 로봇 시스템.
  19. 제1항에 있어서,
    상기 프로세서에 의해 실행 가능한 상기 명령어들에 의해 상기 프로세서는,
    상기 지도 상에 상기 원격현전 로봇의 현재 위치를 나타내는 상기 지도를 디스플레이하도록 구성되는, 원격현전 로봇 시스템.
  20. 리모트 원격현전 로봇을 제어하는 방법으로서,
    로봇 작동 표면의 로봇 운행 가능 구역들을 나타내는 지도의 적어도 일부를 검색하는 단계;
    제1 관점에서 상기 리모트 원격현전 로봇의 이미징 시스템으로부터 비디오 피드를 수신하는 단계;
    상기 리모트 원격현전 로봇의 현재 위치와 결부된 포지셔닝 데이터를 수신하는 단계;
    상기 리모트 원격현전 로봇의 상기 이미징 시스템으로부터의 상기 비디오 피드를 디스플레이하는 단계;
    상기 리모트 원격현전 로봇에 명령을 전송하는 단계; 및
    단일 사용자 인터페이스를 통해 사용자 입력 장치로부터 복수의 이동 선택들을 수신하는 단계를 포함하고,
    상기 복수의 이동 선택들은:
    상기 비디오 피드에 대해 이루어지는 적어도 하나의 이동 선택;
    목적지 목록으로부터 이루어지는 적어도 하나의 이동 선택; 및
    조이스틱을 사용하여 상기 리모트 원격현전 로봇의 상기 현재 위치에 상대적인 방향으로 상기 리모트 원격현전 로봇을 드래깅함으로써 상기 리모트 원격현전 로봇의 상기 현재 위치에 대해 이루어지는 적어도 하나의 이동 선택을 포함하는, 방법.
KR1020187029010A 2011-01-28 2012-01-27 이동형 원격현전 로봇과의 인터페이싱 Active KR102018763B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161437433P 2011-01-28 2011-01-28
US61/437,433 2011-01-28
PCT/US2012/023036 WO2012103525A2 (en) 2011-01-28 2012-01-27 Interfacing with a mobile telepresence robot

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187016394A Division KR102068216B1 (ko) 2011-01-28 2012-01-27 이동형 원격현전 로봇과의 인터페이싱

Publications (2)

Publication Number Publication Date
KR20180118219A KR20180118219A (ko) 2018-10-30
KR102018763B1 true KR102018763B1 (ko) 2019-09-05

Family

ID=46578014

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020187016394A Active KR102068216B1 (ko) 2011-01-28 2012-01-27 이동형 원격현전 로봇과의 인터페이싱
KR1020137020195A Ceased KR20140040094A (ko) 2011-01-28 2012-01-27 이동형 원격현전 로봇과의 인터페이싱
KR1020187029010A Active KR102018763B1 (ko) 2011-01-28 2012-01-27 이동형 원격현전 로봇과의 인터페이싱

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020187016394A Active KR102068216B1 (ko) 2011-01-28 2012-01-27 이동형 원격현전 로봇과의 인터페이싱
KR1020137020195A Ceased KR20140040094A (ko) 2011-01-28 2012-01-27 이동형 원격현전 로봇과의 인터페이싱

Country Status (6)

Country Link
US (11) US8965579B2 (ko)
EP (1) EP2668008B1 (ko)
JP (1) JP5905031B2 (ko)
KR (3) KR102068216B1 (ko)
CN (2) CN103459099B (ko)
WO (1) WO2012103525A2 (ko)

Families Citing this family (652)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US11835343B1 (en) 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
DE102006031580A1 (de) 2006-07-03 2008-01-17 Faro Technologies, Inc., Lake Mary Verfahren und Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs
FR2907582A1 (fr) * 2006-10-23 2008-04-25 Nodbox Sarl Procede de determination d'algorithmes routiers localises et adaptatifs pour la cartographie adas et la gestion des routes
US20090248200A1 (en) * 2007-10-22 2009-10-01 North End Technologies Method & apparatus for remotely operating a robotic device linked to a communications network
US8775454B2 (en) 2008-07-29 2014-07-08 James L. Geer Phone assisted ‘photographic memory’
US9128981B1 (en) 2008-07-29 2015-09-08 James L. Geer Phone assisted ‘photographic memory’
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
DE102009010465B3 (de) 2009-02-13 2010-05-27 Faro Technologies, Inc., Lake Mary Laserscanner
DE102009015920B4 (de) 2009-03-25 2014-11-20 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
DE102009055989B4 (de) 2009-11-20 2017-02-16 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9113023B2 (en) 2009-11-20 2015-08-18 Faro Technologies, Inc. Three-dimensional scanner with spectroscopic energy detector
DE102009055988B3 (de) 2009-11-20 2011-03-17 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9529083B2 (en) 2009-11-20 2016-12-27 Faro Technologies, Inc. Three-dimensional scanner with enhanced spectroscopic energy detector
US9210288B2 (en) 2009-11-20 2015-12-08 Faro Technologies, Inc. Three-dimensional scanner with dichroic beam splitters to capture a variety of signals
DE102009057101A1 (de) 2009-11-20 2011-05-26 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US9163922B2 (en) 2010-01-20 2015-10-20 Faro Technologies, Inc. Coordinate measurement machine with distance meter and camera to determine dimensions within camera images
DE112011100295B4 (de) 2010-01-20 2018-01-11 Faro Technologies Inc. Tragbares Gelenkarm-Koordinatenmessgerät und integriertes elektronisches Datenverarbeitungssystem
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102010032723B3 (de) 2010-07-26 2011-11-24 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102010032726B3 (de) 2010-07-26 2011-11-24 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102010032725B4 (de) 2010-07-26 2012-04-26 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102010033561B3 (de) 2010-07-29 2011-12-15 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
KR20120043865A (ko) * 2010-10-27 2012-05-07 주식회사 케이티 이동통신 단말의 위치정보를 활용한 로봇 인터랙션 서비스 제공 시스템, 방법 및 장치
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
US8930019B2 (en) * 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
US8751063B2 (en) 2011-01-05 2014-06-10 Orbotix, Inc. Orienting a user interface of a controller for operating a self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US8965579B2 (en) 2011-01-28 2015-02-24 Intouch Technologies Interfacing with a mobile telepresence robot
SG192807A1 (en) * 2011-02-17 2013-09-30 Nec Corp Information processing device
US20120244969A1 (en) 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
US20120250050A1 (en) * 2011-03-28 2012-10-04 Daniel Theobald Reconfigurable User Input/Output Device
US8478901B1 (en) * 2011-05-06 2013-07-02 Google Inc. Methods and systems for robot cloud computing using slug trails
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US20140139616A1 (en) 2012-01-27 2014-05-22 Intouch Technologies, Inc. Enhanced Diagnostics for a Telepresence Robot
KR101257896B1 (ko) * 2011-05-25 2013-04-24 (주) 퓨처로봇 스마트 서비스 로봇 운영 시스템 및 방법
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
JP5698614B2 (ja) * 2011-06-22 2015-04-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ コンテキスト情報処理システム及び方法
US9079315B2 (en) 2011-08-29 2015-07-14 Neil Davey Banking automation using autonomous robot
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9747480B2 (en) 2011-12-05 2017-08-29 Adasa Inc. RFID and robots for multichannel shopping
US10476130B2 (en) 2011-12-05 2019-11-12 Adasa Inc. Aerial inventory antenna
US10050330B2 (en) 2011-12-05 2018-08-14 Adasa Inc. Aerial inventory antenna
US11093722B2 (en) 2011-12-05 2021-08-17 Adasa Inc. Holonomic RFID reader
US10846497B2 (en) 2011-12-05 2020-11-24 Adasa Inc. Holonomic RFID reader
US9780435B2 (en) 2011-12-05 2017-10-03 Adasa Inc. Aerial inventory antenna
KR101910382B1 (ko) * 2011-12-08 2018-10-22 엘지전자 주식회사 자동 이동 장치 및 그 수동 조작 방법
US10165228B2 (en) 2011-12-22 2018-12-25 Mis Security, Llc Sensor event assessor training and integration
US8902936B2 (en) 2011-12-22 2014-12-02 Cory J. Stephanson Sensor event assessor input/output controller
DE102012100609A1 (de) 2012-01-25 2013-07-25 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
KR20130087881A (ko) * 2012-01-30 2013-08-07 한국전자통신연구원 원격 관제 시스템을 이용한 무인 감시 장치 및 방법, 무인 감시를 위한 로봇 제어 단말
KR101929451B1 (ko) * 2012-02-03 2018-12-14 삼성전자주식회사 로봇의 제어 장치 및 방법
US8965104B1 (en) * 2012-02-10 2015-02-24 Google Inc. Machine vision calibration with cloud computing systems
US9573276B2 (en) * 2012-02-15 2017-02-21 Kenneth Dean Stephens, Jr. Space exploration with human proxy robots
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) * 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US9292758B2 (en) 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
HK1207455A1 (en) 2012-05-14 2016-01-29 斯飞乐有限公司 Operating a computing device by detecting rounded objects in an image
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
WO2013176760A1 (en) * 2012-05-22 2013-11-28 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9256983B2 (en) 2012-06-28 2016-02-09 Here Global B.V. On demand image overlay
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
JP6008617B2 (ja) * 2012-06-29 2016-10-19 キヤノン株式会社 通信装置およびその制御方法、並びにプログラム
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus
EP2880572A2 (en) * 2012-08-06 2015-06-10 Koninklijke Philips N.V. Method and apparatus for the real time annotation of a medical treatment event
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
EP3104194B1 (en) 2012-08-27 2019-02-06 Aktiebolaget Electrolux Robot positioning system
US20140094997A1 (en) * 2012-09-28 2014-04-03 Elwha Llc Automated Systems, Devices, and Methods for Transporting and Supporting Patients Including Multi-Floor Operation
US8886383B2 (en) 2012-09-28 2014-11-11 Elwha Llc Automated systems, devices, and methods for transporting and supporting patients
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
TWM451103U (zh) * 2012-10-30 2013-04-21 Agait Technology Corp 行走裝置
TWI503099B (zh) * 2012-11-16 2015-10-11 Univ Yuan Ze 遠距居家照護之遠端臨場機器人於多元人際互動溝通系統
TWI615773B (zh) * 2012-11-30 2018-02-21 元智大學 結合行動裝置之多元人際互動溝通遠端臨場機器人系統
CN102999046A (zh) * 2012-12-05 2013-03-27 珠海市魅族科技有限公司 一种导航的控制方法、终端、导航装置及自移动设备
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
KR20140089241A (ko) * 2013-01-04 2014-07-14 한국전자통신연구원 군집지능로봇에서의 확률기반 전파맵 생성 장치 및 방법
TWI512642B (zh) * 2013-01-25 2015-12-11 Delta Electronics Inc 快速圖形比對方法
EP2954505B1 (en) * 2013-02-08 2019-09-11 Robert Bosch GmbH Adding user-selected mark-ups to a video stream
US9014428B2 (en) * 2013-02-15 2015-04-21 Sony Corporation Object detection using difference of image frames
JP2014159766A (ja) * 2013-02-19 2014-09-04 Denso Corp 移動体用制御システム
US9956687B2 (en) * 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
US9056396B1 (en) 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
KR101450537B1 (ko) * 2013-03-05 2014-10-14 엘지전자 주식회사 로봇 청소기
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9355368B2 (en) * 2013-03-14 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US8989922B2 (en) 2013-03-15 2015-03-24 Azure Sky Group, LLC. Modular drone and methods for use
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
US10391636B2 (en) * 2013-03-15 2019-08-27 Sqn Venture Income Fund, L.P. Apparatus and methods for providing a persistent companion device
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
KR102117273B1 (ko) * 2013-03-21 2020-06-01 삼성전자주식회사 수술 로봇 시스템 및 그 제어 방법
RU2673400C2 (ru) 2013-04-03 2018-11-26 Филипс Лайтинг Холдинг Б.В. Взаимодействие между установкой и устройством с использованием профиля установки
EP2986192B1 (en) 2013-04-15 2021-03-31 Aktiebolaget Electrolux Robotic vacuum cleaner
KR102137923B1 (ko) 2013-04-15 2020-07-24 에이비 엘렉트로룩스 돌출 측부 브러시를 구비하는 로봇 진공 청소기
CN105264452B (zh) * 2013-05-06 2019-04-19 斯飞乐有限公司 多用途自推进装置
EP2994804B1 (en) * 2013-05-06 2020-09-02 Sphero, Inc. Multi-purposed self-propelled device
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US20140362287A1 (en) * 2013-06-10 2014-12-11 Chien Fu CHUNG Multi-directional positioning apparatus for mobile-phone camera shooting
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9384443B2 (en) 2013-06-14 2016-07-05 Brain Corporation Robotic training apparatus and methods
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9075906B2 (en) 2013-06-28 2015-07-07 Elwha Llc Medical support system including medical equipment case
US9838645B2 (en) 2013-10-31 2017-12-05 Elwha Llc Remote monitoring of telemedicine device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
WO2015017691A1 (en) * 2013-08-02 2015-02-05 Irobot Corporation Time-dependent navigation of telepresence robots
WO2015018355A1 (zh) * 2013-08-07 2015-02-12 苏州宝时得电动工具有限公司 自动工作系统、自动行走设备及其控制方法
JP5850004B2 (ja) * 2013-08-09 2016-02-03 株式会社安川電機 ロボット制御装置及びロボット制御方法
JP5939213B2 (ja) * 2013-08-09 2016-06-22 株式会社安川電機 ロボット制御装置及びロボット制御方法
USD768142S1 (en) * 2013-08-29 2016-10-04 Samsung Electronics Co., Ltd. Electronic device with graphical user interface
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
JP6007873B2 (ja) * 2013-08-30 2016-10-12 トヨタ自動車株式会社 ロボット及びその制御方法
US9483829B2 (en) 2013-09-04 2016-11-01 International Business Machines Corporation Efficient visual surface finding
KR101511992B1 (ko) * 2013-09-06 2015-04-14 현대모비스(주) 조향 휠 제어 방법 및 이를 위한 위한 시스템
KR102165818B1 (ko) 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
DE102013015189A1 (de) * 2013-09-11 2015-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobiles Kamerasystem mit einer eigenfortbewegungsfähigen Plattform sowie Verfahren zur optischen Erfassung wenigstens eines Objektes
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9296101B2 (en) 2013-09-27 2016-03-29 Brain Corporation Robotic control arbitration apparatus and methods
DE102013016381A1 (de) * 2013-09-30 2015-04-02 Grenzebach Maschinenbau Gmbh Transportfahrzeug und Verfahren zum störungsfreien Transport von Lastregalen in Werkshallen mit Funkabschattungen und mit teilweise autonomem Fahrbetrieb
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9248569B2 (en) 2013-11-22 2016-02-02 Brain Corporation Discrepancy detection apparatus and methods for machine learning
CN105744872B (zh) 2013-12-19 2020-01-14 伊莱克斯公司 旋转侧刷的自适应速度控制
CN105792721B (zh) 2013-12-19 2020-07-21 伊莱克斯公司 以螺旋样式移动的带侧刷的机器人真空吸尘器
KR102393550B1 (ko) 2013-12-19 2022-05-04 에이비 엘렉트로룩스 청소 영역의 우선순위를 정하는 방법
EP3082542B1 (en) 2013-12-19 2018-11-28 Aktiebolaget Electrolux Sensing climb of obstacle of a robotic cleaning device
KR102124235B1 (ko) 2013-12-19 2020-06-24 에이비 엘렉트로룩스 주변 기록 기능을 갖는 로봇 청소 디바이스
US10209080B2 (en) 2013-12-19 2019-02-19 Aktiebolaget Electrolux Robotic cleaning device
EP3082537B1 (en) 2013-12-19 2020-11-18 Aktiebolaget Electrolux Robotic cleaning device and method for landmark recognition
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
KR102116595B1 (ko) 2013-12-20 2020-06-05 에이비 엘렉트로룩스 먼지통
US9283674B2 (en) 2014-01-07 2016-03-15 Irobot Corporation Remotely operating a mobile robot
US10279488B2 (en) * 2014-01-17 2019-05-07 Knightscope, Inc. Autonomous data machines and systems
US9329597B2 (en) 2014-01-17 2016-05-03 Knightscope, Inc. Autonomous data machines and systems
US10514837B1 (en) 2014-01-17 2019-12-24 Knightscope, Inc. Systems and methods for security data analysis and display
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US10042048B1 (en) 2014-02-20 2018-08-07 National Technology & Engineering Solutions Of Sandia, Llc Superpixels for improved structure and terrain classification using multiple synthetic aperture radar image products
EP2916190B1 (en) * 2014-03-04 2019-05-08 Volvo Car Corporation Apparatus and method for prediction of time available for autonomous driving, in a vehicle having autonomous driving cap
EP2915718B1 (en) 2014-03-04 2018-07-11 Volvo Car Corporation Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
US9405979B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems
US9420238B2 (en) 2014-04-10 2016-08-16 Smartvue Corporation Systems and methods for automated cloud-based 3-dimensional (3D) analytics for surveillance systems
US10217003B2 (en) 2014-04-10 2019-02-26 Sensormatic Electronics, LLC Systems and methods for automated analytics for security surveillance in operation areas
US9407880B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas
US10084995B2 (en) 2014-04-10 2018-09-25 Sensormatic Electronics, LLC Systems and methods for an automated cloud-based video surveillance system
US10057546B2 (en) 2014-04-10 2018-08-21 Sensormatic Electronics, LLC Systems and methods for automated cloud-based analytics for security and/or surveillance
US9407879B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) playback for surveillance systems
US9686514B2 (en) 2014-04-10 2017-06-20 Kip Smrt P1 Lp Systems and methods for an automated cloud-based video surveillance system
US11093545B2 (en) 2014-04-10 2021-08-17 Sensormatic Electronics, LLC Systems and methods for an automated cloud-based video surveillance system
US9426428B2 (en) 2014-04-10 2016-08-23 Smartvue Corporation Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems in retail stores
US11120274B2 (en) 2014-04-10 2021-09-14 Sensormatic Electronics, LLC Systems and methods for automated analytics for security surveillance in operation areas
ES2746754T3 (es) * 2014-04-17 2020-03-06 Softbank Robotics Europe Robot humanoide con ruedas omnidireccionales basado en un controlador de posición y velocidad lineal predictivo
US20150312520A1 (en) * 2014-04-23 2015-10-29 President And Fellows Of Harvard College Telepresence apparatus and method enabling a case-study approach to lecturing and teaching
JP6003942B2 (ja) * 2014-04-24 2016-10-05 トヨタ自動車株式会社 動作制限装置及び動作制限方法
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
CN103984037B (zh) * 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
US9348337B2 (en) * 2014-05-14 2016-05-24 Swissray Asia Healthcare Co., Ltd. Environment recognition guide system for movable medical equipment and method
KR20150133898A (ko) * 2014-05-20 2015-12-01 삼성디스플레이 주식회사 창문 겸용 표시장치
US9498882B2 (en) 2014-06-12 2016-11-22 Play-i, Inc. System and method for reinforcing programming education through robotic feedback
US10279470B2 (en) 2014-06-12 2019-05-07 Play-i, Inc. System and method for facilitating program sharing
US9672756B2 (en) 2014-06-12 2017-06-06 Play-i, Inc. System and method for toy visual programming
EP3167341B1 (en) 2014-07-10 2018-05-09 Aktiebolaget Electrolux Method for detecting a measurement error in a robotic cleaning device
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
US9259838B1 (en) 2014-07-24 2016-02-16 Google Inc. Systems and methods for ground plane estimation
JP6140114B2 (ja) * 2014-07-31 2017-05-31 ファナック株式会社 移動式人協調型ロボット
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9205562B1 (en) 2014-08-29 2015-12-08 Google Inc. Integration of depth points into a height map
US10339389B2 (en) * 2014-09-03 2019-07-02 Sharp Laboratories Of America, Inc. Methods and systems for vision-based motion estimation
CN106659345B (zh) 2014-09-08 2019-09-03 伊莱克斯公司 机器人真空吸尘器
JP6459098B2 (ja) 2014-09-08 2019-01-30 アクチエボラゲット エレクトロルックス ロボット真空掃除機
US9501059B2 (en) * 2014-09-12 2016-11-22 Qualcomm Incorporated Pocket robot
CN104260095B (zh) * 2014-09-23 2016-04-27 上海工程技术大学 一种医疗机械臂的控制方法及装置
KR102431994B1 (ko) * 2014-09-24 2022-08-16 삼성전자주식회사 청소 로봇 및 청소 로봇의 제어 방법
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US9796093B2 (en) * 2014-10-24 2017-10-24 Fellow, Inc. Customer service robot and related systems and methods
US9851299B2 (en) 2014-10-25 2017-12-26 Isle Management Co. Method of analyzing air quality
US9563201B1 (en) 2014-10-31 2017-02-07 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
KR101666488B1 (ko) 2014-11-14 2016-10-14 이창길 로봇의 자율 이동을 위한 행동블록 운영 시스템 및 그 방법
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
CN104331080B (zh) * 2014-11-21 2015-08-26 中国人民解放军国防科学技术大学 用于移动式机器人的定点跟踪路径规划方法
US9623560B1 (en) * 2014-11-26 2017-04-18 Daniel Theobald Methods of operating a mechanism and systems related therewith
KR101689190B1 (ko) * 2014-11-26 2016-12-23 홍익대학교세종캠퍼스산학협력단 맞춤형 3d 프린팅 로봇 및 이를 위한 주문 시스템
CN106998980B (zh) 2014-12-10 2021-12-17 伊莱克斯公司 使用激光传感器检测地板类型
CN114668335A (zh) 2014-12-12 2022-06-28 伊莱克斯公司 侧刷和机器人吸尘器
USD760263S1 (en) * 2014-12-16 2016-06-28 Jenny Q. Ta Display screen with graphical user interface
CN106998984B (zh) 2014-12-16 2021-07-27 伊莱克斯公司 用于机器人清洁设备的清洁方法
JP6879478B2 (ja) 2014-12-16 2021-06-02 アクチエボラゲット エレクトロルックス ロボット掃除機のための経験ベースロードマップ
US20170102699A1 (en) * 2014-12-22 2017-04-13 Intel Corporation Drone control through imagery
KR20160084084A (ko) * 2015-01-05 2016-07-13 한화테크윈 주식회사 스캐닝 라이다 장치
US11400595B2 (en) 2015-01-06 2022-08-02 Nexus Robotics Llc Robotic platform with area cleaning mode
US10518407B2 (en) 2015-01-06 2019-12-31 Discovery Robotics Apparatus and methods for providing a reconfigurable robotic platform
US20160206179A1 (en) * 2015-01-15 2016-07-21 National Taiwan University Assistive robot endoscopic system with intuitive maneuverability for laparoscopic surgery and method thereof
US10484437B2 (en) * 2015-01-21 2019-11-19 Logmein, Inc. Remote support service with two-way smart whiteboard
WO2016115713A1 (zh) * 2015-01-22 2016-07-28 江玉结 基于rfid的定位与地图构建方法及其装置
EP3249419A4 (en) * 2015-01-22 2018-02-28 Guangzhou Airob Robot Technology Co., Ltd. Color block tag-based localization and mapping method and device thereof
US9389311B1 (en) * 2015-02-19 2016-07-12 Sandia Corporation Superpixel edges for boundary detection
CA2882968C (en) 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
CN106462165B (zh) * 2015-03-11 2019-09-03 株式会社久保田 作业车辆及使作业车辆自动行驶的行驶控制装置
KR101682880B1 (ko) * 2015-03-19 2016-12-20 현대자동차주식회사 차량 및 이를 포함하는 원격 차량 조작 시스템
US10230326B2 (en) 2015-03-24 2019-03-12 Carrier Corporation System and method for energy harvesting system planning and performance
US11036897B2 (en) 2015-03-24 2021-06-15 Carrier Corporation Floor plan based planning of building systems
CN107660290B (zh) 2015-03-24 2022-03-22 开利公司 用于建筑物系统的销售、安装和维护的集成系统
US10756830B2 (en) 2015-03-24 2020-08-25 Carrier Corporation System and method for determining RF sensor performance relative to a floor plan
CN107667366B (zh) 2015-03-24 2021-12-28 开利公司 用于捕获和分析多维建筑物信息的系统和方法
US10928785B2 (en) 2015-03-24 2021-02-23 Carrier Corporation Floor plan coverage based auto pairing and parameter setting
CN107667552B (zh) 2015-03-24 2021-11-09 开利公司 分布式装置的基于楼层平面图的学习和注册方法
US9574883B2 (en) 2015-03-24 2017-02-21 X Development Llc Associating semantic location data with automated environment mapping
EP3274976A1 (en) 2015-03-24 2018-01-31 Carrier Corporation Systems and methods for providing a graphical user interface indicating intruder threat levels for a building
US10088993B2 (en) 2015-04-01 2018-10-02 Ebay Inc. User interface for controlling data navigation
US9833899B1 (en) * 2015-04-02 2017-12-05 Boston Dynamics, Inc. Adaptive response to load
CN107405034B (zh) 2015-04-17 2022-09-13 伊莱克斯公司 机器人清洁设备以及控制所述机器人清洁设备的方法
WO2016172002A1 (en) * 2015-04-22 2016-10-27 Massachusetts Institute Of Technology Foot touch position following apparatus, method of controlling movement thereof, computer-executable program, and non-transitory computer-readable information recording medium storing the same
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
CN107580487A (zh) * 2015-05-06 2018-01-12 奥比斯机器人技术股份有限公司 可转换遥现机器人
US10033941B2 (en) * 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US9811734B2 (en) 2015-05-11 2017-11-07 Google Inc. Crowd-sourced creation and updating of area description file for mobile device localization
CN104889992A (zh) * 2015-05-12 2015-09-09 上海人智信息科技有限公司 一种智能医疗服务机器人
CN104924310A (zh) * 2015-05-12 2015-09-23 上海人智信息科技有限公司 一种智能家庭语音互动机器人
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
USD777846S1 (en) 2015-05-19 2017-01-31 Play-i, Inc. Connector accessory for toy robot
WO2016189896A1 (ja) * 2015-05-22 2016-12-01 富士フイルム株式会社 ロボット装置及びロボット装置の移動制御方法
US20160349754A1 (en) 2015-05-29 2016-12-01 Clearpath Robotics, Inc. Method, system and apparatus for controlling self-driving vehicles
CN105182757B (zh) * 2015-06-05 2019-03-05 普天智能照明研究院有限公司 一种移动式智能管家机器人控制方法
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10133276B1 (en) * 2015-06-19 2018-11-20 Amazon Technologies, Inc. Object avoidance with object detection and classification
CN104991555A (zh) * 2015-06-22 2015-10-21 中山明杰自动化科技有限公司 一种防撞击和带有智能报警装置的agv小车
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US9796091B1 (en) 2015-08-17 2017-10-24 X Development Llc Selective robot deployment
US9895809B1 (en) 2015-08-20 2018-02-20 X Development Llc Visual annotations in robot control interfaces
JP6843050B2 (ja) * 2015-08-25 2021-03-17 川崎重工業株式会社 ロボットシステム
KR101694369B1 (ko) * 2015-08-28 2017-01-09 경상대학교산학협력단 상지 재활 로봇
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
US10032137B2 (en) 2015-08-31 2018-07-24 Avaya Inc. Communication systems for multi-source robot control
CN107920709A (zh) 2015-09-03 2018-04-17 伊莱克斯公司 机器人清洁设备系统
JP2018530441A (ja) * 2015-09-09 2018-10-18 カーボン ロボティクス, インコーポレイテッドCarbon Robotics, Inc. ロボットアームシステム及び物体回避方法
US10118296B1 (en) * 2015-09-10 2018-11-06 X Development Llc Tagged robot sensor data
US9684305B2 (en) * 2015-09-11 2017-06-20 Fuji Xerox Co., Ltd. System and method for mobile robot teleoperation
US10016897B2 (en) * 2015-09-14 2018-07-10 OneMarket Network LLC Robotic systems and methods in prediction and presentation of resource availability
US10077984B2 (en) * 2015-09-25 2018-09-18 International Business Machines Corporation Indoor positioning system training
CN108289637B (zh) * 2015-10-05 2021-07-02 斯格尔兹威尔尼斯公司 生成矫正产品推荐
US10120057B1 (en) 2015-10-13 2018-11-06 Google Llc System and method for determining the direction of an actor
US9691153B1 (en) 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
CN105306762A (zh) * 2015-10-22 2016-02-03 深圳创想未来机器人有限公司 移动智能终端及其家电控制方法
CN105216905B (zh) * 2015-10-27 2018-01-02 北京林业大学 即时定位与地图创建勘测搜救机器人
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US9928648B2 (en) * 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10471594B2 (en) * 2015-12-01 2019-11-12 Kindred Systems Inc. Systems, devices, and methods for the distribution and collection of multimodal data associated with robots
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
US10409292B2 (en) * 2015-12-10 2019-09-10 Panasonic Intellectual Property Corporation Of America Movement control method, autonomous mobile robot, and recording medium storing program
KR102546714B1 (ko) 2015-12-15 2023-06-23 삼성전자주식회사 전자장치 및 그 거치대
DE102015122844A1 (de) 2015-12-27 2017-06-29 Faro Technologies, Inc. 3D-Messvorrichtung mit Batteriepack
KR102080424B1 (ko) * 2016-01-04 2020-02-21 저장 리뱌오 로보츠 컴퍼니 리미티드 로봇 현장 복귀를 위한 방법 및 장치
DE102017000063B4 (de) * 2016-01-14 2019-10-31 Fanuc Corporation Robotereinrichtung mit Lernfunktion
US10471611B2 (en) 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
CN105681750B (zh) * 2016-01-15 2018-09-25 福州中恒泰信息技术有限公司 远程操控机器人网络延时与机器人实时移动动作同步方法
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US9977569B2 (en) 2016-01-29 2018-05-22 Visual Supply Company Contextually changing omni-directional navigation mechanism
US9910563B2 (en) 2016-01-29 2018-03-06 Visual Supply Company Contextually changing omni-directional navigation mechanism
US11772270B2 (en) 2016-02-09 2023-10-03 Cobalt Robotics Inc. Inventory management by mobile robot
US10478973B2 (en) 2016-02-09 2019-11-19 Cobalt Robotics Inc. Mobile robot security enforcement
US11325250B2 (en) 2017-02-06 2022-05-10 Cobalt Robotics Inc. Robot with rotatable arm
US12134192B2 (en) 2016-02-09 2024-11-05 Cobalt Robotics Inc. Robot with rotatable arm
US11445152B2 (en) 2018-08-09 2022-09-13 Cobalt Robotics Inc. Security automation in a mobile robot
US10662045B2 (en) 2016-02-11 2020-05-26 Clearpath Robotics Inc. Control augmentation apparatus and method for automated guided vehicles
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
US10452071B1 (en) * 2016-02-29 2019-10-22 AI Incorporated Obstacle recognition method for autonomous robots
KR102588486B1 (ko) 2016-03-15 2023-10-11 에이비 엘렉트로룩스 로봇 청소 장치 및 로봇 청소 장치에서의 절벽 검출 실시 방법
CN105894832B (zh) * 2016-03-28 2018-06-08 广州飞锐机器人科技有限公司 一种自助导航定位agv的交通管制方法及装置
US9927814B2 (en) * 2016-03-28 2018-03-27 Fetch Robotics, Inc. System and method for localization of robots
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
US9864377B2 (en) * 2016-04-01 2018-01-09 Locus Robotics Corporation Navigation using planned robot travel paths
EP3446839B1 (en) * 2016-04-20 2023-01-18 Sony Interactive Entertainment Inc. Robot and housing
CN109070356B (zh) * 2016-04-28 2022-06-28 富士通株式会社 机器人
JP6653446B2 (ja) * 2016-05-06 2020-02-26 パナソニックＩｐマネジメント株式会社 ロボット
WO2017194102A1 (en) 2016-05-11 2017-11-16 Aktiebolaget Electrolux Robotic cleaning device
JP6425839B2 (ja) 2016-05-12 2018-11-21 Ｇｒｏｏｖｅ Ｘ株式会社 緊急停止機能を有する自律行動型ロボット
US10234856B2 (en) * 2016-05-12 2019-03-19 Caterpillar Inc. System and method for controlling a machine
CN107368067B (zh) * 2016-05-12 2022-08-23 深圳市朗驰欣创科技股份有限公司 一种自动导航车的路面检测方法及系统
US10467587B2 (en) 2016-05-19 2019-11-05 Simbe Robotics, Inc. Method for tracking placement of products on shelves in a store
JP6744430B2 (ja) * 2016-05-19 2020-08-19 シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. 製品を店舗内の棚構造に割り当てる棚割表を自動的に生成する方法
US10386839B2 (en) * 2016-05-26 2019-08-20 Boston Incubator Center, LLC Mobile robot that emulates pedestrian walking behavior
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10245724B2 (en) * 2016-06-09 2019-04-02 Shmuel Ur Innovation Ltd. System, method and product for utilizing prediction models of an environment
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10058997B1 (en) * 2016-06-16 2018-08-28 X Development Llc Space extrapolation for robot task performance
US10239205B2 (en) * 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
US10016896B2 (en) * 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
US11017454B2 (en) * 2016-07-13 2021-05-25 Sony Corporation Agent robot control system, agent robot system, agent robot control method, and storage medium
CN106131493A (zh) * 2016-07-20 2016-11-16 绥化学院 基于虚拟现实远端临场智能消防机器人的体感控制系统
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
US10259117B2 (en) * 2016-08-02 2019-04-16 At&T Intellectual Property I, L.P. On-demand robot virtualization
TW201805598A (zh) * 2016-08-04 2018-02-16 鴻海精密工業股份有限公司 自主移動設備及建立導航路徑的方法
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
EP3504601B1 (en) 2016-08-26 2020-10-07 Crown Equipment Corporation Multi-field scanning tools in materials handling vehicles
WO2018039592A1 (en) 2016-08-26 2018-03-01 Crown Equipment Corporation Materials handling vehicle path validation and dynamic path modification
CN115268426B (zh) 2016-08-26 2025-11-28 克朗设备公司 物料搬运车辆障碍物扫描工具
CN106217393B (zh) * 2016-08-29 2018-09-14 华南理工大学 移动式远端临场交互平台
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US9953676B2 (en) 2016-09-13 2018-04-24 International Business Machines Corporation Mounting a smartphone to robotic accessor of automated data storage library
US11166770B2 (en) * 2016-09-19 2021-11-09 Intuitive Surgical Operations, Inc. Base positioning system for a controllable arm and related methods
CN106500714B (zh) * 2016-09-22 2019-11-29 福建网龙计算机网络信息技术有限公司 一种基于视频的机器人导航方法及系统
CN106313050B (zh) * 2016-10-13 2018-11-20 北京京东尚科信息技术有限公司 机器人控制方法、系统和仓库搬运机器人
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技（深圳）有限公司 导览机器人及其移动区域标定方法
US10275608B2 (en) * 2016-10-15 2019-04-30 International Business Machines Corporation Object-centric video redaction
JP6560725B2 (ja) * 2016-10-17 2019-08-14 アルボット株式会社 コミュニケーションロボット及びコミュニケーションシステム
US10315866B2 (en) * 2016-10-20 2019-06-11 Intelligrated Headquarters, Llc 3D-2D vision system for robotic carton unloading
US10597235B2 (en) 2016-10-20 2020-03-24 Intelligrated Headquarters, Llc Carton unloader tool for jam recovery
WO2018081297A1 (en) * 2016-10-25 2018-05-03 Thomas Jefferson University Telehealth systems
CN106354140A (zh) * 2016-11-01 2017-01-25 安徽爱依特科技有限公司 一种基于机器人的商铺识别装置
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US9805306B1 (en) 2016-11-23 2017-10-31 Accenture Global Solutions Limited Cognitive robotics analyzer
EP3547267A4 (en) * 2016-11-24 2020-11-25 Kyoto University ROBOT CONTROL SYSTEM, MACHINE CONTROL SYSTEM, ROBOT CONTROL PROCESS, MACHINE CONTROL PROCESS AND RECORDING MEDIA
CN106713118B (zh) * 2016-11-29 2020-04-10 深圳信息职业技术学院 基于智能路由和聊天室机制的远程控制系统及方法
US10377125B2 (en) 2016-12-09 2019-08-13 Caterpillar Inc. Control systems and methods to optimize machine placement for additive construction operations
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10399325B2 (en) 2016-12-13 2019-09-03 Caterpillar Inc. Systems and methods for preparing a worksite for additive construction
US10783799B1 (en) * 2016-12-17 2020-09-22 Sproutel, Inc. System, apparatus, and method for educating and reducing stress for patients with illness or trauma using an interactive location-aware toy and a distributed sensor network
US10699461B2 (en) 2016-12-20 2020-06-30 Sony Interactive Entertainment LLC Telepresence of multiple users in interactive virtual space
CN108287642A (zh) * 2017-01-03 2018-07-17 肖华军 基于移动智能设备交互的机器人平台
KR102670610B1 (ko) * 2017-01-04 2024-05-31 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
CN108326875B (zh) * 2017-01-20 2023-03-24 松下知识产权经营株式会社 通信控制方法与装置、远程呈现机器人以及存储介质
KR102033143B1 (ko) * 2017-01-25 2019-10-16 엘지전자 주식회사 3차원 공간에서 기능 영역을 식별하는 방법 및 이를 구현하는 로봇
JP6882904B2 (ja) * 2017-01-30 2021-06-02 株式会社デンソーテン 画像記憶装置
US11724399B2 (en) 2017-02-06 2023-08-15 Cobalt Robotics Inc. Mobile robot with arm for elevator interactions
US10906185B2 (en) 2017-02-06 2021-02-02 Cobalt Robotics Inc. Mobile robot with arm for access point security checks
US10913160B2 (en) 2017-02-06 2021-02-09 Cobalt Robotics Inc. Mobile robot with arm for door interactions
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
USD858537S1 (en) * 2017-03-31 2019-09-03 Microsoft Corporation Display system with a virtual three-dimensional graphical user interface
CN108733035B (zh) 2017-04-14 2019-12-06 京东方科技集团股份有限公司 一种导引机器人
US10435179B2 (en) * 2017-04-18 2019-10-08 Electroimpact, Inc. Camera assisted robotic system for locating the end of a fastener extending through an aircraft part during manufacture thereof
WO2018191818A1 (en) * 2017-04-18 2018-10-25 Clearpath Robotics Inc. Stand-alone self-driving material-transport vehicle
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
US10646994B2 (en) * 2017-04-25 2020-05-12 At&T Intellectual Property I, L.P. Robot virtualization leveraging Geo analytics and augmented reality
EP3396306B1 (en) * 2017-04-26 2019-11-27 Mitutoyo Corporation Method and system for calculating a height map of a surface of an object from an image stack in scanning optical 2.5d profiling of the surface by an optical system
CN107030711A (zh) * 2017-04-27 2017-08-11 陆兴华 一种新型送餐机器人
CN107020640A (zh) * 2017-04-28 2017-08-08 成都科力夫科技有限公司 机器人交互式游戏系统
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10895971B2 (en) * 2017-05-12 2021-01-19 Irobot Corporation Methods, systems, and devices for mapping, controlling, and displaying device status
EP4129581A1 (en) * 2017-05-18 2023-02-08 KUKA Hungária Kft. Robot motion planning for avoiding collision with moving obstacles
JP6638695B2 (ja) * 2017-05-18 2020-01-29 トヨタ自動車株式会社 自動運転システム
JP6761990B2 (ja) * 2017-05-22 2020-09-30 パナソニックＩｐマネジメント株式会社 通信制御方法、通信制御装置、テレプレゼンスロボット、及び通信制御プログラム
WO2018213931A1 (en) 2017-05-25 2018-11-29 Clearpath Robotics Inc. Systems and methods for process tending with a robot arm
CN107315409A (zh) * 2017-05-27 2017-11-03 芜湖星途机器人科技有限公司 银行服务机器人调度跟随系统的硬件平台
JP7243967B2 (ja) 2017-06-02 2023-03-22 アクチエボラゲット エレクトロルックス ロボット清掃デバイスの前方の表面のレベル差を検出する方法
CN107422729A (zh) * 2017-06-03 2017-12-01 广东华创智能装备有限公司 一种具有安全检测功能的agv小车
US10477105B2 (en) * 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
JP7013689B2 (ja) 2017-06-21 2022-02-01 富士フイルムビジネスイノベーション株式会社 遠隔操作型移動ロボットおよびロボット制御システム
US10235192B2 (en) 2017-06-23 2019-03-19 Accenture Global Solutions Limited Self-learning robotic process automation
JP2019008585A (ja) * 2017-06-26 2019-01-17 富士ゼロックス株式会社 ロボット制御システム
KR101888523B1 (ko) * 2017-06-29 2018-08-14 이종훈 헤드램프의 모델 또는 동작에 따라 3차원 이동이 가능한 자동차 배광 시험기
US10427306B1 (en) * 2017-07-06 2019-10-01 X Development Llc Multimodal object identification
CN107515606A (zh) * 2017-07-20 2017-12-26 北京格灵深瞳信息技术有限公司 机器人实现方法、控制方法及机器人、电子设备
US11853076B1 (en) 2017-07-21 2023-12-26 AI Incorporated Virtual reality concert system
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10483007B2 (en) 2017-07-25 2019-11-19 Intouch Technologies, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
CN107361604B (zh) * 2017-07-28 2018-07-06 柳州福能机器人开发有限公司 斜坡行走的运输机器人
US10688841B1 (en) * 2017-07-31 2020-06-23 Zoox, Inc. Expanding sensor domain coverage using differential active suspension
KR101970295B1 (ko) * 2017-08-08 2019-04-18 네이버랩스 주식회사 픽업 로봇의 제어 방법
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US20190066823A1 (en) 2017-08-10 2019-02-28 Nuance Communications, Inc. Automated Clinical Documentation System and Method
WO2019035007A1 (en) 2017-08-15 2019-02-21 American Well Corporation APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
WO2019041043A1 (en) 2017-08-31 2019-03-07 Clearpath Robotics Inc. SYSTEMS AND METHODS FOR GENERATING A MISSION FOR A SELF-CONTAINING MATERIAL TRANSPORT VEHICLE
WO2019041044A1 (en) 2017-08-31 2019-03-07 Clearpath Robotics Inc. APPARATUS, SYSTEMS AND METHODS FOR SEIZING AND DEPOSITING A PAYLOAD USING A SELF-PROPELLED MATERIAL TRANSPORT VEHICLE
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10794710B1 (en) 2017-09-08 2020-10-06 Perceptin Shenzhen Limited High-precision multi-layer visual and semantic map by autonomous units
CN109521927B (zh) 2017-09-20 2022-07-01 阿里巴巴集团控股有限公司 机器人互动方法和设备
JP6989210B2 (ja) 2017-09-26 2022-01-05 アクチエボラゲット エレクトロルックス ロボット清掃デバイスの移動の制御
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
US10612929B2 (en) 2017-10-17 2020-04-07 AI Incorporated Discovering and plotting the boundary of an enclosure
JP6922652B2 (ja) * 2017-10-27 2021-08-18 トヨタ自動車株式会社 撮像装置
CN109725632A (zh) * 2017-10-30 2019-05-07 速感科技（北京）有限公司 可移动智能设备控制方法、可移动智能设备及智能扫地机
US11392121B2 (en) 2017-10-31 2022-07-19 Clearpath Robotics Inc. Systems and methods for operating robotic equipment in controlled zones
US10533858B2 (en) * 2017-11-06 2020-01-14 International Business Machines Corporation Automated emergency response
WO2019089108A1 (en) 2017-11-06 2019-05-09 Google Llc Methods and systems for attending to a presenting user
WO2019090417A1 (en) 2017-11-10 2019-05-16 Clearpath Robotics Inc. Systems and methods for updating an electronic map
WO2019100269A1 (zh) * 2017-11-22 2019-05-31 深圳市沃特沃德股份有限公司 机器人移动控制方法、系统和机器人
KR20200099138A (ko) 2017-12-08 2020-08-21 아우리스 헬스, 인코포레이티드 의료 기구 항행 및 표적 선정을 위한 시스템 및 방법
CN107943065B (zh) * 2017-12-08 2018-10-19 西安科技大学 机器人自平衡模拟实验系统及方法
US11127129B2 (en) * 2017-12-14 2021-09-21 The Joan and Irwin Jacobs Technion-Cornell Institute Techniques for identifying hazardous site conditions in geo-localized enhanced floor plans
US11010966B2 (en) 2017-12-14 2021-05-18 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for creating geo-localized enhanced floor plans
WO2019126332A1 (en) * 2017-12-19 2019-06-27 Carnegie Mellon University Intelligent cleaning robot
US10676022B2 (en) 2017-12-27 2020-06-09 X Development Llc Visually indicating vehicle caution regions
US11413755B2 (en) * 2017-12-31 2022-08-16 Sarcos Corp. Covert identification tags viewable by robots and robotic devices
CN108196548A (zh) * 2018-01-08 2018-06-22 四川文理学院 一种基于Arduino语言及路径跟随算法的机器人控制器
JP7281198B2 (ja) * 2018-01-31 2023-05-25 Ｇｒｏｏｖｅ Ｘ株式会社 経験に基づいて行動する自律行動型ロボット
DE102018104780A1 (de) * 2018-03-02 2019-09-05 Sick Ag Verfahren zur Bestimmung einer elektronischen nützbaren Repräsentation einer Umgebung, Vorrichtung hierfür, Datenträger
EP3762921A4 (en) 2018-03-05 2022-05-04 Nuance Communications, Inc. AUTOMATED CLINICAL DOCUMENTATION SYSTEM AND PROCESS
WO2019173353A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11986963B2 (en) * 2018-03-05 2024-05-21 The Regents Of The University Of Colorado Augmented reality coordination of human-robot interaction
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US11548166B2 (en) * 2018-03-07 2023-01-10 Skylla Technologies, Inc. Collaborative task execution with humans and robotic vehicles
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11327504B2 (en) * 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10921446B2 (en) * 2018-04-06 2021-02-16 Microsoft Technology Licensing, Llc Collaborative mapping of a space using ultrasonic sonar
CN108665541B (zh) 2018-04-09 2019-06-07 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
CN108544492B (zh) * 2018-04-09 2021-04-16 上海方立数码科技有限公司 一种基于视觉系统的全向移动机械臂
US20210018912A1 (en) * 2018-04-10 2021-01-21 Fetch Robotics, Inc. Robot Management System
WO2019200018A1 (en) * 2018-04-10 2019-10-17 Dymesich David Tanner Robot management system
WO2019209882A1 (en) * 2018-04-23 2019-10-31 Purdue Research Foundation Augmented reality interface for authoring tasks for execution by a programmable robot
US10792813B1 (en) * 2018-04-26 2020-10-06 X Development Llc Managing robot resources
US10617299B2 (en) 2018-04-27 2020-04-14 Intouch Technologies, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
US10807236B2 (en) * 2018-04-30 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11179213B2 (en) 2018-05-18 2021-11-23 Auris Health, Inc. Controllers for robotically-enabled teleoperated systems
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
JP6988704B2 (ja) * 2018-06-06 2022-01-05 トヨタ自動車株式会社 センサ制御装置、物体探索システム、物体探索方法及びプログラム
US10974392B2 (en) * 2018-06-08 2021-04-13 International Business Machines Corporation Automated robotic security system
EP3581341B1 (de) * 2018-06-13 2020-12-23 Siemens Healthcare GmbH Verfahren zum betreiben eines roboters, datenspeicher mit einem entsprechenden programmcode, roboter und robotersystem
KR102175298B1 (ko) * 2018-06-14 2020-11-06 엘지전자 주식회사 이동 로봇의 동작 방법
KR102148031B1 (ko) 2018-06-25 2020-10-14 엘지전자 주식회사 로봇
KR102148029B1 (ko) 2018-06-25 2020-08-26 엘지전자 주식회사 로봇
KR102148032B1 (ko) * 2018-06-25 2020-08-26 엘지전자 주식회사 로봇
KR102165352B1 (ko) 2018-06-25 2020-10-13 엘지전자 주식회사 로봇
KR102136411B1 (ko) 2018-06-25 2020-07-21 엘지전자 주식회사 로봇
CN109064262A (zh) * 2018-07-12 2018-12-21 上海常仁信息科技有限公司 一种基于机器人终端的在线商城购物系统及方法
US11212439B2 (en) 2018-07-24 2021-12-28 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
US10934045B2 (en) 2018-07-27 2021-03-02 Zebra Technologies Corporation Method and apparatus for labeling of support structures
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
CN108983783A (zh) * 2018-08-03 2018-12-11 上海有个机器人有限公司 一种机器人移动速度控制方法及系统、存储介质及终端
US11022693B1 (en) 2018-08-03 2021-06-01 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a lidar data segmentation system
US10884411B1 (en) 2018-08-03 2021-01-05 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a lidar data segmentation system and an aligned heightmap
US11082667B2 (en) 2018-08-09 2021-08-03 Cobalt Robotics Inc. Contextual automated surveillance by a mobile robot
US11460849B2 (en) * 2018-08-09 2022-10-04 Cobalt Robotics Inc. Automated route selection by a mobile robot
MY199460A (en) * 2018-08-14 2023-10-30 Chiba Institute Of Tech Movement robot
US10948907B2 (en) * 2018-08-24 2021-03-16 Ford Global Technologies, Llc Self-driving mobile robots using human-robot interactions
US11573574B2 (en) * 2018-08-30 2023-02-07 Canon Kabushiki Kaisha Information processing apparatus, information processing method, information processing system, and storage medium
JP6666400B1 (ja) 2018-09-10 2020-03-13 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 ロボット制御装置、ロボット制御方法及びロボット制御システム
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
FR3087019B1 (fr) 2018-10-09 2021-06-18 Thales Sa Systeme de controle de commande d'un systeme commande via une interface graphique et procede de controle associe
US11192253B2 (en) * 2018-10-12 2021-12-07 Toyota Research Institute, Inc. Systems and methods for conditional robotic teleoperation
US12179737B2 (en) * 2018-10-19 2024-12-31 GEOSAT Aerospace & Technology Unmanned ground vehicle and method for operating unmanned ground vehicle
US11433546B1 (en) * 2018-10-24 2022-09-06 Amazon Technologies, Inc. Non-verbal cuing by autonomous mobile device
WO2020086557A1 (en) * 2018-10-24 2020-04-30 Discovery Robotics Apparatus and method for operations of a robotic platform
US10860032B2 (en) 2018-10-29 2020-12-08 Dell Products, Lp System and method for adaptive infrared emitter power optimization for simultaneous localization and mapping
US10369701B1 (en) * 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
CN112823083A (zh) * 2018-11-05 2021-05-18 得麦股份有限公司 可配置和交互式的机器人系统
KR20200052590A (ko) 2018-11-07 2020-05-15 최지광 해먹으로 사용이 가능한 등산용배낭
CN109586360B (zh) * 2018-11-09 2020-09-22 深圳市银星智能科技股份有限公司 一种机器人自动充电的方法、装置、充电桩和机器人
KR102186423B1 (ko) 2018-11-13 2020-12-03 엘지전자 주식회사 공기조화기 및 그의 동작 방법
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
WO2020101698A1 (en) * 2018-11-16 2020-05-22 Hewlett-Packard Development Company, L.P. Telepresence session initiation locations
JP7437873B2 (ja) * 2018-11-19 2024-02-26 株式会社日建設計総合研究所 データ計測システム及び建物設備制御システム
JP7325947B2 (ja) * 2018-11-19 2023-08-15 株式会社日建設計総合研究所 自律移動ロボット及びデータ計測システム
CN109350415A (zh) * 2018-11-30 2019-02-19 湖南新云医疗装备工业有限公司 一种医院用共享智能陪护系统
US11157738B2 (en) * 2018-11-30 2021-10-26 Cloudminds Robotics Co., Ltd. Audio-visual perception system and apparatus and robot system
US10783623B2 (en) * 2018-12-03 2020-09-22 Mistras Group, Inc. Systems and methods for inspecting pipelines using a robotic imaging system
US10890505B2 (en) 2018-12-03 2021-01-12 Mistras Group, Inc. Systems and methods for inspecting pipelines using a robotic imaging system
US11143599B2 (en) 2018-12-03 2021-10-12 Mistras Group, Inc. Systems and methods for inspecting pipelines using a pipeline inspection robot
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
JP2020106980A (ja) * 2018-12-26 2020-07-09 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御システム
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
KR102709666B1 (ko) * 2018-12-31 2024-09-26 삼성전자주식회사 헬스 케어 로봇 및 그 제어 방법.
US11185379B2 (en) * 2019-01-10 2021-11-30 Verily Life Sciences Llc Comprehensive messaging system for robotic surgical systems
WO2020147864A1 (zh) * 2019-01-16 2020-07-23 深圳市海柔创新科技有限公司 一种避障方法、装置及仓储机器人
CN109725580A (zh) * 2019-01-17 2019-05-07 深圳市锐曼智能装备有限公司 机器人的远程控制方法
CN109887208A (zh) * 2019-02-28 2019-06-14 同方威视技术股份有限公司 安保装置及安保系统
US11279042B2 (en) 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks
WO2020184757A1 (ko) 2019-03-13 2020-09-17 엘지전자 주식회사 로봇
US11127170B1 (en) 2019-03-15 2021-09-21 Alarm.Com Incorporated Multi-level premise mapping with security camera drone
US11493939B1 (en) * 2019-03-15 2022-11-08 Alarm.Com Incorporated Premise mapping with security camera drone
JP7234724B2 (ja) * 2019-03-20 2023-03-08 株式会社リコー ロボットおよび制御システム
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
US11817194B2 (en) * 2019-04-30 2023-11-14 Pixart Imaging Inc. Smart control system
US11137770B2 (en) * 2019-04-30 2021-10-05 Pixart Imaging Inc. Sensor registering method and event identifying method of smart detection system
US11169540B2 (en) * 2019-05-08 2021-11-09 Robotic Research, Llc Autonomous convoys maneuvering “deformable” terrain and “deformable” obstacles
US10586082B1 (en) 2019-05-29 2020-03-10 Fellow, Inc. Advanced micro-location of RFID tags in spatial environments
US11675072B2 (en) * 2019-05-31 2023-06-13 Lg Electronics Inc. Mobile robot and method of controlling the same
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11883963B2 (en) * 2019-06-03 2024-01-30 Cushybots Corporation Robotic platform for interactive play using a telepresence robot surrogate
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
EP3982084A1 (en) * 2019-06-05 2022-04-13 Beijing Whyhow Information Technology Co., Ltd Relative positioning device, and corresponding relative positioning method
US11416002B1 (en) * 2019-06-11 2022-08-16 Ambarella International Lp Robotic vacuum with mobile security function
CN110281236B (zh) * 2019-06-11 2021-07-13 深圳市银星智能科技股份有限公司 移动机器人及其安全监控方法
US11231712B2 (en) 2019-06-12 2022-01-25 Ford Global Technologies, Llc Digital model rectification with sensing robot
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
CN119478284A (zh) * 2019-06-14 2025-02-18 通用电气精准医疗有限责任公司 用于在成像系统中生成对象3d点云的方法和系统
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
KR20200144363A (ko) * 2019-06-18 2020-12-29 엘지전자 주식회사 로봇 및 그의 구동 방법
US11220006B2 (en) * 2019-06-24 2022-01-11 Ford Global Technologies, Llc Digital model rectification
CN110333718A (zh) * 2019-06-28 2019-10-15 苏州上善知源汽车电子有限公司 远程控制车辆的安全驾驶方法
CN110290213A (zh) * 2019-06-28 2019-09-27 北京金山安全软件有限公司 智能机器人管理方法、装置及电子设备
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
CN114025700B (zh) 2019-06-28 2025-02-25 奥瑞斯健康公司 控制台叠加以及其使用方法
US20210001487A1 (en) * 2019-07-03 2021-01-07 Ricoh Company, Ltd. Information processing apparatus, information processing method, and storage medium
RU2718472C1 (ru) * 2019-07-11 2020-04-08 Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет геосистем и технологий" Способ создания и использования в интерактивном режиме источника геопространственной информации в условиях отсутствия связи для передачи цифровых данных
CN110456791A (zh) * 2019-07-30 2019-11-15 中国地质大学（武汉） 一种基于单目视觉的腿式移动机器人目标测距与识别系统
US11602847B2 (en) * 2019-07-30 2023-03-14 Tata Consultancy Services Limited Method and system for robotic task planning
US11197262B2 (en) 2019-08-02 2021-12-07 Dell Products, Lp Systems and methods of room profiling using wireless local area networks
US11343244B2 (en) 2019-08-02 2022-05-24 Dell Products, Lp Method and apparatus for multi-factor verification of a computing device location within a preset geographic area
EP4010771A1 (en) * 2019-08-07 2022-06-15 Boston Dynamics, Inc. Navigating a mobile robot
US11409881B2 (en) 2019-08-12 2022-08-09 Dell Products, Lp Method and apparatus for wireless signal based location security system
US11330551B2 (en) 2019-08-12 2022-05-10 Dell Products, Lp Method and apparatus for location aware optimal wireless link selection system
US11510047B2 (en) 2019-08-12 2022-11-22 Dell Products, Lp Learning based wireless performance adjustment for mobile information handling system
CN112395376A (zh) * 2019-08-15 2021-02-23 纳恩博（北京）科技有限公司 地图的构建方法和装置、存储介质及电子装置
CN110542424B (zh) * 2019-09-03 2022-07-08 江苏艾佳家居用品有限公司 一种户型空间区域自动导航的方法及系统
CN112454372A (zh) * 2019-09-09 2021-03-09 上海产业技术研究院 服务机器人及医疗处理系统
US11262887B2 (en) * 2019-09-13 2022-03-01 Toyota Research Institute, Inc. Methods and systems for assigning force vectors to robotic tasks
WO2021061114A1 (en) * 2019-09-25 2021-04-01 Hewlett-Packard Development Company, L.P. Location indicator devices
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
WO2021100890A1 (ko) * 2019-11-18 2021-05-27 (주)한스이엔지 장애물 인지 및 회피 주행 제어 시스템 및 그 방법
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
KR102862955B1 (ko) * 2020-01-21 2025-09-22 삼성전자 주식회사 로봇 제어 장치 및 방법
EP3881988A1 (en) * 2020-03-20 2021-09-22 Tata Consultancy Services Limited Knowledge partitioning for task execution by conversational tele-presence robots in a geographically separated environment
US11769121B2 (en) 2020-03-27 2023-09-26 Aristocrat Technologies, Inc. Gaming service automation machine with celebration services
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11797016B2 (en) * 2020-04-13 2023-10-24 Boston Dynamics, Inc. Online authoring of robot autonomy applications
EP3916555A1 (de) * 2020-05-27 2021-12-01 Gestalt Robotics GmbH Verfahren und vorrichtungen zur latenzkompensation
TR202009486A1 (tr) * 2020-06-18 2021-12-21 Kaya Yusuf Ürün depolama alani otomasyon si̇stemi̇
US11878419B2 (en) * 2020-06-26 2024-01-23 Intel Corporation Affordance-aware, multi-resolution, free-form object manipulation planning
CN111857138A (zh) * 2020-07-03 2020-10-30 深圳怡丰自动化科技有限公司 载人自动导引车的控制方法及其应用以及相关装置
US20220001538A1 (en) * 2020-07-04 2022-01-06 Sarcos Corp. Augmented Reality System and Method for Conveying To a Human Operator Information Associated With Human-Imperceptible Indicia within an Operating Environment of a Robot
JP7535400B2 (ja) * 2020-07-14 2024-08-16 株式会社キーエンス 画像処理装置
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
KR102372563B1 (ko) * 2020-07-29 2022-03-10 네이버랩스 주식회사 로봇 원격 제어 방법 및 시스템
US12122367B2 (en) 2020-09-10 2024-10-22 Rockwell Automation Technologies, Inc. Systems and methods for operating one or more self-driving vehicles
USD1006884S1 (en) 2020-09-25 2023-12-05 Aristocrat Technologies, Inc. Gaming services robot
CN112162559B (zh) * 2020-09-30 2021-10-15 杭州海康机器人技术有限公司 用于多机器人混行的方法、装置及存储介质
TWI751735B (zh) * 2020-10-12 2022-01-01 財團法人工業技術研究院 自走車跟隨系統及自走車跟隨方法
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
JP7402145B2 (ja) * 2020-11-13 2023-12-20 本田技研工業株式会社 遠隔操作システム、移動ロボット、及び操作端末
DE102020214654A1 (de) * 2020-11-20 2022-05-25 Siemens Healthcare Gmbh Fern-Kommunikation mit einer medizintechnischen Einrichtung mit Hilfe eines digitalen Zwillings
KR102442064B1 (ko) * 2020-11-30 2022-09-08 네이버랩스 주식회사 서비스 어플리케이션과 연계하여 서비스를 제공하는 로봇을 제어하는 방법 및 클라우드 서버
US11184294B1 (en) * 2020-12-04 2021-11-23 Capital One Services, Llc Methods and systems for managing multiple content delivery networks
US20220197277A1 (en) * 2020-12-23 2022-06-23 Qatar Foundation For Education, Science And Community Development Telepresence control schemes for hazardous environments
WO2022138653A1 (ja) * 2020-12-24 2022-06-30 川崎重工業株式会社 ロボットシステム及びロボット作業方法
CA3203471A1 (en) * 2020-12-30 2022-07-07 Scott Charles Mullins Monitoring systems
CN114296459A (zh) * 2021-01-06 2022-04-08 苏州优智达机器人有限公司 机器人的控制方法及机器人
EP4026663B1 (en) * 2021-01-08 2024-08-28 Tata Consultancy Services Limited Navigation of tele-robot in dynamic environment using in-situ intelligence
JP7237262B2 (ja) * 2021-02-05 2023-03-10 三菱電機株式会社 生産管理装置、生産システム、生産管理方法、及び、生産管理プログラム
US20240157570A1 (en) * 2021-03-19 2024-05-16 Honda Motor Co., Ltd. Robot
CN113161816B (zh) * 2021-04-30 2023-01-17 广东科凯达智能机器人有限公司 一种机器人全自动充电对接装置及控制方法
CN113246126B (zh) * 2021-04-30 2023-02-03 上海擎朗智能科技有限公司 机器人移动控制方法、机器人移动控制装置及机器人
US12466075B2 (en) 2021-06-04 2025-11-11 Boston Dynamics, Inc. Autonomous and teleoperated sensor pointing on a mobile robot
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113500601B (zh) * 2021-07-21 2022-11-22 上海原圈网络科技有限公司 一种机器人运动控制方法和系统
US20230024435A1 (en) * 2021-07-22 2023-01-26 Kar-Han Tan Autonomous mobile robot
EP4130924B1 (en) * 2021-08-04 2024-10-02 Tata Consultancy Services Limited Method and system of dynamic localization of a telepresence robot based on live markers
US20230043172A1 (en) * 2021-08-06 2023-02-09 Zebra Technologies Corporation Adaptive Perimeter Intrusion Detection for Mobile Automation Apparatus
US12114386B2 (en) 2021-08-17 2024-10-08 Xerox Corporation Building environmental sensor method and system for collecting data from same
US11595226B1 (en) 2021-08-17 2023-02-28 Xerox Corporation Method and system for collecting sensor data in buildings
US11856419B2 (en) 2021-08-17 2023-12-26 Xerox Corporation Method and system for commissioning environmental sensors
US11944905B2 (en) * 2021-09-28 2024-04-02 Sony Group Corporation Method to regulate jumps and falls by playable characters in XR spaces
WO2023102647A1 (en) * 2021-12-06 2023-06-15 University Of Manitoba Method for automated 3d part localization and adjustment of robot end-effectors
CN113917933B (zh) * 2021-12-13 2022-04-26 北京云迹科技有限公司 移动机器人的室内引导方法及相关设备
CA3186180A1 (en) * 2021-12-17 2023-06-17 Peter Douglas Jackson Mobile camera for validation
US20230195133A1 (en) * 2021-12-20 2023-06-22 Blue Ocean Robotics Aps Methods of area mapping with a mobile robot that crosses areas without communications network availability, and sharing the same with other mobile robots
US20220111527A1 (en) * 2021-12-22 2022-04-14 Intel Corporation Risk-based robot system configurator
US20230202026A1 (en) * 2021-12-23 2023-06-29 Massachusetts Institute Of Technology Robot Training System
KR102699471B1 (ko) * 2021-12-28 2024-08-26 한국로봇융합연구원 장애물 대응 로봇 운행 시스템
EP4209849A1 (en) * 2022-01-05 2023-07-12 Tata Consultancy Services Limited Telepresence robots having cognitive navigation capabilit
CN114485621A (zh) * 2022-02-08 2022-05-13 达闼机器人股份有限公司 导航方法、装置及计算机可读存储介质
US20230262911A1 (en) * 2022-02-16 2023-08-17 Otter Products, Llc Stand system
KR102735120B1 (ko) * 2022-04-29 2024-11-28 주식회사 현대케피코 Pir 적외선 센서 기반 실내 로봇의 대상체 위치 모니터링 방법 및 시스템
JP7659827B2 (ja) * 2022-05-24 2025-04-10 国立大学法人東海国立大学機構 ロボット、ロボット制御方法、および、コンピュータプログラム
CN114986532A (zh) * 2022-06-02 2022-09-02 深圳慧安康科技有限公司 夺冠服务机器人及无命令式主动智能的实现方法
US12485528B2 (en) 2022-09-29 2025-12-02 Aristocrat Technologies, Inc. Mobile kiosk service robot and base assembly for same
TWI863023B (zh) 2022-11-14 2024-11-21 財團法人工業技術研究院 自走車及校正取物路徑的方法
US12246441B1 (en) * 2022-11-18 2025-03-11 Agility Robotics, Inc. Torso protrusion for robotic manipulation of objects and related technology
WO2024123654A1 (en) * 2022-12-05 2024-06-13 Seegrid Corporation Process centric user configurable step framework for composing material flow automation
US20240192695A1 (en) * 2022-12-07 2024-06-13 Boston Dynamics, Inc. Anchoring based transformation for aligning sensor data of a robot with a site model
US12073585B2 (en) * 2023-01-09 2024-08-27 Chengdu University Of Technology Pose estimation apparatus and method for robotic arm to grasp target based on monocular infrared thermal imaging vision
JP7622759B2 (ja) * 2023-01-25 2025-01-28 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
EP4411499B1 (en) * 2023-02-06 2025-08-27 Hexagon Technology Center GmbH Method and system for generating scan data of an area of interest
EP4436160A1 (en) * 2023-03-21 2024-09-25 Disney Enterprises, Inc. Telepresence system
CA225187S (en) * 2023-04-24 2025-03-04 Sanofi China Invest Co Ltd Display screen with graphical user interface for drug administration management
US20240419171A1 (en) * 2023-06-13 2024-12-19 Ford Global Technologies, Llc Docking system, autonomous mobile robot for use with same, and associated method
CN116754749B (zh) * 2023-08-17 2023-11-14 昆明理工大学 一种智能爆破岩体强度测定机器人及测定方法
WO2025051348A1 (de) * 2023-09-05 2025-03-13 Siemens Aktiengesellschaft Ermittlung der räumlichen lage von zielobjekten für autonome roboter
US12479469B2 (en) * 2023-11-22 2025-11-25 Automotive Research & Testing Center Deciding system for moving vehicle on virtual rail and method thereof
KR102703047B1 (ko) * 2023-12-29 2024-09-05 호서대학교 산학협력단 텔레프레전스 기반 미니트램용 원격 운전제어시스템
USD1095632S1 (en) 2024-08-15 2025-09-30 Clutterbot, Inc. Robot
USD1095633S1 (en) 2024-08-15 2025-09-30 Clutterbot, Inc. Robot
USD1059453S1 (en) 2024-08-15 2025-01-28 Clutterbot, Inc. Robot
CN118857270B (zh) * 2024-09-24 2024-11-22 云南师范大学 一种动态环境中基于点-线特征与超像素分割的3d slam方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot

Family Cites Families (847)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3821995A (en) 1971-10-15 1974-07-02 E Aghnides Vehicle with composite wheel
US4107689A (en) 1976-06-07 1978-08-15 Rca Corporation System for automatic vehicle location
US4213182A (en) 1978-12-06 1980-07-15 General Electric Company Programmable energy load controller system and methods
US4413693A (en) 1981-03-27 1983-11-08 Derby Sherwin L Mobile chair
US6317953B1 (en) 1981-05-11 2001-11-20 Lmi-Diffracto Vision target based assembly
US5148591A (en) 1981-05-11 1992-09-22 Sensor Adaptive Machines, Inc. Vision target based assembly
US4471354A (en) 1981-11-23 1984-09-11 Marathon Medical Equipment Corporation Apparatus and method for remotely measuring temperature
US4519466A (en) 1982-03-30 1985-05-28 Eiko Shiraishi Omnidirectional drive system
DE3372942D1 (en) 1982-09-25 1987-09-17 Fujitsu Ltd A multi-articulated robot
US4625274A (en) 1983-12-05 1986-11-25 Motorola, Inc. Microprocessor reset system
US4572594A (en) 1984-02-08 1986-02-25 Schwartz C Bruce Arthroscopy support stand
US4638445A (en) 1984-06-08 1987-01-20 Mattaboni Paul J Autonomous mobile robot
US4766581A (en) 1984-08-07 1988-08-23 Justin Korn Information retrieval system and method using independent user stations
US4553309A (en) 1984-09-26 1985-11-19 General Motors Corporation Robotic assembly of vehicle headliners
JPS6180410A (ja) 1984-09-28 1986-04-24 Yutaka Kanayama 移動ロボツトの走行指令方式
JPS61111863A (ja) 1984-11-05 1986-05-29 Nissan Motor Co Ltd ロボットによる組立装置
US4679152A (en) 1985-02-20 1987-07-07 Heath Company Navigation system and method for a mobile robot
US4697278A (en) 1985-03-01 1987-09-29 Veeder Industries Inc. Electronic hub odometer
US4652204A (en) 1985-08-02 1987-03-24 Arnett Edward M Apparatus for handling hazardous materials
US4733737A (en) 1985-08-29 1988-03-29 Reza Falamak Drivable steerable platform for industrial, domestic, entertainment and like uses
US4709265A (en) 1985-10-15 1987-11-24 Advanced Resource Development Corporation Remote control mobile surveillance system
US4777416A (en) 1986-05-16 1988-10-11 Denning Mobile Robotics, Inc. Recharge docking system for mobile robot
US4751658A (en) 1986-05-16 1988-06-14 Denning Mobile Robotics, Inc. Obstacle avoidance system
SE455539B (sv) 1986-05-23 1988-07-18 Electrolux Ab Elektrooptiskt positionskennande system for ett i plan rorligt foremal, foretredesvis en mobil robot
US4803625A (en) 1986-06-30 1989-02-07 Buddy Systems, Inc. Personal health monitor
US4878501A (en) 1986-09-24 1989-11-07 Shue Ming Jeng Electronic stethoscopic apparatus
JPS63289607A (ja) 1987-05-21 1988-11-28 Toshiba Corp 知能ロボットのモジュ−ル間通信制御方式
US4847764C1 (en) 1987-05-21 2001-09-11 Meditrol Inc System for dispensing drugs in health care instituions
JPH01198865A (ja) 1987-08-13 1989-08-10 Ricoh Co Ltd 画像処理装置
JPH0191834A (ja) 1987-08-20 1989-04-11 Tsuruta Hiroko 個人医療データの集中管理装置
JPH02574A (ja) 1987-10-29 1990-01-05 Nippon Kagaku Senzai Kk 転写剤
JPH01125641A (ja) 1987-11-11 1989-05-18 Hitachi Ltd バッファメモリ制御方式
JPH01147718A (ja) 1987-12-04 1989-06-09 Agency Of Ind Science & Technol 記憶装置
JPH01179663A (ja) 1987-12-16 1989-07-17 Wm Wrigley Jr Co 高力価甘味剤の凝集化方法
US4942538A (en) 1988-01-05 1990-07-17 Spar Aerospace Limited Telerobotic tracker
US5193143A (en) 1988-01-12 1993-03-09 Honeywell Inc. Problem state monitoring
JPH01198868A (ja) 1988-02-03 1989-08-10 Nec Corp ファクシミリ復号化回路
US4979949A (en) 1988-04-26 1990-12-25 The Board Of Regents Of The University Of Washington Robot-aided system for surgery
US5142484A (en) 1988-05-12 1992-08-25 Health Tech Services Corporation An interactive patient assistance device for storing and dispensing prescribed medication and physical device
US5008804A (en) 1988-06-23 1991-04-16 Total Spectrum Manufacturing Inc. Robotic television-camera dolly system
JPH0246088A (ja) 1988-08-08 1990-02-15 Canon Inc ホワイト・バランス調整回路
US5040116A (en) 1988-09-06 1991-08-13 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US5157491A (en) 1988-10-17 1992-10-20 Kassatly L Samuel A Method and apparatus for video broadcasting and teleconferencing
US5155684A (en) 1988-10-25 1992-10-13 Tennant Company Guiding an unmanned vehicle by reference to overhead features
JPH01199356A (ja) 1988-12-26 1989-08-10 Clarion Co Ltd ローディングイジェクト機構
US4953159A (en) 1989-01-03 1990-08-28 American Telephone And Telegraph Company Audiographics conferencing arrangement
US5016173A (en) 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US5006988A (en) 1989-04-28 1991-04-09 University Of Michigan Obstacle-avoiding navigation system
US4977971A (en) 1989-05-17 1990-12-18 University Of Florida Hybrid robotic vehicle
JP2530911B2 (ja) 1989-05-19 1996-09-04 キヤノン株式会社 シ―ト搬送装置
US5224157A (en) 1989-05-22 1993-06-29 Minolta Camera Kabushiki Kaisha Management system for managing maintenance information of image forming apparatus
US5051906A (en) 1989-06-07 1991-09-24 Transitions Research Corporation Mobile robot navigation employing retroreflective ceiling features
JP3002206B2 (ja) 1989-06-22 2000-01-24 神鋼電機株式会社 移動ロボットの走行制御方法
US5341854A (en) 1989-09-28 1994-08-30 Alberta Research Council Robotic drug dispensing system
US5084828A (en) 1989-09-29 1992-01-28 Healthtech Services Corp. Interactive medication delivery system
JP2964518B2 (ja) 1990-01-30 1999-10-18 日本電気株式会社 音声制御方式
JP2679346B2 (ja) 1990-03-28 1997-11-19 神鋼電機株式会社 移動ロボットシステムにおける充電制御方式
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
JP2921936B2 (ja) 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
US6958706B2 (en) 1990-07-27 2005-10-25 Hill-Rom Services, Inc. Patient care and communication system
JP2541353B2 (ja) 1990-09-18 1996-10-09 三菱自動車工業株式会社 車両用アクティブサスペンション装置
US5563998A (en) 1990-10-19 1996-10-08 Moore Business Forms, Inc. Forms automation system implementation
US5276445A (en) 1990-11-30 1994-01-04 Sony Corporation Polling control system for switching units in a plural stage switching matrix
US5310464A (en) 1991-01-04 1994-05-10 Redepenning Jody G Electrocrystallization of strongly adherent brushite coatings on prosthetic alloys
JP3023000B2 (ja) 1991-02-15 2000-03-21 株式会社アイジー技術研究所 目地材
JPH0530502A (ja) 1991-07-24 1993-02-05 Hitachi Ltd 一体型テレビ電話機
US5217453A (en) 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
CA2085735A1 (en) 1991-04-22 1992-10-23 Ralph W. Fisher Head-mounted projection display system featuring beam splitter
US5231693A (en) 1991-05-09 1993-07-27 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Telerobot control system
US5341459A (en) 1991-05-09 1994-08-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Generalized compliant motion primitive
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
JP3173042B2 (ja) 1991-05-21 2001-06-04 ソニー株式会社 ロボットの数値制御装置
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5182641A (en) 1991-06-17 1993-01-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Composite video and graphics display for camera viewing systems in robotics and teleoperation
JPH0528066A (ja) 1991-07-18 1993-02-05 Mitsubishi Electric Corp サービス処理方法
US5366896A (en) 1991-07-30 1994-11-22 University Of Virginia Alumni Patents Foundation Robotically operated laboratory system
US5441042A (en) 1991-08-05 1995-08-15 Putman; John M. Endoscope instrument holder
IL99420A (en) 1991-09-05 2000-12-06 Elbit Systems Ltd Helmet mounted display
WO1993006690A1 (en) 1991-09-17 1993-04-01 Radamec Epo Limited Setting-up system for remotely controlled cameras
US5419008A (en) 1991-10-24 1995-05-30 West; Mark Ball joint
US5186270A (en) 1991-10-24 1993-02-16 Massachusetts Institute Of Technology Omnidirectional vehicle
US5631973A (en) 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
EP0776739B1 (en) 1992-01-21 2003-04-23 Sri International Surgical System
EP0559348A3 (en) 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
US5544649A (en) 1992-03-25 1996-08-13 Cardiomedix, Inc. Ambulatory patient health monitoring techniques utilizing interactive visual communication
US5441047A (en) 1992-03-25 1995-08-15 David; Daniel Ambulatory patient health monitoring techniques utilizing interactive visual communication
US5262944A (en) 1992-05-15 1993-11-16 Hewlett-Packard Company Method for use of color and selective highlighting to indicate patient critical events in a centralized patient monitoring system
US5594859A (en) 1992-06-03 1997-01-14 Digital Equipment Corporation Graphical user interface for video teleconferencing
US5375195A (en) 1992-06-29 1994-12-20 Johnston; Victor S. Method and apparatus for generating composites of human faces
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
DE4228281A1 (de) 1992-08-26 1994-03-03 Koenig & Bauer Ag Verfahren zur Anzeige von Maschinenstörungen
US5374879A (en) 1992-11-04 1994-12-20 Martin Marietta Energy Systems, Inc. Omni-directional and holonomic rolling platform with decoupled rotational and translational degrees of freedom
US5600573A (en) 1992-12-09 1997-02-04 Discovery Communications, Inc. Operations center with video storage for a television program packaging and delivery system
US5315287A (en) 1993-01-13 1994-05-24 David Sol Energy monitoring system for recreational vehicles and marine vessels
DK0617914T3 (da) 1993-03-31 1999-06-21 Siemens Medical Systems Inc Indretning og fremgangsmåde til afgivelse af dobbelte udgangssignaler i en telemetri-sender
US5319611A (en) 1993-03-31 1994-06-07 National Research Council Of Canada Method of determining range data in a time-of-flight ranging system
US5350033A (en) 1993-04-26 1994-09-27 Kraft Brett W Robotic inspection vehicle
EP0625856B1 (en) 1993-05-19 1998-03-04 Alcatel Video on demand network
EP0644694B1 (en) 1993-09-20 2000-04-26 Canon Kabushiki Kaisha Video System
US5689641A (en) 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US6594688B2 (en) 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
CA2174336A1 (en) 1993-10-20 1995-04-27 Leo M. Cortjens Adaptive videoconferencing system
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5623679A (en) 1993-11-19 1997-04-22 Waverley Holdings, Inc. System and method for creating and manipulating notes each containing multiple sub-notes, and linking the sub-notes to portions of data objects
US5510832A (en) 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
GB2284968A (en) 1993-12-18 1995-06-21 Ibm Audio conferencing system
JP3339953B2 (ja) 1993-12-29 2002-10-28 オリンパス光学工業株式会社 医療用マスタースレーブ式マニピュレータ
US5511147A (en) 1994-01-12 1996-04-23 Uti Corporation Graphical interface for robot
US5436542A (en) 1994-01-28 1995-07-25 Surgix, Inc. Telescopic camera mount with remotely controlled positioning
JPH07213753A (ja) 1994-02-02 1995-08-15 Hitachi Ltd パーソナルロボット装置
JPH07248823A (ja) 1994-03-11 1995-09-26 Hitachi Ltd パーソナルロボット装置
DE4408329C2 (de) 1994-03-11 1996-04-18 Siemens Ag Verfahren zum Aufbau einer zellular strukturierten Umgebungskarte von einer selbstbeweglichen mobilen Einheit, welche sich mit Hilfe von auf Wellenreflexion basierenden Sensoren orientiert
JPH07257422A (ja) 1994-03-19 1995-10-09 Hideaki Maehara 全方位駆動輪並びにこれを備えた全方位走行車両
US5659779A (en) 1994-04-25 1997-08-19 The United States Of America As Represented By The Secretary Of The Navy System for assigning computer resources to control multiple computer directed devices
US5784546A (en) 1994-05-12 1998-07-21 Integrated Virtual Networks Integrated virtual networks
US5734805A (en) * 1994-06-17 1998-03-31 International Business Machines Corporation Apparatus and method for controlling navigation in 3-D space
CA2148631C (en) 1994-06-20 2000-06-13 John J. Hildin Voice-following video system
JPH0811074A (ja) 1994-06-29 1996-01-16 Fanuc Ltd ロボットシステム
BE1008470A3 (fr) 1994-07-04 1996-05-07 Colens Andre Dispositif et systeme automatique de depoussierage de sol et engin y adapte.
US5462051A (en) 1994-08-31 1995-10-31 Colin Corporation Medical communication system
JP3302188B2 (ja) 1994-09-13 2002-07-15 日本電信電話株式会社 テレイグジスタンス型テレビ電話装置
US5675229A (en) 1994-09-21 1997-10-07 Abb Robotics Inc. Apparatus and method for adjusting robot positioning
US6463361B1 (en) 1994-09-22 2002-10-08 Computer Motion, Inc. Speech interface for an automated endoscopic system
US5764731A (en) 1994-10-13 1998-06-09 Yablon; Jay R. Enhanced system for transferring, storing and using signaling information in a switched telephone network
US5767897A (en) 1994-10-31 1998-06-16 Picturetel Corporation Video conferencing system
JPH08139900A (ja) 1994-11-14 1996-05-31 Canon Inc 画像通信装置
JP2726630B2 (ja) 1994-12-07 1998-03-11 インターナショナル・ビジネス・マシーンズ・コーポレイション ゲートウェイ装置及びゲートウェイ方法
US5486853A (en) 1994-12-13 1996-01-23 Picturetel Corporation Electrical cable interface for electronic camera
JPH08166822A (ja) 1994-12-13 1996-06-25 Nippon Telegr & Teleph Corp <Ntt> ユーザ追尾型移動ロボット装置及びセンシング方法
US5553609A (en) 1995-02-09 1996-09-10 Visiting Nurse Service, Inc. Intelligent remote visual monitoring system for home health care service
US5619341A (en) 1995-02-23 1997-04-08 Motorola, Inc. Method and apparatus for preventing overflow and underflow of an encoder buffer in a video compression system
US5973724A (en) 1995-02-24 1999-10-26 Apple Computer, Inc. Merging multiple teleconferences
US5854898A (en) 1995-02-24 1998-12-29 Apple Computer, Inc. System for automatically adding additional data stream to existing media connection between two end points upon exchange of notifying and confirmation messages therebetween
US5657246A (en) 1995-03-07 1997-08-12 Vtel Corporation Method and apparatus for a video conference user interface
JP2947113B2 (ja) 1995-03-09 1999-09-13 日本電気株式会社 画像通信端末用ユーザインタフェース装置
US5652849A (en) 1995-03-16 1997-07-29 Regents Of The University Of Michigan Apparatus and method for remote control using a visual information stream
US5684531A (en) 1995-04-10 1997-11-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ranging apparatus and method implementing stereo vision system
US5673082A (en) 1995-04-10 1997-09-30 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Light-directed ranging system implementing single camera system for telerobotics applications
JP3241564B2 (ja) 1995-05-10 2001-12-25 富士通株式会社 通常車輪型全方向移動ロボットの運動制御のための制御装置および方法
JPH08320727A (ja) 1995-05-24 1996-12-03 Shinko Electric Co Ltd 移動装置
US5630566A (en) 1995-05-30 1997-05-20 Case; Laura Portable ergonomic work station
JPH08335112A (ja) 1995-06-08 1996-12-17 Minolta Co Ltd 移動作業ロボットシステム
US5948067A (en) 1995-07-19 1999-09-07 Fujitsu Network Communications, Inc. Converting between an internal cell and multiple standard asynchronous transfer mode cells
US5825982A (en) 1995-09-15 1998-10-20 Wright; James Head cursor control interface for an automated endoscope system for optimal positioning
US6710797B1 (en) 1995-09-20 2004-03-23 Videotronic Systems Adaptable teleconferencing eye contact terminal
US5961446A (en) 1995-10-06 1999-10-05 Tevital Incorporated Patient terminal for home health care system
US5797515A (en) 1995-10-18 1998-08-25 Adds, Inc. Method for controlling a drug dispensing system
US20010034475A1 (en) 1995-11-13 2001-10-25 Flach Terry E. Wireless lan system with cellular architecture
WO1997018672A1 (en) 1995-11-13 1997-05-22 Sony Corporation Near video on-demand system and televising method of the same
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US5838575A (en) 1995-12-14 1998-11-17 Rx Excell Inc. System for dispensing drugs
CA2240961C (en) 1995-12-18 2001-06-12 David Alan Braun Head mounted displays linked to networked electronic panning cameras
US5793365A (en) 1996-01-02 1998-08-11 Sun Microsystems, Inc. System and method providing a computer user interface enabling access to distributed workgroup members
US5701904A (en) 1996-01-11 1997-12-30 Krug International Telemedicine instrumentation pack
US5624398A (en) 1996-02-08 1997-04-29 Symbiosis Corporation Endoscopic robotic surgical tools and methods
JP2000508132A (ja) 1996-03-18 2000-06-27 ジェネラル・インスツルメント・コーポレイション 通信ネットワーク用のダイナミックな帯域幅配分
US5682199A (en) 1996-03-28 1997-10-28 Jedmed Instrument Company Video endoscope with interchangeable endoscope heads
JP3601737B2 (ja) 1996-03-30 2004-12-15 技術研究組合医療福祉機器研究所 搬送ロボットシステム
US5801755A (en) 1996-04-09 1998-09-01 Echerer; Scott J. Interactive communciation system for medical treatment of remotely located patients
US5867653A (en) 1996-04-18 1999-02-02 International Business Machines Corporation Method and apparatus for multi-cast based video conferencing
WO1997039715A1 (en) 1996-04-25 1997-10-30 Massachusetts Institute Of Technology Human transport system with dead reckoning facilitating docking
WO1997042761A1 (en) 1996-05-06 1997-11-13 The Camelot Corporation Videophone system
US6189034B1 (en) 1996-05-08 2001-02-13 Apple Computer, Inc. Method and apparatus for dynamic launching of a teleconferencing application upon receipt of a call
US6006191A (en) 1996-05-13 1999-12-21 Dirienzo; Andrew L. Remote access medical image exchange system and methods of operation therefor
US5799055A (en) 1996-05-15 1998-08-25 Northwestern University Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy
US6496099B2 (en) 1996-06-24 2002-12-17 Computer Motion, Inc. General purpose distributed operating room control system
US5949758A (en) 1996-06-27 1999-09-07 International Business Machines Corporation Bandwidth reservation for multiple file transfer in a high speed communication network
JPH1064154A (ja) 1996-08-19 1998-03-06 Nippon Columbia Co Ltd ディスク再生装置
JPH1079097A (ja) 1996-09-04 1998-03-24 Toyota Motor Corp 移動体通信方法
US6195357B1 (en) 1996-09-24 2001-02-27 Intervoice Limited Partnership Interactive information transaction processing system with universal telephony gateway capabilities
US5754631A (en) 1996-09-30 1998-05-19 Intervoice Limited Partnership Voice response unit having robot conference capability on ports
US5974446A (en) 1996-10-24 1999-10-26 Academy Of Applied Science Internet based distance learning system for communicating between server and clients wherein clients communicate with each other or with teacher using different communication techniques via common user interface
US6646677B2 (en) 1996-10-25 2003-11-11 Canon Kabushiki Kaisha Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method
US5917958A (en) 1996-10-31 1999-06-29 Sensormatic Electronics Corporation Distributed video data base with remote searching for image data features
JP3749323B2 (ja) * 1996-11-13 2006-02-22 富士通株式会社 移動装置
US5867494A (en) 1996-11-18 1999-02-02 Mci Communication Corporation System, method and article of manufacture with integrated video conferencing billing in a communication system architecture
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US8182469B2 (en) 1997-11-21 2012-05-22 Intuitive Surgical Operations, Inc. Surgical accessory clamp and method
US6113343A (en) 1996-12-16 2000-09-05 Goldenberg; Andrew Explosives disposal robot
US6148100A (en) 1996-12-20 2000-11-14 Bechtel Bwxt Idaho, Llc 3-dimensional telepresence system for a robotic environment
US5886735A (en) 1997-01-14 1999-03-23 Bullister; Edward T Video telephone headset
JPH10246954A (ja) 1997-03-04 1998-09-14 Fuji Photo Film Co Ltd 光重合性組成物
WO1998038958A1 (en) 1997-03-05 1998-09-11 Massachusetts Institute Of Technology A reconfigurable footprint mechanism for omnidirectional vehicles
US5995884A (en) 1997-03-07 1999-11-30 Allen; Timothy P. Computer peripheral floor cleaning system and navigation method
US6501740B1 (en) 1997-03-07 2002-12-31 At&T Corp. System and method for teleconferencing on an internetwork comprising connection-oriented and connectionless networks
AU8938598A (en) 1997-03-27 1999-04-23 Medtronic, Inc. Implantable Medical Device Remote Expert Communications System For Coordina ted Implant And Follow-Up
JPH10288689A (ja) 1997-04-14 1998-10-27 Hitachi Ltd 遠隔監視システム
US20040157612A1 (en) 1997-04-25 2004-08-12 Minerva Industries, Inc. Mobile communication and stethoscope system
DE69803451T2 (de) 1997-05-07 2002-09-26 Ryerson Polytechnic University, Toronto Telekonferenzroboter mit drehbarem videobildschirm
US6914622B1 (en) 1997-05-07 2005-07-05 Telbotics Inc. Teleconferencing robot with swiveling video monitor
GB2325376B (en) 1997-05-14 2001-09-19 Dsc Telecom Lp Allocation of bandwidth to calls in a wireless telecommunications system
US5857534A (en) 1997-06-05 1999-01-12 Kansas State University Research Foundation Robotic inspection apparatus and method
US5995119A (en) 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters
JP2002507170A (ja) 1997-07-02 2002-03-05 ボリンジア インドゥストリー アクチェンゲゼルシャフト 駆動輪
US6330486B1 (en) 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
US6445964B1 (en) 1997-08-04 2002-09-03 Harris Corporation Virtual reality simulation-based training of telekinegenesis system for training sequential kinematic behavior of automated kinematic machine
JPH11126017A (ja) 1997-08-22 1999-05-11 Sony Corp 記憶媒体、ロボット、情報処理装置、並びに電子ペットシステム
AU9223298A (en) 1997-09-04 1999-03-22 Dynalog, Inc. Method for calibration of a robot inspection system
US6714839B2 (en) 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
US6400378B1 (en) 1997-09-26 2002-06-04 Sony Corporation Home movie maker
JPH11175118A (ja) 1997-10-08 1999-07-02 Denso Corp ロボット制御装置
US6597392B1 (en) 1997-10-14 2003-07-22 Healthcare Vision, Inc. Apparatus and method for computerized multi-media data organization and transmission
US7885822B2 (en) 2001-05-09 2011-02-08 William Rex Akers System and method for electronic medical file management
US7956894B2 (en) 1997-10-14 2011-06-07 William Rex Akers Apparatus and method for computerized multi-media medical and pharmaceutical data organization and transmission
US6209018B1 (en) 1997-11-13 2001-03-27 Sun Microsystems, Inc. Service framework for a distributed object network system
ES2172936T3 (es) 1997-11-27 2002-10-01 Solar & Robotics Mejoras en los robots moviles y en su sistema de mando.
US6532404B2 (en) 1997-11-27 2003-03-11 Colens Andre Mobile robots and their control system
JP3919040B2 (ja) 1997-11-30 2007-05-23 ソニー株式会社 ロボツト装置
US6006946A (en) 1997-12-05 1999-12-28 Automated Prescriptions System, Inc. Pill dispensing system
US6036812A (en) 1997-12-05 2000-03-14 Automated Prescription Systems, Inc. Pill dispensing system
AU1827699A (en) 1997-12-16 1999-07-05 Board Of Trustees Of Michigan State University Spherical mobile robot
US6047259A (en) 1997-12-30 2000-04-04 Medical Management International, Inc. Interactive method and system for managing physical exams, diagnosis and treatment protocols in a health care practice
US5983263A (en) 1998-01-02 1999-11-09 Intel Corporation Method and apparatus for transmitting images during a multimedia teleconference
US6563533B1 (en) 1998-01-06 2003-05-13 Sony Corporation Ergonomically designed apparatus for selectively actuating remote robotics cameras
US6380968B1 (en) 1998-01-06 2002-04-30 Intel Corporation Method and apparatus for controlling a remote video camera in a video conferencing system
DE19803494A1 (de) 1998-01-29 1999-08-05 Berchtold Gmbh & Co Geb Verfahren zum Manipulieren einer Operationsleuchte
JPH11220706A (ja) 1998-02-03 1999-08-10 Nikon Corp テレビ電話システム
JPH11249725A (ja) 1998-02-26 1999-09-17 Fanuc Ltd ロボット制御装置
US6346962B1 (en) 1998-02-27 2002-02-12 International Business Machines Corporation Control of video conferencing system with pointing device
US6373855B1 (en) 1998-03-05 2002-04-16 Intel Corporation System and method for using audio performance to control video bandwidth
US6697103B1 (en) 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6643496B1 (en) 1998-03-31 2003-11-04 Canon Kabushiki Kaisha System, method, and apparatus for adjusting packet transmission rates based on dynamic evaluation of network characteristics
GB9807540D0 (en) 1998-04-09 1998-06-10 Orad Hi Tec Systems Ltd Tracking system for sports
US6650748B1 (en) 1998-04-13 2003-11-18 Avaya Technology Corp. Multiple call handling in a call center
US6233504B1 (en) 1998-04-16 2001-05-15 California Institute Of Technology Tool actuation and force feedback on robot-assisted microsurgery system
US6313853B1 (en) 1998-04-16 2001-11-06 Nortel Networks Limited Multi-service user interface
US6529765B1 (en) 1998-04-21 2003-03-04 Neutar L.L.C. Instrumented and actuated guidance fixture for sterotactic surgery
US20020151514A1 (en) 1998-05-11 2002-10-17 Paz Einat Genes associated with mechanical stress, expression products therefrom, and uses thereof
JP3667987B2 (ja) * 1998-05-14 2005-07-06 亀谷産業株式会社 マーキングが施されたゴルフボール及びゴルフボールへのマーキング方法
US6219587B1 (en) 1998-05-27 2001-04-17 Nextrx Corporation Automated pharmaceutical management and dispensing system
US6250928B1 (en) 1998-06-22 2001-06-26 Massachusetts Institute Of Technology Talking facial display method and apparatus
KR100617525B1 (ko) 1998-06-23 2006-09-04 소니 가부시끼 가이샤 로봇장치 및 정보처리시스템
JP3792901B2 (ja) 1998-07-08 2006-07-05 キヤノン株式会社 カメラ制御システム及びその制御方法
US6452915B1 (en) 1998-07-10 2002-09-17 Malibu Networks, Inc. IP-flow classification in a wireless point to multi-point (PTMP) transmission system
US6266577B1 (en) 1998-07-13 2001-07-24 Gte Internetworking Incorporated System for dynamically reconfigure wireless robot network
JP3487186B2 (ja) 1998-07-28 2004-01-13 日本ビクター株式会社 ネットワークリモートコントロールシステム
JP4100773B2 (ja) 1998-09-04 2008-06-11 富士通株式会社 ロボットの遠隔制御方法及びシステム
JP2000153476A (ja) 1998-09-14 2000-06-06 Honda Motor Co Ltd 脚式移動ロボット
US6594527B2 (en) 1998-09-18 2003-07-15 Nexmed Holdings, Inc. Electrical stimulation apparatus and method
US6175779B1 (en) 1998-09-29 2001-01-16 J. Todd Barrett Computerized unit dose medication dispensing cart
US6457043B1 (en) 1998-10-23 2002-09-24 Verizon Laboratories Inc. Speaker identifier for multi-party conference
WO2000025516A1 (en) 1998-10-24 2000-05-04 Vtel Corporation Graphical menu items for a user interface menu of a video teleconferencing system
US6602469B1 (en) 1998-11-09 2003-08-05 Lifestream Technologies, Inc. Health monitoring and diagnostic device and network-based health assessment and medical records maintenance system
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6852107B2 (en) 2002-01-16 2005-02-08 Computer Motion, Inc. Minimally invasive surgical training using robotics and tele-collaboration
US6232735B1 (en) 1998-11-24 2001-05-15 Thames Co., Ltd. Robot remote control system and robot image remote control processing system
JP2000196876A (ja) 1998-12-28 2000-07-14 Canon Inc 画像処理システム並びに画像形成制御装置並びに画像形成装置並びに画像処理システムの制御方法並びに画像形成制御装置の制御方法および画像形成装置の制御方法
US6170929B1 (en) 1998-12-02 2001-01-09 Ronald H. Wilson Automated medication-dispensing cart
US6535182B2 (en) 1998-12-07 2003-03-18 Koninklijke Philips Electronics N.V. Head-mounted projection display system
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
DE69942129D1 (de) 1998-12-08 2010-04-22 Intuitive Surgical Inc Telerobot zum verschieben von Bildern
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
JP3980205B2 (ja) 1998-12-17 2007-09-26 コニカミノルタホールディングス株式会社 作業ロボット
US6259956B1 (en) 1999-01-14 2001-07-10 Rawl & Winstead, Inc. Method and apparatus for site management
US6463352B1 (en) 1999-01-21 2002-10-08 Amada Cutting Technologies, Inc. System for management of cutting machines
JP4366617B2 (ja) 1999-01-25 2009-11-18 ソニー株式会社 ロボット装置
US6338013B1 (en) 1999-03-19 2002-01-08 Bryan John Ruffner Multifunctional mobile appliance
WO2000060522A2 (en) 1999-04-01 2000-10-12 Acist Medical Systems, Inc. An integrated medical information management and medical device control system and method
US7007235B1 (en) 1999-04-02 2006-02-28 Massachusetts Institute Of Technology Collaborative agent interaction control and synchronization system
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6788651B1 (en) 1999-04-21 2004-09-07 Mindspeed Technologies, Inc. Methods and apparatus for data communications on packet networks
US6292713B1 (en) 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US6781606B2 (en) 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US6523629B1 (en) 1999-06-07 2003-02-25 Sandia Corporation Tandem mobile robot system
US6804656B1 (en) 1999-06-23 2004-10-12 Visicu, Inc. System and method for providing continuous, expert network critical care services from a remote location(s)
US7256708B2 (en) 1999-06-23 2007-08-14 Visicu, Inc. Telecommunications network for remote patient monitoring
US6304050B1 (en) 1999-07-19 2001-10-16 Steven B. Skaar Means and method of robot control relative to an arbitrary surface using camera-space manipulation
US7606164B2 (en) 1999-12-14 2009-10-20 Texas Instruments Incorporated Process of increasing source rate on acceptable side of threshold
US6540039B1 (en) 1999-08-19 2003-04-01 Massachusetts Institute Of Technology Omnidirectional vehicle with offset wheel pairs
DE69927590T2 (de) 1999-08-31 2006-07-06 Swisscom Ag Mobiler Roboter und Steuerverfahren für einen mobilen Roboter
US6810411B1 (en) 1999-09-13 2004-10-26 Intel Corporation Method and system for selecting a host in a communications network
EP1090722B1 (en) 1999-09-16 2007-07-25 Fanuc Ltd Control system for synchronously cooperative operation of a plurality of robots
JP2001094989A (ja) 1999-09-20 2001-04-06 Toshiba Corp 動画像送信装置及び動画像通信装置
US6480762B1 (en) 1999-09-27 2002-11-12 Olympus Optical Co., Ltd. Medical apparatus supporting system
US6449762B1 (en) 1999-10-07 2002-09-10 Synplicity, Inc. Maintaining correspondence between text and schematic representations of circuit elements in circuit synthesis
US6798753B1 (en) 1999-10-14 2004-09-28 International Business Machines Corporation Automatically establishing conferences from desktop applications over the Internet
US7467211B1 (en) 1999-10-18 2008-12-16 Cisco Technology Inc. Remote computer system management through an FTP internet connection
US7739383B1 (en) 1999-10-22 2010-06-15 Nomadix, Inc. Systems and methods for dynamic bandwidth management on a per subscriber basis in a communications network
JP4207336B2 (ja) 1999-10-29 2009-01-14 ソニー株式会社 移動ロボットのための充電システム、充電ステーションを探索する方法、移動ロボット、コネクタ、及び、電気的接続構造
AT409238B (de) 1999-11-05 2002-06-25 Fronius Schweissmasch Prod Festlegen und/oder feststellen von benutzerberechtigungen mittels eines transponders,einer fingerabdruckerkennung oder dergleichen
JP2001134309A (ja) 1999-11-09 2001-05-18 Mitsubishi Electric Corp ロボットの操作端末およびロボットの遠隔操作システム
JP2001142512A (ja) 1999-11-16 2001-05-25 Mitsubishi Electric Corp ロボットの遠隔操作システム
HK1049891A1 (zh) 1999-11-18 2003-05-30 The Procter & Gamble Company 家用清洁机器人
JP2001147718A (ja) 1999-11-19 2001-05-29 Sony Corp 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
US6374155B1 (en) 1999-11-24 2002-04-16 Personal Robotics, Inc. Autonomous multi-platform robot system
US6443359B1 (en) 1999-12-03 2002-09-03 Diebold, Incorporated Automated transaction system and method
US7156809B2 (en) 1999-12-17 2007-01-02 Q-Tec Systems Llc Method and apparatus for health and disease management combining patient data monitoring with wireless internet connectivity
US20010051881A1 (en) 1999-12-22 2001-12-13 Aaron G. Filler System, method and article of manufacture for managing a medical services network
ATE329561T1 (de) 1999-12-23 2006-07-15 Hill Rom Services Inc Operationssaalsystem
JP2001179663A (ja) 1999-12-24 2001-07-03 Sony Corp 脚式移動ロボット及び脚式移動ロボットの制御方法、並びに充電ステーション
JP2001188124A (ja) 1999-12-27 2001-07-10 Ge Toshiba Silicones Co Ltd ケン化処理酢酸セルロース複合偏光基材、その製造方法および液晶表示装置
US7389252B2 (en) 2000-01-06 2008-06-17 Anne E. Robb Recursive method and system for accessing classification information
JP3791663B2 (ja) 2000-01-17 2006-06-28 富士電機ホールディングス株式会社 全方向移動車両とその制御方法
JP2001198868A (ja) 2000-01-17 2001-07-24 Atr Media Integration & Communications Res Lab サイバー漫才用ロボットおよび支援装置
JP2001198865A (ja) 2000-01-20 2001-07-24 Toshiba Corp ２足歩行ロボット装置およびその運用方法
JP2001222309A (ja) 2000-02-10 2001-08-17 Yaskawa Electric Corp ロボット制御装置
JP2001252884A (ja) 2000-03-06 2001-09-18 Matsushita Electric Ind Co Ltd ロボット、ロボットシステムおよびロボットの制御方法
US20010054071A1 (en) 2000-03-10 2001-12-20 Loeb Gerald E. Audio/video conference system for electronic caregiving
FR2806561B1 (fr) 2000-03-16 2002-08-09 France Telecom Systeme de tele-assistance a domicile
US6369847B1 (en) 2000-03-17 2002-04-09 Emtel, Inc. Emergency facility video-conferencing system
KR100351816B1 (ko) 2000-03-24 2002-09-11 엘지전자 주식회사 포맷 변환 장치
US20010048464A1 (en) 2000-04-07 2001-12-06 Barnett Howard S. Portable videoconferencing system
US6590604B1 (en) 2000-04-07 2003-07-08 Polycom, Inc. Personal videoconferencing system having distributed processing architecture
JP3511088B2 (ja) 2000-04-10 2004-03-29 独立行政法人航空宇宙技術研究所 多関節介護ロボット制御用の圧力分布センサ
EP1282378A2 (en) 2000-04-13 2003-02-12 Hospitalcareonline.Com Inc. Remote patient care
US6845297B2 (en) 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
US6292714B1 (en) 2000-05-12 2001-09-18 Fujitsu Limited Robot cooperation device, and robot cooperation program storage medium
US6954728B1 (en) 2000-05-15 2005-10-11 Avatizing, Llc System and method for consumer-selected advertising and branding in interactive media
US7996264B2 (en) 2000-05-15 2011-08-09 Avatizing, Llc System and method for consumer-selected advertising and branding in interactive media
AU2001264799A1 (en) 2000-05-24 2001-12-03 Virtual Clinic, Inc. Method and apparatus for providing personalized services
DE60141403D1 (de) 2000-06-09 2010-04-08 Japan Science & Tech Agency Hörvorrichtung für einen Roboter
JP2001353678A (ja) 2000-06-12 2001-12-25 Sony Corp オーサリング・システム及びオーサリング方法、並びに記憶媒体
JP3513084B2 (ja) 2000-06-14 2004-03-31 株式会社東芝 情報処理システム、情報機器及び情報処理方法
JP2002000574A (ja) 2000-06-22 2002-01-08 Matsushita Electric Ind Co Ltd 介護支援用ロボットおよび介護支援システム
US7782363B2 (en) 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US6629028B2 (en) 2000-06-29 2003-09-30 Riken Method and system of optical guidance of mobile body
US6746443B1 (en) 2000-07-27 2004-06-08 Intuitive Surgical Inc. Roll-pitch-roll surgical tool
US8751248B2 (en) 2000-07-28 2014-06-10 Visual Telecommunications Network, Inc. Method, apparatus, and medium using a master control file for computer software interoperability between disparate operating systems
US7886054B1 (en) 2000-10-11 2011-02-08 Siddhartha Nag Graphical user interface (GUI) for administering a network implementing media aggregation
US8126960B2 (en) 2000-07-28 2012-02-28 Silver State Intellectual Technologies, Inc. Technique for effective organization and communication of information
US6738076B1 (en) 2000-07-31 2004-05-18 Hewlett-Packard Development Company, L.P. Method and system for maintaining persistance of graphical markups in a collaborative graphical viewing system
JP2002046088A (ja) 2000-08-03 2002-02-12 Matsushita Electric Ind Co Ltd ロボット装置
US20020027597A1 (en) 2000-09-05 2002-03-07 John Sachau System for mobile videoconferencing
US20070273751A1 (en) 2000-09-05 2007-11-29 Sachau John A System and methods for mobile videoconferencing
EP1189169A1 (en) 2000-09-07 2002-03-20 STMicroelectronics S.r.l. A VLSI architecture, particularly for motion estimation applications
WO2002023403A2 (en) 2000-09-11 2002-03-21 Pinotage, Llc. System and method for obtaining and utilizing maintenance information
KR100373323B1 (ko) 2000-09-19 2003-02-25 한국전자통신연구원 영상회의 시스템에서의 다자간 영상회의 방법
US6741911B2 (en) 2000-09-20 2004-05-25 John Castle Simmons Natural robot control
JP2002101333A (ja) 2000-09-26 2002-04-05 Casio Comput Co Ltd 遠隔制御装置および遠隔操作サービスシステム並びにそれらのプログラム記録媒体
WO2002027438A2 (en) 2000-09-28 2002-04-04 Vigilos, Inc. Method and process for configuring a premises for monitoring
US20030060808A1 (en) 2000-10-04 2003-03-27 Wilk Peter J. Telemedical method and system
EP1356413A2 (en) 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20050149364A1 (en) 2000-10-06 2005-07-07 Ombrellaro Mark P. Multifunction telemedicine software with integrated electronic medical record
US6674259B1 (en) 2000-10-06 2004-01-06 Innovation First, Inc. System and method for managing and controlling a robot competition
JP2002112970A (ja) 2000-10-10 2002-04-16 Daito Seiki Co Ltd 皮膚表面観察装置及び皮膚表面観察方法
JP2002113675A (ja) 2000-10-11 2002-04-16 Sony Corp ロボット制御システム並びにロボット制御用ソフトウェアの導入方法
US7257832B2 (en) 2000-10-16 2007-08-14 Heartlab, Inc. Medical image capture system and method
WO2002033677A1 (en) 2000-10-19 2002-04-25 Bernhard Dohrmann Apparatus and method for delivery of instructional information
US6636780B1 (en) 2000-11-07 2003-10-21 Mdg Medical Inc. Medication dispensing system including medicine cabinet and tray therefor
JP4310916B2 (ja) 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
US7219364B2 (en) 2000-11-22 2007-05-15 International Business Machines Corporation System and method for selectable semantic codec pairs for very low data-rate video transmission
WO2002045434A1 (en) 2000-12-01 2002-06-06 Vigilos, Inc. System and method for processing video data utilizing motion detection and subdivided video fields
US6543899B2 (en) 2000-12-05 2003-04-08 Eastman Kodak Company Auto-stereoscopic viewing system using mounted projection
AU2002226082A1 (en) 2000-12-06 2002-06-18 Vigilos, Inc. System and method for implementing open-protocol remote device control
US6411209B1 (en) 2000-12-06 2002-06-25 Koninklijke Philips Electronics N.V. Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring
JP2002172575A (ja) 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
US6791550B2 (en) 2000-12-12 2004-09-14 Enounce, Inc. Management of presentation time in a digital media presentation system with variable rate presentation capability
US20040260790A1 (en) 2000-12-21 2004-12-23 Ge Medical System Global Technology Company, Llc Method and apparatus for remote or collaborative control of an imaging system
US7339605B2 (en) 2004-04-16 2008-03-04 Polycom, Inc. Conference link between a speakerphone and a video conference unit
US6442451B1 (en) 2000-12-28 2002-08-27 Robotic Workspace Technologies, Inc. Versatile robot control system
US20020085030A1 (en) 2000-12-29 2002-07-04 Jamal Ghani Graphical user interface for an interactive collaboration system
KR20020061961A (ko) 2001-01-19 2002-07-25 사성동 지능형 애완로봇
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP2002342759A (ja) 2001-01-30 2002-11-29 Nec Corp 情報提供システム、情報提供方法、およびそのプログラム
EP1374117A2 (en) 2001-01-30 2004-01-02 Milliken & Company Ordering system and method
US20020106998A1 (en) 2001-02-05 2002-08-08 Presley Herbert L. Wireless rich media conferencing
JP3736358B2 (ja) 2001-02-08 2006-01-18 株式会社チューオー 壁材
JP4182464B2 (ja) 2001-02-09 2008-11-19 富士フイルム株式会社 ビデオ会議システム
US20020109775A1 (en) 2001-02-09 2002-08-15 Excellon Automation Co. Back-lighted fiducial recognition system and method of use
US7184559B2 (en) 2001-02-23 2007-02-27 Hewlett-Packard Development Company, L.P. System and method for audio telepresence
JP2005500912A (ja) 2001-02-27 2005-01-13 アンソロトロニックス インコーポレイテッド ロボット装置および無線通信システム
US20020128985A1 (en) 2001-03-09 2002-09-12 Brad Greenwald Vehicle value appraisal system
US20020133062A1 (en) 2001-03-15 2002-09-19 Arling Robert Stanley Embedded measurement values in medical reports
JP4739556B2 (ja) 2001-03-27 2011-08-03 株式会社安川電機 制御対象の遠隔調整及び異常判断装置
US6965394B2 (en) 2001-03-30 2005-11-15 Koninklijke Philips Electronics N.V. Remote camera control device
US20020143923A1 (en) 2001-04-03 2002-10-03 Vigilos, Inc. System and method for managing a device network
JP2002305743A (ja) 2001-04-04 2002-10-18 Rita Security Engineering:Kk Ａｄｓｌ対応遠隔動画伝送システム
US20030199000A1 (en) 2001-08-20 2003-10-23 Valkirs Gunars E. Diagnostic markers of stroke and cerebral injury and methods of use thereof
US6920373B2 (en) 2001-04-13 2005-07-19 Board Of Trusstees Operating Michigan State University Synchronization and task control of real-time internet based super-media
AU767561B2 (en) 2001-04-18 2003-11-13 Samsung Kwangju Electronics Co., Ltd. Robot cleaner, system employing the same and method for reconnecting to external recharging device
KR100437372B1 (ko) 2001-04-18 2004-06-25 삼성광주전자 주식회사 이동통신망을 이용한 로봇 청소 시스템
JP2002321180A (ja) 2001-04-24 2002-11-05 Matsushita Electric Ind Co Ltd ロボット制御システム
EP1393190A4 (en) 2001-05-02 2007-07-18 Bitstream Inc METHOD AND SYSTEMS FOR DISPLAYING MEDIA SCALED AND / OR ORIENTED
US7202851B2 (en) 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
US6723086B2 (en) 2001-05-07 2004-04-20 Logiq Wireless Solutions, Inc. Remote controlled transdermal medication delivery device
US7242306B2 (en) 2001-05-08 2007-07-10 Hill-Rom Services, Inc. Article locating and tracking apparatus and method
JP2002354551A (ja) 2001-05-25 2002-12-06 Mitsubishi Heavy Ind Ltd ロボットサービス提供方法およびロボットサービス提供システム
EP1390823A1 (en) 2001-05-25 2004-02-25 Lego A/S Toy robot programming
JP2002352354A (ja) 2001-05-30 2002-12-06 Denso Corp 遠隔介護方法
JP2002355779A (ja) 2001-06-01 2002-12-10 Sharp Corp ロボット型インタフェース装置およびその制御方法
US6763282B2 (en) 2001-06-04 2004-07-13 Time Domain Corp. Method and system for controlling a robot
US20020186243A1 (en) 2001-06-06 2002-12-12 Robert Ellis Method and system for providing combined video and physiological data over a communication network for patient monitoring
US6507773B2 (en) 2001-06-14 2003-01-14 Sharper Image Corporation Multi-functional robot with remote and video system
US6995664B1 (en) 2001-06-20 2006-02-07 Jeffrey Darling Remote supervision system and method
US6604021B2 (en) 2001-06-21 2003-08-05 Advanced Telecommunications Research Institute International Communication robot
WO2003000015A2 (en) 2001-06-25 2003-01-03 Science Applications International Corporation Identification by analysis of physiometric variation
US7483867B2 (en) 2001-06-26 2009-01-27 Intuition Intelligence, Inc. Processing device with intuitive learning capability
GB2377117B (en) 2001-06-27 2004-08-18 Cambridge Broadband Ltd Method and apparatus for providing communications bandwidth
NO20013450L (no) 2001-07-11 2003-01-13 Simsurgery As Systemer og fremgangsmåter for interaktiv trening av prosedyrer
WO2003013140A1 (en) 2001-07-25 2003-02-13 Stevenson Neil J A camera control apparatus and method
US7831575B2 (en) 2001-08-02 2010-11-09 Bridge Works, Ltd Library virtualisation module
US6580246B2 (en) 2001-08-13 2003-06-17 Steven Jacobs Robot touch shield
US6667592B2 (en) 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
JP4689107B2 (ja) 2001-08-22 2011-05-25 本田技研工業株式会社 自律行動ロボット
US6952470B1 (en) 2001-08-23 2005-10-04 Bellsouth Intellectual Property Corp. Apparatus and method for managing a call center
AU2002322930A1 (en) 2001-08-24 2003-03-10 March Networks Corporation Remote health-monitoring system and method
JP2003070804A (ja) 2001-09-05 2003-03-11 Olympus Optical Co Ltd 遠隔医療支援システム
JP4378072B2 (ja) 2001-09-07 2009-12-02 キヤノン株式会社 電子機器、撮像装置、携帯通信機器、映像の表示制御方法及びプログラム
US6728599B2 (en) 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
EP1432347A2 (en) 2001-09-13 2004-06-30 The Boeing Company Method for transmitting vital health statistics to a remote location form an aircraft
US6587750B2 (en) 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery
JP2003110652A (ja) 2001-10-01 2003-04-11 Matsushita Graphic Communication Systems Inc Ａｄｓｌモデム装置の再イニシャライズ方法及びａｄｓｌモデム装置
US20030069828A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company System for and managing assets using priority tokens
US6840904B2 (en) 2001-10-11 2005-01-11 Jason Goldberg Medical monitoring device and system
US7058689B2 (en) 2001-10-16 2006-06-06 Sprint Communications Company L.P. Sharing of still images within a video telephony call
US7307653B2 (en) 2001-10-19 2007-12-11 Nokia Corporation Image stabilizer for a microcamera module of a handheld device, and method for stabilizing a microcamera module of a handheld device
US20050104964A1 (en) 2001-10-22 2005-05-19 Bovyrin Alexandr V. Method and apparatus for background segmentation based on motion localization
US20030080901A1 (en) * 2001-10-25 2003-05-01 Koninklijke Philips Electronics N.V. RFID navigation system
JP2003136450A (ja) 2001-10-26 2003-05-14 Communication Research Laboratory 聴覚情報提示によるロボットアームの遠隔操作システム
JP2003205483A (ja) 2001-11-07 2003-07-22 Sony Corp ロボットシステム及びロボット装置の制御方法
JP4313560B2 (ja) 2001-10-31 2009-08-12 パナソニック株式会社 携帯電話
US20030152145A1 (en) 2001-11-15 2003-08-14 Kevin Kawakita Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets
US7317685B1 (en) 2001-11-26 2008-01-08 Polycom, Inc. System and method for dynamic bandwidth allocation for videoconferencing in lossy packet switched networks
US6785589B2 (en) 2001-11-30 2004-08-31 Mckesson Automation, Inc. Dispensing cabinet with unit dose dispensing drawer
US20050101841A9 (en) 2001-12-04 2005-05-12 Kimberly-Clark Worldwide, Inc. Healthcare networks with biosensors
US7539504B2 (en) 2001-12-05 2009-05-26 Espre Solutions, Inc. Wireless telepresence collaboration system
US6839612B2 (en) 2001-12-07 2005-01-04 Institute Surgical, Inc. Microwrist system for surgical procedures
JP3709393B2 (ja) 2001-12-14 2005-10-26 富士ソフトエービーシ株式会社 遠隔制御システム及び遠隔制御方法
US7227864B2 (en) 2001-12-17 2007-06-05 Microsoft Corporation Methods and systems for establishing communications through firewalls and network address translators
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7082497B2 (en) 2001-12-28 2006-07-25 Hewlett-Packard Development Company, L.P. System and method for managing a moveable media library with library partitions
US7647320B2 (en) 2002-01-18 2010-01-12 Peoplechart Corporation Patient directed system and method for managing medical information
US7167448B2 (en) 2002-02-04 2007-01-23 Sun Microsystems, Inc. Prioritization of remote services messages within a low bandwidth environment
US6693585B1 (en) 2002-02-07 2004-02-17 Aradiant Corporation Self-contained selectively activated mobile object position reporting device with reduced power consumption and minimized wireless service fees.
US6784916B2 (en) 2002-02-11 2004-08-31 Telbotics Inc. Video conferencing apparatus
AU2002335152A1 (en) 2002-02-13 2003-09-04 Toudai Tlo, Ltd. Robot-phone
JP2003241807A (ja) 2002-02-19 2003-08-29 Yaskawa Electric Corp ロボット制御装置
JP4100934B2 (ja) 2002-02-28 2008-06-11 シャープ株式会社 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム
US8095200B2 (en) 2002-03-06 2012-01-10 Mako Surgical Corp. System and method for using a haptic device as an input device
US7860680B2 (en) 2002-03-07 2010-12-28 Microstrain, Inc. Robotic system for powering and interrogating sensors
US6915871B2 (en) 2002-03-12 2005-07-12 Dan Gavish Method and apparatus for improving child safety and adult convenience while using a mobile ride-on toy
US6769771B2 (en) 2002-03-14 2004-08-03 Entertainment Design Workshop, Llc Method and apparatus for producing dynamic imagery in a visual medium
JP3945279B2 (ja) 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
AU2002242928A1 (en) 2002-03-18 2003-09-29 Medic4All Ag Monitoring method and monitoring system for assessing physiological parameters of a subject
JP3714268B2 (ja) * 2002-03-18 2005-11-09 ソニー株式会社 ロボット装置
KR100483790B1 (ko) 2002-03-22 2005-04-20 한국과학기술연구원 마이크로 조립용 다자유도 원격조종 로봇 시스템
JP4032793B2 (ja) 2002-03-27 2008-01-16 ソニー株式会社 充電システム及び充電制御方法、ロボット装置、及び充電制御プログラム及び記録媒体
US7117067B2 (en) 2002-04-16 2006-10-03 Irobot Corporation System and methods for adaptive control of robotic devices
US20030231244A1 (en) 2002-04-22 2003-12-18 Bonilla Victor G. Method and system for manipulating a field of view of a video image from a remote vehicle
US20040172301A1 (en) 2002-04-30 2004-09-02 Mihai Dan M. Remote multi-purpose user interface for a healthcare system
US6898484B2 (en) 2002-05-01 2005-05-24 Dorothy Lemelson Robotic manufacturing and assembly with relative radio positioning using radio based location determination
CN100379391C (zh) 2002-05-07 2008-04-09 国立大学法人京都大学 医疗舱系统
US6836701B2 (en) 2002-05-10 2004-12-28 Royal Appliance Mfg. Co. Autonomous multi-platform robotic system
JP4081747B2 (ja) 2002-05-17 2008-04-30 技研株式会社 ロボットの駆動制御方法と、その装置
WO2003101035A1 (en) 2002-05-20 2003-12-04 Vigilos, Inc. System and method for providing data communication in a device network
US6807461B2 (en) 2002-05-22 2004-10-19 Kuka Roboter Gmbh Coordinated robot control from multiple remote instruction sources
JP4043289B2 (ja) 2002-05-27 2008-02-06 シャープ株式会社 探索ロボットシステム
US6743721B2 (en) 2002-06-10 2004-06-01 United Microelectronics Corp. Method and system for making cobalt silicide
KR100478452B1 (ko) 2002-06-12 2005-03-23 삼성전자주식회사 이동 로봇의 위치 및 방향 인식 장치 및 방법
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
JP3910112B2 (ja) 2002-06-21 2007-04-25 シャープ株式会社 カメラ付携帯電話機
US7181455B2 (en) 2002-06-27 2007-02-20 Sun Microsystems, Inc. Bandwidth management for remote services system
US6752539B2 (en) 2002-06-28 2004-06-22 International Buisness Machines Corporation Apparatus and system for providing optical bus interprocessor interconnection
KR100556612B1 (ko) 2002-06-29 2006-03-06 삼성전자주식회사 레이저를 이용한 위치 측정 장치 및 방법
DE10231391A1 (de) 2002-07-08 2004-02-12 Alfred Kärcher Gmbh & Co. Kg Bodenbearbeitungssystem
DE10231388A1 (de) 2002-07-08 2004-02-05 Alfred Kärcher Gmbh & Co. Kg Bodenbearbeitungssystem
FR2842320A1 (fr) 2002-07-12 2004-01-16 Thomson Licensing Sa Dispositif de traitement de donnees multimedia
US7084809B2 (en) 2002-07-15 2006-08-01 Qualcomm, Incorporated Apparatus and method of position determination using shared information
JP2004042230A (ja) 2002-07-15 2004-02-12 Kawasaki Heavy Ind Ltd ロボットコントローラの遠隔操作方法および遠隔操作システム
US6925357B2 (en) 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
US20120072024A1 (en) 2002-07-25 2012-03-22 Yulun Wang Telerobotic system with dual application screen presentation
US20040162637A1 (en) 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator
US7593030B2 (en) 2002-07-25 2009-09-22 Intouch Technologies, Inc. Tele-robotic videoconferencing in a corporate environment
DE10234233A1 (de) 2002-07-27 2004-02-05 Kuka Roboter Gmbh Verfahren zum Austausch von Daten zwischen Steuerungen von Maschinen, insbesondere von Robotern
CN1559038A (zh) 2002-07-29 2004-12-29 ������������ʽ���� 因特网通信系统、因特网通信方法、对话管理服务器、无线通信装置、通信中继服务器及程序
EP1388813A2 (en) 2002-08-09 2004-02-11 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image watermarking
US7523505B2 (en) 2002-08-16 2009-04-21 Hx Technologies, Inc. Methods and systems for managing distributed digital medical data
US20050288571A1 (en) 2002-08-20 2005-12-29 Welch Allyn, Inc. Mobile medical workstation
JP2004110802A (ja) * 2002-08-26 2004-04-08 Sony Corp 環境同定装置、環境同定方法、プログラム及び記録媒体、並びにロボット装置
US6753899B2 (en) 2002-09-03 2004-06-22 Audisoft Method and apparatus for telepresence
EP3043544B1 (en) 2002-09-13 2018-03-28 iRobot Corporation A navigational control system for a robotic device
JP3764713B2 (ja) * 2002-09-13 2006-04-12 三菱重工業株式会社 保守点検システム及び保守点検方法
US20040065073A1 (en) 2002-10-08 2004-04-08 Ingersoll-Rand Energy Systems Corporation Flexible recuperator mounting system
US7881658B2 (en) 2002-10-10 2011-02-01 Znl Enterprises, Llc Method and apparatus for entertainment and information services delivered via mobile telecommunication devices
US6804579B1 (en) 2002-10-16 2004-10-12 Abb, Inc. Robotic wash cell using recycled pure water
AU2003301482A1 (en) 2002-10-16 2004-05-04 Rocksteady Networks, Inc. System and method for dynamic bandwidth provisioning
WO2004040437A1 (en) 2002-10-28 2004-05-13 The General Hospital Corporation Tissue disorder imaging analysis
US6920376B2 (en) 2002-10-31 2005-07-19 Hewlett-Packard Development Company, L.P. Mutually-immersive mobile telepresence system with user rotation and surrogate translation
US6879879B2 (en) 2002-10-31 2005-04-12 Hewlett-Packard Development Company, L.P. Telepresence system with automatic user-surrogate height matching
US20040093409A1 (en) 2002-11-07 2004-05-13 Vigilos, Inc. System and method for external event determination utilizing an integrated information system
US8073304B2 (en) 2002-11-16 2011-12-06 Gregory Karel Rohlicek Portable recorded television viewer
KR100542340B1 (ko) 2002-11-18 2006-01-11 삼성전자주식회사 홈네트워크 시스템 및 그 제어방법
US7123974B1 (en) 2002-11-19 2006-10-17 Rockwell Software Inc. System and methodology providing audit recording and tracking in real time industrial controller environment
JP2004181229A (ja) 2002-11-20 2004-07-02 Olympus Corp 遠隔手術支援システム及び支援方法
KR20040046071A (ko) 2002-11-26 2004-06-05 삼성전자주식회사 무선단말장치의 안테나-바 표시방법
JP3885019B2 (ja) 2002-11-29 2007-02-21 株式会社東芝 セキュリティシステム及び移動ロボット
US20040172306A1 (en) 2002-12-02 2004-09-02 Recare, Inc. Medical data entry interface
US20040115265A1 (en) * 2002-12-11 2004-06-17 Loutfy Benkerrour Multilayered tablet containing pravastatin and aspirin and method
US6889120B2 (en) 2002-12-14 2005-05-03 Hewlett-Packard Development Company, L.P. Mutually-immersive mobile telepresence with gaze and eye contact preservation
US20090030552A1 (en) 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
US7177737B2 (en) * 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
US6938167B2 (en) 2002-12-18 2005-08-30 America Online, Inc. Using trusted communication channel to combat user name/password theft
US7584019B2 (en) 2003-12-15 2009-09-01 Dako Denmark A/S Systems and methods for the automated pre-treatment and processing of biological samples
US20040135879A1 (en) 2003-01-03 2004-07-15 Stacy Marco A. Portable wireless indoor/outdoor camera
US6745115B1 (en) 2003-01-07 2004-06-01 Garmin Ltd. System, method and apparatus for searching geographic area using prioritized spacial order
US7158859B2 (en) 2003-01-15 2007-01-02 Intouch Technologies, Inc. 5 degrees of freedom mobile robot
CN101390098A (zh) 2003-01-15 2009-03-18 英塔茨科技公司 五个自由度的可移动的机器人
ITMI20030121A1 (it) 2003-01-27 2004-07-28 Giuseppe Donato Sistema modulare di sorveglianza per il monitoraggio di ambienti critici.
US7404140B2 (en) 2003-01-31 2008-07-22 Siemens Medical Solutions Usa, Inc. System for managing form information for use by portable devices
US7158860B2 (en) 2003-02-24 2007-01-02 Intouch Technologies, Inc. Healthcare tele-robotic system which allows parallel remote station observation
US7171286B2 (en) 2003-02-24 2007-01-30 Intouch Technologies, Inc. Healthcare tele-robotic system with a robot that also functions as a remote station
US7388981B2 (en) 2003-02-27 2008-06-17 Hewlett-Packard Development Company, L.P. Telepresence system with automatic preservation of user head size
JP2004261941A (ja) 2003-03-04 2004-09-24 Sharp Corp コミュニケーションロボットおよびコミュニケーションシステム
US7262573B2 (en) 2003-03-06 2007-08-28 Intouch Technologies, Inc. Medical tele-robotic system with a head worn device
US20050065813A1 (en) 2003-03-11 2005-03-24 Mishelevich David J. Online medical evaluation system
US7593546B2 (en) 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
JP3879848B2 (ja) 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
US7702015B2 (en) 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
JP4124682B2 (ja) 2003-03-20 2008-07-23 日本放送協会 カメラ操作装置
US20040205664A1 (en) 2003-03-25 2004-10-14 Prendergast Thomas V. Claim data and document processing system
JP2004298977A (ja) 2003-03-28 2004-10-28 Sony Corp 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置
US6804580B1 (en) 2003-04-03 2004-10-12 Kuka Roboter Gmbh Method and control system for controlling a plurality of robots
US7123687B2 (en) 2003-04-10 2006-10-17 Varian Medical Systems Technologies, Inc. Method for displaying digital X-ray image data at high resolution
US20040201602A1 (en) 2003-04-14 2004-10-14 Invensys Systems, Inc. Tablet computer system for industrial process design, supervisory control, and data management
US7346429B2 (en) 2003-05-05 2008-03-18 Engineering Services, Inc. Mobile robot hybrid communication link
US20040222638A1 (en) 2003-05-08 2004-11-11 Vladimir Bednyak Apparatus and method for providing electrical energy generated from motion to an electrically powered device
JP2007503282A (ja) 2003-05-16 2007-02-22 オドリバク、アンドリュー 内視鏡映像の自動処理のためのシステムおよび方法
GB2391361B (en) 2003-05-23 2005-09-21 Bridgeworks Ltd Library element management
US20040240981A1 (en) 2003-05-29 2004-12-02 I-Scan Robotics Robot stacking system for flat glass
US6905941B2 (en) 2003-06-02 2005-06-14 International Business Machines Corporation Structure and method to fabricate ultra-thin Si channel devices
US20050003330A1 (en) 2003-07-02 2005-01-06 Mehdi Asgarinejad Interactive virtual classroom
US6888333B2 (en) 2003-07-02 2005-05-03 Intouch Health, Inc. Holonomic platform for a robot
JP2005028066A (ja) 2003-07-08 2005-02-03 Kikuta Sogo Kikaku:Kk クリーニング遠隔管理システム
US7154526B2 (en) 2003-07-11 2006-12-26 Fuji Xerox Co., Ltd. Telepresence system and method for video teleconferencing
US20050065435A1 (en) 2003-07-22 2005-03-24 John Rauch User interface for remote control of medical devices
US7995090B2 (en) 2003-07-28 2011-08-09 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
US20050027567A1 (en) 2003-07-29 2005-02-03 Taha Amer Jamil System and method for health care data collection and management
US7395126B2 (en) 2003-07-29 2008-07-01 Far Touch, Inc. Remote control of wireless electromechanical device using a web browser
US7133062B2 (en) 2003-07-31 2006-11-07 Polycom, Inc. Graphical user interface for video feed on videoconference terminal
DE20312211U1 (de) 2003-08-07 2003-10-30 Yueh, Wen Hsiang, Hsinchuang, Taipeh Schwenkbarer USB-Stecker
US7413040B2 (en) 2003-08-12 2008-08-19 White Box Robotics, Inc. Robot with removable mounting elements
JP2005059170A (ja) 2003-08-18 2005-03-10 Honda Motor Co Ltd 情報収集ロボット
US7982763B2 (en) 2003-08-20 2011-07-19 King Simon P Portable pan-tilt camera and lighting unit for videoimaging, videoconferencing, production and recording
US7432949B2 (en) 2003-08-20 2008-10-07 Christophe Remy Mobile videoimaging, videocommunication, video production (VCVP) system
WO2005033832A2 (en) 2003-08-28 2005-04-14 University Of Maryland, Baltimore Techniques for delivering coordination data for a shared facility
US20050049898A1 (en) 2003-09-01 2005-03-03 Maiko Hirakawa Telemedicine system using the internet
US20070061041A1 (en) 2003-09-02 2007-03-15 Zweig Stephen E Mobile robot with wireless location sensing apparatus
US7174238B1 (en) 2003-09-02 2007-02-06 Stephen Eliot Zweig Mobile robotic system with web server and digital radio links
US20050065438A1 (en) 2003-09-08 2005-03-24 Miller Landon C.G. System and method of capturing and managing information during a medical diagnostic imaging procedure
JP2005088244A (ja) * 2003-09-12 2005-04-07 Canon Inc 画像形成装置
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2005103680A (ja) 2003-09-29 2005-04-21 Toshiba Corp 監視システムおよび監視ロボット
IL158276A (en) 2003-10-02 2010-04-29 Radvision Ltd Method for dynamically optimizing bandwidth allocation in variable bitrate (multi-rate) conferences
JP2007511110A (ja) 2003-10-07 2007-04-26 リブレストリーム テクノロジーズ インコーポレイテッド 遠隔地のクライアントにストリーミング・メディアを伝送するカメラ
JP2005111083A (ja) 2003-10-09 2005-04-28 Olympus Corp 医療統合システム
US7307651B2 (en) 2003-10-16 2007-12-11 Mark A. Chew Two-way mobile video/audio/data interactive companion (MVIC) system
KR100820743B1 (ko) 2003-10-21 2008-04-10 삼성전자주식회사 이동 로봇의 충전 장치
JP4325853B2 (ja) 2003-10-31 2009-09-02 富士通株式会社 通信アダプタ装置
US7096090B1 (en) 2003-11-03 2006-08-22 Stephen Eliot Zweig Mobile robotic router with web server and digital radio links
US20050125083A1 (en) 2003-11-10 2005-06-09 Kiko Frederick J. Automation apparatus and methods
US20060010028A1 (en) * 2003-11-14 2006-01-12 Herb Sorensen Video shopper tracking system and method
US7115102B2 (en) 2003-11-17 2006-10-03 Abbruscato Charles R Electronic stethoscope system
US7161322B2 (en) 2003-11-18 2007-01-09 Intouch Technologies, Inc. Robot with a manipulator arm
US7092001B2 (en) 2003-11-26 2006-08-15 Sap Aktiengesellschaft Video conferencing system with physical cues
GB2408655B (en) 2003-11-27 2007-02-28 Motorola Inc Communication system, communication units and method of ambience listening thereto
US7624166B2 (en) 2003-12-02 2009-11-24 Fuji Xerox Co., Ltd. System and methods for remote control of multiple display and devices
US7292912B2 (en) 2003-12-05 2007-11-06 Lntouch Technologies, Inc. Door knocker control system for a remote controlled teleconferencing robot
US7813836B2 (en) 2003-12-09 2010-10-12 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US7924323B2 (en) 2003-12-24 2011-04-12 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
US7613313B2 (en) 2004-01-09 2009-11-03 Hewlett-Packard Development Company, L.P. System and method for control of audio field based on position of user
US8824730B2 (en) 2004-01-09 2014-09-02 Hewlett-Packard Development Company, L.P. System and method for control of video bandwidth based on pose of a person
US20050154265A1 (en) 2004-01-12 2005-07-14 Miro Xavier A. Intelligent nurse robot
WO2005069890A2 (en) 2004-01-15 2005-08-04 Mega Robot, Inc. System and method for reconfiguring an autonomous robot
WO2005069228A1 (en) 2004-01-15 2005-07-28 Algotec Systems Ltd. Targeted marching
AU2004313840A1 (en) 2004-01-16 2005-07-28 Yoshiaki Takida Robot arm type automatic car washing device
US7332890B2 (en) 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
DE602005017749D1 (de) 2004-02-03 2009-12-31 F Robotics Acquisitions Ltd Roboter-dockstation und roboter zur verwendung damit
US7079173B2 (en) 2004-02-04 2006-07-18 Hewlett-Packard Development Company, L.P. Displaying a wide field of view video image
US20050182322A1 (en) 2004-02-17 2005-08-18 Liebel-Flarsheim Company Injector auto purge
US20050204438A1 (en) 2004-02-26 2005-09-15 Yulun Wang Graphical interface for a remote presence system
US7756614B2 (en) 2004-02-27 2010-07-13 Hewlett-Packard Development Company, L.P. Mobile device control system
CN1259891C (zh) 2004-03-17 2006-06-21 哈尔滨工业大学 机器人辅助带锁髓内钉正骨手术医疗系统
JP2005270430A (ja) 2004-03-25 2005-10-06 Funai Electric Co Ltd 自走ロボットのためのステーション
US20050264649A1 (en) 2004-03-29 2005-12-01 Calvin Chang Mobile video-interpreting mounting system
KR20060131929A (ko) 2004-03-29 2006-12-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 공통 대화 관리 시스템에 의한 복수의 애플리케이션을구동하기 위한 방법
US20050225634A1 (en) 2004-04-05 2005-10-13 Sam Brunetti Closed circuit TV security system
JP2005312096A (ja) 2004-04-16 2005-11-04 Funai Electric Co Ltd 電気機器
TWI258259B (en) 2004-04-20 2006-07-11 Jason Yan Automatic charging system of mobile robotic electronic device
KR20070011495A (ko) 2004-04-22 2007-01-24 프론트라인 로보틱스 자율 이동 시스템을 위한 개방형 제어 시스템 아키텍처
US7769705B1 (en) 2004-05-21 2010-08-03 Ray Anthony Luechtefeld Method, artificially intelligent system and networked complex for facilitating group interactions
US7176957B2 (en) 2004-05-25 2007-02-13 Seiko Epson Corporation Local video loopback method for a multi-participant conference system using a back-channel video interface
US7949616B2 (en) 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
US7011538B2 (en) 2004-06-02 2006-03-14 Elementech International Co., Ltd. Dual input charger with cable storing mechanism
JP3926837B2 (ja) 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
US20050283414A1 (en) 2004-06-17 2005-12-22 Fernandes Curtis T Remote system management
JP4479372B2 (ja) 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US20060007943A1 (en) 2004-07-07 2006-01-12 Fellman Ronald D Method and system for providing site independent real-time multimedia transport over packet-switched networks
US7539187B2 (en) 2004-07-07 2009-05-26 Qvidium Technologies, Inc. System and method for low-latency content-sensitive forward error correction
US8503340B1 (en) 2004-07-11 2013-08-06 Yongyong Xu WiFi phone system
US8077963B2 (en) 2004-07-13 2011-12-13 Yulun Wang Mobile robot with a head-based movement mapping scheme
CN1331641C (zh) * 2004-07-14 2007-08-15 华南理工大学 保安巡逻机器狗
US7551647B2 (en) 2004-07-19 2009-06-23 Qvidium Technologies, Inc. System and method for clock synchronization over packet-switched networks
US7979157B2 (en) 2004-07-23 2011-07-12 Mcmaster University Multi-purpose robotic operating system and method
US7319469B2 (en) 2004-07-26 2008-01-15 Sony Corporation Copy protection arrangement
JP4315872B2 (ja) 2004-07-28 2009-08-19 本田技研工業株式会社 移動ロボットの制御装置
CN100394897C (zh) 2004-08-03 2008-06-18 张毓笠 复合振动的超声骨骼手术仪
JP4912577B2 (ja) 2004-09-01 2012-04-11 本田技研工業株式会社 ２足歩行ロボットの充電システム
US20060052676A1 (en) 2004-09-07 2006-03-09 Yulun Wang Tele-presence system that allows for remote monitoring/observation and review of a patient and their medical records
US7502498B2 (en) * 2004-09-10 2009-03-10 Available For Licensing Patient monitoring apparatus
FI116749B (fi) 2004-09-14 2006-02-15 Nokia Corp Kameraelementtejä käsittävä laite
US20060064212A1 (en) 2004-09-22 2006-03-23 Cycle Time Corporation Reactive automated guided vehicle vision guidance system
US20060066609A1 (en) 2004-09-28 2006-03-30 Iodice Arthur P Methods and systems for viewing geometry of an object model generated by a CAD tool
US7720570B2 (en) 2004-10-01 2010-05-18 Redzone Robotics, Inc. Network architecture for remote robot with interchangeable tools
US8060376B2 (en) 2004-10-01 2011-11-15 Nomoreclipboard, Llc System and method for collection of community health and administrative data
JP2006109094A (ja) 2004-10-05 2006-04-20 Nec Software Kyushu Ltd 遠隔制御装置、遠隔制御システム、及び、遠隔制御方法
US7441953B2 (en) 2004-10-07 2008-10-28 University Of Florida Research Foundation, Inc. Radiographic medical imaging system using robot mounted source and sensor for dynamic image capture and tomography
US20060087746A1 (en) 2004-10-22 2006-04-27 Kenneth Lipow Remote augmented motor-sensory interface for surgery
US8078338B2 (en) * 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
KR100645379B1 (ko) 2004-10-29 2006-11-15 삼성광주전자 주식회사 로봇 제어 시스템 및 로봇 제어방법
KR100703692B1 (ko) 2004-11-03 2007-04-05 삼성전자주식회사 공간상에 존재하는 오브젝트들을 구별하기 위한 시스템,장치 및 방법
US20060098573A1 (en) 2004-11-08 2006-05-11 Beer John C System and method for the virtual aggregation of network links
US20060173712A1 (en) 2004-11-12 2006-08-03 Dirk Joubert Portable medical information system
US8424012B1 (en) 2004-11-15 2013-04-16 Nvidia Corporation Context switching on a video processor having a scalar execution unit and a vector execution unit
US7522528B2 (en) 2004-11-18 2009-04-21 Qvidium Technologies, Inc. Low-latency automatic repeat request packet recovery mechanism for media streams
US20060122482A1 (en) 2004-11-22 2006-06-08 Foresight Imaging Inc. Medical image acquisition system for receiving and transmitting medical images instantaneously and method of using the same
US20060125356A1 (en) 2004-12-03 2006-06-15 Mckesson Automation Inc. Mobile point of care system and associated method and computer program product
US7400578B2 (en) 2004-12-16 2008-07-15 International Business Machines Corporation Method and system for throttling network transmissions using per-receiver bandwidth control at the application layer of the transmitting server
KR100499770B1 (ko) 2004-12-30 2005-07-07 주식회사 아이오. 테크 네트워크 기반의 로봇 제어 시스템
JP2008527542A (ja) * 2005-01-06 2008-07-24 シュルマン，アラン ナビゲーション及びインスペクションシステム
KR100497310B1 (ko) 2005-01-10 2005-06-23 주식회사 아이오. 테크 네트워크 기반의 로봇 시스템에서 동작 정보 포함멀티미디어 콘텐츠의 선택 및 재생 방법
US7395508B2 (en) 2005-01-14 2008-07-01 International Business Machines Corporation Method and apparatus for providing an interactive presentation environment
US7222000B2 (en) 2005-01-18 2007-05-22 Intouch Technologies, Inc. Mobile videoconferencing platform with automatic shut-off features
JP2006203821A (ja) 2005-01-24 2006-08-03 Sony Corp 自動送出システム
US20060173708A1 (en) 2005-01-28 2006-08-03 Circle Of Care, Inc. System and method for providing health care
US20060176832A1 (en) 2005-02-04 2006-08-10 Sean Miceli Adaptive bit-rate adjustment of multimedia communications channels using transport control protocol
KR100636270B1 (ko) 2005-02-04 2006-10-19 삼성전자주식회사 홈 네트워크 시스템 및 그 제어방법
US7944469B2 (en) 2005-02-14 2011-05-17 Vigilos, Llc System and method for using self-learning rules to enable adaptive security monitoring
ES2346343T3 (es) 2005-02-18 2010-10-14 Irobot Corporation Robot autonomo de limpieza de superficies para una limpieza en seco y en mojado.
US20060189393A1 (en) 2005-02-22 2006-08-24 Albert Edery Real action network gaming system
US20060224781A1 (en) 2005-03-10 2006-10-05 Jen-Ming Tsao Method and apparatus for controlling a user interface of a consumer electronic device
US7644898B2 (en) 2005-03-28 2010-01-12 Compview Medical, Llc Medical boom with articulated arms and a base with preconfigured removable modular racks used for storing electronic and utility equipment
US20080285886A1 (en) 2005-03-29 2008-11-20 Matthew Emmerson Allen System For Displaying Images
KR100964513B1 (ko) 2005-04-15 2010-06-21 뉴저지 인스티튜트 오브 테크놀로지 광대역 수동 광 네트워크들을 위한 동적 대역폭 할당 및서비스 구별
US8850011B2 (en) 2005-04-21 2014-09-30 Microsoft Corporation Obtaining and displaying virtual earth images
US7680038B1 (en) 2005-04-25 2010-03-16 Electronic Arts, Inc. Dynamic bandwidth detection and response for online games
KR100624387B1 (ko) * 2005-04-25 2006-09-20 엘지전자 주식회사 주행영역 지정이 가능한 로봇 시스템
US7436143B2 (en) 2005-04-25 2008-10-14 M-Bots, Inc. Miniature surveillance robot
US7864209B2 (en) 2005-04-28 2011-01-04 Apple Inc. Audio processing in a multi-participant conference
CA2605239A1 (en) 2005-05-02 2006-11-09 University Of Virginia Patent Foundation Systems, devices, and methods for interpreting movement
US7912733B2 (en) 2005-05-04 2011-03-22 Board Of Regents, The University Of Texas System System, method and program product for delivering medical services from a remote location
US7240879B1 (en) 2005-05-06 2007-07-10 United States of America as represented by the Administration of the National Aeronautics and Space Administration Method and associated apparatus for capturing, servicing and de-orbiting earth satellites using robotics
US20060259193A1 (en) 2005-05-12 2006-11-16 Yulun Wang Telerobotic system with a dual application screen presentation
KR100594165B1 (ko) 2005-05-24 2006-06-28 삼성전자주식회사 네트워크 기반 로봇 제어 시스템 및 네트워크 기반 로봇제어 시스템에서 로봇 속도 제어 방법
US20060293788A1 (en) 2005-06-26 2006-12-28 Pavel Pogodin Robotic floor care appliance with improved remote management
JP2007007040A (ja) 2005-06-29 2007-01-18 Hitachi Medical Corp 手術支援システム
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
US7379664B2 (en) 2005-07-26 2008-05-27 Tinkers & Chance Remote view and controller for a camera
US20100301679A1 (en) 2005-08-11 2010-12-02 Peter Grahame Murray sensor with selectable sensing orientation used for controlling an electrical device
KR100749579B1 (ko) 2005-09-05 2007-08-16 삼성광주전자 주식회사 교환가능한 복수의 작업모듈을 갖는 이동로봇 시스템 및 그제어방법
EP1763243A3 (en) 2005-09-09 2008-03-26 LG Electronics Inc. Image capturing and displaying method and system
US7643051B2 (en) 2005-09-09 2010-01-05 Roy Benjamin Sandberg Mobile video teleconferencing system and control method
JP2007081646A (ja) 2005-09-13 2007-03-29 Toshiba Corp 送受信装置
US7631270B2 (en) 2005-09-16 2009-12-08 Microsoft Corporation Network connectivity and wireless status in a notification area
CN1743144A (zh) 2005-09-29 2006-03-08 天津理工大学 基于互联网的机器人远程控制方法
US8098603B2 (en) 2005-09-30 2012-01-17 Intel Corporation Bandwidth adaptation in a wireless network
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US9198728B2 (en) 2005-09-30 2015-12-01 Intouch Technologies, Inc. Multi-camera mobile teleconferencing platform
JP2009516237A (ja) 2005-10-07 2009-04-16 インテンシーブ ケア オン−ライン オンライン治療診察サービスシステム及び同システム利用方法
GB0520576D0 (en) 2005-10-10 2005-11-16 Applied Generics Ltd Using traffic monitoring information to provide better driver route planning
US20070093279A1 (en) 2005-10-12 2007-04-26 Craig Janik Wireless headset system for the automobile
US7733224B2 (en) 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US7689162B2 (en) 2005-10-28 2010-03-30 Viasat, Inc. Adaptive coding and modulation flow control and traffic shaping systems and methods
US7751780B2 (en) 2005-11-23 2010-07-06 Qualcomm Incorporated Method and apparatus for collecting information from a wireless device
US20070120965A1 (en) 2005-11-25 2007-05-31 Sandberg Roy B Mobile video teleconferencing authentication and management system and method
US8374721B2 (en) 2005-12-02 2013-02-12 Irobot Corporation Robot system
EP1796332B1 (en) 2005-12-08 2012-11-14 Electronics and Telecommunications Research Institute Token bucket dynamic bandwidth allocation
US20070135967A1 (en) 2005-12-08 2007-06-14 Jung Seung W Apparatus and method of controlling network-based robot
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
JP4751192B2 (ja) * 2005-12-12 2011-08-17 本田技研工業株式会社 移動ロボット
US7480870B2 (en) 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US20070150094A1 (en) * 2005-12-23 2007-06-28 Qingfeng Huang System and method for planning and indirectly guiding robotic actions based on external factor tracking and analysis
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
JP2007232208A (ja) 2006-01-31 2007-09-13 Mitsuboshi Belting Ltd 歯付ベルト及びそれに使用する歯布
US7979059B2 (en) 2006-02-06 2011-07-12 Rockefeller Alfred G Exchange of voice and video between two cellular or wireless telephones
JP2007245332A (ja) 2006-02-14 2007-09-27 Honda Motor Co Ltd 脚式移動ロボットの充電システム
US7769492B2 (en) 2006-02-22 2010-08-03 Intouch Technologies, Inc. Graphical interface for a remote presence system
US8072481B1 (en) 2006-03-18 2011-12-06 Videotronic Systems Telepresence communication system
JP4728860B2 (ja) 2006-03-29 2011-07-20 株式会社東芝 情報検索装置
EP2027806A1 (en) 2006-04-04 2009-02-25 Samsung Electronics Co., Ltd. Robot cleaner system having robot cleaner and docking station
US20100171826A1 (en) 2006-04-12 2010-07-08 Store Eyes, Inc. Method for measuring retail display and compliance
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8326469B2 (en) * 2006-07-14 2012-12-04 Irobot Corporation Autonomous behaviors for a remote vehicle
US7539533B2 (en) 2006-05-16 2009-05-26 Bao Tran Mesh network monitoring appliance
CA2654261C (en) 2006-05-19 2017-05-16 Mako Surgical Corp. Method and apparatus for controlling a haptic device
JP2007316966A (ja) * 2006-05-26 2007-12-06 Fujitsu Ltd 移動ロボット、その制御方法及びプログラム
US8571580B2 (en) 2006-06-01 2013-10-29 Loopt Llc. Displaying the location of individuals on an interactive map display on a mobile communication device
US20070291128A1 (en) 2006-06-15 2007-12-20 Yulun Wang Mobile teleconferencing system that projects an image provided by a mobile robot
US8849679B2 (en) 2006-06-15 2014-09-30 Intouch Technologies, Inc. Remote controlled robot system that provides medical images
US7920962B2 (en) 2006-06-19 2011-04-05 Kiva Systems, Inc. System and method for coordinating movement of mobile drive units
US8649899B2 (en) 2006-06-19 2014-02-11 Amazon Technologies, Inc. System and method for maneuvering a mobile drive unit
US8073564B2 (en) 2006-07-05 2011-12-06 Battelle Energy Alliance, Llc Multi-robot control interface
US7587260B2 (en) * 2006-07-05 2009-09-08 Battelle Energy Alliance, Llc Autonomous navigation system and method
US8271132B2 (en) 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
USRE46672E1 (en) * 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
US8843244B2 (en) * 2006-10-06 2014-09-23 Irobot Corporation Autonomous behaviors for a remove vehicle
US20080033641A1 (en) * 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
US7599290B2 (en) 2006-08-11 2009-10-06 Latitude Broadband, Inc. Methods and systems for providing quality of service in packet-based core transport networks
US20080056933A1 (en) 2006-08-29 2008-03-06 Moore Barrett H Self-Propelled Sterilization Robot and Method
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7693757B2 (en) 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
JP4658892B2 (ja) * 2006-10-02 2011-03-23 本田技研工業株式会社 移動ロボット、並びに、移動ロボットの制御装置、移動ロボットの制御方法及び移動ロボットの制御プログラム
US8180486B2 (en) 2006-10-02 2012-05-15 Honda Motor Co., Ltd. Mobile robot and controller for same
US20070170886A1 (en) 2006-10-03 2007-07-26 Plishner Paul J Vehicle equipped for providing solar electric power for off-vehicle use and systems in support thereof
US7761185B2 (en) 2006-10-03 2010-07-20 Intouch Technologies, Inc. Remote presence display through remotely controlled robot
US7654348B2 (en) 2006-10-06 2010-02-02 Irobot Corporation Maneuvering robotic vehicles having a positionable sensor head
US20080126132A1 (en) 2006-11-28 2008-05-29 General Electric Company Smart bed system
US8095238B2 (en) 2006-11-29 2012-01-10 Irobot Corporation Robot development platform
US7630314B2 (en) 2006-12-05 2009-12-08 Latitue Broadband, Inc. Methods and systems for dynamic bandwidth management for quality of service in IP Core and access networks
TWI330305B (en) 2006-12-28 2010-09-11 Ind Tech Res Inst Method for routing a robotic apparatus to a service station and robotic apparatus service system using thereof
US7557758B2 (en) 2007-03-26 2009-07-07 Broadcom Corporation Very high frequency dielectric substrate wave guide
EP2109982B1 (en) 2007-01-10 2018-08-08 Qualcomm Incorporated Content- and link-dependent coding adaptation for multimedia telephony
US20080232763A1 (en) 2007-03-15 2008-09-25 Colin Brady System and method for adjustment of video playback resolution
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US8612051B2 (en) 2007-04-20 2013-12-17 Innovation First, Inc. Securing communications with robots
US8305914B2 (en) 2007-04-30 2012-11-06 Hewlett-Packard Development Company, L.P. Method for signal adjustment through latency control
WO2008141131A2 (en) 2007-05-09 2008-11-20 Irobot Corporation Compact autonomous coverage robot
US9160783B2 (en) 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
US8175677B2 (en) 2007-06-07 2012-05-08 MRI Interventions, Inc. MRI-guided medical interventional systems and methods
JP5037248B2 (ja) * 2007-07-17 2012-09-26 株式会社日立製作所 情報収集システムおよび情報収集ロボット
US8451731B1 (en) 2007-07-25 2013-05-28 Xangati, Inc. Network monitoring using virtual packets
KR20090012542A (ko) 2007-07-30 2009-02-04 주식회사 마이크로로봇 로봇을 이용한 홈 모니터링 시스템
US8400491B1 (en) 2007-08-01 2013-03-19 Sprint Communications Company L.P. Use-based adaptive video client for a bandwidth-constrained network
US8639797B1 (en) 2007-08-03 2014-01-28 Xangati, Inc. Network monitoring of behavior probability density
US7631833B1 (en) 2007-08-03 2009-12-15 The United States Of America As Represented By The Secretary Of The Navy Smart counter asymmetric threat micromunition with autonomous target selection and homing
US20090044334A1 (en) 2007-08-13 2009-02-19 Valence Broadband, Inc. Automatically adjusting patient platform support height in response to patient related events
US8116910B2 (en) 2007-08-23 2012-02-14 Intouch Technologies, Inc. Telepresence robot with a printer
KR101330734B1 (ko) 2007-08-24 2013-11-20 삼성전자주식회사 로봇청소기와 도킹 스테이션을 구비하는 로봇청소기 시스템
US20090070135A1 (en) 2007-09-10 2009-03-12 General Electric Company System and method for improving claims processing in the healthcare industry
US9060094B2 (en) 2007-09-30 2015-06-16 Optical Fusion, Inc. Individual adjustment of audio and video properties in network conferencing
US20090248200A1 (en) 2007-10-22 2009-10-01 North End Technologies Method & apparatus for remotely operating a robotic device linked to a communications network
US8045458B2 (en) 2007-11-08 2011-10-25 Mcafee, Inc. Prioritizing network traffic
US7987069B2 (en) 2007-11-12 2011-07-26 Bee Cave, Llc Monitoring patient support exiting and initiating response
JP2009125133A (ja) 2007-11-20 2009-06-11 Asano Dental Inc 歯科医療支援システム及び歯科医療支援用ｘ線センサ
CN100488149C (zh) * 2007-11-23 2009-05-13 北京工业大学 智能家居保姆系统和多网络单点接入集成方法
US8171123B2 (en) 2007-12-04 2012-05-01 Sony Computer Entertainment Inc. Network bandwidth detection and distribution
US20090146882A1 (en) 2007-12-07 2009-06-11 Nokia Corporation Method and system of generic position signalling for cellular networks
JP4787813B2 (ja) * 2007-12-07 2011-10-05 本田技研工業株式会社 検知対象検知システム
US20090164657A1 (en) 2007-12-20 2009-06-25 Microsoft Corporation Application aware rate control
US20090171170A1 (en) 2007-12-28 2009-07-02 Nellcor Puritan Bennett Llc Medical Monitoring With Portable Electronic Device System And Method
US20090102919A1 (en) 2007-12-31 2009-04-23 Zamierowski David S Audio-video system and method for telecommunications
US20090177641A1 (en) 2008-01-03 2009-07-09 General Electric Company Patient monitoring network and method of using the patient monitoring network
US20090173846A1 (en) 2008-01-09 2009-07-09 Allan Katz Medical boom
WO2009091536A1 (en) * 2008-01-15 2009-07-23 Roy Sandberg Low latency navigation for visual mapping for a telepresence robot
KR100971609B1 (ko) 2008-03-05 2010-07-20 주식회사 팬택 수신단말로의 접속 성능 향상 방법 및 접속 성능 향상시스템
US8301318B2 (en) * 2008-03-05 2012-10-30 Robotic Research Llc Robotic vehicle remote control system having a virtual operator environment
US8374171B2 (en) 2008-03-06 2013-02-12 Pantech Co., Ltd. Method for reducing the risk of call connection failure and system to perform the method
US8244469B2 (en) * 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US20100088232A1 (en) 2008-03-21 2010-04-08 Brian Gale Verification monitor for critical test result delivery systems
CA2659698C (en) * 2008-03-21 2020-06-16 Dressbot Inc. System and method for collaborative shopping, business and entertainment
US10368838B2 (en) 2008-03-31 2019-08-06 Intuitive Surgical Operations, Inc. Surgical tools for laser marking and laser cutting
JP2009258779A (ja) * 2008-04-11 2009-11-05 Toyota Motor Corp 移動ロボット及び足跡計画方法
US8179418B2 (en) 2008-04-14 2012-05-15 Intouch Technologies, Inc. Robotic based health care system
US8170241B2 (en) 2008-04-17 2012-05-01 Intouch Technologies, Inc. Mobile tele-presence system with a microphone system
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US9193065B2 (en) 2008-07-10 2015-11-24 Intouch Technologies, Inc. Docking system for a tele-presence robot
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 ３次元物体認識システム及びそれを用いた棚卸システム
WO2010014864A1 (en) 2008-07-31 2010-02-04 Consortium Of Rheumatology Researchers Of North America, Inc. System and method for collecting and managing patient data
CN101640295A (zh) 2008-07-31 2010-02-03 鸿富锦精密工业（深圳）有限公司 充电装置
US8476555B2 (en) 2008-08-29 2013-07-02 Illinois Tool Works Inc. Portable welding wire feed system and method
JP5040865B2 (ja) 2008-09-08 2012-10-03 日本電気株式会社 ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム
KR101503903B1 (ko) * 2008-09-16 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
US8144182B2 (en) 2008-09-16 2012-03-27 Biscotti Inc. Real time video communications system
US8340819B2 (en) 2008-09-18 2012-12-25 Intouch Technologies, Inc. Mobile videoconferencing robot system with network adaptive driving
US8180712B2 (en) 2008-09-30 2012-05-15 The Nielsen Company (Us), Llc Methods and apparatus for determining whether a media presentation device is in an on state or an off state
US8000235B2 (en) 2008-10-05 2011-08-16 Contextream Ltd. Bandwidth allocation method and apparatus
US20100145479A1 (en) 2008-10-09 2010-06-10 G2 Software Systems, Inc. Wireless Portable Sensor Monitoring System
US8996165B2 (en) 2008-10-21 2015-03-31 Intouch Technologies, Inc. Telepresence robot with a camera boom
JP5587331B2 (ja) 2008-11-21 2014-09-10 ストライカー コーポレイション 無線手術室通信システム
US8305423B2 (en) 2008-11-24 2012-11-06 Innovatec, S.L. Communication system for remote patient visits and clinical status monitoring
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
US7995493B2 (en) 2008-12-23 2011-08-09 Airvana, Corp. Estimating bandwidth in communication networks
US8462681B2 (en) 2009-01-15 2013-06-11 The Trustees Of Stevens Institute Of Technology Method and apparatus for adaptive transmission of sensor data with latency controls
US8849680B2 (en) 2009-01-29 2014-09-30 Intouch Technologies, Inc. Documentation through a remote presence robot
US8750906B2 (en) 2009-02-20 2014-06-10 T-Mobile Usa, Inc. Dynamic elements on a map within a mobile device, such as elements that facilitate communication between users
US8418073B2 (en) 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8423284B2 (en) 2009-04-15 2013-04-16 Abalta Technologies, Inc. Monitoring, recording and testing of navigation systems
US8897920B2 (en) 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US8340654B2 (en) 2009-05-26 2012-12-25 Lextech Labs Llc Apparatus and method for video display and control for portable device
JP5430246B2 (ja) 2009-06-23 2014-02-26 任天堂株式会社 ゲーム装置およびゲームプログラム
US8626499B2 (en) 2009-07-21 2014-01-07 Vivu, Inc. Multimedia signal latency management by skipping
US11399153B2 (en) 2009-08-26 2022-07-26 Teladoc Health, Inc. Portable telepresence apparatus
CN102473081B (zh) 2009-08-26 2016-05-25 英塔茨科技公司 便携式远程呈现设备
US8384755B2 (en) 2009-08-26 2013-02-26 Intouch Technologies, Inc. Portable remote presence robot
CN102006450A (zh) 2009-09-01 2011-04-06 华为终端有限公司 视频会议虚拟会场的呈现方法、设备及系统
US8380786B2 (en) 2009-09-22 2013-02-19 Thwapr, Inc. Subscribing to mobile media sharing
US8244402B2 (en) 2009-09-22 2012-08-14 GM Global Technology Operations LLC Visual perception system and method for a humanoid robot
WO2011044177A2 (en) 2009-10-05 2011-04-14 Seer Technology, Inc. System and method for generating a computer model to display a position of a person
US20110102460A1 (en) * 2009-11-04 2011-05-05 Parker Jordan Platform for widespread augmented reality and 3d mapping
US9626826B2 (en) * 2010-06-10 2017-04-18 Nguyen Gaming Llc Location-based real-time casino data
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US20110153198A1 (en) * 2009-12-21 2011-06-23 Navisus LLC Method for the display of navigation instructions using an augmented-reality concept
US8212533B2 (en) 2009-12-23 2012-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Robot battery charging apparatuses and methods
US20110169832A1 (en) 2010-01-11 2011-07-14 Roy-G-Biv Corporation 3D Motion Interface Systems and Methods
US11154981B2 (en) 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US20110187875A1 (en) 2010-02-04 2011-08-04 Intouch Technologies, Inc. Robot face used in a sterile environment
US9823342B2 (en) * 2010-02-09 2017-11-21 Aeroscout, Ltd. System and method for mobile monitoring of non-associated tags
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
US8704863B2 (en) 2010-04-07 2014-04-22 Apple Inc. Transitioning between circuit switched calls and video calls
US9002535B2 (en) * 2010-05-11 2015-04-07 Irobot Corporation Navigation portals for a remote vehicle control user interface
US9104202B2 (en) * 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
US8837900B2 (en) 2010-05-11 2014-09-16 Cisco Technology, Inc. Unintended video recording detection in a video recording device
US20110288417A1 (en) 2010-05-19 2011-11-24 Intouch Technologies, Inc. Mobile videoconferencing robot system with autonomy and image analysis
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US10343283B2 (en) 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
US10808882B2 (en) 2010-05-26 2020-10-20 Intouch Technologies, Inc. Tele-robotic system with a robot face placed on a chair
US8489641B1 (en) 2010-07-08 2013-07-16 Google Inc. Displaying layers of search results on a map
US8429674B2 (en) 2010-07-20 2013-04-23 Apple Inc. Maintaining data states upon forced exit
US8522167B2 (en) 2010-08-09 2013-08-27 Microsoft Corporation Relationship visualization and graphical interaction model in it client management
US8832293B2 (en) 2010-09-03 2014-09-09 Hulu, LLC Bandwidth allocation with modified seek function
US8781629B2 (en) 2010-09-22 2014-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Human-robot interface apparatuses and methods of controlling robots
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2661208B1 (en) 2011-01-07 2014-10-08 iRobot Corporation Evacuation station system
US12093036B2 (en) 2011-01-21 2024-09-17 Teladoc Health, Inc. Telerobotic system with a dual application screen presentation
US8965579B2 (en) 2011-01-28 2015-02-24 Intouch Technologies Interfacing with a mobile telepresence robot
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
EP2487577A3 (en) 2011-02-11 2017-10-11 BlackBerry Limited Presenting buttons for controlling an application
US8511540B2 (en) 2011-02-18 2013-08-20 Echostar Technologies L.L.C. Matrix code for use in verification of data card swap
US20120215380A1 (en) 2011-02-23 2012-08-23 Microsoft Corporation Semi-autonomous robot that supports multiple modes of navigation
US9094420B2 (en) 2011-02-24 2015-07-28 Avaya Inc. System and method for assuring quality real-time communication experience in virtual machine
US8532860B2 (en) 2011-02-25 2013-09-10 Intellibot Robotics Llc Methods and systems for automatically yielding to high-priority traffic
TWM412591U (en) 2011-03-23 2011-09-21 Micro Star Int Co Ltd Electrodes storage structure for cleaning robot
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US20140139616A1 (en) 2012-01-27 2014-05-22 Intouch Technologies, Inc. Enhanced Diagnostics for a Telepresence Robot
US9259842B2 (en) 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
US9069356B2 (en) * 2011-06-12 2015-06-30 Microsoft Technology Licensing, Llc Nomadic security device with patrol alerts
US8560021B2 (en) 2011-08-02 2013-10-15 Cellco Partnership Mobile device integration with WLAN functionality
US8776043B1 (en) 2011-09-29 2014-07-08 Amazon Technologies, Inc. Service image notifications
US8836751B2 (en) 2011-11-08 2014-09-16 Intouch Technologies, Inc. Tele-presence system with a user interface that displays different communication links
US20130158720A1 (en) 2011-12-15 2013-06-20 Honeywell International Inc. Hvac controller with performance log
CN104115503A (zh) 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
US9344606B2 (en) 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US8902278B2 (en) 2012-04-11 2014-12-02 Intouch Technologies, Inc. Systems and methods for visualizing and managing telepresence devices in healthcare networks
WO2013176760A1 (en) 2012-05-22 2013-11-28 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US10437460B2 (en) 2012-06-05 2019-10-08 Apple Inc. Methods and apparatus for cartographically aware gestures
US20140015914A1 (en) 2012-07-12 2014-01-16 Claire Delaunay Remote robotic presence
US20140032244A1 (en) 2012-07-25 2014-01-30 Duke University Systems and methods for telehealth delivery and analysis
US10152467B2 (en) 2012-08-13 2018-12-11 Google Llc Managing a sharing of media content among client computers
US20150119652A1 (en) 2013-10-31 2015-04-30 Elwha LLC, a limited liability company of the State of Delaware Telemedicine visual monitoring device with structured illumination

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot

Also Published As

Publication number Publication date
US20140207286A1 (en) 2014-07-24
EP2668008B1 (en) 2025-06-11
WO2012103525A2 (en) 2012-08-02
US9079311B2 (en) 2015-07-14
US9168656B1 (en) 2015-10-27
KR20180118219A (ko) 2018-10-30
US20250239362A1 (en) 2025-07-24
US20120197439A1 (en) 2012-08-02
EP2668008A2 (en) 2013-12-04
US8965579B2 (en) 2015-02-24
EP2668008A4 (en) 2018-01-24
US20160046021A1 (en) 2016-02-18
KR20140040094A (ko) 2014-04-02
US8718837B2 (en) 2014-05-06
CN104898652A (zh) 2015-09-09
US20120197464A1 (en) 2012-08-02
US20240087738A1 (en) 2024-03-14
US20150298317A1 (en) 2015-10-22
US20170334069A1 (en) 2017-11-23
US11830618B2 (en) 2023-11-28
CN103459099B (zh) 2015-08-26
JP5905031B2 (ja) 2016-04-20
EP2668008C0 (en) 2025-06-11
US20150314449A1 (en) 2015-11-05
US20220199253A1 (en) 2022-06-23
US20190375102A1 (en) 2019-12-12
US10399223B2 (en) 2019-09-03
JP2014503376A (ja) 2014-02-13
CN103459099A (zh) 2013-12-18
WO2012103525A3 (en) 2013-01-24
US11289192B2 (en) 2022-03-29
CN104898652B (zh) 2018-03-13
KR102068216B1 (ko) 2020-01-20
KR20180067724A (ko) 2018-06-20
US9469030B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
US11830618B2 (en) Interfacing with a mobile telepresence robot
US11468983B2 (en) Time-dependent navigation of telepresence robots
WO2015017691A1 (en) Time-dependent navigation of telepresence robots
EP2659321B1 (en) Mobile robot system
AU2011256720B2 (en) Mobile human interface robot
AU2017201879B2 (en) Mobile robot system

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000