KR101716805B1

KR101716805B1 - Robot control visualization apparatus

Info

Publication number: KR101716805B1
Application number: KR1020140190270A
Authority: KR
Inventors: 전세웅; 황정훈; 김승훈
Original assignee: 전자부품연구원
Priority date: 2014-12-26
Filing date: 2014-12-26
Publication date: 2017-03-16
Anticipated expiration: 2034-12-26
Also published as: KR20160079223A

Abstract

로봇 제어 시각화 장치는 작업 대상에 물리력을 제공하는 매니퓰레이터, 상기 제공된 물리력을 측정하는 물리력 측정 센서 및 상기 매니퓰레이터에 의한 작업을 촬상하는 카메라를 포함하는 로봇, 상기 촬상된 작업을 기초로 생성된 작업 영상을 디스플레이하는 디스플레이부 및 상기 측정된 물리력을 표현하는 비주얼 객체를 상기 작업 영상 상에 오버레이하는 비주얼 가이던스 제어부를 포함한다. 따라서, 로봇 제어 시각화 장치는 물리력 측정 센서를 통해 측정된 물리력을 작업 영상 상에 오버레이하여, 사용자가 직관적으로 인식할 수 있는 물리력에 대한 정보를 제공할 수 있다.A robot control visualization apparatus includes a manipulator for providing a physical force to a work subject, a physical force measurement sensor for measuring the physical force provided, and a robot for capturing an image of the work performed by the manipulator, And a visual guidance control unit for overlaying a visual object representing the measured physical force on the working image. Accordingly, the robot control visualization apparatus can overlay the physical force measured through the physical force measuring sensor on the working image, and provide information on the physical force that the user can intuitively perceive.

Description

[0001] ROBOT CONTROL VISUALIZATION APPARATUS [0002]

본 발명은 로봇 제어 시각화 기술에 관한 것으로, 보다 상세하게는, 작업 대상에 제공되는 물리력을 측정하고, 이를 작업 영상 상에 오버레이하는 로봇 제어 시각화 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a robot-controlled visualization technique, and more particularly, to a robot-controlled visualization apparatus that measures a physical force provided to a work subject and overlays the physical force on a work image.

로봇은 자동화 처리 시스템에서 점차 일반화되어 사용되고 있으며, 인간 노동력을 사용하여 달성할 수 없는 정밀도와 효율을 가지며 작업을 수행한다. 또한, 로봇은 작업 환경이 민감하거나 위험한 환경에 해당하여 인간 노동력을 사용하는 것이 바람직하지 않은 경우 사용될 수 있다.Robots are becoming increasingly popular in automated processing systems and perform tasks with the precision and efficiency that can not be achieved using human labor force. The robot can also be used when it is not desirable to use the human labor force in a sensitive or dangerous environment.

종래의 기술은 사용자가 로봇을 원격으로 조종하는 경우 로봇에 가해지는 힘을 사람에게 감각으로 제공하였다. 종래의 기술은 높은 비용을 필요로 하고, 잦은 작업의 경우 사용자의 피로감을 증가시킨다는 문제점이 있다. 또한, 힘토크 센서의 정보값이 별도의 모니터에 디스플레이되는 경우, 사용자의 시선이 분산되어 사용자의 조작 과정에서 문제점이 발생하였다.The conventional technique provides a sense to a person when the user manipulates the robot remotely. The conventional technology requires a high cost and increases the fatigue of the user in the case of frequent work. Further, when the information value of the force torque sensor is displayed on a separate monitor, the user's line of sight is dispersed, which causes a problem in the operation process of the user.

한국등록특허 제1,227,934호는 웨이퍼 운반 로봇을 교정하기 위한 시각화 시스템 및 방법에 관한 것으로, 카메라가 로봇상에 배치되고 처리 시스템에 의하여 미리 정의된 위치에 배치되는 교정 웨이퍼의 이미지 데이터를 획득하여 처리 시스템 내에 배치된 로봇의 운동을 교정하기 위한 웨이퍼 운반 로봇을 교정하기 위한 시각화 시스템 및 방법에 대하여 개시한다.Korean Patent No. 1,227,934 relates to a visualization system and method for calibrating a wafer carrying robot wherein a camera is disposed on a robot and acquires image data of a calibration wafer placed at a predefined position by a processing system, Discloses a visualization system and method for calibrating a wafer transport robot for calibrating the motion of a robot disposed within a robot.

한국등록특허 제1,200,551호는 작업영역 인식이 가능한 원격 제어 로봇 시스템에 관한 것으로, 로봇 주위의 작업현장에 대한 영상 이미지를 원격 제어기를 통해 확인할 수 있고 자체 위치 인식에 의해 설정된 작업을 수행할 수 있을 뿐만 아니라 주변 물체와의 충돌을 방지할 수 있어 안전성과 작업수행능력을 높일 수 있는 원격 제어 로봇 시스템에 대하여 개시한다.
Korean Patent No. 1,200,551 relates to a remote control robot system capable of recognizing a work area, in which a video image of a work site around the robot can be checked through a remote controller, The present invention relates to a remote control robot system capable of preventing collision with surrounding objects and enhancing safety and work performance.

한국등록특허 제1,227,934호 (2013. 01. 24 등록)Korean Registered Patent No. 1,227,934 (Registered on March 1, 2014) 한국등록특허 제1,200,551호 (2012. 11. 06 등록)Korean Registered Patent No. 1,200,551 (Registered on Nov. 06, 2012)

본 발명의 일 실시예는 물리력 측정 센서를 통해 측정된 물리력을 작업 영상 상에 오버레이하고자 한다.One embodiment of the present invention seeks to overlay the physical force measured through the physical force measuring sensor on the working image.

본 발명의 일 실시예는 측정된 물리력을 표현하는 비주얼 객체를 오버레이하여 사용자가 직관적으로 인식할 수 있는 물리력에 대한 정보를 제공하고자 한다.One embodiment of the present invention is to overlay a visual object representing a measured physical force to provide information about a physical force intuitively recognizable by a user.

본 발명의 일 실시예는 카메라를 사용하여 작업 대상 및 매니퓰레이터의 위치를 포함하는 작업 영상을 사용자에게 제공하고자 한다.
An embodiment of the present invention is to provide a user with a working image including a work object and a manipulator position using a camera.

실시예들 중에서, 로봇 제어 시각화 장치는 작업 대상에 물리력을 제공하는 매니퓰레이터, 상기 제공된 물리력을 측정하는 물리력 측정 센서 및 상기 매니퓰레이터에 의한 작업을 촬상하는 카메라를 포함하는 로봇, 상기 촬상된 작업을 기초로 생성된 작업 영상을 디스플레이하는 디스플레이부 및 상기 측정된 물리력을 표현하는 비주얼 객체를 상기 작업 영상 상에 오버레이하는 비주얼 가이던스 제어부를 포함한다.Among the embodiments, the robot control visualization apparatus includes a robot including a manipulator for providing a physical force to an object to be operated, a physical force measuring sensor for measuring the provided physical force, and a camera for photographing a work by the manipulator, And a visual guidance control unit for overlaying the visual object representing the measured physical force on the working image.

일 실시예에서, 상기 물리력 측정 센서는 상기 작업 대상에 대한 상기 매니퓰레이터의 힘 및 토크 중 적어도 하나를 측정할 수 있다.In one embodiment, the physical force measurement sensor may measure at least one of a force and a torque of the manipulator with respect to the workpiece.

일 실시예에서, 상기 비주얼 가이던스 제어부는 상기 작업 대상이 결정되면 상기 작업 대상의 윤곽선에 해당하는 비주얼 객체를 상기 작업 영상에 디스플레이할 수 있다.In one embodiment, the visual guidance controller may display a visual object corresponding to the outline of the work object on the work image when the work object is determined.

일 실시예에서, 로봇 제어 시각화 장치는 상기 매니퓰레이터의 이동 방향에 배치되고 기 설정된 거리 내에 있는 객체를 상기 작업 대상으로 결정하는 작업 대상 결정부를 더 포함할 수 있다.In one embodiment, the robot control visualization apparatus may further include a workpiece determining unit that determines an object positioned in a moving direction of the manipulator and within a predetermined distance as the work subject.

일 실시예에서, 상기 비주얼 가이던스 제어부는 상기 매니퓰레이터가 상기 작업 대상을 제어하면 상기 제공된 물리력의 세기에 따라 상기 작업 대상에 해당하는 비주얼 객체를 색체적으로 디스플레이할 수 있다.In one embodiment, the visual guidance control unit may display the visual object corresponding to the task object in a color-coded manner according to the strength of the provided physical force when the manipulator controls the task object.

일 실시예에서, 상기 비주얼 가이던스 제어부는 상기 작업 대상과 겹치지 않는 인접한 배경 영역에 상기 제공된 물리력의 세기에 해당하는 그레이 스케일, 바이모달형 크기, 블링크 간격 및 수치 레벨 중 적어도 하나를 포함하는 비주얼 표시자를 디스플레이할 수 있다.In one embodiment, the visual guidance control unit displays a visual indicator including at least one of a gray scale, a bimodal size, a blink interval, and a numerical level corresponding to the strength of the provided physical force in an adjacent background area that does not overlap the operation target Can be displayed.

일 실시예에서, 상기 비주얼 가이던스 제어부는 상기 매니퓰레이터가 상기 작업 대상을 제어하면 상기 작업 대상과 겹치지 않는 인접한 배경 영역에 상기 작업 대상의 속성에 따른 적어도 하나의 작업 오퍼레이터를 표현하고, 현재 진행되고 있는 작업 오퍼레이터를 강조할 수 있다.In one embodiment, the visual guidance control unit may display at least one operation operator according to the attribute of the operation object in an adjacent background area that does not overlap the operation object when the manipulator controls the operation object, The operator can be emphasized.

실시예들 중에서, 로봇 제어 시각화 장치는 작업 대상에 물리력을 제공하는 매니퓰레이터 및 상기 매니퓰레이터에 의한 작업을 촬상하는 카메라를 포함하는 로봇, 상기 촬상된 작업을 기초로 생성된 작업 영상을 디스플레이하는 디스플레이부 및 상기 매니퓰레이터가 상기 작업 대상을 제어하면 작업 오퍼레이터에 따라 상기 작업 대상에 오버레이되는 비주얼 객체를 상기 작업 영상 상에 디스플레이하는 비주얼 가이던스 제어부를 포함한다.
Among the embodiments, the robot control visualization apparatus includes a robot including a manipulator for providing a physical force to an object to be operated and a camera for capturing an image of the manipulation by the manipulator, a display unit for displaying a working image generated based on the sensed object, And a visual guidance controller for displaying a visual object overlaid on the work subject according to an operation operator when the manipulator controls the work subject.

본 발명의 일 실시예에 따른 로봇 제어 시각화 장치는 물리력 측정 센서를 통해 측정된 물리력을 작업 영상 상에 오버레이할 수 있다.The robot control visualization apparatus according to an embodiment of the present invention can overlay the physical force measured through the physical force measuring sensor on the working image.

본 발명의 일 실시예에 따른 로봇 제어 시각화 장치는 측정된 물리력을 표현하는 비주얼 객체를 오버레이하여 사용자가 직관적으로 인식할 수 있는 물리력에 대한 정보를 제공할 수 있다.The robot control visualization apparatus according to an embodiment of the present invention can overlay the visual object expressing the measured physical force to provide information on the physical force intuitively recognizable by the user.

본 발명의 일 실시예에 따른 로봇 제어 시각화 장치는 카메라를 사용하여 작업 대상 및 매니퓰레이터의 위치를 포함하는 작업 영상을 사용자에게 제공할 수 있다.
A robot control visualization apparatus according to an embodiment of the present invention can provide a user with a work image including a work object and a manipulator position using a camera.

도 1은 본 발명의 일 실시예에 따른 로봇 제어 시각화 장치를 설명하는 도면이다.
도 2는 도 1에 있는 원격 제어 장치의 내부 구성을 설명하는 블록도이다.
도 3은 도 1에 있는 원격 제어 장치에서 디스플레이되는 작업 영상을 설명하는 도면이다.
도 4는 도 1에 있는 원격 제어 장치에서 디스플레이되는 비주얼 객체를 설명하는 도면이다.1 is a view for explaining a robot control visualization apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating an internal configuration of the remote control apparatus shown in FIG.
FIG. 3 is a view for explaining a work image displayed on the remote control device in FIG. 1. FIG.
FIG. 4 is a diagram illustrating a visual object displayed on the remote control device in FIG. 1. FIG.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or "have" are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes any type of recording device that stores data that can be read by a computer system . Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 로봇 제어 시각화 장치를 설명하는 도면이고, 도 2는 도 1에 있는 원격 제어 장치의 내부 구성을 설명하는 블록도이다.FIG. 1 is a block diagram illustrating a robot control visualization apparatus according to an embodiment of the present invention, and FIG. 2 is a block diagram illustrating an internal configuration of the remote control apparatus shown in FIG.

도 1 및 2를 참조하면, 로봇 제어 시각화 장치(100)는 로봇(110) 및 원격 제어 장치(120)를 포함한다.Referring to FIGS. 1 and 2, a robot control visualization apparatus 100 includes a robot 110 and a remote control device 120.

로봇(110)은 매니퓰레이터(111), 물리력 측정 센서(112) 및 카메라(113)를 포함한다.The robot 110 includes a manipulator 111, a physical force measuring sensor 112, and a camera 113.

매니퓰레이터(111)는 작업 대상에 물리력을 제공할 수 있다. 일 실시예에서, 매니퓰레이터(111)는 작업 도구 또는 로봇 팔을 통해 구현될 수 있다. 매니퓰레이터(111)는 구조적 요소들(예를 들어, 복수의 축선들) 및 이들을 연결하는 관절들을 포함하고, 운동학적 용장성을 가지는 다관절식 작업 도구로 구현될 수 있다. 로봇 제어 시각화 장치(100)는 매니퓰레이터(111)의 복수의 축선들의 위치를 통해 관절들의 각을 추정할 수 있다. 또한, 로봇 제어 시각화 장치(100)는 매니퓰레이터(111)의 관절들의 각을 통해 복수의 축선들의 위치를 추정할 수 있다. 사용자는 카메라(113)에 의하여 생성된 작업 영상을 기초로 매니퓰레이터(111)를 제어하여 작업을 수행할 수 있다. 로봇 제어 시각화 장치(100)는 매니퓰레이터(111)에 의한 작업 대상(10)의 상태 변화를 작업 영상에 반영할 수 있다.The manipulator 111 can provide physical force to the work subject. In one embodiment, the manipulator 111 may be implemented via a working tool or a robotic arm. The manipulator 111 may include structural elements (e.g., a plurality of axes) and joints connecting them, and may be implemented as a multitubular operation tool having kinematic redundancy. The robot control visualization apparatus 100 can estimate the angles of the joints through the positions of the plurality of axes of the manipulator 111. [ Further, the robot control visualization apparatus 100 can estimate the position of the plurality of axes through the angles of the joints of the manipulator 111. [ The user can control the manipulator 111 based on the operation image generated by the camera 113 to perform the operation. The robot control visualization apparatus 100 can reflect the state change of the work subject 10 by the manipulator 111 on the work image.

물리력 측정 센서(112)는 매니퓰레이터(111)가 작업 대상(10)에 제공하는 물리력을 측정할 수 있다. 물리력 측정 센서(112)는 물리력이 작업 대상(10)에 작용할 때 발생되는 물체의 변형을 이용하여 물리력을 측정할 수 있다. 물리력 측정 센서(112)는 작용되는 물리력의 크기를 변위로 변환하고, 변환된 변위를 전기 신호로 변환할 수 있다. 일 실시예에서, 물리력 측정 센서(112)는 스트레인 게이지(Strain Gage)를 사용하여 작업 대상(10)의 변형을 측정할 수 있다. 스트레인 게이지는 금속 또는 반도체로 구성되는 전기저항으로 구현될 수 있고, 물리력 측정 센서(112)는 응력을 받아 변형되는 스트레인 게이지의 저항 값 변화를 이용하여 물리력을 측정할 수 있다. 일 실시예에서, 물리력 측정 센서(112)가 측정하는 물리력은 힘 및 토크에 해당할 수 있다. 즉, 물리력 측정 센서(112)는 작업 대상(10)에 대한 매니퓰레이터(111)의 힘 및 토크 중 적어도 하나를 측정할 수 있다.The physical force measurement sensor 112 can measure the physical force that the manipulator 111 provides to the workpiece 10. [ The physical force measuring sensor 112 can measure the physical force using the deformation of the object generated when the physical force acts on the workpiece 10. [ The physical force measuring sensor 112 may convert the magnitude of the applied physical force into a displacement and convert the converted displacement into an electrical signal. In one embodiment, the physical force measurement sensor 112 may measure strain of the workpiece 10 using a strain gage. The strain gauge may be implemented with an electrical resistance composed of a metal or a semiconductor, and the physical force measuring sensor 112 may measure the physical force using a change in resistance value of the strain gauge that is deformed under stress. In one embodiment, the physical force measured by the physical strength measurement sensor 112 may correspond to a force and a torque. That is, the physical force measurement sensor 112 can measure at least one of the force and the torque of the manipulator 111 with respect to the workpiece 10.

카메라(113)는 매니퓰레이터(111)의 작업 방향을 향해 배치되고 작업 대상(10) 및 작업 영상을 촬상할 수 있다. 일 실시예에서, 카메라(113)는 로봇 제어 시각화 장치(100)의 전면에 배치될 수 있고, 2-D 카메라 또는 3-D 카메라를 통해 구현될 수 있다. 여기에서, 카메라(113)의 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 카메라(113)는 사용자가 필요로 하는 특정 방향의 작업 영상을 촬영하기 위하여 배치될 수 있다. 카메라(113)는 초점 및 노출 양을 조절할 수 있고 시점 이동을 통해 다시점 영상을 촬상할 수 있다. 카메라(113)는 작업 대상(10)을 촬상하여 영상 처리부(130)에 제공할 수 있다. 작업 영상은 매니퓰레이터(111)의 작업 방향을 향해 배치된 작업 대상(10)에 대한 평면 영상 또는 입체적 영상에 해당할 수 있다.The camera 113 is disposed toward the working direction of the manipulator 111 and is capable of picking up the workpiece 10 and the working image. In one embodiment, the camera 113 may be placed on the front of the robot control visualization device 100 and implemented via a 2-D camera or a 3-D camera. Here, the position of the camera 113 is not limited to this, and may be changed according to the embodiment. The camera 113 can be arranged to photograph a working image in a specific direction required by the user. The camera 113 can adjust the focus and exposure amount and can capture a multi-view image through the movement of the viewpoint. The camera 113 can pick up the workpiece 10 and provide it to the image processing unit 130. [ The work image may correspond to a planar image or a three-dimensional image of the workpiece 10 disposed toward the working direction of the manipulator 111. [

도 2를 참조하면, 원격 제어 장치(120)는 디스플레이부(210), 비주얼 가이던스 제어부(220), 작업 대상 결정부(230), 위치 인식부(240) 및 제어부(250)를 포함한다.2, the remote control device 120 includes a display unit 210, a visual guidance control unit 220, a task determination unit 230, a position recognition unit 240, and a control unit 250.

디스플레이부(210)는 카메라(113)를 통해 촬상된 작업을 기초로 생성된 작업 영상을 사용자에게 디스플레이할 수 있다. 사용자는 작업 영상을 제공 받아 관심 영역에 대한 정보를 획득할 수 있다. 디스플레이부(210)는 비주얼 가이던스 제어부(220)에 의하여 제어되는 비주얼 객체, 비주얼 표시자 또는 작업 오퍼레이터를 디스플레이 화면 상에 출력할 수 있다.The display unit 210 may display a generated job image based on the job captured through the camera 113 to the user. The user can obtain information about the region of interest by receiving a work image. The display unit 210 may output a visual object, a visual indicator, or a task operator controlled by the visual guidance control unit 220 on the display screen.

비주얼 가이던스 제어부(220)는 측정된 물리력을 표현하는 비주얼 객체를 작업 영상 상에 오버레이(Overlay)할 수 있다. 일 실시예에서, 비주얼 가이던스 제어부(220)는 작업 대상(10)이 결정되면 작업 대상의 윤곽선에 해당하는 비주얼 객체를 작업 영상에 디스플레이할 수 있다. 비주얼 가이던스 제어부(220)는 작업 대상 결정부(230)에 의하여 결정된 작업 대상(10)에 대한 정보를 수신할 수 있다. 비주얼 가이던스 제어부(220)는 결정된 작업 대상(10)의 윤곽선에 해당하는 비주얼 객체를 생성하여 디스플레이부(210)에 제공할 수 있다. 예를 들어, 비주얼 객체는 비주얼 가이던스 제어부(220)에 의하여 작업 대상(10)의 윤곽선이 강조된 형태로 디스플레이될 수 있다.The visual guidance control unit 220 may overlay a visual object representing the measured physical force on the working image. In one embodiment, the visual guidance control unit 220 may display a visual object corresponding to the contour of the work object on the work image when the work object 10 is determined. The visual guidance control unit 220 can receive information on the work target 10 determined by the work subject determination unit 230. [ The visual guidance control unit 220 may generate a visual object corresponding to the determined outline of the work object 10 and provide the generated visual object to the display unit 210. [ For example, the visual guidance may be displayed in a form in which the outline of the work subject 10 is highlighted by the visual guidance control unit 220.

일 실시예에서, 비주얼 객체는 비주얼 가이던스 제어부(220)에 의하여 윤곽선의 두께 및 형태가 조절될 수 있다. 원격 제어 장치(120)의 데이터베이스는 작업 대상(10)에 대한 파라미터를 미리 저장할 수 있다. 원격 제어 장치(120)의 데이터베이스는 작업 대상(10)의 파라미터를 미리 일괄적으로 저장하거나 또는 이벤트 발생에 따라 저장할 수 있다. 또한, 작업 대상(10)이 작업 대상 결정부(230)에 의하여 결정되면 원격 제어 장치(120)는 작업 영상을 통해 디스플레이되는 작업 대상(10)의 상태 정보를 판단할 수 있다. 원격 제어 장치(120)의 데이터베이스는 비주얼 객체가 사용자의 조작에 의하여 제어되는 경우 해당 작업 대상(10)의 상태 정보를 판단하여 데이터베이스에 작업 대상(10)의 파라미터를 저장할 수 있다. 즉, 비주얼 객체는 데이터베이스에 저장된 작업 대상(10)의 파라미터에 대응하여 기 설정된 방식으로 제어되거나, 사용자의 조작에 의하여 제어될 수 있다.In one embodiment, the visual object may be adjusted in thickness and shape of the contour by the visual guidance control 220. The database of the remote control device 120 may store parameters for the work subject 10 in advance. The database of the remote control device 120 can store the parameters of the work subject 10 in a batch or in accordance with the occurrence of an event. In addition, when the work subject 10 is determined by the work subject determination unit 230, the remote control device 120 can determine the status information of the work subject 10 displayed on the work image. The database of the remote control device 120 can determine the state information of the operation object 10 and store the parameter of the operation object 10 in the database when the visual object is controlled by the user's operation. That is, the visual object may be controlled in a predetermined manner corresponding to the parameter of the object 10 stored in the database, or may be controlled by a user's operation.

일 실시예에서, 비주얼 가이던스 제어부(220)는 매니퓰레이터(111)가 작업 대상(10)을 제어하면 제공된 물리력의 세기에 따라 작업 대상(10)에 해당하는 비주얼 객체를 색체적으로 디스플레이할 수 있다. 보다 구체적으로, 원격 제어 장치(120)는 물리력 측정 센서(112)에 의하여 측정된 물리력을 수신할 수 있다. 비주얼 가이던스 제어부(220)는 작업 대상(10)에 제공된 물리력의 세기에 따라 비주얼 객체를 제어할 수 있다. In one embodiment, the visual guidance control unit 220 can display the visual object corresponding to the work subject 10 in a color-coded manner according to the strength of the provided physical force when the manipulator 111 controls the work subject 10. More specifically, the remote control apparatus 120 can receive the physical force measured by the physical force measuring sensor 112. [ The visual guidance control unit 220 can control the visual object according to the strength of the physical force provided to the work subject 10.

일 실시예에서, 비주얼 가이던스 제어부(220)는 기준 물리력을 미리 설정할 수 있다. 예를 들어, 비주얼 가이던스 제어부(220)는 측정된 물리력이 제1 기준 물리력 이하인 경우 비주얼 객체를 노란색으로 디스플레이할 수 있다. 여기에서, 제1 기준 물리력은 작업 대상(10)에 제공되는 물리력이 부족하여 작업을 수행을 할 수 없는 물리력에 해당한다. 사용자는 비주얼 객체가 노란색인 경우 매니퓰레이터(111)의 물리력을 증가시켜 작업을 수행할 수 있다. 또한, 비주얼 가이던스 제어부(220)는 측정된 물리력이 제1 기준 물리력 이상이고 제2 기준 물리력 이하인 경우 비주얼 객체를 초록색으로 디스플레이할 수 있다. 한편, 비주얼 가이던스 제어부(220)는 측정된 물리력이 제2 기준 물리력 이상인 경우 비주얼 객체를 빨간색으로 디스플레이할 수 있다. 여기에서, 제2 기준 물리력은 작업 대상(10)에 제공되는 물리력이 과잉되어 작업 대상(10)을 손상시킬 위험이 있는 물리력에 해당한다. 사용자는 비주얼 객체가 빨간 색인 경우 매니퓰레이터(111)의 물리력을 감소시켜 작업을 수행할 수 있다.In one embodiment, the visual guidance control unit 220 may preset the reference physical force. For example, the visual guidance control unit 220 may display a visual object in yellow if the measured physical force is equal to or less than a first reference physical force. Here, the first reference physical force corresponds to a physical force that can not perform a task due to a lack of physical force provided to the work subject 10. If the visual object is yellow, the user can increase the physical power of the manipulator 111 to perform the task. In addition, the visual guidance control unit 220 may display the visual object in green when the measured physical force is equal to or greater than the first reference physical force and equal to or less than the second reference physical force. Meanwhile, the visual guidance control unit 220 may display the visual object in red when the measured physical force is equal to or greater than the second reference physical force. Here, the second reference physical force corresponds to a physical force at which there is a risk that the physical force provided to the work subject 10 is excessive, thereby damaging the work subject 10. If the visual object is red, the user can reduce the physical power of the manipulator 111 and perform the task.

일 실시예에서, 비주얼 가이던스 제어부(220)는 작업 대상과 겹치지 않는 인접한 배경 영역에 물리력의 세기에 해당하는 그레이 스케일, 바이모달형 크기, 블링크 간격 및 수치 레벨 중 적어도 하나를 포함하는 비주얼 표시자를 디스플레이 할 수 있다. 예를 들어, 비주얼 가이던스 제어부(220)가 비주얼 표시자를 그레이 스케일을 통해 디스플레이하는 경우, 비주얼 표시자는 매니퓰레이터(111)가 제공하는 물리력을 단계별로 색체 또는 명암의 변화를 나타내도록 디스플레이할 수 있다.In one embodiment, the visual guidance control 220 displays a visual indicator that includes at least one of a gray scale, a bimodal size, a blink interval, and a numerical level corresponding to the strength of the physical force in an adjacent background area that does not overlap the object of interest can do. For example, when the visual guidance control unit 220 displays the visual indicator through gray scale, the visual indicator can display the physical force provided by the manipulator 111 in a stepwise manner to indicate a change in hue or contrast.

일 실시예에서, 비주얼 가이던스 제어부(220)가 비주얼 표시자를 바이모달형 크기를 통해 디스플레이할 수 있다. 여기에서, 비주얼 표시자는 측정된 물리량을 수치로 표현할 수 있다. 예를 들어, 비주얼 가이던스 제어부(220)는 제1 및 제2 기준 물리력을 설정할 수 있고, 측정된 물리량이 제1 기준 물리력 이하인 경우 비주얼 표시자를 기준 크기보다 크게 디스플레이할 수 있다. 비주얼 가이던스 제어부(220)는 측정된 물리력이 제1 기준 물리력 이상이고 제2 기준 물리력 이하인 경우 비주얼 표시자를 기준 크기로 디스플레이할 수 있다. 또한, 비주얼 가이던스 제어부(220)는 측정된 물리량이 제2 기준 물리력 이상인 경우 비주얼 표시자를 기준 크기보다 크게 디스플레이할 수 있다. 사용자는 비주얼 표시자의 크기가 커지는 경우, 매니퓰레이터(111)가 제공하는 물리력을 제어하여 작업을 수행할 수 있다.In one embodiment, the visual guidance control 220 may display the visual indicator through a bimodal size. Here, the visual indicator can represent the measured physical quantity in numerical value. For example, the visual guidance controller 220 can set the first and second reference physical powers, and when the measured physical quantity is equal to or less than the first reference physical force, the visual indicator can be displayed larger than the reference size. The visual guidance control unit 220 can display the visual indicator with the reference size when the measured physical power is equal to or greater than the first reference physical force and equal to or less than the second reference physical force. In addition, the visual guidance controller 220 may display the visual indicator larger than the reference size when the measured physical quantity is equal to or greater than the second reference physical force. When the size of the visual indicator increases, the user can perform the task by controlling the physical force provided by the manipulator 111. [

일 실시예에서, 비주얼 가이던스 제어부(220)가 비주얼 표시자를 블링크 간격을 통해 디스플레이할 수 있다. 예를 들어, 비주얼 가이던스 제어부(220)는 측정된 물리량의 크기에 따라 블링크의 시간 간격을 조절할 수 있다. 비주얼 가이던스 제어부(220)는 측정된 물리량의 크기가 클수록 블링크의 시간 간격을 짧게 할 수 있다. 즉, 비주얼 가이던스 제어부(220)는 블링크의 시간 간격이 측정된 물리량에 반비례하도록 비주얼 표시자를 디스플레이할 수 있다.In one embodiment, the visual guidance control 220 may display the visual indicator through the blink interval. For example, the visual guidance control unit 220 may adjust the time interval of blinks according to the magnitude of the measured physical quantity. The visual guidance control unit 220 can shorten the blink time interval as the measured physical quantity is larger. That is, the visual guidance control unit 220 may display a visual indicator such that the time interval of blinks is inversely proportional to the measured physical quantity.

일 실시예에서, 비주얼 가이던스 제어부(220)가 비주얼 표시자를 수치 레벨을 통해 디스플레이할 수 있다. 비주얼 가이던스 제어부(220)는 측정된 물리력에 대응하도록 비주얼 표시자를 디스플레이할 수 있다.In one embodiment, the visual guidance control 220 can display a visual indicator through a numerical level. The visual guidance control unit 220 may display a visual indicator to correspond to the measured physical force.

비주얼 가이던스 제어부(220)는 매니퓰레이터(111)가 작업 대상(10)을 제어하면 작업 대상(10)과 겹치지 않는 인접한 배경 영역에 작업 대상(10)의 속성에 따른 적어도 하나의 작업 오퍼레이터를 표현하고, 현재 진행되고 있는 작업 오퍼레이터를 강조할 수 있다. 일 실시예에서, 원격 제어 장치(120)의 데이터베이스는 작업 대상(10)의 속성을 미리 저장하거나, 작업을 진행면서 작업 대상(10)의 속성을 저장할 수 있다. 비주얼 가이던스 제어부(220)는 작업 대상(10)과 겹치지 않는 인접한 배경 영역에 적어도 하나의 작업 오퍼레이터를 표현할 수 있고, 사용자는 작업 오퍼레이터에 따라 작업을 수행할 수 있다. 예를 들어, 작업 오퍼레이터는 매니퓰레이터(111)가 작업 대상(10)을 미는 작업을 수행 중인 경우, [밀기]를 디스플레이할 수 있다.The visual guidance control unit 220 displays at least one operation operator in accordance with the attribute of the operation target 10 in an adjacent background area that does not overlap the operation target 10 when the manipulator 111 controls the operation target 10, It is possible to emphasize the ongoing operations operator. In one embodiment, the database of the remote control device 120 may store attributes of the work subject 10 in advance, or may store the attributes of the work subject 10 while proceeding with the work. The visual guidance control unit 220 can represent at least one operation operator in an adjacent background area that does not overlap with the operation target 10, and the user can perform an operation according to the operation operator. For example, the operation operator can display [pushing] when the manipulator 111 is performing a task of pushing the workpiece 10.

작업 대상 결정부(230)는 매니퓰레이터(111)의 이동 방향에 배치되고 기 설정된 거리에 있는 객체를 작업 대상(10)으로 결정할 수 있다. 일 실시예에서, 원격 제어 장치(120)는 위치 인식부(240)를 통해 매니퓰레이터(111)의 위치를 인식할 수 있다. 작업 대상 결정부(230)는 매니퓰레이터(111)가 이동하는 경우 매니퓰레이터(111)의 이동 방향에 배치되고 매니퓰레이터(111)의 작업 반경에 있는 객체를 작업 대상(10)으로 결정할 수 있다. 일 실시예에서, 작업 대상 결정부(230)는 매니퓰레이터(111)와 가장 가까운 객체를 작업 대상(10)으로 결정할 수 있다.The workpiece determining unit 230 can determine an object placed at a predetermined distance from the workpiece 10 in the moving direction of the manipulator 111. [ In one embodiment, the remote control device 120 can recognize the position of the manipulator 111 through the position recognition unit 240. [ The object determining unit 230 may determine an object placed in the moving direction of the manipulator 111 and an object in the operation radius of the manipulator 111 as the object 10 when the manipulator 111 moves. In one embodiment, the work subject determination unit 230 may determine an object closest to the manipulator 111 as the work subject 10.

일 실시예에서, 위치 인식부(240)는 고정 마커 또는 특징 영역을 인식하여 매니퓰레이터(111)의 위치를 인식할 수 있다. 위치 인식부(240)는 캘리브레이션(Calibration)을 통해 고정 마커를 지정할 수 있고, 고정 마커를 기준으로 매니퓰레이터(111)의 위치를 인식할 수 있다. 위치 인식부(240)는 절대 좌표계를 통해 고정 마커를 기준으로 매니퓰레이터(111)의 위치를 인식할 수 있다. 위치 인식부(240)는 고정 마커의 위치 및 방향을 기초로 매니퓰레이터(111)의 위치, 방향 및 작업 수행 여부를 결정할 수 있다.In one embodiment, the position recognition unit 240 recognizes the position of the manipulator 111 by recognizing the fixed marker or the characteristic region. The position recognition unit 240 can specify a fixed marker through calibration and can recognize the position of the manipulator 111 based on the fixed marker. The position recognition unit 240 can recognize the position of the manipulator 111 based on the fixed marker through the absolute coordinate system. The position recognition unit 240 can determine the position, direction, and performances of the manipulator 111 based on the position and orientation of the fixed marker.

일 실시예에서, 위치 인식부(240)는 특징 영역을 인식하고, 특징 영역의 유사도를 판단하여 매니퓰레이터(111)의 위치를 인식할 수 있다. 보다 구체적으로, 위치 인식부(240)는 작업 영상에서 제1 특징 영역을 인식할 수 있다. 특징 영역은 특징 글자, 특징점, 특징 형상, 특징 모양, 특징 색깔 또는 특징 도형에 해당할 수 있다. 위치 인식부(240)는 제1 특징 영역과 매니퓰레이터(111)에 표시된 제2 특징 영역의 유사도를 분석할 수 있다. 위치 인식부(240)는 특징 영역들의 유사도에 따라 매니퓰레이터(111)의 검출 여부를 판단할 수 있다. 예를 들어, 제1 및 제2 특징 영역들이 “+” 모양에 해당하고 유사도가 높다고 분석되는 경우, 위치 인식부(240)는 매니퓰레이터(111)의 위치를 인식할 수 있다. 한편, 제1 및 제2 특징 영역들의 유사도가 낮다고 분석되는 경우, 위치 인식부(240)는 서로 유사한 특징 영역들의 존재 여부를 검색할 수 있다.In one embodiment, the position recognition unit 240 recognizes the feature region and determines the position of the manipulator 111 by determining the degree of similarity of the feature region. More specifically, the position recognition unit 240 can recognize the first feature region in the working image. The feature region may correspond to feature character, feature point, feature feature, feature feature, feature color, or feature feature. The position recognition unit 240 may analyze the similarity between the first feature region and the second feature region displayed on the manipulator 111. [ The position recognition unit 240 may determine whether the manipulator 111 is detected based on the degree of similarity of the feature regions. For example, when the first and second characteristic regions correspond to a " + " shape and the degree of similarity is analyzed, the position recognition unit 240 can recognize the position of the manipulator 111. [ On the other hand, when it is analyzed that the degree of similarity between the first and second characteristic regions is low, the location recognition unit 240 can search for the existence of similar characteristic regions.

제어부(250)는 원격 제어 장치(120)의 전체적인 동작을 제어하고, 디스플레이부(210), 비주얼 가이던스 제어부(220), 작업 대상 결정부(230) 및 위치 인식부(240) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.The control unit 250 controls the overall operation of the remote control device 120 and controls the control flow or data between the display unit 210, the visual guidance control unit 220, the work determining unit 230, You can control the flow.

로봇 제어 시각화 장치(100)는 영상 처리부(130)에서 생성된 작업 영상을 출력 장치를 통해 사용자에게 제공할 수 있다. 사용자는 작업 영상을 제공 받아 작업 대상(10) 또는 관심 영역에 대한 정보를 획득할 수 있다. 사용자는 작업 영상을 기초로 작업 환경에 대한 정보를 획득하고, 매니퓰레이터(111)를 제어하여 작업을 수행할 수 있다.
The robot control visualization apparatus 100 can provide the user with the task image generated by the image processing unit 130 through the output device. The user can receive the task video and obtain information about the task target 10 or the region of interest. The user can acquire information on the work environment based on the work image and control the manipulator 111 to perform the work.

도 3은 도 1에 있는 원격 제어 장치에서 디스플레이되는 작업 영상을 설명하는 도면이다.FIG. 3 is a view for explaining a work image displayed on the remote control device in FIG. 1. FIG.

도 3을 참조하면, 비주얼 가이던스 제어부(220)는 매니퓰레이터(111)가 작업 대상(10)을 제어하면 제공된 물리력의 세기에 따라 비주얼 표시자(310)를 색체적으로 디스플레이할 수 있다. 보다 구체적으로, 원격 제어 장치(120)는 물리력 측정 센서(112)에 의하여 측정된 물리력을 수신할 수 있다. 비주얼 가이던스 제어부(220)는 작업 대상(10)에 제공된 물리력의 세기에 따라 비주얼 표시자(310)를 제어할 수 있다.Referring to FIG. 3, the visual guidance control unit 220 can display the visual indicator 310 in a color-coded manner according to the strength of the provided physical force when the manipulator 111 controls the work subject 10. More specifically, the remote control apparatus 120 can receive the physical force measured by the physical force measuring sensor 112. [ The visual guidance control unit 220 can control the visual indicator 310 according to the strength of the physical force provided to the work subject 10.

일 실시예에서, 비주얼 가이던스 제어부(220)는 기준 물리력을 미리 설정할 수 있다. 예를 들어, 비주얼 가이던스 제어부(220)는 측정된 물리력이 제1 기준 물리력 이하인 경우 비주얼 표시자(310)를 노란색으로 디스플레이할 수 있다. 여기에서, 제1 기준 물리력은 작업 대상(10)에 제공되는 물리력이 부족하여 작업을 수행을 할 수 없는 물리력에 해당한다. 사용자는 비주얼 표시자(310)가 노란색인 경우 매니퓰레이터(111)의 물리력을 증가시켜 작업을 수행할 수 있다. 또한, 비주얼 가이던스 제어부(220)는 측정된 물리력이 제1 기준 물리력 이상이고 제2 기준 물리력 이하인 경우 비주얼 표시자(310)를 초록색으로 디스플레이할 수 있다. 한편, 비주얼 가이던스 제어부(220)는 측정된 물리력이 제2 기준 물리력 이상인 경우 비주얼 표시자(310)를 빨간색으로 디스플레이할 수 있다. 여기에서, 제2 기준 물리력은 작업 대상(10)에 제공되는 물리력이 과잉되어 작업 대상(10)을 손상시킬 위험이 있는 물리력에 해당한다. 사용자는 비주얼 표시자(310)가 빨간 색인 경우 매니퓰레이터(111)의 물리력을 감소시켜 작업을 수행할 수 있다.In one embodiment, the visual guidance control unit 220 may preset the reference physical force. For example, the visual guidance control unit 220 may display the visual indicator 310 in yellow when the measured physical power is equal to or less than the first reference physical power. Here, the first reference physical force corresponds to a physical force that can not perform a task due to a lack of physical force provided to the work subject 10. If the visual indicator 310 is yellow, the user can increase the physical power of the manipulator 111 to perform the task. In addition, the visual guidance controller 220 may display the visual indicator 310 in green when the measured physical power is equal to or greater than the first reference physical power and equal to or less than the second reference physical power. Meanwhile, the visual guidance control unit 220 may display the visual indicator 310 in red when the measured physical power is equal to or greater than the second reference physical power. Here, the second reference physical force corresponds to a physical force at which there is a risk that the physical force provided to the work subject 10 is excessive, thereby damaging the work subject 10. The user can reduce the physical power of the manipulator 111 and perform the task when the visual indicator 310 is red.

일 실시예에서, 비주얼 가이던스 제어부(220)가 비주얼 표시자(320)를 수치 레벨을 통해 디스플레이할 수 있다. 비주얼 가이던스 제어부(220)는 측정된 물리력에 대응하도록 비주얼 표시자(320)를 디스플레이할 수 있다. 예를 들어, 비주얼 가이던스 제어부(220)는 매니퓰레이터(111)가 제공할 수 있는 물리력을 9단계로 설정할 수 있다. 여기에서, 물리력 측정 센서(112)에 의하여 측정된 물리력이 1단계에 해당하는 경우, 비주얼 표시자(320)는 [111]에 해당할 수 있고, 측정된 물리력이 4단계에 해당하는 경우, 비주얼 표시자(320)는 [444]를 출력할 수 있다. In one embodiment, the visual guidance control 220 may display the visual indicator 320 through a numerical level. The visual guidance control unit 220 may display the visual indicator 320 so as to correspond to the measured physical force. For example, the visual guidance control unit 220 may set the physical power that the manipulator 111 can provide in nine levels. Here, when the physical force measured by the physical force measuring sensor 112 corresponds to the first stage, the visual indicator 320 may correspond to [111], and when the measured physical force corresponds to the fourth stage, The indicator 320 may output [444].

일 실시예에서, 비주얼 가이던스 제어부(220)는 비주얼 표시자(330)를 막대 그래프를 통해 디스플레이할 수 있다. 비주얼 가이던스 제어부(220)는 측정된 물리력에 대응하도록 막대 그래프를 표시할 수 있다.In one embodiment, the visual guidance control 220 can display the visual indicator 330 through a bar graph. The visual guidance control unit 220 may display a bar graph corresponding to the measured physical force.

일 실시예에서, 비주얼 가이던스 제어부(220)는 작업 대상과 겹치지 않는 인접한 배경 영역에 물리력의 세기에 해당하는 그레이 스케일, 바이모달형 크기, 블링크 간격 및 수치 레벨 중 적어도 하나를 포함하는 비주얼 표시자를 디스플레이 할 수 있다.
In one embodiment, the visual guidance control 220 displays a visual indicator that includes at least one of a gray scale, a bimodal size, a blink interval, and a numerical level corresponding to the strength of the physical force in an adjacent background area that does not overlap the object of interest can do.

도 4는 도 1에 있는 원격 제어 장치에서 디스플레이되는 비주얼 객체를 설명하는 도면이다.FIG. 4 is a diagram illustrating a visual object displayed on the remote control device in FIG. 1. FIG.

일 실시예에서, 비주얼 가이던스 제어부(220)는 매니퓰레이터(111)가 작업 대상(10)을 제어하면 제공된 물리력의 세기에 따라 작업 대상(10)에 해당하는 비주얼 객체(410)를 색체적으로 디스플레이할 수 있다. 보다 구체적으로, 원격 제어 장치(120)는 물리력 측정 센서(112)에 의하여 측정된 물리력을 수신할 수 있다. 비주얼 가이던스 제어부(220)는 작업 대상(10)에 제공된 물리력의 세기에 따라 비주얼 객체(410)를 제어할 수 있다.
The visual guidance control unit 220 controls the manipulation object 10 to display the visual object 410 corresponding to the task object 10 in a color-coded manner according to the strength of the provided physical force . More specifically, the remote control apparatus 120 can receive the physical force measured by the physical force measuring sensor 112. [ The visual guidance control unit 220 may control the visual object 410 according to the strength of the physical force provided to the work subject 10. [

로봇 제어 시각화 장치(100)는 물리력 측정 센서(112)를 통해 측정된 물리력을 작업 영상 상에 오버레이할 수 있다. 로봇 제어 시각화 장치(100)는 측정된 물리력을 표현하는 비주얼 객체를 오버레이하여 사용자가 직관적으로 인식할 수 있는 물리력에 대한 정보를 제공할 수 있다. 또한, 로봇 제어 시각화 장치(100)는 카메라를 사용하여 작업 대상 및 매니퓰레이터의 위치를 포함하는 작업 영상을 사용자에게 제공할 수 있다.
The robot control visualization apparatus 100 can overlay the physical force measured through the physical force measurement sensor 112 on the working image. The robot control visualization apparatus 100 can overlay the visual object expressing the measured physical force to provide information on the physical force that the user can intuitively recognize. In addition, the robot control visualization apparatus 100 may provide a user with a working image including a work object and a manipulator position using a camera.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the present invention as defined by the following claims It can be understood that

100: 로봇 제어 시각화 장치
110: 로봇 111: 매니퓰레이터
112: 물리력 측정 센서 113: 카메라
120: 원격 제어 장치 210: 디스플레이부
220: 비주얼 가이던스 제어부 230: 작업 대상 결정부
240: 위치 인식부 250: 제어부
310, 320, 330: 비주얼 표시자
410: 비주얼 객체100: Robot control visualization device
110: robot 111: manipulator
112: physical force measuring sensor 113: camera
120: remote control device 210: display unit
220: visual guidance control unit 230:
240: position recognition unit 250:
310, 320, 330: visual indicator
410: Visual Objects

Claims

A robot including a manipulator for providing a physical force to a work subject, a physical force measuring sensor for measuring a physical force provided to the work subject, and a camera for photographing a work by the manipulator;
A display unit for displaying a work image generated based on a work photographed by the camera; And
And a visual guidance controller for overlaying a visual object representing the physical force measured by the physical force measuring sensor on the working image,
Wherein the visual guidance control unit displays the visual object in a first color when the physical force measured by the physical force measuring sensor is equal to or less than a first reference physical force, Displays the visual object in a second color when the physical force measured by the physical force measuring sensor is equal to or greater than a second reference physical force,
Wherein the visual guidance control unit displays a visual indicator larger than a reference size when the physical force measured by the physical force measuring sensor is equal to or less than a first reference physical force and displays the physical indicator measured by the physical force measuring sensor as a first reference physical force, Displays the visual indicator at the reference size when the physical indicator is below the physical force, and displays the visual indicator above the reference size when the physical force measured by the physical force measurement sensor is greater than or equal to the second reference physical force.

The apparatus of claim 1, wherein the physical force measuring sensor
And measures at least one of a force and a torque provided to the object by the manipulator.

The apparatus of claim 1, wherein the visual guidance control unit
Wherein when the work object is determined, the visual object corresponding to the outline of the work object is displayed on the work image.

The method according to claim 1,
Further comprising: an object determining unit that determines an object, which is disposed in a moving direction of the manipulator and is within a predetermined distance, as the object of the operation.

The apparatus of claim 1, wherein the visual guidance control unit
Wherein the manipulator displays the visual object corresponding to the task object in a color-coded manner according to the strength of the physical force provided to the task object, when the manipulator controls the task object.

6. The apparatus of claim 5, wherein the visual guidance control unit
A visual indicator including at least one of a gray scale, a bimodal size, a blink interval, and a numerical level corresponding to a strength of a physical force provided to the work object in an adjacent background area that does not overlap the work subject, Control visualization device.

The apparatus of claim 1, wherein the visual guidance control unit
Wherein when the manipulator controls the operation object, at least one operation operator corresponding to the attribute of the operation object is represented in an adjacent background area that does not overlap the operation object, and emphasizes the ongoing operation operator Visualization device.

A robot including a manipulator for providing physical force to a work subject and a camera for capturing an image of work by the manipulator;
A display unit for displaying a work image generated based on a work photographed by the camera; And
And a visual guidance control unit for displaying a visual object corresponding to the outline of the object to be operated on the operation image according to the operation operator when the manipulator controls the operation object,
Wherein the visual guidance control unit displays the visual object in a first color when the physical force measured by the physical force measurement sensor is equal to or less than the first reference physical force, and the visual guidance unit controls, when the physical force measured by the physical force measuring sensor is equal to or greater than the first reference physical force, Displays the visual object in a second color when the physical force measured by the physical force measuring sensor is equal to or greater than a second reference physical force,
Wherein the visual guidance control unit displays a visual indicator larger than a reference size when the physical force measured by the physical force measuring sensor is equal to or less than a first reference physical force and displays the physical indicator measured by the physical force measuring sensor as a first reference physical force, Displays the visual indicator at the reference size when the physical indicator is below the physical force, and displays the visual indicator above the reference size when the physical force measured by the physical force measurement sensor is greater than or equal to the second reference physical force.