KR20080037287A

KR20080037287A - Robot and method for expressing emotions by moving body by judging user's action

Info

Publication number: KR20080037287A
Application number: KR1020060104159A
Authority: KR
Inventors: 오연순; 심상수; 이우승
Original assignee: 에스케이 텔레콤주식회사
Priority date: 2006-10-25
Filing date: 2006-10-25
Publication date: 2008-04-30
Anticipated expiration: 2026-10-25
Also published as: KR101309562B1

Abstract

본원 발명은 화상 카메라가 장착된 로봇에서 다양한 감정 표현에 해당하는 로봇의 행동을 데이터베이스화 시켜둔 뒤 화상카메라로 입력되는 동영상을 움직임 검출방식으로 처리하여 사용자의 행동을 판단하고, 이에 따라 로봇의 머리, 몸, 팔, 표정을 움직여 감정을 표현하는 방법에 관한 발명이다.In the present invention, a robot equipped with an image camera has a database of robot behaviors corresponding to various emotion expressions, and then processes a video inputted by the image camera using a motion detection method to determine a user's behavior. The invention is about how to express emotions by moving body, arms and expressions.

본 발명에 의하면, 로봇에 장착된 화상카메라로 사용자의 동영상을 입력받는 단계와, 상기 화상 카메라로 촬영한 사용자의 동영상에서 사용자의 행동이 변화되는 차영상 정보를 얻기 위해 각 프레임의 동영상을 8*8의 작은 사각형으로 블록화하는 단계와, 상기 블록화된 동영상 프레임을 이전 동영상 프레임과 비교하여 변화된 색상을 기준으로 차영상 정보를 정의하는 단계와, 상기 차영상 정보를 사용자가 한 행위에 대하여 정의된 데이터베이스를 기반으로 분석하여 사용자 행위를 정의하는 단계와, 상기 정의된 사용자 행위가 로봇에서 수행되는 프로그램에서 기대되는 행위인지 판단하는 단계와, 상기 판단된 사용자 행위가 로봇이 기대하는 행위인 경우 긍정적인 감정 표현을 표출하고 기대되는 행위가 아닌경우 부정적인 감정 표현을 표출하는 단계를 포함하는 사용자의 행동을 판단하여 로봇이 몸으로 감정을 표현하는 방법에 관한 발명을 제시한다.According to the present invention, the step of receiving the user's video with the image camera mounted on the robot, and the video of each frame to obtain the difference image information that the user's behavior changes in the user's video taken by the image camera 8 * Blocking the block video frame with a small square of 8, comparing the blocked video frame with the previous video frame, and defining the difference image information based on the changed color; and a database defined for the user's action of the difference image information. Defining user behavior based on the analysis, determining whether the defined user behavior is expected in a program performed by the robot, and positive emotions when the determined user behavior is expected by the robot. Expresses negative emotions when they are not expected behavior The present invention provides a method of expressing emotions by a body by determining a user's behavior including a system.

Description

Robot and method for moving body to express emotion by judging user's behavior {Bodily sensation Education method using motion detection in Robot and dialogue system}

도 1은 본 발명에 따른 사용자의 행동을 판단하여 로봇이 몸을 움직여 감정을 표현하는 방법에 관한 흐름도이다. 1 is a flowchart illustrating a method of expressing emotions by moving a body by determining a user's behavior according to the present invention.

도 2는 사용자의 행동을 판단하여 몸으로 감정을 표현하는 로봇에 관한 구성도이다. 2 is a block diagram of a robot that determines emotions of a user and expresses emotions with a body.

< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>

100 : 화상카메라 200 : 차영상 생성부100: image camera 200: difference image generating unit

300 : DB 400 : 판별부300: DB 400: determination unit

500 : 출력부 600 : 제어부500: output unit 600: control unit

로봇은 다양한 행동 양식을 표현할 수 있으나, 사용자의 행동을 파악하여 이에 대응하는 행동 양식을 표현한 것은 아니라는 문제점이 있었다. 따라서, 사용자의 행동을 파악하기 위해서는 다양한 vision기술에 의해 사용자의 행동 양식을 파악하고 이에 해당하는 표준화 되고 일반적인 감정 표현 방식이 제공되어야만 한다.Although the robot can express various behavior patterns, there is a problem in that it does not express the behavior patterns corresponding to the user's behavior. Therefore, in order to grasp the user's behavior, the user's behavior pattern must be identified by various vision technologies and a standardized and general emotion expression method corresponding thereto must be provided.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 본 발명의 목적은 화상 카메라가 장착되어 있는 로봇에서 로봇에서 움직임 검출을 이용하여 사용자의 행동을 판단한 후 로봇이 머리, 몸, 팔, 표정을 움직여 감정을 표현하는 방법을 제공하는데 그 목적이 있다.Therefore, the present invention was created to solve the above problems, an object of the present invention is to determine the user's behavior using the motion detection in the robot in the robot equipped with the image camera, the robot head, body, arm Its purpose is to provide a way to express emotions by moving facial expressions.

상기 본 발명의 목적을 달성하기 위한 기술적 사상으로서, 본 발명에서는 로봇에 장착된 화상카메라로 사용자의 동영상을 입력받는 단계와, 상기 화상 카메라로 촬영한 사용자의 동영상에서 사용자의 행동이 변화되는 차영상 정보를 얻기 위해 각 프레임의 동영상을 8*8의 작은 사각형으로 블록화하는 단계와, 상기 블록화된 동영상 프레임을 이전 동영상 프레임과 비교하여 변화된 색상을 기준으로 차영상 정보를 정의하는 단계와, 상기 차영상 정보를 사용자가 한 행위에 대하여 정의된 데이터베이스를 기반으로 분석하여 사용자 행위를 정의하는 단계와, 상기 정의된 사용자 행위가 로봇에서 수행되는 프로그램에서 기대되는 행위인지 판단하는 단계와, 상기 판단된 사용자 행위가 로봇이 기대하는 행위인 경우 긍정적인 감정 표현을 표출하고 기대되는 행위가 아닌경우 부정적인 감정 표현을 표출하는 단계를 포함하는 사용자의 행동을 판단하여 로봇이 몸으로 감정을 표현하는 방법에 관한 발명을 제시한다.As a technical idea for achieving the object of the present invention, in the present invention, the step of receiving a video of the user with a video camera mounted on the robot, the difference image of the user's behavior in the video of the user photographed with the image camera Blocking video of each frame into small squares of 8 * 8 to obtain information, and comparing the blocked video frames with previous video frames to define difference image information based on a changed color; Defining user behavior by analyzing information based on a database defined for the behavior of the user, determining whether the defined user behavior is expected in a program executed by a robot, and determining the determined user behavior Is an expected behavior of the robot, expressing positive emotions and expecting The present invention relates to a method of expressing emotions by the robot by judging a user's actions including expressing negative emotion expressions when the action is not an action.

이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail.

본원발명에서 로봇에서 움직임 검출을 이용하여 로봇의 머리, 몸, 팔, 표정을 움직여 감정을 표현하려면 다음과 같은 환경 구현이 되어있어야 한다. 사용자의 동영상을 입력받을 수 있는 화상 카메라가 장착되어 있고 로봇의 SDK를 통하여 프로그램적으로 로봇의 각 관절의 움직임을 제어할 수 있는 로봇이 구현되어 있어야 한다. 여기서, SDK는 소프트웨어 개발 키트(SDK: software development kit)로서 응용 프로그램의 개발을 간편하고 용이하게 하기 위해 프로그래머에게 유상이나 무상으로 제공되는 개발 도구로 프로그래머들이 솔루션 개발 시 자사의 응용 프로그램 인터페이스(API)를 채택하게 하기 위한 목적으로 대부분 무료로 제공된다. 개발 도구 및 라이브러리, 관련 도큐멘트, 개발 툴 등으로 구성된다.In the present invention, in order to express emotions by moving a robot's head, body, arms, and facial expressions using motion detection in a robot, the following environment should be implemented. An image camera capable of receiving a user's video must be equipped and a robot capable of controlling the movement of each joint of the robot programmatically through the robot's SDK should be implemented. Here, SDK is a software development kit (SDK). It is a development tool that is provided to programmers for free and free of charge in order to facilitate the development of application programs. Most of them are provided free of charge for the purpose of adopting. It consists of development tools and libraries, related documents, and development tools.

상기 환경에서 사용자의 행동 판단에 따른 로봇의 감정 표현 방식은 다음과 같다The robot's emotional expression method according to the user's behavior determination in the environment is as follows.

1. 로봇에게 장착된 화상 카메라로 사용자의 동영상을 입력 받는다1. Receive user's video by robot's video camera

2. 입력된 사용자의 동영상은 초당 30 프레임을 입력 받으며, 연속되는 frame에서 사용자의 행동이 변화되는 차영상 정보를 생성한다.2. The input user's video receives 30 frames per second and generates difference image information that changes the user's behavior in consecutive frames.

3. 차영상 정보를 얻기 위해 각 프레임의 동영상을 8*8의 작은 사각형으로 블록화한다.3. The video of each frame is blocked into 8 * 8 small squares to obtain the difference picture information.

4. 블록화된 동영상 프레임을 이전 동영상 프레임과 비교하여 변화된 색상을 기준으로 차영상 정보를 정의할 수 있다.4. The difference video information may be defined based on the changed color by comparing the blocked video frame with the previous video frame.

5. 차영상 정보를 사용자가 한 행위에 대하여 정의된 데이터베이스를 기반으로 분석하여 사용자 행위가 어떤 것인지 정의한다.5. Analyze the difference image information based on the database defined for the user's action and define what the user's action is.

6. 사용자 행위가 로봇에서 수행되는 프로그램에서 기대되는 행위인 경우에 해당하는 지 판단6. Determining whether the user's behavior corresponds to the expected behavior in the program executed by the robot

7.사용자 행위가 로봇이 기대하는 행위인 경우, 로봇의 SDK를 이용하여 긍정적인 감정 표현을 표출할 수 있고, 기대하는 행위가 아닌경우, 부정적인 감정 표현을 표출할 수 있다.7. If the user's behavior is expected by the robot, the robot's SDK can be used to express positive emotional expressions, and if it is not expected, negative emotional expressions can be expressed.

- 기대하는 행위인 경우 다음과 같이 표현 : 로봇의 Head에서 LED를 웃는 모양으로 반짝이는 행위, 로봇의 팔을 들어 올리는 행위, 고객을 상하로 움직이는 행위-Expecting behavior is expressed as follows: flashing the LED with a smile on the robot's head, lifting the robot's arm, and moving the customer up and down.

- 기대하는 행위가 아닌 경우 다음과 같이 표현 : 위의 기대되는 행위와 반대되는 형태의 행위-If not expected, the expression is as follows:

사용자 행위가 로봇이 기대하는 행위에 대한 기준은 각 Situation과 실행되는 프로그램의 내용에 따라 다른게 정의되며, 각 상황에 따른 긍적표현과 부정표현에 대한 정의도 각 Situation과 실행되는 프로그램에서 정의하여 사용할 수 있다. 그러나 공통적으로 사용되는 표현을 정의하여 통일되게 사용하는 것이 바람직하다.The criteria for the behavior that the user expects from the robot are defined differently according to the contents of each situation and the program being executed, and the definitions of positive and negative expressions for each situation can be defined and used in each situation and the program being executed. have. However, it is desirable to define a commonly used expression and use it uniformly.

도 1은 본 발명에 따른 사용자의 행동을 판단하여 로봇이 몸을 움직여 감정 을 표현하는 방법에 관한 흐름도이다. 먼저, 로봇에 장착된 화상카메라로 사용자의 동영상을 입력받는다(S10). 화상 카메라로 촬영한 사용자의 동영상에서 사용자의 행동이 변화되는 차영상 정보를 생성한다(S11). 차영상 정보를 얻기 위해 각 프레임의 동영상을 8*8의 작은 사각형으로 블록화한다(S12). 블록화된 동영상 프레임을 이전 동영상 프레임과 비교하여 변화된 색상을 기준으로 차영상 정보를 정의한다(S13). 차영상 정보를 사용자가 한 행위에 대하여 정의된 데이터베이스를 기반으로 분석하여 사용자 행위를 정의한다(S14). 사용자 행위가 로봇에서 수행되는 프로그램에서 기대되는 행위인지 판단한다(S15). 사용자 행위가 로봇이 기대하는 행위인 경우 로봇의 SDK을 이용하여 긍정적인 감정 표현을 표출하고 기대되는 행위가 아닌경우 부정적인 감정 표현을 표출한다(S16).1 is a flowchart illustrating a method of expressing emotions by moving a body by determining a user's behavior according to the present invention. First, the user's video is input to the image camera mounted on the robot (S10). In operation S11, the difference image information of the user's behavior is changed from the user's video captured by the image camera. In order to obtain the difference image information, the video of each frame is blocked into small squares of 8 * 8 (S12). The difference video information is defined based on the changed color by comparing the blocked video frame with the previous video frame (S13). The user image is defined by analyzing the difference image information based on a database defined for the user's action (S14). It is determined whether the user action is an expected action in a program executed in the robot (S15). When the user's behavior is the behavior expected by the robot, the robot's SDK expresses a positive emotional expression and when the user's behavior is not an expected behavior, the negative emotional expression is displayed (S16).

로봇마다 제공할 수 있는 행위 및 모션제어가 각기 다를 수 있으며, 이에 동일한 행위를 통해서만 로봇의 감정을 표현할 수는 없다. 이에 일반적으로 사용될 수 있는 모션 제어는 다음과 같다. 즉, 휠 제어은 전후, 좌우로 이동하며, 머리 제어는 상, 하, 좌, 우로 제어되며팔 제어는 좌, 우 및 앞, 뒤로 회전한다. LED 제어는 입, 귀, 팔, 바퀴 파트에서 제어된다. 위와 같은 제어를 통하여 행복 / 놀람 / 보통 / 실망(슬픔) / 부끄러움과 같은 감정에 대한 정의을 하여 Contents에서 운영하며, 정의시에는 휠, 머리, 팔, LED의 조합에 의해 제공되나 로봇마다 지원되는 디바이스와 표현 형태가 다르므로 로봇마다 정의하여 사용한다.Each robot can provide different behaviors and motion control, and the robot's emotions cannot be expressed only through the same behavior. The motion control that can be used generally is as follows. That is, the wheel control moves back and forth, left and right, the head control is controlled up, down, left, right, and the arm control rotates left, right, front and back. LED control is controlled at the mouth, ear, arm and wheel parts. Through the above control, it defines the emotions such as happiness / surprise / normal / disappointment (sorrow) / shyness and operates in Contents, which is provided by the combination of wheel, head, arm, and LED, but is supported by each robot. And expression form is different, so use by each robot.

도 2는 사용자의 행동을 판단하여 몸으로 감정을 표현하는 로봇에 관한 구성도이다. 도 2에서 보듯이 로봇(1000)은 화상카메라(100), 차영상 생성부(200), DB(300), 판별부(400), 출력부(500), 제어부(600)로 구성된다. 화상카메라(100)는 사용자의 행동을 촬영하여 화면에 출력한다. 차영상 생성부(200)는 촬영된 사용자의 행동에서 변화된 차영상 정보를 생성한다. DB(300)는 변화된 차영상 정보에 대하여 어떤 행동인지를 정의한 목록을 가지고 있다. 판별부(400)는 차영상 정보가 로봇에서 기대되는 행위인지 여부를 판단한다. 출력부(500)는 상기 판별부의 판단에 따라 로봇의 감정을 휠, 머리, 팔, LED 중 적어도 어는 하나로 표현한다. 제어부(600)는 상기 로봇의 전체 동작을 제어하는 역할을 한다.2 is a block diagram of a robot that determines emotions of a user and expresses emotions with a body. As shown in FIG. 2, the robot 1000 includes an image camera 100, a difference image generation unit 200, a DB 300, a determination unit 400, an output unit 500, and a control unit 600. The image camera 100 captures the user's behavior and outputs it to the screen. The difference image generating unit 200 generates difference image information changed in the photographed user's behavior. The DB 300 has a list that defines the behavior of the changed difference image information. The determination unit 400 determines whether the difference image information is an expected behavior of the robot. The output unit 500 expresses the emotion of the robot as at least one of a wheel, a head, an arm, and an LED according to the determination of the determination unit. The controller 600 controls the overall operation of the robot.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시 예들에서 구체적으로 기술되었으나, 상기한 실시 예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 이 기술 분야의 통상의 전문가라면 본 발명의 기술적 사상의 범위에서 다양한 실시 예가 가능함을 이해할 수 있을 것이다.Although the technical spirit of the present invention described above has been described in detail in the preferred embodiments, it should be noted that the above-described embodiment is for the purpose of description and not of limitation. In addition, the present invention will be understood by those of ordinary skill in the art that various embodiments are possible within the scope of the technical idea of the present invention.

이상에서와 같이 본 발명은 화상 카메라가 장착된 로봇에서 화상 카메라로 입력되는 사용자의 행동을 움직임 검출 방식으로 처리하여 판단하여 사용자의 행동 표현이 어떠한 의미를 갖는지를 데이터 베이스를 통해 확인하고 이에 대한 로봇의 감정을 표현하는 로봇의 행동을 정의해 두었다가 이를 표현하게 하는 발명이다. 여러 형태의 컨텐츠에서는 동일한 사용자의 행동 양식에 대해서도 컨텐츠의 특성에 맞는 다양한 로봇 행동을 정의하여 사용할 수 있으나, 일반적으로 통용되는 로봇의 행동을 정의하여 다수의 컨텐츠에서도 사용할 수 있도록 권고하는 것이 사용자에게 통일된 로봇의 행동 양식을 보여주여 통일감을 준다.As described above, the present invention processes and determines the user's action input to the image camera from the robot equipped with the image camera by using a motion detection method to check the meaning of the user's behavior expression through a database and the robot for this. It is an invention that defines the behavior of a robot that expresses emotions and then expresses it. In various types of contents, various robot behaviors can be defined and used for the same user's behavior.However, it is recommended that users define the behaviors of robots that are generally used and recommend them to be used in multiple contents. It shows the behavior of the old robot and gives a sense of unity.

따라서, 본 발명에서는 로봇이 몸으로 감정을 표현함으로써 로봇의 어린이나 관람객에게 다양한 즐거움을 줄 수 있으며 다방면으로 여러가지 사용자의 행동을 정의하여 감정을 표현함으로써 로봇의 용도를 극대화 할 수 있다.Therefore, in the present invention, the robot expresses emotions to the body, thereby providing various pleasures to children or visitors of the robot, and maximizing the use of the robot by expressing emotions by defining various user behaviors in various ways.

Claims

Receiving a video of a user with an image camera mounted on a robot,

Blocking video of each frame into small rectangles of 8 * 8 to obtain difference image information of the user's behavior in the video of the user photographed by the image camera;

Comparing the blocked video frame with a previous video frame to define difference image information based on a changed color;

Defining user behavior by analyzing the difference image information based on a database defined for the behavior of the user;

Determining whether the defined user behavior is expected behavior in a program executed in a robot;

If the result of the determination is that the user's behavior is expected by the robot, the robot expresses the emotion by determining the user's behavior, including expressing a positive emotional expression and expressing a negative emotional expression when the user's behavior is not expected. Way.

The method according to claim 1,

A method of expressing emotions by a robot by determining a user's behavior, wherein a video of a user photographed by the image camera receives 30 frames per second.

The method according to claim 1,

Wherein the robot is a software development kit (SDK) through a program that can control the movement of each joint of the robot programmatically judging the user's behavior characterized in that the robot expresses emotions to the body.

The method according to claim 1,

The positive emotional expression is judged by the user's behavior, characterized in that any one of the act of flashing the LED smiley in the head of the robot, lifting the robot's arm or moving the customer up and down How robots express emotions with their bodies.

The method according to claim 1,

The criterion of whether the user's behavior is expected by the robot is defined differently according to each situation and the content of the executed program, and the definition of positive and negative expressions according to each situation is defined in each situation and the executed program. A method of expressing emotion with a body by determining a user's behavior, which may be used.

The method according to claim 1,

When the robot expresses the emotion, the robot expresses the emotion by determining the user's behavior characterized in that to express the emotion using the SDK.

In the robot that judges the user's behavior and expresses emotions with the body,

A video camera that captures the user's actions and outputs them to the screen;

A difference image generation unit generating difference image information changed in the action of the photographed user;

A DB having a list defining what the behavior is to the changed difference image information;

A robot that determines the user's behavior by including a determination unit that determines whether the difference image information is expected behavior of the robot to express emotions with the body.

The method according to claim 6,

According to the determination of the determination unit, the robot expresses the emotions to the body by judging the user's behavior, characterized in that at least one of the wheel, head, arms, LEDs to express the emotion of the robot.