KR102263153B1

KR102263153B1 - Motion recognition device and operating method thereof

Info

Publication number: KR102263153B1
Application number: KR1020140063144A
Authority: KR
Inventors: 박세원; 강상규; 안우석
Original assignee: 엘지전자 주식회사
Priority date: 2014-05-26
Filing date: 2014-05-26
Publication date: 2021-06-10
Anticipated expiration: 2034-05-26
Also published as: KR20150135933A

Abstract

본 발명의 일 실시예에 따른 동작 인식 장치의 동작 방법에 있어서, 탑승자에 대한 영상을 획득하는 단계; 획득된 영상에서 상기 탑승자의 위치를 판단하는 단계; 획득된 영상에서 상기 탑승자의 동작을 인식하는 단계; 판단된 탑승자의 위치를 기초로 인식된 탑승자의 동작에 대응하는 제어 동작을 검색하는 단계; 및 검색된 제어 동작을 수행하는 단계를 포함한다.In accordance with an embodiment of the present invention, there is provided a method of operating a gesture recognition apparatus, the method comprising: acquiring an image of an occupant; determining the position of the occupant in the acquired image; recognizing the motion of the occupant in the acquired image; searching for a control operation corresponding to the recognized operation of the occupant based on the determined position of the occupant; and performing the retrieved control operation.

Description

Motion recognition device and its operation method {MOTION RECOGNITION DEVICE AND OPERATING METHOD THEREOF}

본 발명은 동작 인식 장치 및 그 동작 방법에 관한 것으로, 특히 차량의 탑승자의 동작을 인식하고, 인식된 동작에 대응되는 제어 동작을 수행하는 동작 인식 장치에 관한 것이다.The present invention relates to a motion recognition device and an operating method thereof, and more particularly, to a motion recognition device for recognizing a motion of an occupant of a vehicle and performing a control operation corresponding to the recognized motion.

최근 차량의 대중화와 함께, 차량과 관련된 기술들이 급속하게 발전함에 따라 차량 내에서 운전자가 제어하여야 하는 차량의 기능들도 증가하고 있다. With the recent popularization of vehicles, as vehicle-related technologies are rapidly developed, vehicle functions that a driver must control within the vehicle are also increasing.

차량의 기능으로는 차량의 주행과 관련된 기능과 탑승자의 편의를 위한 편의 기능이 있다.The function of the vehicle includes a function related to the driving of the vehicle and a convenience function for the convenience of the occupant.

일반적으로 차량 내에서 운전자가 실행시키고자 하는 차량의 다양한 기능들은 기능 버튼을 통해 작동되므로, 차량의 탑승자의 위치에 따라 기능을 실행하기 위한 기능 버튼에 접근하기 어려운 문제가 있다. In general, various functions of the vehicle that the driver wants to execute in the vehicle are operated through the function button, so there is a problem in that it is difficult to access the function button for executing the function according to the position of the occupant of the vehicle.

또한, 차량의 운전자는 운전 중에 전방을 주시하며 운전에 집중해야 하기 때문에, 차량 내부에 구비된 기능 버튼을 찾아 작동하기 어려운 문제가 있다. In addition, since the driver of the vehicle has to focus on driving while keeping an eye on the front while driving, there is a problem in that it is difficult to find and operate function buttons provided inside the vehicle.

이에 따라, 차량의 탑승자의 제스처와 같은 동작을 인식하여, 인식된 동작에 대응하는 제어 동작을 수행할 필요가 있다. Accordingly, it is necessary to recognize a motion such as a gesture of a vehicle occupant and perform a control operation corresponding to the recognized motion.

또한, 차량 내 탑승자의 위치에 따라 탑승자 각각이 수행하는 역할이 다르므로, 탑승자의 위치를 고려하여 제어 동작을 수행해야 한다. In addition, since roles performed by each occupant are different depending on the position of the occupant in the vehicle, the control operation must be performed in consideration of the occupant's position.

그리고 차량의 특정 기능 실행이 차량의 주행 여부에 따라 탑승자의 안전에 영향을 미칠 수 있으므로, 차량의 동작 상태를 고려하여 제어 동작을 수행해야 한다.And since the execution of a specific function of the vehicle may affect the safety of the occupant depending on whether the vehicle is being driven, the control operation should be performed in consideration of the operating state of the vehicle.

이처럼, 차량의 기능을 실행할 때 차량의 동작 상태 및 탑승자의 위치와 같은 다양한 조건을 고려해야 할 필요가 있다.As such, it is necessary to consider various conditions such as the operating state of the vehicle and the position of the occupant when executing the function of the vehicle.

본 발명의 실시예는 차량의 탑승자의 동작을 인식하여, 인식된 동작에 대응하는 제어 동작을 수행하는 동작 인식 장치 및 그 동작 방법을 제공한다.SUMMARY Embodiments of the present invention provide a motion recognition device and an operating method for recognizing a motion of a vehicle occupant and performing a control operation corresponding to the recognized motion.

본 발명의 일 실시예에 따른 동작 인식 장치의 동작 방법에 있어서, 탑승자에 대한 영상을 획득하는 단계; 획득된 영상에서 상기 탑승자의 위치를 판단하는 단계; 획득된 영상에서 상기 탑승자의 동작을 인식하는 단계; 판단된 탑승자의 위치를 기초로 인식된 탑승자의 동작에 대응하는 제어 동작을 검색하는 단계; 및 검색된 제어 동작을 수행하는 단계를 포함한다.A method of operating a gesture recognition apparatus according to an embodiment of the present invention, the method comprising: acquiring an image of a passenger; determining the position of the occupant in the acquired image; recognizing the motion of the occupant in the acquired image; searching for a control operation corresponding to the recognized operation of the occupant based on the determined position of the occupant; and performing the retrieved control operation.

본 발명의 다른 실시예에 따른 동작 인식 장치에 있어서, 탑승자에 대한 영상을 획득하는 영상 획득부 및 획득된 영상에서 상기 탑승자의 위치를 판단하고, 상기 탑승자의 동작을 인식하고, 판단된 탑승자의 위치를 기초로 인식된 탑승자의 동작에 대응하는 제어 동작을 검색하고, 검색된 제어 동작을 수행하는 제어부를 포함한다.In the gesture recognition apparatus according to another embodiment of the present invention, an image acquisition unit for acquiring an image of a occupant and a position of the occupant from the acquired image, recognizing the motion of the occupant, and the determined position of the occupant and a control unit that searches for a control operation corresponding to the recognized operation of the occupant based on , and performs the searched control operation.

본 발명의 실시예에 따른 동작 인식 장치 및 그 동작 방법에 따르면, 차량의 탑승자의 동작을 인식하여, 인식된 동작에 대응하는 제어 동작을 수행할 수 있다.According to an apparatus for recognizing a motion and an operating method thereof according to an embodiment of the present invention, a motion of a vehicle occupant may be recognized and a control operation corresponding to the recognized motion may be performed.

특히, 본 발명의 실시예에 따르면, 탑승자의 위치, 차량의 동작 상태 및 탑승자의 연령을 기초로, 인식된 동작에 대응하는 적절한 제어 동작을 제공할 수 있다.In particular, according to an embodiment of the present invention, it is possible to provide an appropriate control operation corresponding to the recognized operation based on the position of the occupant, the operating state of the vehicle, and the age of the occupant.

도 1은 본 발명의 일 실시예와 관련된 동작 인식 장치의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 차량 내에 구비된 영상 획득부를 나타내는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 영상 획득부의 차량 내 영상 획득을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 복수의 렌즈를 포함하는 영상 획득부를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 복수의 렌즈를 통한 영상 획득부의 차량 내 영상 획득을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 동작 인식 장치의 동작 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 동작 인식 장치의 탑승자 인식에 대한 예시도이다.
도 8a 내지 도 8f는 본 발명의 일 실시예에 따른 탑승자의 위치를 나타내는 예시도이다.
도 9a 내지 도 9d는 본 발명의 일 실시예에 따른 탑승자의 동작을 나타낸다.
도 10a 내지 도 10d는 본 발명의 다른 실시예에 따른 탑승자의 동작을 나타낸다.
도 11 및 도 12는 본 발명의 또 다른 실시예에 따른 탑승자의 동작을 나타낸다.1 is a block diagram of an apparatus for recognizing a motion according to an embodiment of the present invention.
2 is an exemplary view illustrating an image acquisition unit provided in a vehicle according to an embodiment of the present invention.
3 is a diagram illustrating in-vehicle image acquisition by an image acquisition unit according to an embodiment of the present invention.
4 illustrates an image acquisition unit including a plurality of lenses according to an embodiment of the present invention.
5 is a diagram illustrating in-vehicle image acquisition by an image acquisition unit through a plurality of lenses according to an embodiment of the present invention.
6 is a flowchart illustrating a method of operating a gesture recognition apparatus according to an embodiment of the present invention.
7 is an exemplary diagram for occupant recognition by the gesture recognition apparatus according to an embodiment of the present invention.
8A to 8F are exemplary views showing the position of a occupant according to an embodiment of the present invention.
9A to 9D illustrate an operation of a occupant according to an embodiment of the present invention.
10A to 10D illustrate an operation of a occupant according to another exemplary embodiment of the present invention.
11 and 12 illustrate an operation of a occupant according to another embodiment of the present invention.

이하, 본 발명과 관련된 동작 인식 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, a motion recognition apparatus related to the present invention will be described in more detail with reference to the drawings. The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves.

다음은 도 1을 참고하여 본 발명의 일 실시예에 따른 동작 인식 장치의 구조를 설명한다.Next, a structure of a gesture recognition apparatus according to an embodiment of the present invention will be described with reference to FIG. 1 .

도 1은 본 발명의 일 실시예와 관련된 동작 인식 장치의 블록 구성도(block diagram)이다.1 is a block diagram of an apparatus for recognizing a motion according to an embodiment of the present invention.

동작 인식 장치(100)는 영상 획득부(110), 저장부(120), 제어부(130), 출력부(140) 및 사용자 입력부(150) 등을 포함할 수 있다.The gesture recognition apparatus 100 may include an image acquisition unit 110 , a storage unit 120 , a control unit 130 , an output unit 140 , and a user input unit 150 .

도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 동작 인식 장치가 구현될 수도 있다.Since the components shown in FIG. 1 are not essential, a motion recognition apparatus having more or fewer components may be implemented.

이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in turn.

영상 획득부(110)는 영상을 획득할 수 있다.The image acquisition unit 110 may acquire an image.

영상 획득부(110)는 적어도 하나 이상의 카메라를 포함할 수 있어서, 포함된 카메라를 통해 영상을 획득할 수 있다.The image acquisition unit 110 may include at least one camera, so that an image may be acquired through the included cameras.

구체적으로, 영상 획득부(110)는 차량 내에 구비되어, 차량 내의 탑승자에 대한 영상을 획득할 수 있다.Specifically, the image acquisition unit 110 may be provided in the vehicle to acquire an image of an occupant in the vehicle.

이를 도 2 내지 도 3을 참조하여 설명한다.This will be described with reference to FIGS. 2 to 3 .

도 2는 본 발명의 일 실시예에 따른 차량 내에 구비된 영상 획득부(110)를 나타내는 예시도이다.2 is an exemplary diagram illustrating an image acquisition unit 110 provided in a vehicle according to an embodiment of the present invention.

도 2를 참조하면, 영상 획득부(110)는 차량 내의 전면 유리 상단에 구비될 수 있다. 그래서 영상 획득부(110)는 차량 내의 탑승자에 대한 영상을 획득할 수 있다.Referring to FIG. 2 , the image acquisition unit 110 may be provided on the top of the windshield in the vehicle. Therefore, the image acquisition unit 110 may acquire an image of an occupant in the vehicle.

도 3을 참조하여, 영상 획득부(110)의 영상 획득을 설명한다.The image acquisition of the image acquisition unit 110 will be described with reference to FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 영상 획득부(110)의 차량 내 영상 획득을 나타낸다.3 is a diagram illustrating in-vehicle image acquisition by the image acquisition unit 110 according to an embodiment of the present invention.

도 3을 참조하면, 영상 획득부(110)는 차량 실내의 전면에서 후면 방향으로 영상을 획득할 수 있다. 이에 따라, 영상 획득부(110)는 차량 내 앞쪽 좌석 및 뒤쪽 좌석에 탑승한 탑승자에 대한 영상을 취득할 수 있다.Referring to FIG. 3 , the image acquisition unit 110 may acquire an image from the front to the rear of the vehicle interior. Accordingly, the image acquisition unit 110 may acquire images of passengers riding on the front and rear seats of the vehicle.

한편, 영상 획득부(110)는 복수의 렌즈(115)를 포함할 수 있다. 이에 따라, 영상 획득부(110)는 복수의 렌즈(115)를 통해 서로 다른 각도의 영상을 획득할 수 있다.Meanwhile, the image acquisition unit 110 may include a plurality of lenses 115 . Accordingly, the image acquisition unit 110 may acquire images of different angles through the plurality of lenses 115 .

이를 도 4 내지 도 5를 참조하여 설명한다.This will be described with reference to FIGS. 4 to 5 .

도 4는 본 발명의 일 실시예에 따른 복수의 렌즈를 포함하는 영상 획득부(110)를 나타낸다.4 shows the image acquisition unit 110 including a plurality of lenses according to an embodiment of the present invention.

도 4를 참조하면, 영상 획득부(110)는 복수의 렌즈(115)를 구비할 수 있다. 이에 따라, 영상 획득부(110)는 구비된 복수의 렌즈(115) 각각을 통해 영상을 획득할 수 있다.Referring to FIG. 4 , the image acquisition unit 110 may include a plurality of lenses 115 . Accordingly, the image acquisition unit 110 may acquire an image through each of the plurality of lenses 115 provided.

도 5는 본 발명의 일 실시예에 따른 복수의 렌즈(115)를 통한 영상 획득부(110)의 차량 내 영상 획득을 나타낸다.5 is a diagram illustrating in-vehicle image acquisition by the image acquisition unit 110 through a plurality of lenses 115 according to an embodiment of the present invention.

도 5를 참조하면, 영상 획득부(110)는 차량 실내의 전면에서 후면 방향으로 복수의 렌즈(115) 각각을 통해 영상을 획득할 수 있다. 이에 따라, 영상 획득부(110)는 차량 내 앞쪽 좌석 및 뒤쪽 좌석에 탑승한 탑승자에 대한 영상을 복수의 렌즈(115) 각각을 통해 획득할 수 있다. Referring to FIG. 5 , the image acquisition unit 110 may acquire an image through each of the plurality of lenses 115 from the front to the rear of the vehicle interior. Accordingly, the image acquisition unit 110 may acquire an image of a occupant in the front seat and the rear seat of the vehicle through each of the plurality of lenses 115 .

상술한 복수의 렌즈(115)를 구비한 영상 취득부(110)에 대한 설명은 설명을 위한 예시로써, 구비된 렌즈(115)의 수, 위치, 종류는 사용자 또는 설계자의 선택에 따라 다양하게 설정될 수 있다.The description of the image acquisition unit 110 having the plurality of lenses 115 described above is an example for explanation, and the number, position, and type of the provided lenses 115 are variously set according to the selection of the user or designer. can be

한편, 영상 취득부(110)는 차량 실내의 전면 이외의 다른 부분에도 구비될 수 있다. 예를 들면, 영상 취득부(110)는 차량 실내의 후면에 구비되어, 탑승자에 대한 영상을 취득할 수 있다. 다른 예를 들면, 영상 취득부(110)는 차량 실내의 측면에 구비되어, 탑승자에 대한 영상을 취득할 수 있다.On the other hand, the image acquisition unit 110 may be provided in a portion other than the front of the vehicle interior. For example, the image acquisition unit 110 may be provided at the rear of the interior of the vehicle to acquire an image of the occupant. For another example, the image acquisition unit 110 may be provided on a side surface of the interior of the vehicle to acquire an image of the occupant.

또한, 영상 취득부(110)는 복수의 영상 취득부(110) 각각이 차량 실내의 전면, 후면, 측면 중 하나 이상에 구비되어, 탑승자에 대한 영상을 각각 취득할 수도 있다.In addition, the image acquisition unit 110 may each be provided on one or more of the front, rear, and side surfaces of the vehicle interior, so that each of the plurality of image acquisition units 110 may acquire images of the occupant.

저장부(120)는 제어부(130)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 정지영상, 동영상 등)을 임시 저장할 수도 있다. The storage unit 120 may store a program for the operation of the control unit 130 , and may temporarily store input/output data (eg, still images, moving images, etc.).

또한, 저장부(120)는 탑승자의 동작에 대응하는 제어 동작에 대한 정보를 저장할 수 있다. 구체적으로, 저장부(120)는 탑승자의 제스처와 같은 동작에 대응하는 제어 동작에 대한 정보를 저장할 수 있다. 그래서 저장부(120)는 탑승자의 제스처를 제어 동작에 매칭하여 저장할 수 있다.Also, the storage unit 120 may store information on a control operation corresponding to the operation of the passenger. Specifically, the storage unit 120 may store information on a control operation corresponding to an operation such as a gesture of a passenger. Therefore, the storage unit 120 may match and store the gesture of the passenger to the control operation.

저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage unit 120 is a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), card type memory (for example, SD or XD memory, etc.), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include at least one type of storage medium among a magnetic disk and an optical disk.

또한, 동작 인식 장치(100)는 인터넷(internet)상에서 저장부(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.Also, the gesture recognition apparatus 100 may operate in relation to a web storage that performs a storage function of the storage unit 120 on the Internet.

제어부(130)는 통상적으로 동작 인식 장치(100)의 전반적인 동작을 제어한다.The controller 130 generally controls the overall operation of the gesture recognition apparatus 100 .

예를 들면, 제어부(130)는 탑승자에 대한 영상 취득, 취득한 영상에서 탑승자 인식, 탑승자의 위치 인식, 탑승자의 동작 인식 및 인식된 동작에 대응하는 제어 동작 검색 중 하나 이상을 제어할 수 있다.For example, the controller 130 may control one or more of acquiring an image of the occupant, recognizing the occupant from the acquired image, recognizing the position of the occupant, recognizing the occupant's motion, and searching for a control action corresponding to the recognized motion.

제어부(130)의 자세한 동작은 후술하기로 한다.A detailed operation of the controller 130 will be described later.

출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(142), 음향 출력 모듈(144) 등이 포함될 수 있다.The output unit 140 is for generating an output related to visual, auditory or tactile sense, and may include a display unit 142 , a sound output module 144 , and the like.

디스플레이부(142)는 동작 인식 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 동작 인식 장치(100)가 동작 인식 중인 경우, 동작 인식과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 다른 예로, 동작 인식 장치(100)가 영상 획득 중인 경우, 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시할 수 있다. The display unit 142 displays (outputs) information processed by the gesture recognition apparatus 100 . For example, when the gesture recognition apparatus 100 is performing gesture recognition, a user interface (UI) or graphic user interface (GUI) related to gesture recognition is displayed. As another example, when the gesture recognition apparatus 100 is acquiring an image, a captured and/or received image, UI, or GUI may be displayed.

디스플레이부(142)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The display unit 142 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (Flexible Display). display) and at least one of a three-dimensional display (3D display).

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(142)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 동작 인식 장치의 디스플레이부(142)가 차지하는 영역을 통해 동작 인식 장치의 후방에 위치한 사물을 볼 수 있다.Some of these displays may be of a transparent type or a light-transmitting type so that the outside can be viewed through them. This may be referred to as a transparent display, and a typical example of the transparent display is a TOLED (Transparant OLED). The rear structure of the display unit 142 may also be configured as a light transmission type structure. With this structure, the user can see an object located at the rear of the gesture recognition apparatus through the area occupied by the display unit 142 of the gesture recognition apparatus.

동작 인식 장치(100)의 구현 형태에 따라 디스플레이부(142)가 2개 이상 존재할 수 있다. 예를 들어, 동작 인식 장치(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다. Two or more display units 142 may exist according to an implementation form of the gesture recognition apparatus 100 . For example, in the gesture recognition apparatus 100 , a plurality of display units may be spaced apart or disposed integrally on one surface, or may be respectively disposed on different surfaces.

디스플레이부(142)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)(152)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(142)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서(152)는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.When the display unit 142 and the sensor (hereinafter, referred to as a 'touch sensor') 152 for sensing a touch operation form a mutually layered structure (hereinafter referred to as a 'touch screen'), the display unit 142 is In addition to the output device, it can also be used as an input device. The touch sensor 152 may have, for example, a touch film, a touch sheet, a touch pad, or the like.

터치 센서(152)는 디스플레이부(142)의 특정 부위에 가해진 압력 또는 디스플레이부(142)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서(152)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. The touch sensor 152 may be configured to convert a change in pressure applied to a specific portion of the display unit 142 or a change in capacitance occurring at a specific portion of the display unit 142 into an electrical input signal. The touch sensor 152 may be configured to detect not only the touched position and area, but also the pressure at the time of the touch.

터치 센서(152)에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(130)로 전송한다. 이로써, 제어부(130)는 디스플레이부(142)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.When there is a touch input to the touch sensor 152, a corresponding signal(s) is sent to the touch controller. The touch controller processes the signal(s) and then transmits corresponding data to the controller 130 . Accordingly, the control unit 130 can know which area of the display unit 142 has been touched, and the like.

음향 출력 모듈(144)은 호신호 수신, 녹음 모드, 음성인식 모드, 영상 수신 모드 등에서 영상 획득부(110)로부터 수신되거나 저장부(120)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(144)은 동작 인식 장치(100)에서 수행되는 기능(예를 들어, 영상 획득 수신음, 동작 인식 수신음)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(144)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output module 144 may output audio data received from the image acquisition unit 110 or stored in the storage unit 120 in a call signal reception, a recording mode, a voice recognition mode, an image reception mode, and the like. The sound output module 144 also outputs a sound signal related to a function (eg, an image acquisition reception sound, a motion recognition reception sound) performed by the gesture recognition apparatus 100 . The sound output module 144 may include a receiver, a speaker, a buzzer, and the like.

사용자 입력부(150)는 사용자가 동작 인식 장치(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(150)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. The user input unit 150 generates input data for the user to control the operation of the gesture recognition apparatus 100 . The user input unit 150 may include a keypad, a dome switch, a touch pad (static pressure/capacitance), a jog wheel, a jog switch, and the like.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Various embodiments described herein may be implemented in a computer-readable recording medium using, for example, software, hardware, or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(130)에 의해 구현될 수 있다.According to the hardware implementation, the embodiments described herein are ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions. These may be implemented by the controller 130 .

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 저장부(120)에 저장되고, 제어부(130)에 의해 실행될 수 있다.According to the software implementation, embodiments such as a procedure or function may be implemented together with a separate software module for performing at least one function or operation. The software code may be implemented by a software application written in a suitable programming language. The software code may be stored in the storage unit 120 and executed by the control unit 130 .

도 6 내지 도 12를 참고하여, 본 발명인 동작 인식 장치(100)의 동작 방법을 설명한다.An operation method of the motion recognition apparatus 100 according to the present invention will be described with reference to FIGS. 6 to 12 .

도 6은 본 발명의 일 실시예에 따른 동작 인식 장치(100)의 동작 방법을 나타내는 흐름도이다.6 is a flowchart illustrating an operation method of the gesture recognition apparatus 100 according to an embodiment of the present invention.

도 6을 참조하면, 동작 인식 장치(100)는 차량의 탑승자에 대한 영상을 획득한다(S100).Referring to FIG. 6 , the gesture recognition apparatus 100 acquires an image of an occupant of a vehicle ( S100 ).

동작 인식 장치(100)의 영상 취득부(110)는 차량 내의 탑승자에 대한 영상을 획득할 수 있다. 구체적으로, 영상 취득부(110)에 포함된 카메라는 차량 내에 구비되어, 차량 내의 탑승한 탑승자에 대한 영상을 획득할 수 있다.The image acquisition unit 110 of the gesture recognition apparatus 100 may acquire an image of an occupant in the vehicle. Specifically, the camera included in the image acquisition unit 110 may be provided in the vehicle to acquire an image of an occupant in the vehicle.

영상 취득부(110)는 획득된 탑승자에 대한 영상을 제어부(130)에 전달할 수 있다.The image acquisition unit 110 may transmit the acquired image of the occupant to the control unit 130 .

동작 인식 장치(100)는 획득된 영상에서 탑승자의 위치를 판단한다(S120).The gesture recognition apparatus 100 determines the position of the occupant from the acquired image (S120).

동작 인식 장치(100)의 제어부(130)는 영상 취득부(110)로부터 획득된 탑승자에 대한 영상을 수신할 수 있다. The control unit 130 of the gesture recognition apparatus 100 may receive an image of the occupant obtained from the image acquisition unit 110 .

제어부(130)는 획득된 탑승자에 대한 영상에서 탑승자의 위치를 인식할 수 있다. 구체적으로, 제어부(130)는 획득된 탑승자에 대한 영상에서 사람 형상을 구분하여, 획득된 영상에 적어도 하나 이상의 탑승자에 대한 형상 부분이 포함되어 있는지 판단할 수 있다. 제어부(130)는 획득된 영상에 하나 이상의 탑승자에 대한 형상 부분이 있는 것으로 판단하면, 탑승자에 대한 형상 부분의 위치를 판단할 수 있다.The controller 130 may recognize the position of the occupant from the acquired image of the occupant. Specifically, the controller 130 may classify the human shape in the acquired image of the occupant, and determine whether the acquired image includes at least one shape part of the occupant. If it is determined that there is a shape part for one or more occupants in the acquired image, the controller 130 may determine the position of the shape part for the occupant.

일 실시예를 도 7을 참고하여 설명한다.An embodiment will be described with reference to FIG. 7 .

도 7은 본 발명의 일 실시예에 따른 동작 인식 장치(100)의 탑승자 인식에 대한 예시도이다.7 is an exemplary diagram for occupant recognition by the gesture recognition apparatus 100 according to an embodiment of the present invention.

도 7을 참조하면, 동작 인식 장치(100)는 획득된 탑승자에 대한 영상에서 탑승자의 신체 일부분을 인식할 수 있다. 동작 인식 장치(100)는 인식된 탑승자의 얼굴, 손 중 하나 이상을 기초로, 인식된 탑승자의 위치를 판단할 수 있다. 예를 들면, 동작 인식 장치(100)의 제어부(130)는 획득된 영상에서 탑승자의 형상을 인식하고, 인식된 탑승자의 형상에서 탑승자의 얼굴 및 손을 인식할 수 있다. 그리고 제어부(130)는 인식된 탑승자의 차량 내 위치를 차량의 스티어링 휠의 위치, 시트 위치 중 하나 이상을 기초 판단할 수 있다. 구체적으로, 제어부(130)는 획득된 영상에서 스티어링 휠이 구비된 좌석은 운전석으로 판단할 수 있다. 제어부(130)는 스티어링 휠이 구비된 좌석의 옆 좌석을 조수석으로 판단할 수 있다. 제어부(130)는 스티어링 휠이 구비된 좌석의 다음 열에 구비된 좌석을 뒷좌석으로 판단할 수 있다.Referring to FIG. 7 , the gesture recognition apparatus 100 may recognize a body part of the occupant from the obtained image of the occupant. The gesture recognition apparatus 100 may determine the recognized position of the occupant based on one or more of the recognized occupant's face and hand. For example, the controller 130 of the gesture recognition apparatus 100 may recognize the shape of the occupant from the acquired image, and recognize the face and hands of the occupant from the recognized shape of the occupant. In addition, the controller 130 may determine the recognized position in the vehicle of the occupant based on at least one of a position of a steering wheel of the vehicle and a position of a seat. Specifically, the controller 130 may determine that the seat provided with the steering wheel in the acquired image is the driver's seat. The controller 130 may determine the seat next to the seat provided with the steering wheel as the passenger seat. The controller 130 may determine that a seat provided in a row next to a seat equipped with a steering wheel is a rear seat.

다른 실시예로, 동작 인식 장치(100)는 탑승자와 영상 획득부(110)의 거리를 기초로 탑승자의 위치를 판단할 수 있다.In another embodiment, the gesture recognition apparatus 100 may determine the position of the occupant based on the distance between the occupant and the image acquisition unit 110 .

구체적으로, 영상 획득부(110)는 TOF 카메라(Time Of Flight Camera, 미도시)를 포함할 수 있다. 여기서 TOF 카메라는 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 카메라를 의미하며, 공지된 기술이므로 자세한 설명은 생략한다.Specifically, the image acquisition unit 110 may include a time of flight camera (not shown). Here, the TOF camera refers to a camera that calculates a distance by measuring a time when light is emitted and reflected, and since it is a known technology, a detailed description thereof will be omitted.

동작 인식 장치(100)의 영상 획득부(110)는 차량의 실내에 대해 빛을 쏘아서 반사되어 오는 시간을 측정할 수 있다. 영상 획득부(110)는 측정된 시간에 대한 정보를 제어부(130)에 전달할 수 있다. 제어부(130)는 측정된 시간을 기초로 탑승자위치를 판단할 수 있다. 구체적으로, 제어부(130)는 기 저장된 기준 시간과 측정된 시간과 비교하여, 탑승자의 위치를 판단할 수 있다. 여기서 기 저장된 기준 시간은 영상 획득부(110)가 차량에 포함된 복수의 좌석 각각에 대해 측정에 소요되는 기준 시간을 의미할 수 있다.The image acquisition unit 110 of the gesture recognition apparatus 100 may measure a time for irradiating and reflecting light into the interior of the vehicle. The image acquisition unit 110 may transmit information on the measured time to the control unit 130 . The controller 130 may determine the position of the occupant based on the measured time. Specifically, the controller 130 may determine the position of the occupant by comparing the pre-stored reference time and the measured time. Here, the pre-stored reference time may mean a reference time required for the image acquisition unit 110 to measure each of a plurality of seats included in the vehicle.

상술한 탑승자 위치 판단에 대한 내용은 설명을 위한 예시로써, 사용자 또는 설계자의 선택에 따라 공지된 기술이 다양하게 적용될 수 있다.The above-described content of determining the position of the occupant is an example for explanation, and well-known techniques may be variously applied according to a user's or designer's selection.

다시 도 6을 참조한다.Reference is again made to FIG. 6 .

도 6을 참조하면, 동작 인식 장치(100)는 획득된 영상에서 탑승자의 동작을 인식한다(S140).Referring to FIG. 6 , the motion recognition apparatus 100 recognizes the motion of the occupant from the acquired image ( S140 ).

동작 인식 장치(100)의 제어부(130)는 획득된 영상에서 탑승자의 신체 일부분이 움직이는 동작을 인식할 수 있다. 여기서 탑승자의 동작은 탑승자의 제스처 동작일 수 있고, 탑승자의 제스처 동작은 정적인 제스처와 동적인 제스처를 모두 포함할 수 있다.The controller 130 of the gesture recognition apparatus 100 may recognize a movement of a body part of the passenger in the obtained image. Here, the motion of the passenger may be a gesture motion of the passenger, and the gesture motion of the passenger may include both a static gesture and a dynamic gesture.

구체적으로, 제어부(130)는 획득된 영상에서 탑승자의 신체 일부를 인식할 수 있고, 인식된 탑승자의 신체 일부가 움직이는 동작을 인식할 수 있다.Specifically, the controller 130 may recognize a body part of the occupant from the acquired image, and recognize a movement of the recognized body part of the occupant.

일 실시예로, 제어부(130)는 복수의 영상 프레임으로 구성된 영상에서 하나의 영상 프레임에서의 오브젝트를 이전 영상 프레임의 오브젝트와 비교하여, 오브젝트의 움직임을 인식할 수 있다. 또한, 제어부(130)는 복수의 영상 프레임에서 오브젝트의 움직임을 비교하여, 오브젝트의 변화량, 가속도 등과 같은 물리량도 계산할 수도 있다. 여기서 오프젝트는 탑승자의 신체 일부가 될 수 있다.In an embodiment, the controller 130 may recognize a motion of an object by comparing an object in one image frame with an object in a previous image frame in an image including a plurality of image frames. In addition, the controller 130 may compare the motion of the object in a plurality of image frames to calculate a physical quantity such as an amount of change and an acceleration of the object. Here, the object may be a body part of the occupant.

동작 인식 장치(100)는 차량의 동작 상태 정보를 획득한다(S160).The gesture recognition apparatus 100 obtains operation state information of the vehicle (S160).

동작 인식 장치(100)는 동작 인식 장치(100)가 구비된 차량의 동작에 대한 정보인 동작 상태 정보를 획득할 수 있다. The gesture recognition apparatus 100 may obtain operation state information, which is information about the operation of a vehicle equipped with the gesture recognition apparatus 100 .

차량의 동작 상태 정보는 차량의 주행 여부, 도어 잠금 여부, 윈도우 열림 여부, 사이드 미러 조정 상태, 룸미러의 조정 상태, 시트 조정 상태, 오디오 동작 상태 및 공조기 동작 상태에 대한 정보 중 하나 이상일 수 있다.The vehicle operation state information may be one or more of information about whether the vehicle is driven, whether a door is locked, whether a window is opened, a side mirror adjustment state, a rearview mirror adjustment state, a seat adjustment state, an audio operation state, and an air conditioner operation state.

또한, 동작 상태 정보는 차량의 주행 여부와 관련하여 차량의 이동 속도, 기울기 및 가속도에 대한 정보를 포함할 수 있다.In addition, the operation state information may include information on the moving speed, inclination, and acceleration of the vehicle in relation to whether the vehicle is being driven.

일 실시예로, 동작 인식 장치(100)는 동작 인식 장치(100)에 포함된 하나 이상의 센서(미도시)를 통해 차량의 동작을 인식할 수 있다. 구체적으로, 동작 인식 장치(100)는 차량의 가속도, 기울기 중 하나 이상을 감지할 수 있는 센서를 포함할 수 있다. 그래서 동작 인식 장치(100)는 하나 이상의 센서를 통해 차량의 가속도, 기울기 중 하나 이상을 감지하여, 차량의 동작 상태 정보를 획득할 수 있다.As an embodiment, the gesture recognition apparatus 100 may recognize a motion of the vehicle through one or more sensors (not shown) included in the gesture recognition apparatus 100 . Specifically, the gesture recognition apparatus 100 may include a sensor capable of detecting one or more of acceleration and inclination of the vehicle. Therefore, the gesture recognition apparatus 100 may acquire operation state information of the vehicle by detecting one or more of acceleration and inclination of the vehicle through one or more sensors.

다른 실시예로, 동작 인식 장치(100)는 차량의 중앙 제어기(미도시)로부터 차량의 동작 상태 정보를 획득할 수 있다. 예를 들면, 동작 인식 장치(100)는 차량의 ECU(Electronic Control Unit, 미도시)로부터 차량의 동작 상태 정보를 획득할 수 있다.In another embodiment, the gesture recognition apparatus 100 may obtain operation state information of the vehicle from a central controller (not shown) of the vehicle. For example, the gesture recognition apparatus 100 may obtain operation state information of the vehicle from an Electronic Control Unit (ECU) of the vehicle.

동작 인식 장치(100)는 판단된 탑승자 위치 및 차량의 동작 상태 정보 중 하나 이상을 기초로 인식된 탑승자의 동작에 대응하는 제어 동작을 검색한다(S180).The motion recognition apparatus 100 searches for a control operation corresponding to the recognized motion of the occupant based on at least one of the determined occupant position and the vehicle operation state information (S180).

동작 인식 장치(100)의 제어부(130)는 저장부(120)에 기 저장된 제어 동작에 대한 정보에서, 인식된 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다. The controller 130 of the gesture recognition apparatus 100 may search for a control operation corresponding to the recognized operation of the occupant from information about the control operation pre-stored in the storage unit 120 .

이를 도 8a 내지 도 12를 참고하여 설명한다.This will be described with reference to FIGS. 8A to 12 .

도 8a 내지 도 8f는 본 발명의 일 실시예에 따른 탑승자의 위치를 나타내는 예시도이다.8A to 8F are exemplary views showing the position of a occupant according to an embodiment of the present invention.

도 9a 내지 도 9d는 본 발명의 일 실시예에 따른 탑승자의 동작을 나타낸다.9A to 9D illustrate an operation of a occupant according to an embodiment of the present invention.

도 10a 내지 도 10d는 본 발명의 다른 실시예에 따른 탑승자의 동작을 나타낸다.10A to 10D illustrate an operation of a occupant according to another exemplary embodiment of the present invention.

도 11 및 도 12는 본 발명의 또 다른 실시예에 따른 탑승자의 동작을 나타낸다.11 and 12 illustrate an operation of a occupant according to another embodiment of the present invention.

일 실시예로, 제어부(130)는 동작이 인식된 탑승자의 위치를 기초로 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다.As an embodiment, the controller 130 may search for a control operation corresponding to the motion of the passenger based on the position of the passenger whose motion is recognized.

예를 들면, 도 8a에 도시된 것과 같이 탑승자가 운전석에 위치한 경우, 제어부(130)는 획득된 영상을 통해 탑승자가 운전석에 위치하는 것으로 판단할 수 있다. 제어부(130)는 탑승자의 신체 일부분인 손가락이 움직이는 동작을 인식할 수 있다.For example, when the occupant is located in the driver's seat as shown in FIG. 8A , the controller 130 may determine that the occupant is located in the driver's seat through the acquired image. The controller 130 may recognize a motion of a finger, which is a part of the passenger's body.

일 실시예로 도 9a에 도시된 것과 같이, 제어부(130)는 탑승자의 오른손 검지손가락을 세운 상태에서 왼쪽으로 이동하는 제스처를 인식할 수 있다. 제어부(130)는 탑승자의 위치인 운전석을 기초로 도 9a의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 9a의 제스처에 대응하는 제어 동작을 획득할 수 있다. In an embodiment, as shown in FIG. 9A , the controller 130 may recognize a gesture of moving to the left with the index finger of the passenger's right hand raised. The controller 130 may search for a control operation corresponding to the gesture of FIG. 9A based on the driver's seat, which is the position of the occupant. As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 9A from the information on the control operation stored in the storage unit 120 .

여기서 탑승자가 운전석에 위치할 때 도 9a에 대응하는 제어 동작은 차량의 사이드 미러를 좌측 방향으로 조정하는 제어 동작일 수 있다. 탑승자가 운전석에 위치할 때 도 9b에 대응하는 제어 동작은 차량의 사이드 미러를 우측 방향으로 조정하는 제어 동작일 수 있다. 탑승자가 운전석에 위치할 때 도 9c에 대응하는 제어 동작은 차량의 사이드 미러를 상측 방향으로 조정하는 제어 동작일 수 있다. 탑승자가 운전석에 위치할 때 도 9d에 대응하는 제어 동작은 차량의 사이드 미러를 하측 방향으로 조정하는 제어 동작일 수 있다.Here, when the occupant is positioned in the driver's seat, the control operation corresponding to FIG. 9A may be a control operation of adjusting the side mirror of the vehicle in the left direction. When the occupant is positioned in the driver's seat, the control operation corresponding to FIG. 9B may be a control operation of adjusting the side mirror of the vehicle to the right. When the occupant is positioned in the driver's seat, the control operation corresponding to FIG. 9C may be a control operation of adjusting the side mirror of the vehicle in an upward direction. When the occupant is positioned in the driver's seat, the control operation corresponding to FIG. 9D may be a control operation of adjusting the side mirror of the vehicle in a downward direction.

한편, 제어부(130)는 탑승자의 손의 종류를 기초로 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다. 예를 들면, 제어부(130)는 운전석에 위치한 탑승자의 왼손에 대한 움직임에 대응하여, 차량의 왼쪽 사이드 미러를 조정할 수 있다. 제어부(130)는 운전석에 위치한 탑승자의 오른쪽에 대한 움직임에 대응하여, 차량의 오른쪽 사이드 미러를 조정할 수 있다.Meanwhile, the controller 130 may search for a control operation corresponding to the passenger's motion based on the type of the passenger's hand. For example, the controller 130 may adjust the left side mirror of the vehicle in response to the movement of the left hand of the passenger located in the driver's seat. The controller 130 may adjust the right side mirror of the vehicle in response to a movement to the right of the occupant located in the driver's seat.

이외에도 탑승자가 운전석에 위치한 경우, 제어부(130)는 탑승자의 동작에 대응하는 제어 동작으로 조수석 시트 조정, 앞좌석 또는 뒷좌석 윈도우 조정, AVN(Audio Video Navigation) 제어 동작 중 하나 이상이 포함될 수 있다.In addition, when the occupant is located in the driver's seat, the controller 130 may include one or more of a passenger seat seat adjustment, a front seat or a rear seat window adjustment, and an audio video navigation (AVN) control operation as a control operation corresponding to the occupant's operation.

다른 예를 들면, 도 8b에 도시된 것과 같이 탑승자가 조수석에 위치한 경우, 제어부(130)는 획득된 영상을 통해 탑승자가 조수석에 위치하는 것으로 판단할 수 있다. 제어부(130)는 탑승자의 신체 일부분인 손가락이 움직이는 동작을 인식할 수 있다.For another example, when the passenger is located in the passenger seat as shown in FIG. 8B , the controller 130 may determine that the passenger is located in the passenger seat through the acquired image. The controller 130 may recognize a motion of a finger, which is a part of the passenger's body.

일 실시예로 도 9a에 도시된 것과 같이, 제어부(130)는 탑승자의 오른손 검지손가락을 세운 상태에서 왼쪽으로 이동하는 제스처를 인식할 수 있다. 제어부(130)는 탑승자의 위치인 조수석을 기초로 도 9a의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 9a의 제스처에 대응하는 동작을 획득할 수 있다. In an embodiment, as shown in FIG. 9A , the controller 130 may recognize a gesture of moving to the left with the index finger of the passenger's right hand raised. The controller 130 may search for a control operation corresponding to the gesture of FIG. 9A based on the passenger's seat, which is the position of the passenger. As a result of the search, the control unit 130 may obtain an operation corresponding to the gesture of FIG. 9A from the information on the control operation stored in the storage unit 120 .

여기서 탑승자가 조수석에 위치할 때 도 9a에 대응하는 제어 동작은 조수석의 시트 등받이를 앞쪽 방향으로 조정하는 제어 동작일 수 있다. 탑승자가 조수석에 위치할 때 도 9b에 대응하는 제어 동작은 조수석의 시트 등받이를 뒤쪽 방향으로 조정하는 제어 동작일 수 있다. 탑승자가 조수석에 위치할 때 도 9c에 대응하는 제어 동작은 조수석 시트를 앞쪽 방향으로 조정하는 제어 동작일 수 있다. 탑승자가 조수석에 위치할 때 도 9d에 대응하는 제어 동작은 조수석 시트를 뒤쪽 방향으로 조정하는 제어 동작일 수 있다.Here, when the passenger is positioned in the passenger seat, the control operation corresponding to FIG. 9A may be a control operation of adjusting the seat back of the passenger seat in the forward direction. When the passenger is positioned in the passenger seat, the control operation corresponding to FIG. 9B may be a control operation of adjusting the seat back of the passenger seat in a rearward direction. When the passenger is positioned in the passenger seat, the control operation corresponding to FIG. 9C may be a control operation of adjusting the passenger seat seat in the forward direction. When the passenger is positioned in the passenger seat, the control operation corresponding to FIG. 9D may be a control operation of adjusting the passenger seat seat in a rearward direction.

이외에도 탑승자가 조수석에 위치한 경우, 제어부(130)는 탑승자의 동작에 대응하는 제어 동작으로 앞좌석 또는 뒷좌석 윈도우 조정, AVN(Audio Video Navigation) 제어 동작 중 하나 이상이 포함될 수 있다.또 다른 예를 들면, 도 8c에 도시된 것과 같이 탑승자가 뒷좌석에 위치한 경우, 제어부(130)는 획득된 영상을 통해 탑승자가 뒷좌석에 위치하는 것으로 판단할 수 있다. 제어부(130)는 탑승자의 신체 일부분인 손가락이 움직이는 동작을 인식할 수 있다.In addition, when the occupant is located in the passenger seat, the control unit 130 may include one or more of a front seat or rear seat window adjustment and an AVN (Audio Video Navigation) control operation as a control operation corresponding to the occupant's operation. For another example, , when the occupant is located in the rear seat as shown in FIG. 8C , the controller 130 may determine that the occupant is located in the rear seat through the acquired image. The controller 130 may recognize a motion of a finger, which is a part of the passenger's body.

일 실시예로 도 9a에 도시된 것과 같이, 제어부(130)는 탑승자의 오른손 검지손가락을 세운 상태에서 왼쪽으로 이동하는 제스처를 인식할 수 있다. 제어부(130)는 탑승자의 위치인 뒷좌석을 기초로 도 9a의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 9a의 제스처에 대응하는 동작을 획득할 수 있다. In an embodiment, as shown in FIG. 9A , the controller 130 may recognize a gesture of moving to the left with the index finger of the passenger's right hand raised. The controller 130 may search for a control operation corresponding to the gesture of FIG. 9A based on the rear seat, which is the position of the occupant. As a result of the search, the control unit 130 may obtain an operation corresponding to the gesture of FIG. 9A from the information on the control operation stored in the storage unit 120 .

여기서 탑승자가 뒷좌석에 위치할 때 도 9a에 대응하는 제어 동작은 오디오 트랙 또는 채널을 이전 트랙 또는 채널로 조정하는 제어 동작일 수 있다. 탑승자가 뒷좌석에 위치할 때 도 9b에 대응하는 제어 동작은 오디오 트랙 또는 채널을 다음 트랙 또는 채널로 조정하는 제어 동작일 수 있다. 탑승자가 뒷좌석에 위치할 때 도 9c에 대응하는 제어 동작은 오디오 볼륨을 높이는 제어 동작일 수 있다. 탑승자가 뒷좌석에 위치할 때 도 9d에 대응하는 제어 동작은 오디오 볼륨을 낮추는 제어 동작일 수 있다.Here, when the occupant is positioned in the rear seat, the control operation corresponding to FIG. 9A may be a control operation of adjusting an audio track or channel to a previous track or channel. When the occupant is positioned in the rear seat, the control operation corresponding to FIG. 9B may be a control operation of adjusting an audio track or channel to the next track or channel. When the occupant is located in the rear seat, the control operation corresponding to FIG. 9C may be a control operation for increasing the audio volume. When the occupant is positioned in the rear seat, the control operation corresponding to FIG. 9D may be a control operation for lowering the audio volume.

한편, 제어부(130)는 탑승자의 손의 종류를 기초로 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다. 예를 들면, 제어부(130)는 탑승자의 왼손에 대한 움직임에 대응하여 차량의 공조기를 조정할 수 있고, 탑승자의 오른손에 대한 움직임에 대응하여 차량의 오디오를 조정할 수 있다. Meanwhile, the controller 130 may search for a control operation corresponding to the passenger's motion based on the type of the passenger's hand. For example, the controller 130 may adjust the air conditioner of the vehicle in response to the movement of the passenger's left hand, and may adjust the audio of the vehicle in response to the movement of the passenger's right hand.

일 실시예로, 제어부(130)는 뒷좌석에 위치한 탑승자의 왼손에 대한 움직임에 대응하여, 차량의 공조기를 조정할 수 있다. 여기서 탑승자가 뒷좌석에 위치할 때 도 10a에 대응하는 제어 동작은 공조기의 풍량을 낮추는 제어 동작일 수 있다. 탑승자가 뒷좌석에 위치할 때 도 10b에 대응하는 제어 동작은 공조기의 풍량을 높이는 제어 동작일 수 있다. 탑승자가 뒷좌석에 위치할 때 도 10c에 대응하는 제어 동작은 공조기의 설정 온도를 높이는 제어 동작일 수 있다. 탑승자가 뒷좌석에 위치할 때 도 10D에 대응하는 제어 동작은 공조기의 설정 온도를 낮추는 제어 동작일 수 있다.In an embodiment, the controller 130 may adjust the air conditioner of the vehicle in response to the movement of the left hand of the passenger located in the rear seat. Here, when the occupant is positioned in the rear seat, the control operation corresponding to FIG. 10A may be a control operation for lowering the airflow volume of the air conditioner. When the occupant is located in the rear seat, the control operation corresponding to FIG. 10B may be a control operation for increasing the air volume of the air conditioner. When the occupant is located in the rear seat, the control operation corresponding to FIG. 10C may be a control operation for increasing the set temperature of the air conditioner. When the occupant is located in the rear seat, the control operation corresponding to FIG. 10D may be a control operation for lowering the set temperature of the air conditioner.

이외에도 탑승자가 뒷좌석에 위치한 경우, 제어부(130)는 탑승자의 동작에 대응하는 제어 동작으로 앞좌석 시트 조정, 앞좌석 또는 뒷좌석 윈도우 조정, AVN(Audio Video Navigation) 제어 동작 중 하나 이상이 포함될 수 있다.In addition, when the occupant is located in the rear seat, the controller 130 may include one or more of a front seat seat adjustment, a front seat or a rear seat window adjustment, and an audio video navigation (AVN) control operation as a control operation corresponding to the occupant's operation.

상술한 탑승자의 동작에 대응하는 제어 동작에 대한 설명은 설명을 위한 예시로써, 탑승자가 차량에서 제어 가능한 다양한 제어 동작이 포함될 수 있다. 예를 들면, 탑승자의 동작에 대응하는 제어 동작은 도어 개폐, 윈도우 조정, 사이드 미러 조정, 룸미러 조정, 시트 조정, 오디오 조정 및 공조기 조정 중 하나 이상의 제어 동작이 포함될 수 있다.The description of the control operation corresponding to the operation of the occupant is an example for description, and various control operations that the occupant can control in the vehicle may be included. For example, the control operation corresponding to the operation of the occupant may include one or more control operations of opening/closing a door, adjusting a window, adjusting a side mirror, adjusting a rearview mirror, adjusting a seat, adjusting an audio, and adjusting an air conditioner.

또한, 제어부(130)는 차량의 동작 상태 정보를 기초로 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다.Also, the controller 130 may search for a control operation corresponding to the operation of the occupant based on the operation state information of the vehicle.

예를 들면, 제어부(130)는 차량의 정차 여부를 기초로 획득된 영상을 통해 인식된 탑승자의 동작에 대응하는 제어 동작을 획득할 수 있다.For example, the controller 130 may acquire a control operation corresponding to the movement of the occupant recognized through an image obtained based on whether the vehicle is stopped.

여기서, 차량이 정차 중인 경우는 차량의 기어가 중립(N) 또는 주차(P)인 경우일 수 있다.Here, when the vehicle is stopped, it may be the case that the gear of the vehicle is neutral (N) or parked (P).

일 실시예로 도 11에 도시된 것과 같이, 제어부(130)는 탑승자의 손모양이 동그라미를 만드는 제스처를 인식할 수 있다. 제어부(130)는 정차 상태를 기초로 탑승자의 도 11의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 11의 제스처에 대응하는 제어 동작을 획득할 수 있다. 여기서 차량이 정차 중일 때, 도 11에 대응하는 제어 동작은 차량의 도어 잠금을 여는 제어 동작일 수 있다. As an embodiment, as shown in FIG. 11 , the controller 130 may recognize a gesture in which the hand shape of the passenger makes a circle. The controller 130 may search for a control operation corresponding to the gesture of FIG. 11 of the passenger based on the stopped state. As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 11 from the information on the control operation stored in the storage unit 120 . Here, when the vehicle is stopped, the control operation corresponding to FIG. 11 may be a control operation for opening a door lock of the vehicle.

반면에 차량이 주행 중일 때, 제어부(130)는 주행 상태를 기초로 탑승자의 도 11의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 11의 제스처에 대응하는 제어 동작을 획득할 수 있다. 여기서 차량이 주행 중일 때, 도 11에 대응하는 제어 동작은 차량의 도어 잠김을 여는 제어 동작이 아닌 다른 제어 동작일 수 있으며, 대응하는 제어 동작이 존재하지 않을 수도 있다.On the other hand, when the vehicle is driving, the controller 130 may search for a control operation corresponding to the gesture of FIG. 11 of the occupant based on the driving state. As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 11 from the information on the control operation stored in the storage unit 120 . Here, when the vehicle is driving, the control operation corresponding to FIG. 11 may be a control operation other than the control operation for opening the door lock of the vehicle, and a corresponding control operation may not exist.

또한, 제어부(130)는 동작이 인식된 탑승자의 위치 및 차량의 동작 상태 정보를 기초로 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다.Also, the controller 130 may search for a control operation corresponding to the operation of the occupant based on the position of the occupant whose operation is recognized and the operation state information of the vehicle.

예를 들면, 제어부(130)는 차량의 정차 여부 및 탑승자의 위치를 기초로 획득된 영상을 통해 인식된 탑승자의 동작에 대응하는 제어 동작을 획득할 수 있다.For example, the controller 130 may acquire a control operation corresponding to the movement of the occupant recognized through an image obtained based on whether the vehicle is stopped and the position of the occupant.

일 실시예로, 제어부(130)는 도 11에 도시된 바와 같이 탑승자의 손모양이 동그라미를 만드는 제스처이고, 도 8b와 같이 탑승자의 위치가 조수석인 경우에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 탑승자의 위치가 조수석이고 도 11의 제스처에 대응하는 제어 동작을 획득할 수 있다.In an embodiment, the controller 130 may search for a control operation corresponding to a case in which the hand shape of the occupant makes a circle as shown in FIG. 11 and the position of the occupant is the passenger seat as shown in FIG. 8B . As a result of the search, the control unit 130 may obtain the control operation corresponding to the gesture of FIG. 11 when the passenger's position is the passenger's seat, from the information about the control operation stored in the storage unit 120 .

여기서 탑승자의 위치가 조수석에 위치할 때 도 11의 제스처에 대응하는 제어 동작은 조수석 도어의 잠금을 여는 제어 동작일 수 있다.Here, when the passenger's position is in the passenger seat, the control operation corresponding to the gesture of FIG. 11 may be a control operation of unlocking the passenger seat door.

다른 실시예로, 제어부(130)는 도 11에 도시된 바와 같이 탑승자의 손모양이 동그라미를 만드는 제스처이고, 도 8c와 같이 탑승자의 위치가 뒷좌석인 경우에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 탑승자의 위치가 뒷좌석이고 도 11의 제스처에 대응하는 제어 동작을 획득할 수 있다.In another embodiment, the controller 130 may search for a control operation corresponding to a case in which the hand shape of the occupant makes a circle as shown in FIG. 11 and the position of the occupant is the rear seat as shown in FIG. 8C . As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 11 and the position of the passenger in the rear seat from the information about the control operation stored in the storage unit 120 .

여기서 탑승자의 위치가 뒷좌석에 위치할 때 도 11의 제스처에 대응하는 제어 동작은 뒷좌석 도어의 잠금을 여는 제어 동작일 수 있다.Here, when the occupant's position is in the rear seat, the control operation corresponding to the gesture of FIG. 11 may be a control operation of unlocking the rear seat door.

또한, 제어부(130)는 탑승자의 연령을 추정할 수 있다. 그리고 제어부(130)는 추정된 탑승자의 연령을 기초로 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다. Also, the controller 130 may estimate the age of the passenger. In addition, the controller 130 may search for a control operation corresponding to the operation of the passenger based on the estimated age of the passenger.

제어부(130)는 획득된 탑승자에 대한 영상에서 탑승자의 얼굴, 신체 골격, 신체 각 부분의 길이 등을 기초로 탑승자의 연령을 추정할 수 있다. 그리고 제어부(130)는 추정된 탑승자의 연령에 따라 탑승자의 성인 여부도 판단할 수 있다.The controller 130 may estimate the age of the occupant based on the occupant's face, body skeleton, length of each body part, etc. from the acquired image of the occupant. Also, the controller 130 may determine whether the passenger is an adult according to the estimated age of the passenger.

예를 들면, 도 8d에 도시된 바와 같이 아이인 탑승자가 운전석에 위치한 경우, 제어부(130)는 획득된 영상을 통해 아이인 탑승자가 운전석에 위치하는 것으로 판단할 수 있다. 제어부(130)는 탑승자의 신체 일부분인 손가락이 움직이는 동작을 인식할 수 있다.For example, as shown in FIG. 8D , when the child occupant is located in the driver's seat, the controller 130 may determine that the child occupant is located in the driver's seat through the acquired image. The controller 130 may recognize a motion of a finger, which is a part of the passenger's body.

일 실시예로 도 9a에 도시된 것과 같이, 제어부(130)는 아이인 탑승자의 오른손 검지손가락을 세운 상태에서 왼쪽으로 이동하는 제스처를 인식할 수 있다. 제어부(130)는 아이인 탑승자의 위치인 운전석을 기초로 도 9a의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 9a의 제스처에 대응하는 제어 동작을 획득할 수 있다. 여기서 아이인 탑승자가 운전석에 위치할 때 도 9A에 대응하는 제어 동작은 존재하지 않을 수 있다. In one embodiment, as shown in FIG. 9A , the controller 130 may recognize a gesture of moving to the left with the index finger of the right hand of the passenger who is a child raised. The controller 130 may search for a control operation corresponding to the gesture of FIG. 9A based on the driver's seat, which is the position of the passenger who is a child. As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 9A from the information on the control operation stored in the storage unit 120 . Here, when the occupant who is the child is positioned in the driver's seat, the control operation corresponding to FIG. 9A may not exist.

다른 실시예로 도 12에 도시된 것과 같이, 제어부(130)는 아이인 탑승자가 주먹을 움켜쥐는 제스쳐를 인식할 수 있다. 제어부(130)는 아이인 탑승자의 위치인 운전석을 기초로 도 12의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 12의 제스처에 대응하는 제어 동작을 획득할 수 있다. 여기서 아이인 탑승자가 운전석에 위치할 때 도 12에 대응하는 제어 동작은 차량의 도어를 잠그는 제어 동작일 수 있다.In another embodiment, as shown in FIG. 12 , the controller 130 may recognize a gesture in which an occupant who is a child makes a fist. The controller 130 may search for a control operation corresponding to the gesture of FIG. 12 based on the driver's seat, which is the position of the passenger who is a child. As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 12 from the information on the control operation stored in the storage unit 120 . Here, when the occupant who is the child is positioned in the driver's seat, the control operation corresponding to FIG. 12 may be a control operation of locking the door of the vehicle.

다른 예를 들면, 도 8e에 도시된 것과 같이 아이인 탑승자가 뒷좌석에 위치한 경우, 제어부(130)는 획득된 영상을 통해 아이인 탑승자가 뒷좌석에 위치하는 것으로 판단할 수 있다. 제어부(130)는 탑승자의 신체 일부분인 손가락이 움직이는 동작을 인식할 수 있다.For another example, as shown in FIG. 8E , when the child occupant is located in the rear seat, the controller 130 may determine that the child occupant is located in the rear seat through the acquired image. The controller 130 may recognize a motion of a finger, which is a part of the passenger's body.

일 실시예로 도 9a에 도시된 것과 같이, 제어부(130)는 아이인 탑승자의 오른손 검지손가락을 세운 상태에서 왼쪽으로 이동하는 제스처를 인식할 수 있다. 제어부(130)는 아이인 탑승자의 위치인 뒷좌석을 기초로 도 9a의 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 9a의 제스처에 대응하는 동작을 획득할 수 있다. In one embodiment, as shown in FIG. 9A , the controller 130 may recognize a gesture of moving to the left with the index finger of the right hand of the passenger who is a child raised. The controller 130 may search for a control operation corresponding to the gesture of FIG. 9A based on the rear seat, which is the position of the passenger who is a child. As a result of the search, the control unit 130 may obtain an operation corresponding to the gesture of FIG. 9A from the information on the control operation stored in the storage unit 120 .

여기서 아이인 탑승자가 뒷좌석에 위치할 때 도 9a에 대응하는 제어 동작은 오디오 트랙 또는 채널을 이전 트랙 또는 채널로 조정하는 제어 동작일 수 있다. 아이인 탑승자가 뒷좌석에 위치할 때 도 9b에 대응하는 제어 동작은 오디오 트랙 또는 채널을 다음 트랙 또는 채널로 조정하는 제어 동작일 수 있다. 아이인 탑승자가 뒷좌석에 위치할 때 도 9c에 대응하는 제어 동작은 오디오 볼륨을 높이는 제어 동작일 수 있다. 아이인 탑승자가 뒷좌석에 위치할 때 도 9d에 대응하는 제어 동작은 오디오 볼륨을 낮추는 제어 동작일 수 있다.Here, when the child occupant is positioned in the rear seat, the control operation corresponding to FIG. 9A may be a control operation of adjusting an audio track or channel to a previous track or channel. When the child occupant is positioned in the rear seat, the control operation corresponding to FIG. 9B may be a control operation for adjusting an audio track or channel to the next track or channel. When the child occupant is located in the rear seat, the control operation corresponding to FIG. 9C may be a control operation for increasing the audio volume. When the child occupant is positioned in the rear seat, the control operation corresponding to FIG. 9D may be a control operation for lowering the audio volume.

제어부(130)는 복수의 탑승자의 위치를 각각 인식하여, 인식된 복수의 탑승자의 위치를 기초로 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다. The controller 130 may recognize the positions of the plurality of occupants, respectively, and search for a control operation corresponding to the movement of the occupants based on the recognized positions of the plurality of occupants.

예를 들면, 제어부(130)는 도 8f에 도시된 것과 같이 운전석에 위치한 성인인 탑승자와 뒷좌석에 위치한 아이인 탑승자를 인식할 수 있다. 제어부(130)는 뒷좌석에 위치한 아이인 탑승자의 위치를 기초로, 운전석에 위치한 성인인 탑승자의 동작에 대응하는 제어 동작을 검색할 수 있다. For example, as shown in FIG. 8F , the controller 130 may recognize an adult occupant located in the driver's seat and a child occupant located in the rear seat. The controller 130 may search for a control operation corresponding to the operation of the adult occupant located in the driver's seat based on the position of the child occupant located in the rear seat.

일 실시예로, 제어부(130)는 운전석에 위치한 성인인 탑승자의 도 11의 제스처를 인식할 수 있고, 인식된 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 11의 제스처에 대응하는 제어 동작을 획득할 수 있다. 여기서 탑승자의 도 11의 제스처에 대응하는 제어 동작은 차량의 앞좌석의 도어 잠금만 여는 제어 동작일 수 있다. As an embodiment, the controller 130 may recognize the gesture of FIG. 11 of an adult occupant located in the driver's seat and search for a control operation corresponding to the recognized gesture. As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 11 from the information on the control operation stored in the storage unit 120 . Here, the control operation corresponding to the gesture of FIG. 11 of the passenger may be a control operation of opening only the door lock of the front seat of the vehicle.

다른 실시예로, 제어부(130)는 운전석에 위치한 성인인 탑승자의 도 12의 제스처를 인식할 수 있고, 인식된 제스처에 대응하는 제어 동작을 검색할 수 있다. 검색 결과, 제어부(130)는 저장부(120)에 저장된 제어 동작에 대한 정보에서, 도 12의 제스처에 대응하는 제어 동작을 획득할 수 있다. 여기서 탑승자의 도 12의 제스처에 대응하는 제어 동작은 차량의 전체 도어를 잠그는 제어 동작일 수 있다. In another embodiment, the controller 130 may recognize the gesture of FIG. 12 of an adult occupant located in the driver's seat and search for a control operation corresponding to the recognized gesture. As a result of the search, the control unit 130 may obtain a control operation corresponding to the gesture of FIG. 12 from the information on the control operation stored in the storage unit 120 . Here, the control operation corresponding to the gesture of FIG. 12 of the occupant may be a control operation of locking all doors of the vehicle.

상술한 설명은 제어부(130)가 탑승자의 동작을 인식하고, 인식된 동작에 대응하는 제어 동작을 검색하는 것을 설명하기 위한 예시로써, 사용자 또는 설계자의 선택에 따라 탑승자의 동작에 대해 다양한 제어 동작이 대응될 수 있다.The above description is an example for explaining that the controller 130 recognizes the motion of the occupant and searches for a control motion corresponding to the recognized motion, and various control operations are performed for the motion of the occupant according to a user or designer's selection. can be matched.

또한, 사용자 또는 설계자의 선택에 따라 탑승자의 위치, 차량의 동작 상태 정보를 기초로 탑승자의 다양한 동작에 대응하는 다양한 제어 동작이 설정될 수 있다.In addition, various control operations corresponding to various operations of the occupant may be set based on the position of the occupant and the operation state information of the vehicle according to a user or designer's selection.

동작 인식 장치(100)는 검색된 제어 동작을 수행한다(S200).The gesture recognition apparatus 100 performs the searched control operation (S200).

동작 인식 장치(100)의 제어부(130)는 단계 S180에서 검색된 탑승자의 동작에 대응하는 제어 동작을 수행할 수 있다. The controller 130 of the gesture recognition apparatus 100 may perform a control operation corresponding to the operation of the occupant found in step S180 .

예를 들면, 제어부(130)는 검색된 제어 동작인 도어 개폐, 윈도우 조정, 사이드 미러 조정, 룸미러 조정, 시트 조정, 오디오 조정 및 공조기 조정 중 하나 이상의 제어 동작을 수행할 수 있다.For example, the controller 130 may perform one or more control operations among the searched control operations: door opening/closing, window adjustment, side mirror adjustment, room mirror adjustment, seat adjustment, audio adjustment, and air conditioner adjustment.

제어부(130)는 검색된 제어 동작을 직접 수행할 수도 있고, 검색된 제어 동작에 대한 제어 신호를 송출하여, 제어 신호를 수신한 장치나 구성이 검색된 제어 동작을 수행하도록 할 수도 있다.The controller 130 may directly perform the searched control operation or transmit a control signal for the searched control operation so that the device or configuration receiving the control signal performs the searched control operation.

동작 인식 장치(100)는 필요에 따라 통신부(미도시)를 통해 무선 또는 유선 통신을 통해 제어 신호를 송출할 수 있다.The gesture recognition apparatus 100 may transmit a control signal through wireless or wired communication through a communication unit (not shown) as necessary.

한편, 동작 인식 장치(100)는 복수의 탑승자 각각의 위치 및 판단된 연령 중 하나 이상을 기초로, 검색된 제어 동작이 수행되지 않도록 제한할 수 있다.Meanwhile, the gesture recognition apparatus 100 may limit the searched control operation not to be performed based on at least one of the location and the determined age of each of the plurality of passengers.

예를 들면, 제어부(130)는 차량에 복수의 탑승자가 있는 경우, 복수의 탑승자 각각의 동작에 대응하는 제어 동작이 서로 다른 탑승자에게 영향을 미치는 제어 동작이면 검색된 제어 동작을 수행하지 않을 수 있다.For example, when there are a plurality of occupants in the vehicle, the controller 130 may not perform the searched control operation if the control operation corresponding to the operation of each of the plurality of occupants is a control operation that affects different occupants.

일 실시예로, 제어부(130)는 복수의 탑승자 각각이 앞좌석과 뒷좌석에 위치한 경우, 뒷좌석에 위치한 탑승자의 동작에 대응하는 제어 동작으로 앞좌석 시트 조정, 오디오 조정, 앞좌석 윈도우 조정 중 하나의 제어 동작이 검색되면, 검색된 동작을 수행하지 않을 수 있다.In an embodiment, when each of the plurality of occupants is located in the front seat and the rear seat, the control unit 130 performs one of front seat seat adjustment, audio adjustment, and front seat window adjustment as a control operation corresponding to the operation of the occupant located in the rear seat. When a control operation is searched for, the searched operation may not be performed.

다른 예로, 제어부(130)는 복수의 탑승자 각각의 판단된 연령을 기초로, 검색된 제어 동작이 수행되지 않도록 제한할 수 있다.As another example, the controller 130 may limit the searched control operation not to be performed based on the determined age of each of the plurality of passengers.

일 실시예로, 제어부(130)는 복수의 탑승자 각각이 성인과 아이인 경우, 아이인 탑승자의 위치에 관계없이 성인인 탑승자의 동작에 대응하는 제어 동작만을 수행할 수 있다. 이에 따라, 제어부(130)는 아이인 탑승자가 조수석에 위치하고 성인인 탑승자가 뒷좌석에 위치한 경우, 뒷좌석에 위치한 성인인 탑승자의 동작에 대응하는 제어 동작만을 수행할 수도 있다.In an embodiment, when each of the plurality of occupants is an adult and a child, the controller 130 may perform only a control operation corresponding to the operation of the adult occupant regardless of the position of the child occupant. Accordingly, when the child occupant is located in the passenger seat and the adult occupant is located in the rear seat, the controller 130 may only perform a control operation corresponding to the operation of the adult occupant located in the rear seat.

다른 실시예로, 제어부(130)는 복수의 탑승자 각각이 성인과 아이인 경우, 아이인 탑승자의 동작에 대응하는 제어 동작 중 일부 제어 동작만을 수행하도록 할 수 있다. 일 실시예로, 제어부(130)는 복수의 탑승자 각각이 성인과 아이인 경우, 아이인 탑승자의 동작에 대응하는 제어 동작 중 오디오 조정 동작만을 수행하도록 할 수 있다.In another embodiment, when each of the plurality of occupants is an adult and a child, the controller 130 may perform only some of the control operations corresponding to the operation of the child occupant. In an embodiment, when each of the plurality of occupants is an adult and a child, the controller 130 may perform only an audio adjustment operation among control operations corresponding to the operation of the child occupant.

상술한 동작 인식 장치(100)의 제어 동작 제한 수행에 대한 설명은 설명을 위한 예시로써, 사용자 또는 설계자의 선택에 따라 다양하게 설정될 수 있다.The description of the above-described limiting of the control operation of the gesture recognition apparatus 100 is an example for explanation, and may be set in various ways according to a user's or designer's selection.

한편, 동작 인식 장치(100)는 출력부(140)를 통해 동작 인식 장치(100)의 동작에 대한 시각, 청각에 관련된 출력을 발생시킬 수 있다.Meanwhile, the gesture recognition apparatus 100 may generate visual and auditory outputs related to the operation of the gesture recognition apparatus 100 through the output unit 140 .

예를 들면, 제어부(130)는 디스플레이부(142)를 통해 동작 인식과 관련된 UI 또는 GUI를 표시할 수 있다.For example, the controller 130 may display a UI or GUI related to gesture recognition through the display 142 .

다른 예를 들면, 제어부(130)는 음향 출력 모듈(144)를 통해 영상 획득 수신음, 동작 인식 수신음을 출력할 수 있다.As another example, the controller 130 may output an image acquisition reception sound and a motion recognition reception sound through the sound output module 144 .

또한, 동작 인식 장치(100)는 사용자 입력부(150)를 통해 탑승자의 동작에 대응하는 제어 신호를 설정할 수 있다.Also, the motion recognition apparatus 100 may set a control signal corresponding to the motion of the passenger through the user input unit 150 .

예를 들면, 동작 인식 장치(100)는 사용자 입력부(150)를 통해 탑승자의 위치, 차량 동작 상태, 탑승자의 동작 중 하나 이상에 대한 정보를 각각 입력받을 수 있고, 입력된 정보에 대응하는 제어 동작을 설정하는 사용자의 입력을 수신할 수 있다.
For example, the gesture recognition apparatus 100 may receive information on one or more of the position of the occupant, the vehicle operation state, and the occupant's operation through the user input unit 150 , respectively, and a control operation corresponding to the input information may receive a user's input for setting the .

본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.According to an embodiment of the present invention, the above-described method can be implemented as processor-readable code on a medium in which a program is recorded. Examples of the processor-readable medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and may be implemented in the form of a carrier wave (eg, transmission over the Internet). include

상기와 같이 설명된 동작 인식 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.In the gesture recognition apparatus described above, the configuration and method of the above-described embodiments are not limitedly applicable, but all or part of each embodiment is selectively combined so that various modifications can be made. could be

Claims

A method of operating a motion recognition device for recognizing a motion of an occupant of a vehicle, the method comprising:
acquiring an image of the passenger;
determining the position of the occupant in the acquired image;
recognizing the motion of the occupant in the acquired image;
searching for a control operation corresponding to the recognized operation of the occupant based on the determined position of the occupant; and
performing the retrieved control action;
The step of determining the position of the occupant in the acquired image includes:
In the obtained image, the seat equipped with the steering wheel is determined as the driver's seat, the seat next to the seat equipped with the steering wheel is determined as the passenger's seat, and the seat provided in the next row of the seat equipped with the steering wheel is determined as the rear seat comprising the steps of
How a gesture recognition device works.

According to claim 1,
The searched control operation is
a different control operation according to the position of the occupant in the vehicle for the same operation of the occupant.
How a gesture recognition device works.

According to claim 1,
The step of acquiring the image is
Comprising the step of obtaining an image of a plurality of occupants of the vehicle,
The step of determining the position of the occupant is
and determining the positions of each of the plurality of occupants.
How a gesture recognition device works.

4. The method of claim 3,
The step of searching for the control operation is
and searching for a motion of the occupant based on the location of each of the plurality of occupants.
How a gesture recognition device works.

5. The method of claim 4,
The searched control operation is
a different control operation according to the position of each of the plurality of occupants for the same operation of the occupant
How a gesture recognition device works.

According to claim 1,
Further comprising the step of obtaining the operating state information of the vehicle,
The operating state information of the vehicle is
Information on at least one of whether the vehicle is driven, whether the door is locked, whether a window is opened, an adjustment state of a side mirror, an adjustment state of a rearview mirror, a seat adjustment state, an audio operation state, and an air conditioner operation state
How a gesture recognition device works.

7. The method of claim 6,
The step of searching for the control operation is
Searching for a control operation corresponding to the recognized operation of the occupant based on the obtained operation state information
How a gesture recognition device works.

8. The method of claim 7,
The searched control operation is
a different control operation according to the obtained operation state information for the same operation of the occupant
How a gesture recognition device works.

According to claim 1,
Further comprising the step of estimating the age of the occupant based on the acquired image,
The step of searching for the control operation is
retrieving a control operation corresponding to the recognized operation of the occupant based on the estimated age of the occupant
How a gesture recognition device works.

10. The method of claim 9,
The searched control operation is
A control operation that is different according to the age of the occupant for the same motion of the occupant
How a gesture recognition device works.

According to claim 1,
The searched control operation is
Including one or more operations of door opening and closing of the vehicle, window adjustment, side mirror adjustment, rearview mirror adjustment, seat adjustment, audio adjustment, and air conditioner adjustment
How a gesture recognition device works.

A motion recognition device for recognizing a motion of a vehicle occupant, comprising:
an image acquisition unit for acquiring an image of the passenger; and
a control unit that determines the position of the occupant from the acquired image, recognizes the motion of the occupant, searches for a control operation corresponding to the recognized occupant's motion based on the determined position of the occupant, and performs the searched control operation; including,
the control unit
It is determined that the seat equipped with the steering wheel in the obtained image is the driver's seat,
It is determined that the seat next to the seat equipped with the steering wheel is a passenger seat,
Determining the seat provided in the next row of the seat provided with the steering wheel as the rear seat,
motion recognition device.

13. The method of claim 12,
the control unit
acquiring operation state information of the vehicle, and searching for a control operation corresponding to the recognized operation state information of the occupant based on the obtained operation state information;
motion recognition device.

13. The method of claim 12,
the control unit
estimating the age of the occupant based on the acquired image, and searching for a control operation corresponding to the recognized motion of the occupant based on the estimated age of the occupant
motion recognition device.

13. The method of claim 12,
Further comprising a storage unit for storing information on a control operation corresponding to the operation of the passenger
motion recognition device.