KR102303401B1

KR102303401B1 - Hybrid home speech recognition system, and method thereof

Info

Publication number: KR102303401B1
Application number: KR1020190014862A
Authority: KR
Inventors: 신영욱; 김정률; 조현희
Original assignee: 한양대학교 에리카산학협력단
Priority date: 2019-02-08
Filing date: 2019-02-08
Publication date: 2021-09-24
Anticipated expiration: 2039-02-08
Also published as: KR20200097839A

Abstract

본 발명은 하이브리드 홈 음성인식 시스템 및 그 제공 방법에 관한 것이다. 본 발명은, 홈 IoT 네트워킹 장치(300)가 각 서브 IoT 장치(200)에 대한 제어 명령 리스트 중 하나에 해당하는 제어 명령이 메인 IoT 장치(100)의 마이크(110)로 음성인식 정보를 통해 수신되는 경우, 수신된 음성인식 정보를 제 1 음성인식 파형으로 저장부(330)에 저장하며, 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)(I1)의 마이크(210)로 수신되는 음성인식 정보를 제 2 음성인식 파형으로 저장부(330)에 저장하는 제 1 단계; 홈 IoT 네트워킹 장치(300)가 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 1 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 3-1 내지 제 3-n 음성인식 파형(n은 2 이상의 자연수)으로 저장부(330)에 저장하는 제 2 단계; 홈 IoT 네트워킹 장치(300)가 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 2 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 4-1 내지 제 4-m 음성인식 파형(m은 n과 같거나 다른 2 이상의 자연수)으로 저장부(330)에 저장하는 제 3 단계; 홈 IoT 네트워킹 장치(300)가 음성인식 정보를 수신하는 메인 IoT 장치(100)와 각 서브 IoT 장치(200)의 음성인식 파형에 대한 개별적인 가중치가 적용된 평균값을 통해 제어 명령에 포함된 문자를 인식하는 제 4 단계; 및 홈 IoT 네트워킹 장치(300)가 시간의 흐름에 따른 음성인식의 파형의 평균값(X)으로 인식된 문자 정보의 조합을 통한 제어 명령을 제어 명령의 대상이 되는 서브 IoT 장치(200)로 홈 IoT 네트워크(500)로 전송하는 제 5 단계; 를 포함하는 것을 특징으로 한다.
이에 의해, IoT 가전 장치를 음성 제어하는 경우 사용자와 인접한 다른 IoT 디바이스에도 음성인식을 위한 마이크가 있어서, 인접한 IoT 디바이스에 의해 음성을 직접 수하여 제어 대상이 되는 IoT 가전 장치에 대한 제어를 위한 음성인식 파형 보정을 통해 제어 명령이 정확하게 전달되도록 하는 효과를 제공한다.
뿐만 아니라, 본 발명은, IoT 가전 장치에 대한 보정된 음성인식 파형에 따른 제어 명령이 제공시 다른 IoT 가전 장치에서 제어 명령을 수행하는 IoT 가전 장치와 정보 및 프로세싱 과정 등을 출력함으로써, 홈 내에서 개수의 증가로 IoT 가전 장치에 대한 제어 수행 중에 다른 사용자에 의한 사용을 제한할 수 있도록 하는 효과를 제공한다.The present invention relates to a hybrid home voice recognition system and a method for providing the same. In the present invention, the home IoT networking device 300 receives a control command corresponding to one of the control command list for each sub IoT device 200 through voice recognition information to the microphone 110 of the main IoT device 100 . In this case, the received voice recognition information is stored in the storage unit 330 as the first voice recognition waveform, and the voice recognition received by the microphone 210 of the sub-IoT device 200 (I1), which is the target of receiving the control command. a first step of storing information in the storage unit 330 as a second voice recognition waveform; The home IoT networking device 300 receives voice recognition information received through the microphone 210 of at least one other sub-IoT device 200 within a first threshold distance from the sub-IoT device 200 to which the control command is received. a second step of storing the 3-1 to 3-nth voice recognition waveforms (n is a natural number equal to or greater than 2) in the storage unit 330; The home IoT networking device 300 receives voice recognition information received through the microphone 210 of at least one other sub-IoT device 200 within a second threshold distance from the sub-IoT device 200 to which the control command is received. a third step of storing the 4-1th to 4-mth voice recognition waveforms (m is a natural number equal to or different from n 2 or more) in the storage unit 330; The home IoT networking device 300 recognizes the characters included in the control command through the average value to which the individual weights for the voice recognition waveforms of the main IoT device 100 and each sub IoT device 200 that receive the voice recognition information are applied. Step 4; And the home IoT networking device 300 transmits a control command through a combination of text information recognized as the average value (X) of the waveform of voice recognition over time to the sub IoT device 200 that is the target of the control command. a fifth step of transmitting to the network 500; It is characterized in that it includes.
Accordingly, in case of voice control of the IoT home appliance, there is a microphone for voice recognition in other IoT devices adjacent to the user, and voice recognition for controlling the IoT home appliance to be controlled by directly receiving the voice by the adjacent IoT device It provides the effect that the control command is transmitted accurately through the waveform correction.
In addition, the present invention provides an IoT home appliance that performs a control command in another IoT home appliance when a control command according to the corrected voice recognition waveform for the IoT home appliance is provided, and outputs information and processing process, etc., in the home The increase in the number provides an effect of limiting the use by other users while controlling the IoT home appliance.

Description

Hybrid home speech recognition system and method for providing the same

본 발명은 하이브리드 홈 음성인식 시스템 및 그 제공 방법에 관한 것으로, 보다 구체적으로는, IoT 기술에 의해 연결된 각 가전을 음성인식 기반의 사용자 스마트 디바이스 등의 리모트 장치를 통해 원격으로 제어할 수 있는데, IoT 가전 장치를 음성 제어하는 경우 사용자와 인접한 다른 IoT 디바이스에도 음성인식을 위한 마이크가 있어서, 인접한 IoT 디바이스에 의해 음성을 직접 수하여 제어 대상이 되는 IoT 가전 장치에 대한 제어를 위한 음성인식 파형 보정을 통해 제어 명령이 정확하게 전달되도록 하기 위한 하이브리드 홈 음성인식 시스템 및 그 제공 방법에 관한 것이다. The present invention relates to a hybrid home voice recognition system and a method for providing the same, and more particularly, it is possible to remotely control each home appliance connected by IoT technology through a remote device such as a voice recognition-based user smart device. In the case of voice control of home appliances, other IoT devices adjacent to the user also have a microphone for voice recognition, so through voice recognition waveform correction for controlling the IoT home appliance that is to be controlled by directly receiving voice by the adjacent IoT device, A hybrid home voice recognition system and a method for providing the same for accurately transmitting a control command.

IoT란 Internet of Things를 줄인 말로 각종 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술을 의미한다.IoT is an abbreviation of Internet of Things, which refers to a technology that connects to the Internet by embedding sensors and communication functions in various objects.

이미 스마트 TV, 스마트 냉장고, 에어컨, 도어락 등이 가전 IoT 제품으로 출시되어 있으며, 웨어러블 IoT 기기로는 스마트 안경, 스마트 워치, 스마트 밴드 등 모바일 형태의 다양한 종류로도 제품화되고 있다.Smart TVs, smart refrigerators, air conditioners, door locks, etc. have already been released as home appliance IoT products, and wearable IoT devices are being commercialized into various types of mobile devices such as smart glasses, smart watches, and smart bands.

향후 기술이 발전하면서 상기한 기기들을 사용하는 사람들은 계속 늘어날 것이며, 이에 따라 해당 기술분야에 있어서는 다변화되는 IoT 가전 장치에 대한 제어 명령을 음성인식에 따라 제공시, 음성인식을 위한 기술 개발이 요구되고 있다.As the technology develops in the future, the number of people using the above devices will continue to increase, and accordingly, when providing control commands for diversified IoT home appliances according to voice recognition in the field of technology, technology development for voice recognition is required. have.

대한민국 특허출원 출원번호 제10-2015-0180181호 "비컨 네트워크 기반 IoT 환경 구축 및 홈 내 거주자 안전 관리 시스템(IoT ENVIRONMENT CONSTRUCTION AND RESIDENT SAFETY MANAGEMENT SYSTEM BASED ON BEACON NETWORK)"Republic of Korea Patent Application No. 10-2015-0180181 "IoT ENVIRONMENT CONSTRUCTION AND RESIDENT SAFETY MANAGEMENT SYSTEM BASED ON BEACON NETWORK"

본 발명은 상기의 문제점을 해결하기 위한 것으로, IoT 가전 장치를 음성 제어하는 경우 사용자와 인접한 다른 IoT 디바이스에도 음성인식을 위한 마이크가 있어서, 인접한 IoT 디바이스에 의해 음성을 직접 수하여 제어 대상이 되는 IoT 가전 장치에 대한 제어를 위한 음성인식 파형 보정을 통해 제어 명령이 정확하게 전달되도록 하기 위한 하이브리드 홈 음성인식 시스템 및 그 제공 방법을 제공하기 위한 것이다.The present invention is to solve the above problem, and in case of voice control of an IoT home appliance device, other IoT devices adjacent to the user also have a microphone for voice recognition, so the IoT is controlled by directly receiving a voice by the adjacent IoT device. An object of the present invention is to provide a hybrid home voice recognition system and a method for providing the same for accurately transmitting a control command through voice recognition waveform correction for controlling a home appliance.

또한, 본 발명은 IoT 가전 장치에 대한 보정된 음성인식 파형에 따른 제어 명령이 제공시 다른 IoT 가전 장치에서 제어 명령을 수행하는 IoT 가전 장치와 정보 및 프로세싱 과정 등을 출력함으로써, 홈 내에서 개수의 증가로 IoT 가전 장치에 대한 제어 수행 중에 다른 사용자에 의한 사용을 제한할 수 있도록 하기 위한 하이브리드 홈 음성인식 시스템 및 그 제공 방법을 제공하기 위한 것이다.In addition, the present invention provides an IoT home appliance that performs a control command in another IoT home appliance when a control command according to the corrected voice recognition waveform is provided to the IoT home appliance device, and outputs information and processing procedures, etc. An object of the present invention is to provide a hybrid home voice recognition system and a method for providing the same for restricting use by other users while performing control of IoT home appliances due to increasing increase.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 하이브리드 홈 음성인식 제공 방법은, 홈 IoT 네트워킹 장치(300)가 각 서브 IoT 장치(200)에 대한 제어 명령 리스트 중 하나에 해당하는 제어 명령이 메인 IoT 장치(100)의 마이크(110)로 음성인식 정보를 통해 수신되는 경우, 수신된 음성인식 정보를 제 1 음성인식 파형으로 저장부(330)에 저장하며, 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)(I1)의 마이크(210)로 수신되는 음성인식 정보를 제 2 음성인식 파형으로 저장부(330)에 저장하는 제 1 단계; 홈 IoT 네트워킹 장치(300)가 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 1 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 3-1 내지 제 3-n 음성인식 파형(n은 2 이상의 자연수)으로 저장부(330)에 저장하는 제 2 단계; 홈 IoT 네트워킹 장치(300)가 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 2 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 4-1 내지 제 4-m 음성인식 파형(m은 n과 같거나 다른 2 이상의 자연수)으로 저장부(330)에 저장하는 제 3 단계; 홈 IoT 네트워킹 장치(300)가 음성인식 정보를 수신하는 메인 IoT 장치(100)와 각 서브 IoT 장치(200)의 음성인식 파형에 대한 개별적인 가중치가 적용된 평균값을 통해 제어 명령에 포함된 문자를 인식하는 제 4 단계; 및 홈 IoT 네트워킹 장치(300)가 시간의 흐름에 따른 음성인식의 파형의 평균값(X)으로 인식된 문자 정보의 조합을 통한 제어 명령을 제어 명령의 대상이 되는 서브 IoT 장치(200)로 홈 IoT 네트워크(500)로 전송하는 제 5 단계; 를 포함하는 것을 특징으로 한다.In order to achieve the above object, in the hybrid home voice recognition providing method according to an embodiment of the present invention, the home IoT networking device 300 receives a control command corresponding to one of the control command list for each sub IoT device 200 . When it is received through the voice recognition information through the microphone 110 of the main IoT device 100, the received voice recognition information is stored in the storage unit 330 as a first voice recognition waveform, and the sub that is the target of receiving the control command A first step of storing the voice recognition information received by the microphone 210 of the IoT device 200 (I1) in the storage unit 330 as a second voice recognition waveform; The home IoT networking device 300 receives voice recognition information received through the microphone 210 of at least one other sub-IoT device 200 within a first threshold distance from the sub-IoT device 200 to which the control command is received. a second step of storing the 3-1 to 3-nth voice recognition waveforms (n is a natural number equal to or greater than 2) in the storage unit 330; The home IoT networking device 300 receives voice recognition information received through the microphone 210 of at least one other sub-IoT device 200 within a second threshold distance from the sub-IoT device 200 to which the control command is received. a third step of storing the 4-1th to 4-mth voice recognition waveforms (m is a natural number equal to or different from n 2 or more) in the storage unit 330; The home IoT networking device 300 recognizes the characters included in the control command through the average value to which the individual weights for the voice recognition waveforms of the main IoT device 100 and each sub IoT device 200 that receive the voice recognition information are applied. 4th step; And the home IoT networking device 300 transmits a control command through a combination of text information recognized as the average value (X) of the waveform of voice recognition over time to the sub IoT device 200 that is the target of the control command. a fifth step of transmitting to the network 500; It is characterized in that it includes.

상기의 목적을 달성하기 위해 본 발명의 다른 실시예에 따른 하이브리드 홈 음성인식 제공 방법은, 홈 IoT 네트워킹 장치(300)가 홈 객체 센싱 장치(400)에 포함된 카메라에 의해 촬영되는 홈 내의 영상 이미지를 실시간으로 홈 IoT 네트워크(500)를 통해 빅데이터 서버(600)로 전송한 뒤, 빅데이터 서버(600)에 의해 홈 내 영상 이미지로부터 IoT 객체에 대한 추출을 통해 추출된 IoT 장치 객체 판별 정보를 수신하는 제 1 단계; 및 홈 IoT 네트워킹 장치(300)가 빅데이터 서버(600)에 의해 판별된 IoT 장치 객체에 대한 추적 마크를 생성한 뒤, 홈 객체 센싱 장치(400)에 포함된 카메라에 의해 촬영되는 홈 내의 영상 이미지 내에서 판별된 IoT 장치 객체에 대한 이동 경로를 추적하여 저장부(330)에 저장하며, 실시간으로 홈 객체 센싱 장치(400)로부터 수신되는 홈 내의 영상 이미지 내에서 저장부(330)에 사용자로 등록된 사용자 이미지에 대한 패턴 인식 방식을 통해 사용자의 위치를 인식하여 인식된 위치에 있는 사용자와 각 IoT 장치 객체의 추적 마크와의 거리 정보를 저장부(330)에 저장하는 제 2 단계; 를 포함하는 것을 특징으로 한다.In order to achieve the above object, a hybrid home voice recognition providing method according to another embodiment of the present invention provides a video image in a home in which the home IoT networking device 300 is photographed by a camera included in the home object sensing device 400 . After transmitting to the big data server 600 through the home IoT network 500 in real time, the IoT device object identification information extracted through the extraction of the IoT object from the video image in the home by the big data server 600 a first step of receiving; And after the home IoT networking device 300 generates a tracking mark for the IoT device object determined by the big data server 600, the video image in the home taken by the camera included in the home object sensing device (400) The movement path for the IoT device object determined within is tracked and stored in the storage unit 330, and registered as a user in the storage unit 330 within the home video image received from the home object sensing device 400 in real time. a second step of recognizing the location of the user through the pattern recognition method for the user image and storing distance information between the user at the recognized location and the tracking mark of each IoT device object in the storage unit 330; It is characterized in that it includes.

이때, 본 발명은, 상기 제 2 단계 이후, 홈 IoT 네트워킹 장치(300)가 빅데이터 서버(600)에 의해 판별된 IoT 장치 객체에 대한 장치 사양(specification) 정보를 빅데이터 서버(600)로부터 홈 IoT 네트워크(500)를 통해 수신한 뒤, 각 추적 마크에 대한 고유식별번호를 메타데이터로 하여 각 추정 마크에 해당하는 IoT 장치 객체 사양 정보를 저장부(330)에 저장하는 제 3 단계; 를 더 포함하는 것을 특징으로 한다.At this time, in the present invention, after the second step, the home IoT networking device 300 retrieves device specification information for the IoT device object determined by the big data server 600 from the big data server 600 . a third step of storing IoT device object specification information corresponding to each estimated mark in the storage unit 330 by using the unique identification number for each tracking mark as metadata after receiving it through the IoT network 500; It is characterized in that it further comprises.

또한, 본 발명은, 상기 제 3 단계 이후, 홈 IoT 네트워킹 장치(300)가 저장부(330)에 저장된 사용자와 각 IoT 장치 객체의 거리 정보를 추출한 뒤, 가장 짧은 거리 정보에 해당하는 IoT 장치 객체를 메인 IoT 장치(100)로 설정하며, 메인 IoT 장치(100)로 설정된 "IoT 장치 객체 사양 정보"와 함께, "추적 마크 고유식별번호"와 함께 저장부(330)에 "메인 IoT 장치 객체 유닛 정보"로 저장하는 제 4 단계; 를 더 포함하는 것을 특징으로 한다.In the present invention, after the third step, the home IoT networking device 300 extracts distance information between the user and each IoT device object stored in the storage unit 330, and then the IoT device object corresponding to the shortest distance information. is set as the main IoT device 100, and the “main IoT device object unit a fourth step of storing "information"; It is characterized in that it further comprises.

또한, 본 발명은, 상기 제 4 단계 이후, 홈 IoT 네트워킹 장치(300)가 메인 IoT 장치(100)로 설정된 "IoT 장치 객체 사양 정보"에 마이크 장치(110)에 대한 포함 여부를 확인한 뒤, 마이크 장치(110)가 포함된 경우 메인 IoT 장치(100)에 대한 설정을 확정하고, 반대로 마이크 장치(110)가 포함되지 않은 경우 메인 IoT 장치(100)에 대한 설정을 취소하고 차순으로 짧은 거리 정보에 해당하는 IoT 장치 객체를 메인 IoT 장치(100)로 설정하는 방식으로 마이크 장치(110)가 있는 것 중 사용자와 가장 짧은 거리에 있는 IoT 장치 객체에 대한 메인 IoT 장치(100)로의 설정 및 확정 과정을 순차적으로 진행하는 제 5 단계; 를 더 포함하는 것을 특징으로 한다.In addition, in the present invention, after the fourth step, the home IoT networking device 300 checks whether the microphone device 110 is included in the "IoT device object specification information" set as the main IoT device 100, When the device 110 is included, the setting for the main IoT device 100 is confirmed, and conversely, when the microphone device 110 is not included, the setting for the main IoT device 100 is canceled and the short distance information is displayed in the following order. In a manner of setting the corresponding IoT device object as the main IoT device 100, the process of setting and determining the IoT device object that is the shortest distance from the user among those with the microphone device 110 to the main IoT device 100 is performed. a fifth step proceeding sequentially; It is characterized in that it further comprises.

또한, 상기 제 5 단계 이후, 홈 IoT 네트워킹 장치(300)가 메인 IoT 장치(100)로 확정된 IoT 장치 객체를 제외한 나머지 IoT 장치 객체 각각에 대한 저장부(330)에 저장된 거리 정보, IoT 장치 객체 사양 정보, 그리고 추적 마크 고유식별번호를 추출한 뒤, 추적 마크 고유식별번호를 메타데이터로 거리 정보, IoT 장치 객체 사양 정보를 저장부(330) 상에 하나의 "서브 IoT 장치 객체 유닛 정보"로 저장하는 방식으로 각 IoT 장치 객체에 대한 서브 IoT 장치 객체로의 확정을 수행하는 제 6 단계; 를 더 포함하는 것을 특징으로 한다.In addition, after the fifth step, distance information stored in the storage unit 330 of the home IoT networking device 300 for each of the remaining IoT device objects except for the IoT device object determined as the main IoT device 100, the IoT device object After extracting the specification information and the tracking mark unique identification number, the tracking mark unique identification number as metadata distance information and IoT device object specification information are stored as one "sub IoT device object unit information" on the storage unit 330 a sixth step of determining each IoT device object as a sub-IoT device object in the following manner; It is characterized in that it further comprises.

또한, 상기 제 6 단계 이후, 홈 IoT 네트워킹 장치(300)는 서브 IoT 장치 객체로 확정된 서브 IoT 장치(200)로 이루어진 서브 IoT 장치 집합(200g)에 포함된 모든 서브 IoT 장치(200)에 대한 음성인식 정보를 통한 제어 명령 리스트를 저장부(330)에 저장된 IoT 장치 객체 사양 정보를 통해 별도로 추출하여 저장부(330)에 저장하는 제 7 단계; 를 더 포함하는 것을 특징으로 한다. In addition, after the sixth step, the home IoT networking device 300 provides information on all sub IoT devices 200 included in the sub IoT device set 200g including the sub IoT device 200 determined as the sub IoT device object. a seventh step of separately extracting the control command list through the voice recognition information through the IoT device object specification information stored in the storage unit 330 and storing it in the storage unit 330; It is characterized in that it further comprises.

본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템 및 그 제공 방법은, IoT 가전 장치를 음성 제어하는 경우 사용자와 인접한 다른 IoT 디바이스에도 음성인식을 위한 마이크가 있어서, 인접한 IoT 디바이스에 의해 음성을 직접 수하여 제어 대상이 되는 IoT 가전 장치에 대한 제어를 위한 음성인식 파형 보정을 통해 제어 명령이 정확하게 전달되도록 하는 효과를 제공한다. In a hybrid home voice recognition system and a method for providing the same according to an embodiment of the present invention, when voice control of an IoT home appliance device, other IoT devices adjacent to the user also have a microphone for voice recognition, so that the voice can be directly received by the adjacent IoT device. Thus, it provides the effect of accurately transmitting the control command through voice recognition waveform correction for controlling the IoT home appliance that is to be controlled.

뿐만 아니라, 본 발명의 다른 실시예에 따른 하이브리드 홈 음성인식 시스템 및 그 제공 방법은, IoT 가전 장치에 대한 보정된 음성인식 파형에 따른 제어 명령이 제공시 다른 IoT 가전 장치에서 제어 명령을 수행하는 IoT 가전 장치와 정보 및 프로세싱 과정 등을 출력함으로써, 홈 내에서 개수의 증가로 IoT 가전 장치에 대한 제어 수행 중에 다른 사용자에 의한 사용을 제한할 수 있도록 하는 효과를 제공한다.In addition, the hybrid home voice recognition system and the method for providing the same according to another embodiment of the present invention provide IoT for performing a control command in another IoT home appliance when a control command according to a corrected voice recognition waveform for an IoT home appliance is provided. By outputting the home appliance, information, and processing process, etc., it is possible to limit the use by other users while controlling the IoT home appliance by increasing the number in the home.

도 1은 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1) 중 홈 IoT 네트워킹 장치(300)의 구성요소를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1)이 실제 홈 IoT 네트워크(500)를 형성하는 것을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1) 상의 디스플레이용 서브 IoT 장치(200)의 구동 상태를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 하이브리드 홈 음성인식 제공 방법을 나타내는 흐름도이다.1 is a diagram illustrating a hybrid home voice recognition system 1 according to an embodiment of the present invention.
2 is a block diagram illustrating components of a home IoT networking device 300 in a hybrid home voice recognition system 1 according to an embodiment of the present invention.
3 is a diagram illustrating that the hybrid home voice recognition system 1 according to an embodiment of the present invention forms an actual home IoT network 500 .
4 is a view for explaining a driving state of the sub-IoT device 200 for display on the hybrid home voice recognition system 1 according to an embodiment of the present invention.
5 is a flowchart illustrating a hybrid home voice recognition providing method according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, detailed description of preferred embodiments of the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.In the present specification, when one component 'transmits' data or signal to another component, the component may directly transmit the data or signal to another component, and through at least one other component This means that data or signals can be transmitted to other components.

도 1은 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1)을 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1) 중 홈 IoT 네트워킹 장치(300)의 구성요소를 나타내는 블록도이다. 도 3은 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1)이 실제 홈 IoT 네트워크(500)를 형성하는 것을 나타내는 도면이다. 도 4는 본 발명의 실시예에 따른 하이브리드 홈 음성인식 시스템(1) 상의 디스플레이용 서브 IoT 장치(200)의 구동 상태를 설명하기 위한 도면이다. 1 is a diagram illustrating a hybrid home voice recognition system 1 according to an embodiment of the present invention. 2 is a block diagram illustrating components of a home IoT networking device 300 in a hybrid home voice recognition system 1 according to an embodiment of the present invention. 3 is a diagram illustrating that the hybrid home voice recognition system 1 according to an embodiment of the present invention forms an actual home IoT network 500 . 4 is a view for explaining a driving state of the sub-IoT device 200 for display on the hybrid home voice recognition system 1 according to an embodiment of the present invention.

먼저, 도 1 및 도 3을 참조하면, 하이브리드 홈 음성인식 시스템(1)은 메인 IoT 장치(100), 복수의 서브 IoT 장치(200)로 이루어진 서브 IoT 장치 집합(200g), 홈 IoT 네트워킹 장치(300), 홈 객체 센싱 장치(400), 홈 IoT 네트워크(500) 및 빅데이터 서버(600)를 포함할 수 있다. First, referring to FIGS. 1 and 3 , the hybrid home voice recognition system 1 includes a main IoT device 100 , a sub IoT device set 200g including a plurality of sub IoT devices 200 , and a home IoT networking device ( 300 ), a home object sensing device 400 , a home IoT network 500 , and a big data server 600 .

여기서, 메인 IoT 장치(100), 그리고 각 서브 IoT 장치(200)는 도 3과 같이 하나의 홈 IoT 네트워크(500)를 이루기 위한 홈 IoT 네트워킹 장치(300)의 통신 커버리지 영역에 속하는 IoT 장치 객체로, 본 발명에서 메인 IoT 장치(100)는 근거리 무선 통신 방식으로 사용자와 인접하게 착용될 수 있는 웨어러블 IoT 장치 객체로, 일 예로, 무선 통신 방식의 이어폰일 수 있다. 그리고, 각 서브 IoT 장치(200)는 IoT 기반 요리 가전, IoT 기반 TV 가전, IoT 기반 냉장고, IoT 기반 미러 등일 수 있다. Here, the main IoT device 100 and each sub IoT device 200 are IoT device objects belonging to the communication coverage area of the home IoT networking device 300 for forming one home IoT network 500 as shown in FIG. 3 . , in the present invention, the main IoT device 100 is a wearable IoT device object that can be worn adjacent to a user in a short-range wireless communication method, and may be, for example, an earphone of a wireless communication method. In addition, each sub IoT device 200 may be an IoT-based cooking appliance, an IoT-based TV appliance, an IoT-based refrigerator, or an IoT-based mirror.

홈 IoT 네트워크(500)는 다양한 유무선 기술을 적용하여 댁내의 개인용 컴퓨터(PC), 가전 기기, 제어 기기, 각종 시설 등은 물론 휴대 전화, 개인 휴대 정보 단말기(PDA) 등을 통합한 네트워크로, 외부의 공중 네트워크를 통해 빅데이터 서버(600)에 액세스될 수 있다. 따라서, 홈 IoT 네트워크(500)는 댁내 혹은 댁외, 위치에 상관없이 각종 서비스를 제공받고, 제어할 수 있을 뿐만 아니라 비상 상황이 발생했을 때 이를 통보받고 이에 대한 적절한 조치를 취할 수 있게 된다. 홈 IoT 네트워크(500)는 Ethernet, PLC, IEEE 1394, HomePNA 등과 같은 유선 기술과 IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB와 같은 무선 기술, UPnP(Universal Plug and Play), HAVI(Home Audio/Video Interoperability), JINI(Java Intelligent Network Infra-structure), HNCP(Home Network Control Protocol) 등 홈 네트워크 제어 미들웨어, 그리고 이들을 기반으로 메인 IoT 장치(100), 복수의 서브 IoT 장치(200)로 이루어진 서브 IoT 장치 집합(200g), 홈 IoT 네트워킹 장치(300), 홈 객체 센싱 장치(400), 빅데이터 서버(600), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다. The home IoT network 500 is a network that integrates a personal computer (PC), home appliance, control device, various facilities, etc. in the house, as well as a mobile phone, a personal digital assistant (PDA), etc. by applying various wired and wireless technologies. The big data server 600 may be accessed through a public network of Accordingly, the home IoT network 500 can receive and control various services regardless of location, indoors or outdoors, as well as receive notification when an emergency situation occurs and take appropriate measures. The home IoT network 500 includes wired technologies such as Ethernet, PLC, IEEE 1394, HomePNA, etc., wireless technologies such as IEEE 802.11 WLAN, IEEE 802.15 WPAN, and UWB, UPnP (Universal Plug and Play), HAVI (Home Audio/Video Interoperability) , JINI (Java Intelligent Network Infra-structure), home network control middleware such as HNCP (Home Network Control Protocol), and a sub-IoT device set ( 200g), the home IoT networking device 300, the home object sensing device 400, the big data server 600, and other systems serve to mutually transmit signals and data.

다음으로, 도 2를 참조하면, 홈 IoT 네트워킹 장치(300)는 송수신부(310), 제어부(320) 및 저장부(330)를 포함하며, 제어부(320)는 메인 IoT 설정 모듈(321), 서브 IoT 설정 모듈(322), 마이크 단어 인식 모듈(323), 디스플레이 IoT 설정 모듈(324) 및 제어 정보 디스플레이 모듈(325)을 포함할 수 있다. Next, referring to FIG. 2 , the home IoT networking device 300 includes a transceiver 310 , a controller 320 and a storage 330 , and the controller 320 includes a main IoT setting module 321 , It may include a sub IoT setting module 322 , a microphone word recognition module 323 , a display IoT setting module 324 , and a control information display module 325 .

그리고 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.And, in this specification, a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware. For example, the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or a single type of hardware. It can be easily inferred to an average expert in the technical field of

저장부(330)는 저장되는 정보를 수집 및 관리하는 정보 수집 알고리즘(331)을 포함할 수 있다.The storage unit 330 may include an information collection algorithm 331 that collects and manages stored information.

정보 수집 알고리즘(331)은 홈 객체 센싱 장치(400)에 포함된 카메라에 의해 촬영되는 홈 내의 영상 이미지를 실시간으로 홈 IoT 네트워크(500)를 통해 빅데이터 서버(600)로 전송하도록 송수신부(310)를 제어함으로써, 빅데이터 서버(600)에 의해 홈 내 영상 이미지로부터 IoT 객체에 대한 추출을 통해 추출된 IoT 장치 객체 판별 정보를 수신할 수 있다. The information collection algorithm 331 transmits the video image in the home captured by the camera included in the home object sensing device 400 to the big data server 600 through the home IoT network 500 in real time. ), it is possible to receive the IoT device object identification information extracted through the extraction of the IoT object from the video image in the home by the big data server 600 .

빅데이터 서버(600)는 홈 내 영상 이미지로부터 IoT 장치 객체를 판별하기 위한 다양한 IoT 장치 객체 패턴이 저장될 수 있다.The big data server 600 may store various IoT device object patterns for discriminating IoT device objects from video images in the home.

즉, 빅데이터 서버(600)에 저장된 다양한 IoT 장치 객체 패턴 자체 정보 또는 다양한 IoT 장치 객체 패턴의 기울어진 것, 역으로 된 것, 약간 각도가 기울어진 것 등과 홈 내 영상 이미지에 포함된 IoT 장치 객체의 패턴을 비교하여 홈 내 영상 이미지 속의 IoT 장치 객체를 판별할 수 있다. That is, various IoT device object pattern self information or various IoT device object patterns stored in the big data server 600 are inclined, inverted, slightly inclined, etc. IoT device objects included in the video image in the home. By comparing the patterns of , it is possible to determine the IoT device object in the video image in the home.

정보 수집 알고리즘(331)은 빅데이터 서버(600)에 의해 판별된 IoT 장치 객체에 대한 추적 마크를 생성한 뒤, 홈 객체 센싱 장치(400)에 포함된 카메라에 의해 촬영되는 홈 내의 영상 이미지 내에서 판별된 IoT 장치 객체에 대한 이동 경로를 추적하여 저장부(330)에 저장하며, 실시간으로 홈 객체 센싱 장치(400)로부터 수신되는 홈 내의 영상 이미지 내에서 저장부(330)에 사용자로 등록된 사용자 이미지에 대한 상술한 패턴 인식 방식을 통해 사용자의 위치를 인식하여 인식된 위치에 있는 사용자와 각 IoT 장치 객체의 추적 마크와의 거리 정보를 저장부(330)에 저장할 수 있다. The information collection algorithm 331 generates a tracking mark for the IoT device object determined by the big data server 600 , and then within the video image in the home captured by the camera included in the home object sensing device 400 . A user registered as a user in the storage unit 330 within the home video image received from the home object sensing device 400 in real time by tracking the movement path of the determined IoT device object and storing it in the storage unit 330 . By recognizing the location of the user through the above-described pattern recognition method for the image, distance information between the user at the recognized location and the tracking mark of each IoT device object may be stored in the storage unit 330 .

한편, 정보 수집 알고리즘(331)은 빅데이터 서버(600)에 의해 판별된 IoT 장치 객체에 대한 장치 사양(specification) 정보를 빅데이터 서버(600)로부터 홈 IoT 네트워크(500)를 통해 수신한 뒤, 각 추적 마크에 대한 고유식별번호를 메타데이터로 하여 각 추정 마크에 해당하는 IoT 장치 객체 사양 정보를 저장부(330)에 저장할 수 있다. On the other hand, the information collection algorithm 331 receives the device specification information for the IoT device object determined by the big data server 600 from the big data server 600 through the home IoT network 500, By using the unique identification number for each tracking mark as metadata, IoT device object specification information corresponding to each estimated mark may be stored in the storage unit 330 .

메인 IoT 설정 모듈(321)은 저장부(330)에 저장된 사용자와 각 IoT 장치 객체의 거리 정보를 추출한 뒤, 가장 짧은 거리 정보에 해당하는 IoT 장치 객체를 메인 IoT 장치(100)로 설정하며, 메인 IoT 장치(100)로 설정된 "IoT 장치 객체 사양 정보"와 함께, "추적 마크 고유식별번호"와 함께 저장부(330)에 "메인 IoT 장치 객체 유닛 정보"로 저장할 수 있다. The main IoT setting module 321 extracts distance information between the user and each IoT device object stored in the storage 330 and sets the IoT device object corresponding to the shortest distance information as the main IoT device 100, It may be stored as "main IoT device object unit information" in the storage unit 330 together with "tracking mark unique identification number" together with "IoT device object specification information" set to the IoT device 100 .

메인 IoT 설정 모듈(321)은 메인 IoT 장치(100)로 설정된 "IoT 장치 객체 사양 정보"에 마이크 장치(110)에 대한 포함 여부를 확인한 뒤, 마이크 장치(110)가 포함된 경우 메인 IoT 장치(100)에 대한 설정을 확정하고, 반대로 마이크 장치(110)가 포함되지 않은 경우 메인 IoT 장치(100)에 대한 설정을 취소하고 차순으로 짧은 거리 정보에 해당하는 IoT 장치 객체를 메인 IoT 장치(100)로 설정하는 방식으로 마이크 장치(110)가 있는 것 중 사용자와 가장 짧은 거리에 있는 IoT 장치 객체에 대한 메인 IoT 장치(100)로의 설정 및 확정 과정을 순차적으로 진행할 수 있다. The main IoT setting module 321 checks whether the microphone device 110 is included in the "IoT device object specification information" set as the main IoT device 100, and then, if the microphone device 110 is included, the main IoT device ( 100), on the contrary, if the microphone device 110 is not included, cancel the setting for the main IoT device 100 and set the IoT device object corresponding to the short distance information to the main IoT device 100 in the following order. In this way, among those with the microphone device 110 , the process of setting and determining the IoT device object that is the shortest distance from the user to the main IoT device 100 may be sequentially performed.

서브 IoT 설정 모듈(322)은 메인 IoT 설정 모듈(321)에 의해 메인 IoT 장치(100)로 확정된 IoT 장치 객체를 제외한 나머지 IoT 장치 객체 각각에 대한 저장부(330)에 저장된 거리 정보, IoT 장치 객체 사양 정보, 그리고 추적 마크 고유식별번호를 추출한 뒤, 추적 마크 고유식별번호를 메타데이터로 거리 정보, IoT 장치 객체 사양 정보를 저장부(330) 상에 하나의 "서브 IoT 장치 객체 유닛 정보"로 저장하는 방식으로 각 IoT 장치 객체에 대한 서브 IoT 장치 객체로의 확정을 수행할 수 있다. The sub IoT setting module 322 includes distance information stored in the storage unit 330 for each of the remaining IoT device objects except for the IoT device object determined as the main IoT device 100 by the main IoT setting module 321 , the IoT device. After extracting the object specification information and the tracking mark unique identification number, the tracking mark unique identification number as metadata, distance information, and IoT device object specification information as one "sub IoT device object unit information" on the storage unit 330 In the storage method, the determination of each IoT device object as a sub IoT device object may be performed.

마이크 단어 인식 모듈(323)은 서브 IoT 설정 모듈(322)에 의해 서브 IoT 장치 객체로 확정된 서브 IoT 장치(200)로 이루어진 서브 IoT 장치 집합(200g)에 포함된 모든 서브 IoT 장치(200)에 대한 음성인식 정보를 통한 제어 명령 리스트를 저장부(330)에 저장된 IoT 장치 객체 사양 정보를 통해 별도로 추출하여 저장부(330)에 저장할 수 있다.The microphone word recognition module 323 includes all sub IoT devices 200 included in the sub IoT device set 200g including the sub IoT device 200 determined as the sub IoT device object by the sub IoT setting module 322 . The control command list through the voice recognition information for the user may be separately extracted through the IoT device object specification information stored in the storage unit 330 and stored in the storage unit 330 .

이후, 마이크 단어 인식 모듈(323)은 각 서브 IoT 장치(200)에 대한 제어 명령 리스트 중 하나에 해당하는 제어 명령이 메인 IoT 장치(100)의 마이크(110)로 음성인식 정보를 통해 수신되는 경우, 수신된 음성인식 정보를 제 1 음성인식 파형으로 저장부(330)에 저장하며, 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)(예, 도 1의 I1)의 마이크(210)로 수신되는 음성인식 정보를 제 2 음성인식 파형으로 저장부(330)에 저장할 수 있다.Thereafter, the microphone word recognition module 323 receives a control command corresponding to one of the control command list for each sub IoT device 200 through the voice recognition information to the microphone 110 of the main IoT device 100 . , the received voice recognition information is stored in the storage unit 330 as a first voice recognition waveform, and is received by the microphone 210 of the sub IoT device 200 (eg, I1 in FIG. 1 ), which is the target of receiving the control command. The used voice recognition information may be stored in the storage unit 330 as a second voice recognition waveform.

또한, 마이크 단어 인식 모듈(323)은 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 1 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 3-1 내지 제 3-n 음성인식 파형(n은 2 이상의 자연수)으로 저장부(330)에 저장할 수 있다. In addition, the microphone word recognition module 323 is a voice recognition received by the microphone 210 of at least one other sub-IoT device 200 within a first threshold distance from the sub-IoT device 200 that is the target of receiving the control command. The information may be stored in the storage unit 330 as 3-1 to 3-n-th voice recognition waveforms (n is a natural number equal to or greater than 2).

또한, 마이크 단어 인식 모듈(323)은 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 2 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 4-1 내지 제 4-m 음성인식 파형(m은 n과 같거나 다른 2 이상의 자연수)으로 저장부(330)에 저장할 수 있다. In addition, the microphone word recognition module 323 is a voice recognition received by the microphone 210 of at least one other sub-IoT device 200 within a second threshold distance from the sub-IoT device 200, which is the target of receiving the control command. The information may be stored in the storage unit 330 as 4-1 th to 4-m th voice recognition waveforms (m is a natural number equal to or different from n 2 or more).

이러한 임계 거리는 상술한 제 1 임계 거리부터 제 k 임계 거리(k는 n 및 m과 같거나 다른 2 이상의 자연수)까지 구분되어 마이크 단어 인식 모듈(323)에 의해 구분되어 저장부(330)에 저장될 수 있다. Such a threshold distance is divided from the above-described first threshold distance to the kth threshold distance (k is a natural number equal to or different from n and m, 2 or more), divided by the microphone word recognition module 323, and stored in the storage unit 330. can

이후, 마이크 단어 인식 모듈(323)은 음성인식 정보를 수신하는 메인 IoT 장치(100)와 각 서브 IoT 장치(200)의 음성인식 파형에 대한 개별적인 가중치가 적용된 평균값을 통해 제어 명령에 포함된 문자를 인식할 수 있다.Thereafter, the microphone word recognition module 323 receives the characters included in the control command through the average value to which the individual weights for the voice recognition waveforms of the main IoT device 100 and each sub IoT device 200 that receive the voice recognition information are applied. can recognize

본 발명의 일 실시예로, 마이크 단어 인식 모듈(323)은 사용자와 가장 근접한 메인 IoT 장치(100)의 마이크(110)가 음성을 가장 정확히 인식할 확률이 높으므로 메인 IoT 장치(100)의 마이크(110)의 가중치를 크게 하여 평균값을 연산할 수 있으며, 연산식은 하기의 [수학식 1]과 같이 설정될 수 있다.In an embodiment of the present invention, the microphone word recognition module 323 has a high probability that the microphone 110 of the main IoT device 100 closest to the user will most accurately recognize the voice, so the microphone of the main IoT device 100 is The average value may be calculated by increasing the weight of (110), and the calculation formula may be set as shown in [Equation 1] below.

여기서, A에 대하여 multiplication 되는 0.5는 메인 IoT 장치(100)의 마이크(110)에 대한 가중치며, B에 대하여 multiplication 되는 0.2는 제어 명령의 대상이 되는 서브 IoT 장치(200)의 마이크(210)에 대한 가중치이며, C에 대해 multiplication 되는 0.2는 제 1 임계 거리 이내에 있는 하나의 다른 서브 IoT 장치(200)의 마이크(210)에 대한 가중치이며, D에 대해서 multiplication 되는 0.1은 제 2 임계 거리 이내에 있는 하나의 다른 서브 IoT 장치(200)의 마이크(210)에 대한 가중치이다.Here, 0.5 multiplication for A is the weight for the microphone 110 of the main IoT device 100, and 0.2 multiplication for B is the microphone 210 of the sub IoT device 200 that is the target of the control command. is a weight for C, and 0.2 multiplied for C is a weight for the microphone 210 of one other sub-IoT device 200 within a first threshold distance, and 0.1 multiplied for D is one within a second threshold distance is a weight for the microphone 210 of the other sub-IoT device 200 of .

그리고, A, B, C, D는 각각 메인 IoT 장치(100)의 마이크(110), 제어 명령의 대상이 되는 서브 IoT 장치(200)의 마이크(210), 제 1 임계 거리 이내에 있는 하나의 다른 서브 IoT 장치(200)의 마이크(210), 제 2 임계 거리 이내에 있는 하나의 다른 서브 IoT 장치(200)의 마이크(210)에 대한 한 시점의 음성인식 파형의 값을 의미한다. And, A, B, C, and D are the microphone 110 of the main IoT device 100, the microphone 210 of the sub IoT device 200 that is the target of the control command, and one other within the first threshold distance, respectively. It means the value of the voice recognition waveform at one point of time with respect to the microphone 210 of the sub-IoT device 200 and the microphone 210 of one other sub-IoT device 200 within the second threshold distance.

X는 평균값에 해당하는 음성인식 파형의 값을 의미할 수 있다. X may mean a value of a voice recognition waveform corresponding to an average value.

이에 따라, 마이크 단어 인식 모듈(323)은 시간의 흐름에 따른 음성인식의 파형의 평균값(X)으로 인식된 문자 정보의 조합을 통한 제어 명령을 제어 명령의 대상이 되는 서브 IoT 장치(200)로 홈 IoT 네트워크(500)로 전송하도록 송수신부(310)를 제어함으로써, 각 IoT 장치 객체의 마이크의 인식율이 갖지 않으므로, 메인 IoT 장치(100)의 마이크(110)의 음성인식 파형을 기준으로 다른 서브 IoT 장치(200)의 마이크(210)의 음성인식 파형을 보강한 하이브리드 음성인식 파형을 생성하여 음성인식 성공률을 높일 수 있다. Accordingly, the microphone word recognition module 323 converts a control command through a combination of text information recognized as the average value (X) of the waveform of voice recognition over time to the sub-IoT device 200 that is the target of the control command. By controlling the transceiver 310 to transmit to the home IoT network 500 , since the recognition rate of the microphone of each IoT device object does not exist, other subs based on the voice recognition waveform of the microphone 110 of the main IoT device 100 By generating a hybrid voice recognition waveform in which the voice recognition waveform of the microphone 210 of the IoT device 200 is reinforced, the success rate of voice recognition can be increased.

디스플레이 IoT 설정 모듈(324)은 저장부(330)로 서브 IoT 설정 모듈(322)에 의해 저장된 "서브 IoT 장치 객체 유닛 정보"에서 IoT 장치 객체 사양 정보를 추출한 뒤, 추출된 IoT 장치 객체 사양 정보에 디스플레이 장치(220)가 있는 서브 IoT 장치(200)(예, 도 1의 I2)를 모두 추출할 수 있다.The display IoT setting module 324 extracts IoT device object specification information from the "sub IoT device object unit information" stored by the sub IoT setting module 322 to the storage 330, and then adds it to the extracted IoT device object specification information. All of the sub IoT devices 200 (eg, I2 in FIG. 1 ) including the display device 220 may be extracted.

이후, 디스플레이 IoT 설정 모듈(324)은 추출된 각 서브 IoT 장치(220)의 "서브 IoT 장치 객체 유닛 정보"에서 정보 수집 알고리즘(331)에 의해 실시간으로 저장부(330)에 저장되는 하나의 사용자가 있거나, 하나의 사용자인 제어 명령을 음성인식시킨 사용자 외에 다른 사용자가 있는 경우 다른 사용자의 위치와 각 서브 IoT 장치(220)의 추적 마크 간의 거리 정보 중 가장 근거리에 있는 서브 IoT 장치(220)를 추출할 수 있다.Thereafter, the display IoT setting module 324 is one user stored in the storage unit 330 in real time by the information collection algorithm 331 in the extracted “sub IoT device object unit information” of each sub IoT device 220 . If there is or there is another user other than the user who has voice-recognized the control command, which is one user, the closest sub IoT device 220 among the distance information between the location of another user and the tracking mark of each sub IoT device 220 is selected. can be extracted.

한편, 디스플레이 IoT 설정 모듈(324)은 추출된 근거리에 있는 서브 IoT 장치(200)가 미리 설정된 이격거리 이내인 경우, 추출된 각 서브 IoT 장치(200)의 IoT 장치 객체 사양 정보 중 디스플레이 화면의 크기가 상대적으로 큰 것을 디스플레이용 서브 IoT 장치(220)로 설정할 수 있다. On the other hand, the display IoT setting module 324 determines the size of the display screen among the extracted IoT device object specification information of each sub IoT device 200 when the extracted local sub IoT device 200 is within a preset separation distance. A relatively large one may be set as the sub-IoT device 220 for display.

제어 정보 디스플레이 모듈(325)은 마이크 단어 인식 모듈(323)에 의해 생성된 하이브리드 음성인식 파형과 매칭되는 제어 명령에 대한 서브 IoT 장치(200)(I-1)로의 전송 정보를 디스플레이용 서브 IoT 장치(200)로 전송하여 디스플레이 장치(220)에 출력하도록 송수신부(310)를 제어할 수 있다.The control information display module 325 transmits information to the sub IoT device 200 (I-1) for a control command matching the hybrid voice recognition waveform generated by the microphone word recognition module 323 to the sub IoT device for display. It is possible to control the transceiver 310 to transmit to 200 and output to the display device 220 .

그리고 제어 정보 디스플레이 모듈(325)은 서브 IoT 장치(200)(I-1)에 의한 제어 상태 정보를 IoT 홈 네트워크(500)를 통해 수신하도록 송수신부(310)를 제어한 뒤, 다시 디스플레이용 서브 IoT 장치(200)(I-2)로 전송하여 디스플레이 장치(220)에 출력하도록 송수신부(310)를 제어할 수 있다.Then, the control information display module 325 controls the transceiver 310 to receive the control state information by the sub IoT device 200 (I-1) through the IoT home network 500, and then again displays the sub for display. The transceiver 310 may be controlled to transmit the data to the IoT device 200 (I-2) and output it to the display device 220 .

이 경우, 하나의 사용자인 제어 명령을 음성인식시킨 사용자 외에 다른 사용자가 인식되어 저장부(330)에 저장되는 경우, 하나의 IoT 가전에 해당하는 서브 IoT 장치(200)(I-1)에 대한 제어 정보 및 프로세싱 과정이 다른 하나의 IoT 가전에 해당하는 서브 IoT 장치(200)(I-2)로 출력됨으로써, 사용자 1명이 무엇인가 일은 하는데 다른 사용자 1명이 모니터링할 수 있는 기능을 제공할 수 있다. In this case, when another user is recognized and stored in the storage 330 other than the user who has voice-recognized the control command, which is one user, the sub-IoT device 200 (I-1) corresponding to one IoT home appliance By outputting the control information and processing process to the sub-IoT device 200 (I-2) corresponding to another IoT home appliance, a function that one user can do while one other user can monitor can be provided. .

본 발명의 다른 실시예로, 제어 정보 디스플레이 모듈(325)은 메인 IoT 장치(100)의 마이크(110)에 인식된 음성인식 파형을 디스플레이용 서브 IoT 장치(200)의 디스플레이 장치(220) 화면 전체에 출력하도록 할 뿐만 아니라, 메인 IoT 장치(100)의 마이크(110) 외에 하이브리드 음성인식 파형 생성에 도움을 준 서브 IoT 장치(200)의 마이크(210)에 인식된 음성인식 파형을 디스플레이용 서브 IoT 장치(200)의 화면 하단에 분할하여 출력하도록 각 음성인식 파형 정보를 홈 IoT 네트워크(500)를 통해 디스플레이용 서브 IoT 장치(200)로 전송하도록 송수신부(310)를 제어할 수 있다. In another embodiment of the present invention, the control information display module 325 displays the voice recognition waveform recognized by the microphone 110 of the main IoT device 100 on the entire screen of the display device 220 of the sub IoT device 200 for display. In addition to outputting the voice recognition waveform recognized by the microphone 210 of the sub IoT device 200, which helped to generate a hybrid voice recognition waveform in addition to the microphone 110 of the main IoT device 100, the sub IoT for display The transceiver 310 may be controlled to transmit each voice recognition waveform information to the sub-IoT device 200 for display through the home IoT network 500 so as to divide and output the information at the bottom of the screen of the device 200 .

본 발명의 또 다른 실시예로, 도 4와 같이 제어 정보 디스플레이 모듈(325)은 디스플레이용 서브 IoT 장치(200)가 복수가 추출되는 경우 사용자와 가장 가까운 디스플레이용 서브 IoT 장치(200)에 메인 IoT 장치(100)의 마이크(110)에 인식된 음성인식 파형을 디스플레이용 서브 IoT 장치(200)의 디스플레이 장치(220) 화면 전체에 출력하도록 제어할 수 있으며, 그 밖의 디스플레이용 서브 IoT 장치(200)에 대해서는 메인 IoT 장치(100)의 마이크(110) 외에 하이브리드 음성인식 파형 생성에 도움을 준 서브 IoT 장치(200)의 마이크(210)에 인식된 각 음성인식 파형을 디스플레이용 서브 IoT 장치(200)의 디스플레이 장치(220) 화면 전체에 출력하도록 제어할 수 있다. In another embodiment of the present invention, as shown in FIG. 4 , the control information display module 325 provides the main IoT device to the sub-IoT device 200 for display closest to the user when a plurality of sub-IoT devices 200 for display are extracted. A voice recognition waveform recognized by the microphone 110 of the device 100 may be controlled to be output on the entire screen of the display device 220 of the sub IoT device 200 for display, and other sub IoT devices 200 for display. In addition to the microphone 110 of the main IoT device 100, each voice recognition waveform recognized by the microphone 210 of the sub IoT device 200 that helped generate a hybrid voice recognition waveform is displayed on the sub IoT device 200 for display. It is possible to control to output the entire screen of the display device 220 of the.

도 5는 본 발명의 실시예에 따른 하이브리드 홈 음성인식 제공 방법을 나타내는 흐름도이다. 도 5를 참조하면, 홈 IoT 네트워킹 장치(300)는 홈 객체 센싱 장치(400)에 포함된 카메라에 의해 촬영되는 홈 내의 영상 이미지를 실시간으로 홈 IoT 네트워크(500)를 통해 빅데이터 서버(600)로 전송한 뒤, 빅데이터 서버(600)에 의해 홈 내 영상 이미지로부터 IoT 객체에 대한 추출을 통해 추출된 IoT 장치 객체 판별 정보를 수신한다(S11).5 is a flowchart illustrating a hybrid home voice recognition providing method according to an embodiment of the present invention. Referring to FIG. 5 , the home IoT networking device 300 transmits a video image in the home captured by a camera included in the home object sensing device 400 in real time through the home IoT network 500 to the big data server 600 . After transmitting to , the IoT device object identification information extracted through the extraction of the IoT object from the video image in the home by the big data server 600 is received (S11).

단계(S11) 이후, 홈 IoT 네트워킹 장치(300)는 빅데이터 서버(600)에 의해 판별된 IoT 장치 객체에 대한 추적 마크를 생성한 뒤, 홈 객체 센싱 장치(400)에 포함된 카메라에 의해 촬영되는 홈 내의 영상 이미지 내에서 판별된 IoT 장치 객체에 대한 이동 경로를 추적하여 저장부(330)에 저장하며, 실시간으로 홈 객체 센싱 장치(400)로부터 수신되는 홈 내의 영상 이미지 내에서 저장부(330)에 사용자로 등록된 사용자 이미지에 대한 상술한 패턴 인식 방식을 통해 사용자의 위치를 인식하여 인식된 위치에 있는 사용자와 각 IoT 장치 객체의 추적 마크와의 거리 정보를 저장부(330)에 저장한다(S12).After step S11 , the home IoT networking device 300 generates a tracking mark for the IoT device object determined by the big data server 600 , and then shoots it by the camera included in the home object sensing device 400 . The movement path for the IoT device object determined in the video image in the home is tracked and stored in the storage unit 330, and in the video image in the home received from the home object sensing device 400 in real time, the storage unit 330 ) by recognizing the location of the user through the pattern recognition method described above for the user image registered as a user, and storing distance information between the user at the recognized location and the tracking mark of each IoT device object in the storage unit 330 (S12).

단계(S12) 이후, 홈 IoT 네트워킹 장치(300)가 빅데이터 서버(600)에 의해 판별된 IoT 장치 객체에 대한 장치 사양(specification) 정보를 빅데이터 서버(600)로부터 홈 IoT 네트워크(500)를 통해 수신한 뒤, 각 추적 마크에 대한 고유식별번호를 메타데이터로 하여 각 추정 마크에 해당하는 IoT 장치 객체 사양 정보를 저장부(330)에 저장한다(S13).After step S12 , the home IoT networking device 300 transmits device specification information for the IoT device object determined by the big data server 600 from the big data server 600 to the home IoT network 500 . After receiving through, the IoT device object specification information corresponding to each estimated mark is stored in the storage unit 330 by using the unique identification number for each tracking mark as metadata (S13).

단계(S13) 이후, 홈 IoT 네트워킹 장치(300)는 저장부(330)에 저장된 사용자와 각 IoT 장치 객체의 거리 정보를 추출한 뒤, 가장 짧은 거리 정보에 해당하는 IoT 장치 객체를 메인 IoT 장치(100)로 설정하며, 메인 IoT 장치(100)로 설정된 "IoT 장치 객체 사양 정보"와 함께, "추적 마크 고유식별번호"와 함께 저장부(330)에 "메인 IoT 장치 객체 유닛 정보"로 저장한다(S14).After step S13 , the home IoT networking device 300 extracts distance information between the user and each IoT device object stored in the storage unit 330 , and then converts the IoT device object corresponding to the shortest distance information to the main IoT device 100 . ) and stored as "main IoT device object unit information" in the storage unit 330 together with "tracking mark unique identification number" together with "IoT device object specification information" set to the main IoT device 100 ( S14).

단계(S14) 이후, 홈 IoT 네트워킹 장치(300)는 메인 IoT 장치(100)로 설정된 "IoT 장치 객체 사양 정보"에 마이크 장치(110)에 대한 포함 여부를 확인한 뒤, 마이크 장치(110)가 포함된 경우 메인 IoT 장치(100)에 대한 설정을 확정하고, 반대로 마이크 장치(110)가 포함되지 않은 경우 메인 IoT 장치(100)에 대한 설정을 취소하고 차순으로 짧은 거리 정보에 해당하는 IoT 장치 객체를 메인 IoT 장치(100)로 설정하는 방식으로 마이크 장치(110)가 있는 것 중 사용자와 가장 짧은 거리에 있는 IoT 장치 객체에 대한 메인 IoT 장치(100)로의 설정 및 확정 과정을 순차적으로 진행한다(S15).After step S14, the home IoT networking device 300 checks whether the microphone device 110 is included in the "IoT device object specification information" set as the main IoT device 100, and then the microphone device 110 is included. In the case where it is confirmed, the setting for the main IoT device 100 is confirmed, and, conversely, if the microphone device 110 is not included, the setting for the main IoT device 100 is canceled and the IoT device object corresponding to the short distance information is set in the following order. In a manner of setting as the main IoT device 100, the process of setting and determining the IoT device object that is the shortest distance from the user among those with the microphone device 110 to the main IoT device 100 is sequentially performed (S15) ).

단계(S15) 이후, 홈 IoT 네트워킹 장치(300)는 단계(S15)에 의해 메인 IoT 장치(100)로 확정된 IoT 장치 객체를 제외한 나머지 IoT 장치 객체 각각에 대한 저장부(330)에 저장된 거리 정보, IoT 장치 객체 사양 정보, 그리고 추적 마크 고유식별번호를 추출한 뒤, 추적 마크 고유식별번호를 메타데이터로 거리 정보, IoT 장치 객체 사양 정보를 저장부(330) 상에 하나의 "서브 IoT 장치 객체 유닛 정보"로 저장하는 방식으로 각 IoT 장치 객체에 대한 서브 IoT 장치 객체로의 확정을 수행한다(S16).After step S15, the home IoT networking device 300 stores distance information stored in the storage unit 330 for each of the remaining IoT device objects except for the IoT device object determined as the main IoT device 100 by the step S15. , After extracting the IoT device object specification information, and the tracking mark unique identification number, the tracking mark unique identification number as metadata, distance information, and IoT device object specification information are stored on the storage unit 330 as one “sub IoT device object unit” In a manner of storing "information", the determination of each IoT device object as a sub IoT device object is performed (S16).

단계(S16) 이후, 홈 IoT 네트워킹 장치(300)는 서브 IoT 장치 객체로 확정된 서브 IoT 장치(200)로 이루어진 서브 IoT 장치 집합(200g)에 포함된 모든 서브 IoT 장치(200)에 대한 음성인식 정보를 통한 제어 명령 리스트를 저장부(330)에 저장된 IoT 장치 객체 사양 정보를 통해 별도로 추출하여 저장부(330)에 저장한다(S17).After step S16, the home IoT networking device 300 performs voice recognition for all sub IoT devices 200 included in the sub IoT device set 200g including the sub IoT device 200 determined as the sub IoT device object. The control command list through the information is separately extracted through the IoT device object specification information stored in the storage unit 330 and stored in the storage unit 330 (S17).

단계(S17) 이후, 홈 IoT 네트워킹 장치(300)는 각 서브 IoT 장치(200)에 대한 제어 명령 리스트 중 하나에 해당하는 제어 명령이 메인 IoT 장치(100)의 마이크(110)로 음성인식 정보를 통해 수신되는 경우, 수신된 음성인식 정보를 제 1 음성인식 파형으로 저장부(330)에 저장하며, 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)(I1)의 마이크(210)로 수신되는 음성인식 정보를 제 2 음성인식 파형으로 저장부(330)에 저장한다(S18). 여기서 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)에 대한 홈 IoT 네트워킹 장치(300)의 인식은 각 IoT 장치 객체별로 구분된 제어 명령이 저장부(330)에 저장되어 저장된 제어 명령과 매칭되는 IoT 장치 객체의 추출을 통해 수행할 수 있다. After step S17 , the home IoT networking device 300 transmits voice recognition information to the microphone 110 of the main IoT device 100 when a control command corresponding to one of the control command list for each sub IoT device 200 is transmitted. When received through, the received voice recognition information is stored in the storage unit 330 as a first voice recognition waveform, and is received by the microphone 210 of the sub-IoT device 200 (I1), which is the target of receiving the control command. The voice recognition information is stored in the storage unit 330 as a second voice recognition waveform (S18). Here, the recognition of the home IoT networking device 300 for the sub IoT device 200 that is the target of receiving the control command is that the control command divided by each IoT device object is stored in the storage unit 330 and matched with the stored control command. This can be done through the extraction of IoT device objects.

단계(S18) 이후, 홈 IoT 네트워킹 장치(300)는 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 1 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 3-1 내지 제 3-n 음성인식 파형(n은 2 이상의 자연수)으로 저장부(330)에 저장한다(S19).After step S18, the home IoT networking device 300 uses the microphone 210 of at least one other sub-IoT device 200 that is within a first threshold distance from the sub-IoT device 200 that is the target of receiving the control command. The received voice recognition information is stored in the storage unit 330 as 3-1 to 3-n-th voice recognition waveforms (n is a natural number equal to or greater than 2) (S19).

단계(S19) 이후, 홈 IoT 네트워킹 장치(300)는 제어 명령의 수신 대상이 되는 서브 IoT 장치(200)와 제 2 임계 거리 이내에 있는 적어도 하나 이상의 다른 서브 IoT 장치(200)의 마이크(210)로 수신되는 음성인식 정보를 제 4-1 내지 제 4-m 음성인식 파형(m은 n과 같거나 다른 2 이상의 자연수)으로 저장부(330)에 저장하며, 임계 거리는 제 1 임계 거리부터 제 k 임계 거리(k는 n 및 m과 같거나 다른 2 이상의 자연수)까지 구분되어 저장부(330)에 저장한다(S20).After step S19, the home IoT networking device 300 uses the microphone 210 of at least one other sub-IoT device 200 within a second threshold distance from the sub-IoT device 200 that is the target of receiving the control command. The received voice recognition information is stored in the storage unit 330 as a 4-1 to 4-mth voice recognition waveform (m is a natural number equal to or different from n) in the storage unit 330, and the critical distance is from the first critical distance to the kth threshold. The distance (k is a natural number equal to or different from n and m) is divided and stored in the storage unit 330 (S20).

단계(S20) 이후, 홈 IoT 네트워킹 장치(300)는 음성인식 정보를 수신하는 메인 IoT 장치(100)와 각 서브 IoT 장치(200)의 음성인식 파형에 대한 개별적인 가중치가 적용된 평균값을 통해 제어 명령에 포함된 문자를 인식한다(S21).After step S20, the home IoT networking device 300 responds to the control command through the average value to which the individual weights for the voice recognition waveforms of the main IoT device 100 and each sub IoT device 200 that receive the voice recognition information are applied. The included characters are recognized (S21).

단계(S21) 이후, 홈 IoT 네트워킹 장치(300)가 시간의 흐름에 따른 음성인식의 파형의 평균값(X)으로 인식된 문자 정보의 조합을 통한 제어 명령을 제어 명령의 대상이 되는 서브 IoT 장치(200)로 홈 IoT 네트워크(500)로 전송하도록 송수신부(310)를 제어한다(S22). After step S21, the home IoT networking device 300 applies a control command through a combination of text information recognized as the average value (X) of the waveform of voice recognition over time to the sub-IoT device ( 200) to control the transceiver 310 to transmit to the home IoT network 500 (S22).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. also includes

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms are used, these are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention. , it is not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

1 : 하이브리드 홈 음성인식 시스템
100 : 메인 IoT 장치
200 : 서브 IoT 장치
200g : 서브 IoT 장치 집합
300 : 홈 IoT 네트워킹 장치
310 : 송수신부
320 : 제어부
321 : 메인 IoT 설정 모듈
322 : 서브 IoT 설정 모듈
323 : 마이크 단어 인식 모듈
324 : 디스플레이 IoT 설정 모듈
325 : 제어 정보 디스플레이 모듈
330 : 저장부
400 : 홈 객체 센싱 장치
500 : 홈 IoT 네트워크
600 : 빅데이터 서버1: Hybrid Home Voice Recognition System
100: main IoT device
200: sub IoT device
200g: set of sub-IoT devices
300 : Home IoT Networking Device
310: transceiver
320: control unit
321: main IoT setting module
322: sub IoT setting module
323: microphone word recognition module
324: display IoT setting module
325: control information display module
330: storage
400: home object sensing device
500 : Home IoT Network
600: big data server

Claims

When the home IoT networking device 300 receives a control command corresponding to one of the control command list for each sub IoT device 200 through the voice recognition information through the microphone 110 of the main IoT device 100, receive The received voice recognition information is stored in the storage unit 330 as a first voice recognition waveform, and the voice recognition information received by the microphone 210 of the sub-IoT device 200 (I1), which is the target of receiving the control command, is stored as the second voice recognition information. A first step of storing the voice recognition waveform in the storage unit (330);
The home IoT networking device 300 receives voice recognition information received through the microphone 210 of at least one other sub-IoT device 200 within a first threshold distance from the sub-IoT device 200 to which the control command is received. a second step of storing the 3-1 to 3-nth voice recognition waveforms (n is a natural number equal to or greater than 2) in the storage unit 330;
The home IoT networking device 300 receives voice recognition information received through the microphone 210 of at least one other sub-IoT device 200 within a second threshold distance from the sub-IoT device 200 to which the control command is received. a third step of storing the 4-1th to 4-mth voice recognition waveforms (m is a natural number equal to or different from n 2 or more) in the storage unit 330;
The home IoT networking device 300 recognizes the characters included in the control command through the average value to which the individual weights for the voice recognition waveforms of the main IoT device 100 and each sub IoT device 200 that receive the voice recognition information are applied. Step 4; and
The home IoT networking device 300 transmits a control command through a combination of text information recognized as the average value (X) of the waveform of voice recognition over time to the sub-IoT device 200 that is the target of the control command. a fifth step of sending to 500; Hybrid home voice recognition providing method comprising a.

delete