KR20100081587A

KR20100081587A - 로봇의 소리 인식 장치 및 그 제어 방법

Info

Publication number: KR20100081587A
Application number: KR1020090000890A
Authority: KR
Inventors: 김기범; 박기철
Original assignee: 삼성전자주식회사
Priority date: 2009-01-06
Filing date: 2009-01-06
Publication date: 2010-07-15
Also published as: US20100174546A1

Abstract

본 발명은 소리를 감지하고, 감지된 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하고, 대화 의도이면 이동을 제어한다.

본 발명은 로봇이 감지한 소리와 미리 설정된 기준조건을 비교하여 사용자가 대화를 의도를 판단함으로써, 대화 의도를 하고자 하는 소리의 인식률을 높일 수 있고, 대화 의도에 따라 로봇의 이동을 제어할 수 있다.

Description

로봇의 소리 인식 장치 및 그 제어 방법{Sound recognition apparatus of robot and method for controlling the same}

본 발명은 로봇의 소리 인식 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 각종 소리를 감지하고 감지 결과에 기초하여 로봇의 동작을 제어하기 위한 로봇의 소리 인식 장치 및 그 제어 방법에 관한 것이다.

최근 로봇에 지능을 부여하기 위해서 사용되는 인간-로봇 상호작용(Human-Robot Interaction) 기술 중 가장 기본적인 기술은 로봇이 사용자에게 다가가기 위한 사용자의 호출 소리를 추적하는 음원 추적(SSL: Sound Source Localization) 기술이다.

현재 로봇 환경에서 SSL 기술은 많은 연구가 진행되고 있는데, 가장 많이 알려진 기술로는 마이크로폰의 오디오 정보에 의존하여 사용자의 호출 음성이나 음향에 반응하여 그 소리의 방향을 추적하도록 함으로써 로봇이 사용자가 위치한 방향으로 이동하도록 하는 기술이 있다.

이 음원 추적 기술은 실제 사용자 환경에서 수 많은 소리가 발생되기 때문에 로봇은 각종 소리를 듣고 그 소리가 사용자의 대화 의도인지 판단하고, 그 판단 결 과에 대응하는 동작을 수행한다. 이를 위해 로봇은 소리에 대한 사용자의 대화 의도를 명확히 판단해야 하는데 이것을 명확하게 판단하기 위해서는 사람과 최대한 비슷하게 음성 및 음향을 인식하기 위한 준비 단계가 필요하다.

일 측면에 따르면 로봇의 소리 인식 장치는 소리를 감지하는 소리 감지부; 감지된 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하는 판단모듈부를 포함한다.

감지된 소리의 음압을 측정하는 음압 측정부를 더 포함하고, 판단모듈부는, 측정된 음압과 기준음압을 비교하여 비상 상황 여부를 판단한다.

비상 상황으로 판단되면 경보음을 출력하는 경보음 출력부를 더 포함한다.

대화 의도로 판단되면 소리의 감지 방향으로 로봇의 이동을 제어하는 제어부를 더 포함한다.

다른 측면에 따르면 로봇의 소리 인식 장치는 소리를 감지하는 소리 감지부; 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하는 판단모듈부; 대화 의도를 가진 소리가 복수이면 복수 소리 중 우선순위가 가장 높은 소리의 방향으로 로봇의 이동을 제어하는 제어부를 포함한다.

감지된 소리의 음압을 측정하는 음압 측정부를 더 포함하고, 판단모듈부는, 측정된 음압과 기준 음압을 비교하여 비상 상황 여부를 판단한다.

복수 소리에 대응하는 우선 순위를 설정하는 설정부를 더 포함한다.

판단모듈부는, 감지된 소리에서 음성을 검출하여 음성이 대화 의도인지 판단하는 음성모듈과, 감지된 소리에서 음향을 검출하여 검출 음향이 대화 의도인지 판단하는 음향모듈을 더 포함한다.

또 다른 측면에 따르면 로봇의 소리 인식 제어 방법은 소리를 감지하고, 감지된 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하고, 대화 의도이면 로봇의 이동을 제어한다.

대화 의도 여부를 판단하는 것은, 소리에서 음성을 검출하고 검출된 음성에서 핵심어를 인식하고, 핵심어가 미리 설정된 복수 호칭어 중 어느 하나인지 판단하는 것을 더 포함한다.

대화 의도 여부를 판단하는 것은, 소리에서 음향을 검출하고 검출된 검출 음향과 미리 설정된 복수 템플릿을 비교하는 것을 더 포함한다.

감지된 소리의 음압을 측정하고, 측정된 음압과 기준 음압을 비교하여 비상 상황 여부를 판단하는 것을 더 포함한다.

비상 상황인 경우 보안 서비스를 제공하는 것을 더 포함한다.

또 다른 측면에 따르면 로봇의 소리 인식 제어 방법은 소리를 감지하고, 감지된 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하고, 대화 의도로 판단되면 대화 의도를 가진 소리가 복수 소리의 우선순위를 판단하고, 우선 순위가 가장 높은 소리의 감지 방향으로 로봇의 이동을 제어한다.

대화 의도 여부와 비상 상황 여부 중 비상 상황 여부를 판단이 더 높은 우선 순위로 설정된다.

복수 소리의 우선순위를 판단하는 것은, 복수 소리의 인식 스코어를 각각 판 단하고, 인식 스코어에 해당 우선 순위의 가중치를 각각 적용하여 가중치 스코어를 연산하는 것을 더 포함한다.

소리를 감지하는 것은, 감지된 소리에서 음성을 검출하고, 인식된 음성에서 핵심어를 인식하고, 핵심어와 미리 설정된 복수 호칭어를 각각 비교하여 일치 여부를 판단하고, 핵심어와 일치되는 호칭어 사이의 인식 스코어를 판단하는 것을 더 포함한다.

소리를 감지하는 것은, 감지된 소리에서 음향을 검출하고, 검출된 음향의 패턴과 미리 설정된 복수 템플릿의 패턴의 거리를 각각 비교하여 목적 음향을 인식하는 것을 더 포함한다.

목적 음향을 인식하는 것은, 비교된 거리가 최소 거리인 템플릿을 목적 음향으로 인식한다.

검출 음향의 패턴과 목적 음향 패턴 간의 간격을 산출하여 대화 의도 여부를 판단하는 것을 더 포함한다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 로봇의 소리 인식 장치의 구성도로, 소리 감지부(110), 판단모듈부(120, 130, 140), 제어부(150), 사용자 인터페이스부(160), 모터 구동부(170), 경보음 출력부(180)를 포함한다. 그리고 도 2는 본 발명의 실시예에 따른 로봇의 소리 인식 장치의 판단모듈부 중 음성모듈(120)의 상세 구성도이고, 도 3은 본 발명의 실시예에 따른 로봇의 소리 인식 장치의 판단모듈부 중 음향모듈(130)의 상세 구성도이며, 도 4는 본 발명의 실시예에 따른 로봇의 소리 인식 장치의 판단모듈부 중 음압모듈(140)의 상세 구성도이다.

소리 감지부(110)는 로봇이 존재하는 공간에서의 발생되는 각종 소리를 감지하고 감지된 소리를 음성모듈(120), 음향모듈(130), 음압모듈(140)에 전송한다. 여기서 소리 감지부(110)는 마이크로 폰과 같은 장치로, 소리의 음파를 받아서 그 진동에 따른 전기신호를 발생한다.

판단모듈부는 음성모듈(120), 음향모듈(130), 음압모듈(140)을 포함하고, 소리 감지부(110)로부터 전송된 소리에서 음성 또는 음향 중 적어도 하나를 검출하고, 검출된 음성 또는 음향 중 적어도 하나가 대화를 의도하는 소리인지 판단하고, 그 판단 결과를 제어부(150)에 전송한다. 또한 판단모듈부는 소리의 음압을 측정하고 측정된 음압과 기준 음압을 비교하여 비상 상황에 대응하는 음압인지 판단하고, 판단 결과를 제어부(150)에 전송한다.

여기서 로봇과의 대화 의도를 위해 로봇을 부르는 소리는 호출음성과 호출음향이 있는데, 여기서 호출음성은 로봇을 호칭하는 호칭어로 로봇의 이름, 호격조사인 '~야', '~아', '~여'등이 포함되고, 감탄사인 '야', '얘', 이인칭 대명사인 '너' 등이 더 포함될 수 있으며, 호출음향으로는 복수 패턴의 박수 소리 등 호출을 의도하는 음향이 포함될 수 있다.

이러한 판단모듈부를 좀 더 구체적으로 설명하면 다음과 같다.

도 2에 도시된 바와 같이 음성모듈(120)은 소리 감지부로부터 전송된 소리에서 음성 신호를 검출하고, 검출된 음성 신호가 대화를 의도하는 호출음성인지 판단 하여 그 판단 결과를 제어부(150)에 전송하는 판단모듈로, 음성모듈(120)은 음성특징 추출부(121), 핵심어 인식부(122), 필러모델부(filler model: 123), 음소모델부(keyword model: 124), 핵심어 검출문법 네트워크부(125), 음성 판단부(126)를 포함한다.

음성 특징 추출부(121)는 소리감지부(110)에서 감지된 소리에서 음성 신호를 검출하고 검출된 음성 신호의 주파수 특성을 프레임별로 계산하여 음성 신호에 포함된 특징 벡터를 추출한다. 이를 위하여, 음성 특징 추출부(121)에는 아날로그 음성 신호를 디지털로 변환하는 아날로그-디지털 변환 수단이 구비되어 있으며, 변환된 디지털의 음성 신호를 분절하고 분절된 음성 신호의 특징 벡터를 추출하여 추출된 특징 벡터를 핵심어 인식부(122)에 전달한다.

핵심어 인식부(122)는 필러모델부(123), 음소 모델부(124), 핵심어 검출 문법 네트워크부(125)를 이용하여 추출된 음성 신호에 대한 특징 벡터로부터 핵심어를 인식한다. 즉 핵심어 인식부(122)는 필러 모델부(123)와 음소모델(Keyword Model: 124)에 대한 우도의 결과에 따라 음성 인식된 핵심어의 호칭어 여부를 판단하고, 음성 인식된 핵심어가 호칭어인 경우 핵심어 검출 문법 네트워크부(125)를 통해 음성 인식된 핵심어를 기초로 핵심어가 포함된 문장 패턴이 있는지 판단한다. 즉, 핵심어 검출 문법 네트워크부(125)는 복수 개의 호칭어들을 포함하는 문장 패턴들로 구성되어 있다.

그리고 필러모델부(123)는 비핵심어를 찾기 위한 모델로, 비핵심어 각각을 모델링하거나 비핵심어 전체를 모델링한다. 이러한 필러모델부(123)는 추출된 특징 벡터의 우도(Likelihood)를 산출한다. 이때 산출된 우도에 가중치를 두어 필러모델에 해당하는지 여부를 알 수 있다. 여기서 필러 모델에 해당하는 것으로는 미리 정해진 사용자가 발성할 때 주로 사용하는 "음..", "어...", "..요" 등의 음성들이 있다. 또한 음소 모델부(124)는 추출된 특징 벡터를 저장된 핵심어와 비교하여 호칭어에 가까운 정도인 우도를 산출한다.

음성 판단부(126)는 필러모델부(123)와 음소모델부(124)에서 산출된 우도에 기초하여 핵심어가 미리 정해진 복수개의 호칭어 중 어느 하나로 인식되면 이를 대화를 의도하는 음성으로 판단하고 그 결과를 제어부(150)에 전송한다. 그리고 이 음성에 대한 인식 스코어(score)를 저장한다.

음향모듈부(130)은 박수 소리를 인식하고 인식된 박수 소리의 패턴과 미리 정해진 박수 패턴을 비교하여 대화 의도에 따른 호출음향인지 판단하는 판단모듈로, 도 3에 도시된 바와 같이 음향모듈(130)은 음향 특징 추출부(131), 음향인식부(132), 음향 데이터베이스부(133), 음향 패턴 분석부(134), 음향 패턴 데이터베이스부(135), 음향 판단부(136)를 포함한다. 여기서 박수 소리와 같은 음향의 경우 음성에 비해 특징 패턴이 정확하기 때문에 인식률이 높다.

음향 특징 추출부(131)는 소리감지부(110)에서 감지된 소리의 음향 신호를 검출하고 검출된 음향 신호의 주파수 특성을 프레임별로 계산하여 음향 신호에 포함된 특징 벡터를 추출한다. 즉 미리 설정된 대화 의도의 호출 소리, 예를 들어 박수소리의 특징 음향을 추출한다. 여기서 박수 소리의 특징은 짧은 시간에 전 주파수 대역에 걸친 임펄스 형태의 스펙트로그램을 가지며 특히 음성과 일반 잡음에 비 해 고주파 대역의 에너지가 강한 것이다. 그리고 음향 추출의 주요 특징 파라미터로는 현재 프레임의 에너지, 현재 프레임의 고주파 대역의 에너지, 에너지의 프레임간 변화량, 잡음 구간에서의 평균에너지 및 평균 고주파 성분 에너지, 그리고 추출 음향 에너지의 지속 시간 및 시간에 따라 감소되는 변화량 등이 있다.

음향 인식부(132)는 소리감지부(110)에서 감지된 소리에서 검출된 검출 음향이 목적 음향인지 판단하는 것으로, 추출된 특징 벡터의 패턴을 매칭시키는 인식 작업을 수행한다. 여기서 패턴 매칭은 템플릿 매칭(template matching) 기법이 사용되는데 이는 대화를 의도하는 음향, 예를 들어 박수 소리에 대한 복수개의 템플릿이 미리 설정되어 있다. 그리고 음향 인식부(132)는 추출된 특징 벡터의 패턴과 복수 템플릿의 패턴을 각각 비교하여 두 패턴 사이의 거리를 산출하고, 산출된 거리 중 최소 거리와 기준 거리를 비교하여 최소 거리가 기준 거리 이상인지 판단하고, 최소 거리가 기준 거리 이상이면 최소 거리에 대응하는 템플릿을 목적 음향이라고 인식한다. 그리고 이 최소 거리에 대응하는 음향의 인식 스코어를 체크하여 저장해 둔다.

여기서 복수 박수 소리에 대응하는 복수 템플릿의 정보는 음향 데이터베이스부(133)에 저장되어 있다.

음향 패턴 분석부(134)는 소리감지부(110)에서 감지된 소리에서 검출된 검출 음향이 미리 저장된 음향 데이터베이스(133)에 포함된 목적 음향이라 판단되면, 목적 음향이라고 판단된 검출 음향의 패턴과 목적 음향의 패턴의 간격을 비교하여 두 패턴의 동일하게 발생하였는지를 검사함으로써 오경보(false alarm)를 감소시킨다. 이때 검출 음향의 패턴 간격 확인 시 목적 음향의 패턴 간격으로 출력하도록 유도한 후 목적 음향의 패턴 간격으로 발생한 경우에만 반응하도록 한다. 여기서 복수 박수 소리에 대응하는 패턴의 간격 정보는 음향 패턴 데이터베이스부(135)에 저장되어 있다.

이때 패턴 간격의 최소값과 최대값을 정하여 오경보와 오거절(false rejection)을 조절하게 되는데 최소값과 최대값이 차이를 적게 할 수록 오경보는 감소하고 오거절은 증가하게 되며, 최소값과 최대값이 차이를 크게 할 수록 오경보는 증가하고 오거절은 감소하게 되는 교환조건(trade-off)이 존재하게 된다.

여기서 오경보(false alarm)는 목적 음향이 아닌데 목적 음향으로 인식하여 반응하는 오류이고, 오거절(false rejection)은 목적 음향인데 목적 음향이 아닌 것으로 판단하여 반응하지 않는 오류이다.

음압모듈(140)은 공공 기관이나 가정에서 침입자가 발생하는 상황이나 위급상황 대비해 일상 생활에서 발생할 수 없는 큰 소리를 측정하여 위험 상황을 사용자에게 알려 주는 판단모듈로, 도 4에 도시된 바와 같이 음압모듈(140)은 음압측정부(141), 음압 데이터베이스부(142), 음압 판단부(143)를 포함한다.

음압 측정부(141)는 소리 감지부(110)로부터 전송된 소리의 음압을 측정하고 측정된 음압을 음압판단부(143)에 전송한다.

여기서 음압 측정부(141)는 음압을 이용하여 전기 저항을 변화시키는 전기 저항 변화형, 피에조 효과에 따라 음압을 이용하여 전압을 변화시키는 압전형, 얇은 금속박의 진동에 따라 전압이 발생하고 이에 따라 자기를 변화시키는 자기 변화 형, 원통형 자석의 둘레에 가동 코일을 놓고 이 코일을 진동판으로 동작시켜 코일에 발생하는 전류를 이용한 다이나믹형 및 금속박으로 만든 진동판을 고정 전극과 대응시켜 콘덴서를 형성하고, 소리에 의해 진동판이 움직이면서 콘덴서의 용량을 변화시키는 정전 용량형 방식 중 적어도 하나의 방식을 이용 가능하다.

음압판단부(143)는 측정된 음압과 미리 설정된 기준 음압을 비교하고, 측정된 음압이 기준 음압 이상이면 비상 상황이라고 판단하고, 보안 서비스가 제공되도록 판단 결과를 제어부(150)에 전송한다. 즉 측정된 음압이 정해진 기준 음압을 넘을 경우 로봇은 소리가 나는 방향을 추적하거나 또는 경보음을 울리거나 사용자의 휴대 단말기로 비상 상황을 알려 준다.

여기서 기준 음압은 주, 야간에 따라 또는 장소에 따라 조정되는 것이 가능하다. 특히 야간의 수면 상태일 경우 로봇 사용자가 로봇보다 음향을 측정할 수 있는 능력이 현저히 떨어지므로 야간의 일정 시간이 넘어가게 되면 주간의 기준 음압보다 그 값을 높여 주간보다 더 낮은 음압에서 보안 서비스가 제공되도록 하는 것이 가능하다.

그리고 기준 음압은 음압 데이터 베이스부(142)에 저장되어 있으며, 이러한 음압 데이터베이스부(142)에는 사용자의 생활 환경에서 발생되는 소리의 음압 정보가 더 저장되어 있다.

제어부(150)는 판단모듈부의 각 모듈로부터 전송된 결과에 기초하여 로봇의 이동을 제어하거나, 또는 보안 서비스의 제공을 제어한다. 이를 좀 더 구체적으로 설명하면 다음과 같다.

제어부(150)는 음성모듈(120) 또는 음향모듈(130)에서 전송된 결과가 대화를 의도이면 소리감지부(110)를 통해 감지된 소리가 발생한 방향을 판단하고, 판단된 방향으로 로봇이 이동되도록 모터구동부(170)를 제어한다. 그리고 제어부(150)는 소리가 발생된 방향이 단일 방향에서 발생된 소리가 아니라고 판단되면 다시 소리의 방향을 판단한다.

또한 제어부(150)는 음압모듈(150)에서 전송된 결과가 비상 상황이면 소리가 발생된 방향을 판단하고, 판단된 방향으로 로봇이 이동되도록 모터구동부(170)를 제어하거나 또는 경보음 출력부(180)를 제어하여 경보음이 출력되도록 하거나 또는 사용자 단말기(190)로 비상 상황에 대응하는 메시지를 전송하거나 사용자 단말기(190)를 통해 경보음이 출력되도록 한다.

그리고 제어부(150)는 판단모듈부에 포함된 적어도 두 개의 모듈에서 대화 의도를 가지는 소리가 검출된 경우 적어도 두 개 소리의 해당하는 우선순위의 가중치를 인식스코어에 각각 적용하여 가중치 스코어를 연산한다. 그리고 제어부(150)는 가장 큰 가중치 스코어를 판단하고 그에 대응하는 소리의 발생 방향을 판단하여 판단된 방향으로 로봇이 이동되도록 한다.

제어부(150)는 비상 상황을 알려 주는 음압 측정의 우선 순위를 가장 높게 설정하고, 가장 빈번하게 일어날 수 있는 소리 판단의 우선 순위를 다음 우선 순위로 설정한다. 이때 복수 소리의 우선 순위는 사용자들의 사용 정도에 따르거나 또는 구성원 간의 서열에 따라 설정되는 것도 가능하다.

여기서 로봇에서 대화를 의도하는 소리를 인식하는 모듈은 휘파람 모듈, 벨 모듈, 멜로디 모듈 등이 더 포함될 수 있다. 이에 따라 제어부의 우선순위 확인 부분에서 각 가중치 스코어 중 가장 큰 값을 선택함으로써 선택된 소리에 대응하는 미리 정해진 동작을 수행하도록 한다.

이와 같이, 소리 감지 시 감지된 소리로부터 음성 또는 음향을 검출하고, 검출된 소리와 미리 설정된 기준 조건(미리 설정된 호칭어, 미리 설정된 음향의 패턴)을 비교하여 대화 의도에 따른 소리인지를 판단하고, 대화 의도의 소리로 판단된 경우 소리의 발생 방향으로 로봇이 이동되도록 함으로써 대화 의도 여부를 쉽고 빠르게 판단할 수 있으며, 이로써 로봇의 이동 시간을 단축시킬 수 있다. 또한 감지된 소리의 음압을 측정하여 비상 상황을 판단하고, 이에 따른 보안 서비스를 제공함으로써 사용자는 안전한 생활을 유지할 수 있도록 해 준다.

사용자 인터페이스부(160)는 로봇의 제어부(150)에 연결되어 로봇을 부르는 호칭어, 다른 패턴의 박수 소리 등의 호출음 성격의 다른 음향을 추가로 입력하거나 또는 미리 설정된 호칭어, 박수 소리 등의 호출음과 같은 소리의 삭제를 가능하게 한다. 따라서 로봇의 호칭어가 사용자의 지시에 따라 변경될 수 있고, 이름 호칭어 이외에도 사용자의 편의를 위해 로봇을 호출하는 '야', '너' 등의 호칭어를 추가적으로 모델링할 수 있다.

그리고 사용자 인터페이스부(160)는 대화 의도에 따른 적어도 두 개의 소리가 입력된 경우 어느 소리에 대한 동작을 수행할 것인지를 결정하기 위한 대화 의도에 따른 소리의 우선 순위의 설정이 가능하다.

모터 구동부(170)는 제어부(150)의 지시에 따라 모터(미도시)에 구동신호를 전송하여 로봇이 대화 의도에 따른 소리가 발생된 곳으로 이동되도록 한다.

경보음 출력부(180)는 비상 상황 발생 시 경보음을 출력하고, 사용자 단말기(190)는 비상 상황 발생 시 메시지나, 경보음 등을 출력한다.

도 5는 본 발명의 제 1 실시예에 따른 소리 인식 제어 방법의 순서도로서 도 6 및 도 7을 참조하여 설명하도록 한다.

우선 로봇은 로봇이 존재하는 환경에서 발생되는 소리를 감지(210)하고, 감지된 소리의 음압을 측정(220)하여 비상 상황의 발생 여부를 판단한다.

이때 측정된 음압과 기준 음압을 비교(230)하고 측정된 음압이 기준 음압 이상이면 비상 상황이 발생하였다고 판단하고 보안 서비스를 제공(240)한다. 여기서 보안 서비스는 로봇에 구비된 경보음 출력부(180)를 통해 경보음을 출력하거나 또는 사용자 단말기(190)로 비상 상황에 따른 문자 메시지를 전송한다. 또는 사용자 단말기(190)와의 통화 연결을 시도한 후 사용자 단말기(190)와 통화 연결 시 비상 상황에 따른 음성 메시지를 출력하는 것도 가능하다.

만약, 측정된 음압이 기준 음압 미만이면 감지된 소리와 미리 설정된 기준조건을 비교(250)하고, 비교 결과에 기초하여 감지된 소리가 대화를 의도하는 소리인지 판단(260)한다. 여기서 미리 설정된 기준조건은 감지된 소리가 대화를 의도하는 소리인지를 판단하기 위한 조건으로, 대화를 의도하는 소리로는 로봇을 호칭하는 호출음성 또는 로봇의 호출을 지시하는 박수 소리와 같은 호출음향이 있다.

여기에서 감지된 소리와 미리 설정된 기준조건을 비교(250)하는 것을 도 6을 참조하여 설명하도록 한다.

소리 감지부(110)를 통해 감지된 소리에서 음성 신호를 검출(251a)하고, 검출된 음성 신호의 주파수 특성을 프레임별로 계산하여 음성 신호에 포함된 특징 벡터를 추출(251b)한다. 그리고 특징 벡터로부터 비핵심어 각각을 모델링하거나 비핵심어 전체를 모델링 추출된 특징 벡터의 우도를 산출하고 특징 벡터로부터 핵심어를 인식(251c)하며 인식된 핵심어와 미리 설정된 호칭어를 비교하여 호칭어에 가까운 정도인 우도를 산출한다. 그리고 우도 결과에 따라 인식된 핵심어가 미리 설정된 호칭어 중 어느 하나인지 판단(251d)하고, 판단 결과 인식된 핵심어가 복수 호칭어 중 하나로 판단되면 감지된 소리가 사용자의 대화를 의도에 따른 소리라고 판단(251e)한다.

또한 감지된 소리와 미리 설정된 기준조건을 비교(250)하는 것을 도 7을 참조하여 설명하도록 한다.

소리 감지부(110)를 통해 감지된 소리에서 음향 신호를 검출(252a)하고, 검출된 음향 신호의 주파수 특성을 프레임별로 계산하여 음향 신호에 포함된 특징 벡터를 추출(252b)한다. 그리고 추출된 특징 벡터의 패턴과 복수 템플릿의 패턴의 거리를 각각 비교하여 두 패턴 사이의 거리를 산출함으로써 검출된 음향이 목적 음향인지 판단한다. 이때 두 패턴 사이의 거리 중 최소 거리를 추출하고, 최소 거리가 기준 거리 이상인지 판단하여 목적 음향인지 판단(252c)한다. 이때 최소 거리가 기준 거리 이상이면 최소 거리에 해당하는 템플릿을 목적 음향이라고 판단한다.

그리고 소리감지부(110)에서 감지된 소리에서 검출된 검출 음향의 패턴과 목적 음향의 패턴의 간격을 비교 및 분석(252d)하여 두 패턴의 간격이 일치하는지 판 단(252e)한다. 이때 두 패턴의 간격이 일치하면 대화의도의 소리로 판단(252f)한다.

이와 같이, 소리가 대화를 의도하는 호출음인지 판단(260)하고 대화를 의도하는 소리라고 판단되면 이 소리가 발생된 방향을 판단(270)하며, 또한 소리의 발생 방향이 단일 방향인지 판단(280)하고, 단일 방향이라고 판단되면 로봇을 소리의 발생 방향으로 이동(290)시킨다. 만약, 대화 의도의 소리의 발생 방향이 단일 방향이 아니라고 판단되면 감지된 소리와 미리 설정된 조건을 다시 비교하여 소리의 발생 방향을 다시 판단한다.

도 8은 본 발명의 제 2 실시예에 따른 소리 인식 제어 방법의 순서도이다.

로봇과 대화하기 위해 로봇을 부르는 복수의 소리의 우선 순위 및 이 우선 순위에 해당하는 가중치를 설정(310)한다. 이때 우선 순위는 사용자가 선택할 수 있고 또한 미리 설정된 우선 순위를 사용하는 것이 가능하다. 이렇게 대화를 의도하는 복수의 소리에 대응하는 우선 순위가 설정된 상태에서 로봇은 로봇이 존재하는 환경에서 발생되는 각종 소리를 감지(320)한다.

그리고 감지된 소리와 미리 설정된 기준조건을 비교하고, 비교 결과에 기초하여 감지된 소리가 대화를 의도하는 소리인지 판단한다. 여기서 미리 설정된 기준조건은 감지된 소리가 대화를 의도하는 소리인지를 판단하기 위한 조건으로, 소리는 로봇을 호칭하는 호출음성 또는 로봇의 호출을 의미하는 박수 소리와 같은 호출음향이 있다.

여기서 감지된 소리와 미리 설정된 기준조건을 비교하는 것은 다음과 같다.

소리 감지부(110)를 통해 감지된 소리에서 음성을 검출하고, 음성 신호의 주파수 특성을 프레임별로 계산하여 음성 신호에 포함된 특징 벡터를 추출한다. 그리고 특징 벡터로부터 비핵심어 각각을 모델링하거나 비핵심어 전체를 모델링 추출된 특징 벡터의 우도를 산출하고 또한 특징 벡터로부터 핵심어를 인식하고 추출된 특징 벡터를 저장된 핵심어와 비교하여 호칭어에 가까운 정도인 우도를 산출한다. 그리고 우도 결과에 따라 음성 인식된 핵심어가 미리 설정된 복수의 호칭어 중 적어도 하나의 호칭어로 인식되면 대화를 의도하는 소리로 판단하고 이 음성에 대한 인식 스코어(score)를 체크(330)한다.

또한 소리 감지부(110)를 통해 감지된 소리에서 음향을 검출하고, 검출된 음향 신호의 주파수 특성을 프레임별로 계산하여 음향 신호에 포함된 특징 벡터를 추출한다. 그리고 추출된 특징 벡터의 패턴과 미리 설정된 복수 템플릿의 패턴과의 매칭을 수행하여 두 패턴 사이의 거리를 각각 비교하여 소리 감지부에서 감지된 소리에서 검출된 검출 음향이 목적 음향인지 판단한다. 이때 두 패턴 사이의 거리 중 최소 거리를 추출하고, 최소 거리와 기준 거리를 비교하여 최소 거리가 기준 거리 이상인지 판단한다. 그리고 최소 거리가 기준 거리 이상이면 최소 거리에 해당하는 템플릿이 목적 음향이라고 판단하고 이 검출 음향에 대응하는 인식 스코어를 체크(330)한다. 그리고 검출 음향이 목적 음향이라 판단되면,검출 음향과 목적 음향과의 패턴 간격을 비교한다. 이때 검출 음향이 패턴 간격이 목적 음향의 패턴 간격과 일치하면 검출 음향이 대화의도의 소리라고 판단한다.

이와 같이 적어도 두 개의 모듈에서 대화를 의도하는 소리를 검출한 경우 두 소리의 인식 스코어에 우선 순위의 가중치를 적용시켜 가중치 스코어를 연산(340)한다. 그리고 가장 큰 가중치 스코어를 판단(350)하고, 이 가중치 스코어에 대응하는 소리의 발생 방향으로 로봇이 이동되도록 로봇의 동작을 제어(360)한다. 이때, 대화 의도에 대응하는 소리의 우선순위 보다 보안 서비스를 제공받기 위한 음압 측정 결과에 따르는 것을 우선 순위로 하는 것이 가능하다.

이와 같이, 로봇이 감지한 소리에 기초하여 사용자가 대화를 의도하는 소리에 해당하는 소리인지 판단함으로써, 대화 의도 시 소리 인식률을 높일 수 있다.

도 1은 본 발명의 제 1 실시예에 따른 로봇의 소리 인식 장치의 구성도이다.

도 2 내지 4는 본 발명의 제 1 실시예에 따른 로봇의 소리 인식 장치의 상세 구성도이다.

도 5는 본 발명의 제 1 실시예에 따른 로봇의 소리 인식 제어 순서도이다.

도 6 및 도 7은 본 발명의 제 1 실시예에 따른 로봇의 소리 인식 제어의 상세 순서도이다

도 8은 본 발명의 제 2 실시예에 따른 로봇의 소리 인식 제어 순서도이다.

*도면의 주요부분에 대한 부호 설명*

110: 소리 감지부 120: 음성모듈

130: 음향모듈 140: 음압모듈

150: 제어부 160: 사용자인터페이스부

170: 모터구동부 180: 경보음 출력부

190: 사용자 단말기

Claims

소리를 감지하는 소리 감지부;

상기 감지된 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하는 판단모듈부를 포함하는 로봇의 소리 인식 장치.
제 1 항에 있어서,

상기 감지된 소리의 음압을 측정하는 음압 측정부를 더 포함하고,

상기 판단모듈부는, 상기 측정된 음압과 기준음압을 비교하여 비상 상황 여부를 판단하는 로봇의 소리 인식 장치.
제 2 항에 있어서,

상기 비상 상황으로 판단되면 경보음을 출력하는 경보음 출력부를 더 포함하는 로봇의 소리 인식 장치.
제 1 항에 있어서,

상기 대화 의도로 판단되면 상기 소리의 감지 방향으로 로봇의 이동을 제어하는 제어부를 더 포함하는 로봇의 소리 인식 장치.
소리를 감지하는 소리 감지부;

상기 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하는 판단모듈부;

상기 대화 의도를 가진 소리가 복수이면 복수 소리 중 우선순위가 가장 높은 소리의 방향으로 로봇의 이동을 제어하는 제어부를 포함하는 로봇의 소리 인식 장치.
제 5 항에 있어서,

상기 감지된 소리의 음압을 측정하는 음압 측정부를 더 포함하고,

상기 판단모듈부는, 상기 측정된 음압과 기준 음압을 비교하여 비상 상황 여부를 판단하는 로봇의 소리 인식 장치.
제 5 항에 있어서,

상기 복수 소리에 대응하는 우선 순위를 설정하는 설정부를 더 포함하는 로봇의 소리 인식 장치.
제 5 항에 있어서, 상기 판단모듈부는

상기 감지된 소리에서 음성을 검출하여 상기 음성이 대화 의도인지 판단하는 음성모듈과,

상기 감지된 소리에서 음향을 검출하여 상기 음향이 대화 의도인지 판단하는 음향모듈을 가지는 로봇의 소리 인식 장치.
소리를 감지하고,

상기 감지된 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하고,

상기 대화 의도이면 로봇의 이동을 제어하는 로봇의 소리 인식 제어 방법.
제 9 항에 있어서, 상기 대화 의도 여부를 판단하는 것은,

상기 소리에서 음성을 검출하고 검출된 음성에서 핵심어를 인식하고,

상기 핵심어가 미리 설정된 복수 호칭어 중 어느 하나인지 판단하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
제 9 항에 있어서, 상기 대화 의도 여부를 판단하는 것은

상기 소리에서 음향을 검출하고 검출된 검출 음향과 미리 설정된 복수 템플릿을 비교하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
제 9 항에 있어서,

상기 감지된 소리의 음압을 측정하고,

상기 측정된 음압과 기준 음압을 비교하여 비상 상황 여부를 판단하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
제 12 항에 있어서,

상기 비상 상황인 경우 보안 서비스를 제공하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
소리를 감지하고,

상기 감지된 소리와 미리 설정된 기준조건을 비교하여 대화 의도 여부를 판단하고,

상기 대화 의도로 판단되면 대화 의도를 가진 소리가 복수 소리의 우선순위를 판단하고,

상기 우선 순위가 가장 높은 소리의 감지 방향으로 로봇의 이동을 제어하는 로봇의 소리 인식 제어 방법.
제 14 항에 있어서,

상기 감지된 소리의 음압을 측정하고,

상기 측정된 음압과 기준 음압을 비교하여 비상 상황 여부를 판단하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
제 15 항에 있어서,

상기 대화 의도 여부와 상기 비상 상황 여부 중 상기 비상 상황 여부를 판단이 더 높은 우선 순위로 설정된 로봇의 소리 인식 제어 방법.
제 14 항에 있어서, 상기 복수 소리의 우선순위를 판단하는 것은,

상기 복수 소리의 인식 스코어를 각각 판단하고,

상기 인식 스코어에 해당 우선 순위의 가중치를 각각 적용하여 가중치 스코어를 연산하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
제 14 항에 있어서, 상기 소리를 감지하는 것은,

상기 감지된 소리에서 음성을 검출하고,

상기 인식된 음성에서 핵심어를 인식하고,

상기 핵심어와 미리 설정된 복수 호칭어를 각각 비교하여 일치 여부를 판단하고,

상기 핵심어와 일치되는 호칭어 사이의 인식 스코어를 판단하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
제 14 항에 있어서, 상기 소리를 감지하는 것은,

상기 감지된 소리에서 음향을 검출하고,

상기 검출된 음향의 패턴과 미리 설정된 복수 템플릿의 패턴의 거리를 각각 비교하여 목적 음향을 인식하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.
제 19 항에 있어서, 상기 목적 음향을 인식하는 것은,

상기 비교된 거리가 최소 거리인 템플릿을 목적 음향으로 인식하는 로봇의 소리 인식 제어 방법.
제 19 항에 있어서,

상기 검출 음향의 패턴과 목적 음향 패턴 간의 간격을 산출하여 대화 의도 여부를 판단하는 것을 더 포함하는 로봇의 소리 인식 제어 방법.