KR20240141029A

KR20240141029A - Ai 로봇 메디컬 핸드 장치 및 이를 이용한 자가 검사 방법

Info

Publication number: KR20240141029A
Application number: KR1020230034259A
Authority: KR
Inventors: 유재천
Original assignee: 성균관대학교산학협력단
Priority date: 2023-03-16
Filing date: 2023-03-16
Publication date: 2024-09-25
Also published as: WO2024191111A1

Abstract

본원은, 생활속에서 로봇의 손가락 끝(fingertip) 내지 손 바닥(palm) 상에 설치된 바이오 센서에 의해 피측정자의 건강 상태를 측정하여 로봇상의 저장장치에 보관 및 관리하고, 이를 인공지능에 의해 자동 분석하여 피측정자의 건강의 위험요소를 파악할 수 있는 AI 로봇 메디컬 핸드 장치에 대한 것으로, 특히, 건강 관리의 주요 지표인 체열, 혈압, 혈당, 심전도, 심박수, 산소포화도, 콜레스테롤, 체지방 등을 체크하기 위해 사람과 로봇 간의 신체 접촉 중에 로봇의 손가락 끝 내지 손 바닥상에 설치된 바이오 센서에 의해 피측정자의 건강 상태 측정 및 신분 인증을 동시에 수행할 수 있어, 생활 속에서 피측정자의 질병을 사전에 예방할 수 있는 AI 로봇 메디컬 핸드 장치와 이를 이용한 자가 검사 방법을 제공한다.

Description

AI 로봇 메디컬 핸드 장치 및 이를 이용한 자가 검사 방법{AI ROBOT MEDICAL HAND APPATUS AND SELF-EXAM METHOD USING THE SAME}

본원은, 생활속에서 로봇의 손가락 끝(fingertip) 내지 손 바닥(palm) 상에 설치된 바이오 센서에 의해 피측정자의 건강 상태를 측정하여 로봇상의 저장장치에 보관 및 관리하고, 이를 인공지능에 의해 자동 분석하여 피측정자의 건강의 위험요소를 파악할 수 있는 AI 로봇 메디컬 핸드 장치에 대한 것으로, 특히, 건강 관리의 주요 지표인 체열, 혈압, 혈당, 심전도, 심박수, 산소포화도, 콜레스테롤, 체지방 등을 체크하기 위해 피측정자와 로봇 간의 신체 접촉 중에 로봇의 손가락 끝 내지 손 바닥상에 설치된 바이오 센서에 의해 피측정자의 건강 상태 측정 및 신분 인증을 동시에 수행할 수 있어, 생활 속에서 피측정자의 질병을 사전에 예방할 수 있는 AI 로봇 메디컬 핸드 장치와 이를 이용한 자가 검사 방법을 제공한다.

최근 첨단 의료장비 기술과 함께 병원 인프라 증대로 많은 사람들이 풍부한 의료혜택을 받으면서, 인류는 수명 연장과 함께 삶의 질 향상으로 과거 보다 많은 행복을 도모하게 되었다.

그러나, 현대 사회는 식생활 문화의 향상 및 운동 부족 그리고 고령화 사회로의 급속한 진행에 따라, 정기적인 건강검진의 필요성은 날로 중요시되어 가고 있다.

또한, 건강검진을 하기 위해서는 별도의 시간을 내야하는 불편함이 따르기 때문에 대부분은 건강에 이상이 생긴 경우 뒤늦게 병원을 찾고 있다.

따라서 우리가 수시로 생활 속에서 몸의 건강 상태를 파악할 수 있다면, 건강을 위협하는 많은 상황에 대해 미리 대처가 가능하다.

특히 체열, 혈압, 혈당, 심장 맥박, 심전도, 산소포화도, 콜레스테롤, 체지방은 우리 몸 상태를 잘 알려주는 생활 속 건강 관리의 주요 지표로서, 이들을 수시로 관리하는 잘 하는 경우 많은 질병을 사전에 예방할 수 있을 뿐만 아니라 보다 건강한 삶을 누릴 수 있을 것이다.

요즈음, 병원에 가지 않고서도 자신의 체지방, 혈당과 혈압을 언제 어디서나 확인할 수 있는 의료기기들이 많이 보급되어, 환자들은 자신의 집이나 사무실에서 이를 사용하고 있다. 그러나 이러한 의료기기들이 각기 다른 장소에 흩어져 있어, 일반인이 생활 속 건강 관리의 주요 지표를 꾸준히 챙기는데 에는 많은 번거로움이 따른다. 예컨대 환자는 각각의 의료기기의 보관 장소로부터 일일이 의료기기를 꺼내서 사용해야하는 번거로움은 둘째 치고 라도, 사용시 마다 매번 각각의 의료기기별로 사용자 인증을 해야 하는 불편이 따른다.

오늘날의 디지털 의료기기는 여러 사람 (예컨대 가족구성원)이 같이 사용하도록 허용할 뿐만 아니라, 각각의 환자로부터 측정된 데이터는 환자에 대한 지속적 추적 관찰을 위해 개인별로 저장 및 관리되고 있으며, 이를 위해 의료기기 사용 전에는 반드시 사용자 등록 및 인증 절차를 따라야 한다. 그러나 이경우, 피측정자는 사용시 마다 매번 각각의 의료기기에 대해 사용자 인증을 수행해야 하는 불편이 따른다.

또한 기존의 디지털 의료기기들은 측정 항목마다 각기 다른 제품의 디지털 의료기기들을 사용하기 때문에, 동일한 시점에서 측정된 동기화된 생체 신호들(예컨대 심전도, PPG신호, 청진음 신호)을 얻기가 힘들다. 이들 생체 신호가 피측정자의 바디 컨디션과 시간에 따라 수시로 변한다는 점을 고려하면 각기 다른 시점에 측정된 생체 신호들을 이용해 진단한다는 것은 신뢰도를 떨어뜨릴 뿐만 아니라 부정확한 결과를 초래한다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위해, 별도의 인증 절차 없이 사용자 인증이 이루어질 뿐 만 아니라, 건강 관리의 주요 지표인 체열, 혈압, 혈당, 심장 맥박수, 심전도, 산소포화도, 콜레스테롤, 체지방을 로봇과의 신체 접촉하는 동안 간편하게 측정할 수 있는 AI 로봇 메디컬 핸드 장치, 및 이상징후가 발견된 경우 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공할 수 있는 AI 로봇 메디컬 핸드 장치 및 이를 이용한 자가 검사방법을 제공하고자 한다.

또한, 본 발명은 동일한 시점에서 피측정자의 몸으로부터 측정된 동기화된 생체 신호 계측에 의해 혈압, 콜레스테롤, 혈당, 심장질환 측정을 수행할 수 있는 인공지능 신경망을 구비한 AI 로봇 메디컬 핸드 장치 및 이를 이용한 자가 검사방법을 제공하고자 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치는, 로봇의 손가락 끝 내지 손 바닥상에 설치될 뿐만 아니라 로봇과 피측정자 간의 신체 접촉동안 생체 신호를 채집하는 바이오 센서, 로봇 팔과 손을 원하는 접촉 목표 위치로 이동시키기 위해 상기 로봇 팔과 손을 구동하여 제어하는 바디 네비게이터(body navigator), 및 상기 바이오 센서에 의해 측정된 생체 신호를 인공지능 신경망을 통해 분석하고, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공하는 무선 통신 연결 수단을 포함할 수 있다.

본원의 일 실시예에 따르면, AI 로봇 메디컬 핸드 장치는, 로봇의 손가락 끝 내지 손 바닥상에 설치되어 생체 신호 측정과 상기 생체 신호 측정 동안 사용자 인증을 동시에 수행하는 바이오 센서; 상기 바이오 센서로부터 얻어진 생체 신호를 증폭하거나 디지털 신호로 변환하는 바이오 센싱부; 상기 디지털 신호화된 생체 신호를 수집하는 생체 신호 수집부; 상기 생체 신호 수집부에 의해 수집된 생체 신호 중 사용자 인증이 완료된 생체 신호 성분 중 유효한 생체 신호 부분만을 걸러내는 생체 신호 유효 판별 수단, 로봇의 손 바닥상에 설치되어, 접촉하고자 하는 피측정자의 신체 부위 이미지를 획득하기 위한 이미지 센서; 상기 피측정자의 신체 부위 이미지를 인식하여 로봇 팔과 손을 구동하여 접촉하고자 하는 목표 위치로 이동시키는 바디 네비게이터; 복수의 의료기기로부터 측정된 의료 데이터를 수신하여 상기 생체 신호 수집부로 전달하는 근거리 무선 통신 연결부; 상기 수신된 의료데이터 내지 상기 유효한 생체 신호를 저장하기 위한 의료 데이터 저장부; 상기 의료 데이터 저장부에 저장된 의료 데이터를 인터넷망을 통해 서버에 전송하고 이후 상기 서버 상의 인공지능 신경망 내지 전문가 시스템에 의해 상기 의료 데이터의 분석한 결과를 피드백 받기 위한 무선 통신 연결 수단; 및 상기 바이오 센싱부, 생체 신호 수집부, 의료데이터 저장부, 및 무선 통신 연결 수단을 제어하고 상기 의료 데이터의 분석한 결과를 스크린 내지 문자/음성 메시지을 통해 피측정자에게 제공하는 제어부; 를 포함할 수 있다.

상기 바이오 센서는 체열을 측정하기 위한 온도 센서, 산소 포화도 및 광전용적맥파(PPG, Photoplethysmography) 신호를 측정하기 위한 SpO2센서, 체지방 센서, 지문 센서, 심박수 내지 심전도를 측정하기 위한 ECG 센서, PCG(phonocardiogram) 신호를 얻기 위한 청진기, 피측정자의 신체 접촉동안 접촉 위치를 인식하기 위한 이미지 센서, 글루코스 스펙트로스코피(spectroscopy) (임피던스 주파수응답)을 얻기 위한 혈당 센서 중 선택된 어느 하나 이상으로 구성될 수 있다. 상기 체지방 센서는 체지방 측정용 손 전극으로 구성될 수 있다.

상기 SpO2센서는 로봇의 손가락 끝 표면에 설치되는 것이 선호되며, 반사형 혈관 광센서 내지 투과형 혈관 광센서를 사용할 수 있다.

예컨대, 상기 반사형 혈관 광센서가 피측정자의 손가락(예컨대, 엄지, 검지 내지 중지)에 접촉되었을 때, 광 검출기에 의해 피측정자 손가락의 동맥으로부터 산소 포화도와 PPG신호(광전용적맥파 신호)를 측정할 수 있다.

상기 지문 센서는 로봇의 손가락 끝의 표면에 설치되는 것이 선호되며, 이 경우 상기 지문 센서에 피측정자의 손가락(예컨대, 엄지, 검지 내지 중지)의 지문 부위가 접촉되었을때, 지문인증이 이루어질 수 있다.

또한 상기 지문 센서는 지문 센서와의 동시 접촉을 제공하는 손 전극 1을 포함하는 것이 선호된다. 이 경우, 상기 지문 센서가 피측정자의 손가락의 지문 부위에 접촉되었을 때 상기 손 전극 1도 피측정자의 손가락 지문 부위에 접촉되어, 상기 지문 센서가 지문 인증을 수행 하는 동안, 상기 손 전극 1은 체지방 측정을 위한 구동 전극으로서 동작하거나 ECG 센서의 접지 전극으로 동작할 수 있다.

또한, 심전도 측정은 ECG 센서에 의해 이루어 지며, ECG 센서 와 접지 전극간에 형성된 전압(전위차) 신호를 증폭하여 측정할 수 있다.

본 발명의 심전도 측정은 팔다리 리드(Limb leads)에 사용하는 측정 방식인 표준 사지 리드(standard limb lead)를 사용하는 것이 선호된다. 즉, Lead Ⅰ, Lead Ⅱ, Lead Ⅲ 중 선택된 어느 하나 이상의 리드(lead)를 사용하여 ECG 센서와 접지전극을 사용하여 PQRST 파를 측정하는 것이 선호된다.

또한, 상기 PQRST 파 측정은 손 전극들과 ECG 센서를 병합 사용하여 측정할 수 있다.

Lead Ⅰ은 피측정자의 RA(Right Arm)와 LA(left Arm)사이의 전위차를 나타내고,

Lead Ⅱ는 피측정자의 RA(Right Arm)와 LL(Left Leg)사이의 전위차를 나타내고,

Lead Ⅲ는 피측정자의 LA(Left Arm)와 LL(Left Leg)사이의 전위차를 나타내고,

또한 본 발명에서, 상기 LL(Left Leg)는 피측정자의 심장 위치로 대체 될 수 있다.

본 발명의 심전도 측정의 또 다른 측면은 표준 사지 리드를 사용한 심전도 측정동안 로봇의 오른손과 왼손 손가락 끝의 표면에 연결된 손 전극들을 이용하여 PQRST 파를 측정할 수 있으며, 이 경우, 심전도 측정동안 체지방, 글루코스 스펙트로스코피(spectroscopy)도 동시에 측정 가능하다.

또한, 상기 청진기는 로봇의 손바닥상에 설치되는 것이 선호되며, 상기 청진기가 피측정자의 심장 부위에 접촉시, 상기 청진기에 의해 심장 및 폐의 내부에서 나오는 PCG신호를 계측하여 청진음 신호를 얻어낼 수 있다.

또한, 상기 인공 지능 신경망은 상기 생체 신호 및 개인 신체 정보를 입력으로 하며, 혈압 측정용 인공지능 신경망, 콜레스테롤 측정용 인공지능 신경망, 혈당 측정용 인공지능 신경망, 심장질환 측정용 인공지능 신경망 중 선택된 어느 하나 이상을 포함할 수 있다.

또한, 상기 개인 신체 정보는 표준 혈압치를 포함한다. 상기 표준 혈압치는 통계적으로 알려진 정상인의 혈압으로 [수학식 1]에 적용하여 계산되고, [수학식 1]은

[수학식 1]

일 수 있다.

상기 [수학식 1]로 부터 표준 혈압치를 계산하기 위해 를 사용하는 것이 선호된다.

또한 상기 계수들 σ와 β는 통계 정보에서 의해 설정될 수 있는 파라미터들이다.

또한, 상기 인공 지능 신경망의 입력은 ECG신호의 R지점을 기준으로 동기화된 생체 신호를 사용할 수 있다.

또한, 본 발명의 생체 신호는 체온, ECG신호, PPG신호, PCG신호, SpO2, 글루코스 스펙트로스코피, 체지방, 심장 맥박수, PTT (Pulse Transit Time), Pulse Arrival time(PAT), 맥파 전달 속도(PWV, Pulse Wave Velocity), HRV(Heart Rate Variability) 중 선택된 어느 하나 이상을 포함할 수 있다.

또한, 상기 혈당 센서는 로봇의 손가락 끝의 표면에 설치된 복수개의 손 전극을 사용하여 구성하는 것이 선호 되며, 이때 혈당 센서는 피 측정이자 몸에 대한 임피던스 주파수응답을 계측할 수 있으며, 이를 통해 피측정자의 혈당치를 무채혈로 추정할 수 있는 글루코스 스펙트로스코피를 얻을 수 있다.

또한, 상기 제어부는, 상기 생체 신호 및 의료 데이터의 변화 추이를 관찰하여 피측정자에게 건강상의 위험도를 알려주거나 집중 케어 검사가 필요한 항목을 피측정자에게 알려주거나 다음 검사 일정을 피측정자에게 알려주기 위한 건강 추적 관리부를 포함할 수 있다.

또한 건강 추적 관리부는 집중 케어가 필요한 건강 관리 항목을 발굴하고, 발굴된 집중 케어 항목에 대한 해당하는 생체 신호 검사를 로봇이 알아서 실시하도록 로봇을 제어할 수 있다.

또한, 상기 제어부는, 의료 데이터 분석 결과를 가지고, 피측정자의 건강 상태에 따라 피측정자에게 건강 관리에 대한 지침, 원격 의료 및 의료기기 사용법에 대한 가이드 라인을 음성과 영상 서비스로 제공하기 위해, 스피커부 와 스크린(표시장치)을 제어하는 것을 특징으로 한다.

상기 스크린은 생체 신호 수집부로부터 수집된 의료 데이터를 모아, 정리 및 통계 분석한 결과를 화면상에 표시해 주거나 건강 추적 관리부에서 제공해주는 부가 정보를 표시하는 것이 선호된다.

또한, 상기 제어부는 생체 신호 수집부에 의해 수집된 피측정자의 온도가 비정상적인 체열 온도인 경우, 이상 체열 의심 대상자로 판별하기 위한 체열 진단부를 포함할 수 있다.

상기 근거리 통신 연결부는 외부 의료 기기들과 근거리 무선 통신 연결 (예컨대 NFC(Near Field Communication) 인터페이스, 블루투스, 사물 인터넷 또는 적외선 통신 연결)을 제공하여 상기 의료기기들에 의해 피측정자로부터 측정된 의료 데이터를 수신하여 생체 신호 수집부에 전송할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 별도의 사용자 인증 과정 없이 사용자 인증이 될 뿐만 아니라, 생활속에서 로봇과의 접촉 중에 로봇 손바닥 내지 손가락 상에 설치된 바이오 센서에 의해 피측정자의 생체 신호를 측정함으로서, 건강 관리의 주요 지표인 체열, 혈압, 혈당, 심장질환, 심장맥박, 산소포화도, 콜레스테롤, 체지방을 로봇과의 접촉 중에 생활 속에서 관리함으로서 피측정자의 질병을 사전에 예방할 수 있다.

또한 본 발명의 AI 로봇 메디컬 핸드 장치는 동일한 시점에서 피측정자의 몸으로부터 측정된 동기화된 생체 신호를 인공지능 신경망의 입력신호로 사용할 수 있어 정확한 혈압, 콜레스테롤, 혈당 및 심장질환 측정이 가능하다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1의 (a)와 (b)는 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치의 일 실시예이다.
도 2는 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치의 디지털 생체 신호 분석 모듈의 일 실시예이다.
도 3은 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치상의 바이오 센서를 이용하여, 로봇의 오른쪽 손의 바닥면과 피측정자의 왼손의 바닥면을 서로 마주보게 맞대는 동안, 피측정자의 지문 인식과 더불어, 산소 포화도 및 광전용적맥파 신호를 동시에 측정하는 일 실시예를 보인다.
도 4는 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치상의 온도 센서(25)를 사용하여 피측정자의 체열을 측정하는 실시 예를 보인다.
도 5의 (a) 및 도 5의 (b)는 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치상에 설치된 지문 센서에 의해 지문 인증이 이루어짐과 동시에 손 전극들에 의해 체지방을 측정하는 체지방 측정부, 글루코스 스펙트로스코피를 측정하는 글루코스 측정부 및 이에 대한 로봇 손가락 제스처에 대한 일 실시예를 보인다.
도 5의 (c)는 손 전극들에 의해 체지방을 측정하기 위한 로봇 손가락 제스처에 대한 또 다른 실시예를 보인다.
도 6은 본원의 일 실시예에 따른AI 로봇 메디컬 핸드 장치상에 설치된 ECG 센서에 의해 ECG신호(Electrocardiogram) 내지 심전도를 측정하는 심전도 측정부의 일 실시예를 보인다.
도 7a 내지 도 7b는 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치상의 ECG 센서와 손 전극 1을 사용하여 피측정자의 심전도 내지 ECG신호를 측정하는 여러 실시예이다.
도 8은 본원의 일 실시예에 따른AI 로봇 메디컬 핸드 장치상의 반사형 SpO2센서를 사용한 산소포화도 및 PPG신호 측정부의 일 실시예를 보인다.
도 9는 로봇 왼손의 이미지 센서는 피측정자의 가슴 영역을 인식하고, 바디 네비게이터는 피측정자의 가슴 영역에 청진기를 위치 정렬시켜 접촉하도록 로봇 팔과 손의 제스처 및 위치를 제어하고, 상기 청진기에 연결된 청진음 측정부는 심장 및 폐와 같은 신체의 내부에서 나오는 청진기 신호를 계측하는 예시를 보인다.
도 10a 내지 도 10c는 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치상에 설치된 바이오 센서들로부터 얻어진 생체 신호를 이용하여 혈압, 콜레스테롤, 혈당, 심장질환을 예측하기 위한 일 실시예이다.
도 11은 본원의 일 실시예에 따른 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 “간접적으로 연결”되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 사용하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

이하, 본 발명에서의 인공지능 신경망(16)은 전문가 시스템(18)을 포함한다.

본 발명의 전문가 시스템(18)은 의료 전문가의 지적 활동과 경험을 통해서 축적된 지식과 의료 전문가에 의해 정의된 추론 규칙을 활용하여 결정을 내리거나 문제 해결을 하는 컴퓨터 응용 프로그램 일수 있다.

이하, 본 발명에서의 의료 데이터는 외부 의료기기(430)들에 의해 측정된 의료 데이터 내지 바이오 센서에 의해 측정된 생체 신호를 포함한다. 이하, 본 발명에서의 혈압 측정부는 혈압 측정용 인공지능 신경망(20a)과 혼용되어 사용될 수 있다.

이하, 본 발명에서의 콜레스테롤 측정부는 콜레스테롤 측정용 인공지능 신경망(20b)과 혼용될 수 있다.

이하, 본 발명에서의 혈당 측정부는 혈당 측정용 인공지능 신경망(20c)과 혼용되어 사용될 수 있다.

이하, 본 발명에서의 심장질환 측정부는 심장질환 측정용 인공지능 신경망(20d)과 혼용되어 사용될 수 있다.

본 발명의 인공지능 신경망(16)은 혈압 측정용 인공지능 신경망(20a), 콜레스테롤 측정용 인공지능 신경망(20b), 혈당 측정용 인공지능 신경망(20c), 심장질환 측정용 인공지능 신경망(20d)을 포함할 수 있다.

본 발명에서의 생체 신호는 ECG신호(69a), PPG신호(68), PCG신호(69b), 산소포화도(69c), PTT(69d), 심장맥박수, PAT, PWV, HRV, 글루코스 스펙트로스코피(임피던스 주파수응답)(69e), 체지방(69f) 중 선택된 어느 하나 이상을 포함할 수 있다.

본 발명에서 글루코스 스펙트로스코피(glucose spectroscopy)(69e)는 스펙트로그램(spectrogram) 내지 스켈로그램(scalogram)이 될 수 있다.

본 발명에서의 ECG신호는 심전도 측정에 사용될 수 있다.

이하, 본 발명에서 환자, 사람, 피측정자 또는 사용자는 혼용되어 사용될 수 있다.

이하, 개인 신체 정보(69g)는 체열, 혈액형, 성(sex), 나이, 키(body height), 몸무게, 표준 혈압치 중 적어도 어느 하나 이상을 포함하는 정보인 것을 특징으로 한다.

상기 표준 혈압치는 통계적으로 알려진 정상인의 혈압으로 [수학식 1]에 적용하여 계산되고, [수학식 1]은

일 수 있다.

본원의 일 실시예에 따르면 외부 의료기기(430)는 피측정자로부터 측정된 의료 데이터를 근거리 무선 통신(예컨대 NFC 인터페이스부, 블루투스 통신 연결부 또는 적외선 통신 부)에 의해 로봇의 생체 신호 수집부에 제공하는 기기로서 헬스 케어 어플이 포함된 핸드폰, 스마트 워치, 안경형 스마트 기기, 초음파 스캐너, 열화상 카메라, 변기에 설치된 대변 검사기, 변기에 설치된 소변 검사기, 혈압 측정 장치, 혈당 측정기, 체지방 측정기, 체중계, 청진기, 온도계, 인후통 내지 치아 상태를 보여주는 이미지 센서, 혈액 분석기, DNA 증폭 검사 장치, 바이러스의 특이 항원을 이용해 진단하는 바이러스 진단 키트 기기, 바이오 마커(bio marker)를 사용한 래피드 테스트(Rapid test) 기기, 치매 검사기기, 웨어러블(wearable) 기기, 암 진단 기기, POCT(Point of Care Testing) 기기, 헬스케어 기기 중 선택된 의료 기기 중 적어도 어느 하나를 포함할 수 있다.

상기 웨어러블(wearable) 기기는 피측정자의 피부에 부착되는 패치(patch)형 웨어러블 기기가 선호되며, 패치 내에 내장된 센서에 의해 피측정자의 피부 표면에서 심전도, 혈압, 콜레스테롤 또는 혈당을 비침습적으로 측정한 데이터를 블루투스 통신이나 근거리 무선통신 연결을 통해, 로봇의 생체 신호 수집부에 무선 전송하는 것이 선호된다.

상기 패치형 웨어러블 기기는 혈당 센서를 내장한 패치를 피부에 테이프로 붙인 다음, 상기 패치에 로봇 핸드를 갖다 대면, NFC인터페이스에 의해 로봇 핸드에 내장된 리더기로 상기 패치에 동력을 공급해 혈액내 물과 포도당의 비율을 측정해 혈당을 측정하여 로봇의 생체 신호 수집부에 혈당 수치를 제공하는 기기일수 있다.

상기 패치형 웨어러블 기기의 또 다른 측면은 복부, 팔, 엉덩이 등 피하지방에 부착된 센서를 통해 세포 간질액(세포와 세포 사이를 채우는 액체 성분)의 포도당 농도를 주기적 간격으로 측정하여, 측정 결과를 근거리 무선 통신 연결을 통해 로봇의 생체 신호 수집부에 전송하는 연속혈당측정기(CGM, Continuous Glucose Monitoring) 일 수 있다.도 1의 (a)와 (b)는 본 발명에 따른 AI 로봇 메디컬 핸드 장치의 일 실시예로, 로봇 오른손(70R)과 로봇 왼손(70L)의 예시로, 로봇 오른손(70R)은 지문 센서(26), SpO2센서(35)를 포함하는 바이오 센서를 로봇 손가락 끝에 포함한다. 반면, 로봇 왼손(70L)은 온도 센서(25), ECG 센서(48), 청진기(44)를 포함하는 바이오 센서를 로봇 손가락 끝 내지 로봇 손바닥상에 포함한다.

또한 본 예시에서는 로봇의 오른손(70R)의 엄지 손가락과 검지 끝 부분에 각각 손 전극 1(24a) 과 손 전극 2(24b)를 포함하고, 로봇의 왼손(70L)의 엄지 손가락과 검지 끝부분에 각각 손 전극 3(24c) 과 손 전극 4(24d)를 포함한다.상기 바이오 센서는 피측정자와의 신체 접촉에 의해 피측정자의 생체 신호를 획득할 수 있다.

또한, 로봇 양손(70R, 70L)의 손바닥에는 이미지 센서(22)가 설치되어 로봇 손(70R, 70L)이 접촉하고자 하는 피측정자의 신체 부위 이미지를 획득한다.각 로봇 양손(70R, 70L)에 포함된 바이오 센서, 손 전극(24a, 24b, 24c, 24d) 및 이미지 센서(22)의 개수, 위치, 형태 등은 예시에 한정되지 않으며, 각 장치의 목적에 알맞은 개수 및 형태로 로봇 핸드(70R, 70L)내에 위치할 수 있다.

상기 바이오 센서로부터 얻어진 생체 신호들은 로봇 팔에 매설된 디지털 생체 신호 분석 모듈(400)에 전달되어, 분석되어질 수 있다.

상기 손 전극 1(24a)은 로봇 오른손(70R)의 엄지 손가락상에 배치된 지문 센서(26)와 SpO2센서(35)의 외주 테두리를 감싸는 금속 도체로 구성되며, 지문 인증 동안 동시에 산소포화도(69c) 및 PPG신호(68) 계측이 가능하다. 이 경우, 지문 측정 동안 피측정자의 손가락의 지문 부위가 손 전극 1(24a)에도 동시에 접촉되는 구조를 갖는다. 따라서 상기 손 전극 1(24a)은 체지방(69f) 측정시에는 구동 전극으로서 사용하고, 심전도 측정시에는 ECG 센서(48)의 접지전극으로서 사용할 수 있다.

상기 SpO2센서(35)는 반사형 혈관 광센서로 적색광 LED(51a), 적외선 LED(51b), 광 검출기(50)로 구성되며, 피측정자의 손가락 끝이 로봇의 엄지 손가락 끝에 접촉하였을 때 상기 광 검출기(50)에 의해 피측정자 손가락의 말초 혈관 동맥으로부터의 산소 포화도를 측정하게 된다.

상기 손 전극 2(24b)는 로봇 검지 손가락 끝을 금속 도체로 감싸는 형식으로 구성되어, 체지방(69f) 측정시에 구동 전극으로서 사용할 수 있다.

상기 손 전극 3(24c)은 로봇 엄지 손가락 끝을 금속 도체로 감싸는 형식으로 구성되어, 체지방(69f) 측정시에 검출 전극으로서 사용할 수 있다.

상기 손 전극 4(24d)는 로봇 검지 끝을 금속 도체로 감싸는 형식으로 구성되며, 체지방(69f) 측정시에 검출 전극으로서 사용할 수 있다.

또한, 손 전극(24a, 24b, 24c, 24d)을 사용하여 피측정자의 신체 부위와 접촉함으로서, 피측정자의 혈당치를 추정할 수 있는 글루코스 스펙트로스코피(69e)를 계측할 수 있다.

도 2는 본 발명에 따른 AI 로봇 메디컬 핸드 장치의 디지털 생체 신호 분석 모듈(400)의 일 실시예로, 바이오 센서로부터 얻어진 생체 신호를 증폭하거나 디지털 신호로 변환하는 바이오 센싱부(440), 상기 바이오 센싱부(440)로부터 얻어진 디지털 신호화된 생체 신호 내지 근거리 통신 연결부(8)에 의해 외부 의료기기(430)들에 의해 측정된 의료 데이터를 수집하기 위한 생체 신호 수집부(420), 상기 생체 신호 수집부(420)에 의해 수집된 생체 신호를 저장하기 위한 의료 데이터 저장부(15), 상기 의료 데이터를 인터넷(202)을 통해 서버(13)에 전송하고, 이후 서버(13)상의 인공지능 신경망(16) 내지 전문가 시스템(18)에 의해 상기 의료 데이터의 분석한 결과를 피드백 받기 위한 무선 통신 연결 수단(37) 및 상기 각부를 제어하고 의료 데이터의 분석한 결과를 스피커부(38a)을 통해 피측정자에게 음성 메시지로 제공하는 제어부(53)를 포함한다.

또한, 상기 제어부(53)는, 의료 데이터 분석 결과를 가지고, 피측정자의 건강 상태에 따라 피측정자에게 건강 관리에 대한 지침, 원격 의료 및 의료기기 사용법에 대한 가이드 라인을 음성과 영상 서비스로 제공하기 위해, 스피커부(38a)와 스크린(표시장치)을 제어하는 것을 특징으로 한다.

상기 스크린은 생체 신호 수집부(420)로부터 수집된 의료 데이터를 모아, 정리 및 통계 분석한 결과를 화면상에 표시해 주거나 건강 추적 관리부(11)에서 제공해주는 부가 정보를 표시하는 것이 선호된다.

상기 생체 신호 수집부(420)는 생체 신호 유효 판별 수단(420a)을 구비하여, 생체 신호 수집부(420)에 의해 수집된 생체 신호들 중 사용자 인증이 완료되고 동시에 유효한 생체 신호 (ECG신호(69a), PPG신호(68), 산소포화도(69c), 글루코스 스펙트로스코피(69e), PCG신호(69b), 체지방(69f), 체온)만을 걸러서 의료 데이터 저장부(15)에 저장한다. 여기서 유효한 생체 신호란, 인간의 가능한 생체 신호 범위에서 벗어나지 아니하여, 실제 피측정자의 생체 신호라고 판단되어 피측정자의 건강을 분석하는 것 등에 유효하게 사용될 수 있는 생체 신호를 의미할 수 있다.

또한, 상기 ECG신호(69a)와 PPG신호(68)간의 상관관계로부터 PTT (Pulse Transit Time, 69d), Pulse Arrival time(PAT), 맥파 전달 속도(PWV, Pulse Wave Velocity), HRV(Heart Rate Variability) 같은 생체 신호를 추가적으로 얻을 수 있다.

이들 의료 데이터 저장부(15)에 저장된 의료데이터는 인공지능 신경망(16), 전문가 시스템(18)과 건강 추적 관리부(11)에 의해 피측정자의 건강을 분석하고 관리하도록 하는 데에 활용된다.

다시 말해, 상기 생체 신호 유효 판별 수단(420a)은 바이오 센싱부(440)로부터 수집된 생체 신호들 중 사용자 인증이 완료된 생체 신호 성분 중 유효한 생체 신호 부분만 걸러내는 역할을 하게 된다.

상기 생체 신호 유효 판별 수단(420a)은 1-D(Dimension) 인공지능 신경망, LSTM(Long short term Memory), 자기 상관 계수(Auto Correlation Coefficient), 유효 범위 체크 방법, 표준(기준) 생체 신호의 특징 벡터와 수집된 생체 신호의 특징 벡터 간의 상호 상관 계수 중 선택된 어느 하나 이상의 기법을 사용하는 것이 선호된다.

바람직하게는, 상기 상호 상관 계수는 SSD(Sum of Squared Difference), SAD(Sum of Absolute Difference), Euclidean Distance, KNN (K-nearest neighbor algorithm), NCC(Normalized Cross Correlation) 중 어느 하나를 사용하여 두 성분 간에 유사도 내지 상관성 정도를 산출하는 것이 선호된다.

예컨대 표준(기준) 생체 신호의 특징 벡터와 바이오 센싱부(440)를 통해 수집된 생체 신호의 특징 벡터 간에 상호 상관 계수가 정해진 문턱치보다 큰 경우, 바이오 센싱부(440)를 통해 수집된 생체 신호는 유효한 생체 신호라 판단한다.

표준(기준) 생체 신호는 통계적으로 정상인의 생체 신호의 특성과 수치를 보여주는 생체 신호(ECG신호(69a), PPG신호(68), 산소포화도(69c), 글루코스 스펙트로스코피(69e), PCG신호(69b), 체지방(69f), 체온, PTT(69d), 심장 맥박수, PAT, PWV, HRV)로, 표준(기준) 생체 신호의 특징 벡터는 정상인들의 생체 신호에 대한 특성 벡터의 평균치가 사용될 수 있다.

상기 생체 신호의 특징 벡터는 딥러닝 신경회로망(Deep learning Neural Network) 내지 주파수 영역의 스펙트럼(spectrum) 분석에 의해 추출될 수 있다.

상기 주파수 영역의 스펙트럼 분석에 의한 특징 벡터는 주파수 성분 분석, STFT(Short time Fourier Transform), 웨이블릿 변환(Wavelet transform), MFCC(Mel-Frequency Cepstral Coefficient), Linear Prediction Codes(LPC), Mel-Frequency Cepstral Coefficient(MFCC), Mel-Coefficient, Preceptual Linear Prediction(PLP) 또는 Bark Frequency Cepstral Coefficients (BFCC)에 의해 추출 된 것 일수 있다.

또한, 생체 신호 유효 판별 수단(420a)은 유효 생체 신호 또는 무효 생체 신호로 표지된 생체 신호들을 이용하여 학습된 1-D 인공지능 신경망 내지 LSTM에 의해 생체 신호의 유효성을 판별할 수 있다.

체온의 경우 유효범위는 10도에서 40도가 바람직하며, 이 범위내의 체온이 1초 이상 같은 온도 상태를 유지되는 경우 유효한 체온 신호로서 인정되는 것이 바람직하다.

상기 사용자 인증은 지문 센서(26)로부터 피측정자의 지문을 채취하여 지문 인증부(75)에 의해 이루어질 수 있다.

상기 바이오 센싱부(440)는 지문 인증부(75), 체열 측정부(74), 심전도 측정부(71), 산소포화도 및 PPG신호 측정부(72), 체지방 측정부(77), 청진음 측정부(73), 글루코스 측정부(78)를 포함하며, 상기 지문 인증부(75)는 사용자 인증을 위한 지문 센서(26), 심전도 측정부(71)는 심전도를 측정하기 위한 ECG 센서(48), 산소포화도 및 PPG신호 측정부(72)는 산소 포화도 및 광전용적맥파 신호를 측정하기 위한 SpO2센서(35), 청진음 측정부(73)는 심음(heart sound) 신호를 얻기 위한 청진기(44), 체지방 측정부(77)는 체지방(69f)을 측정하기 위한 복수의 손 전극(24a, 24b, 24c, 24d), 글루코스 측정부(78)는 글루코스 스펙트로스코피(spectroscopy)(69e)를 얻기 위한 혈당 센서에 각각 전기적으로 연결된다.

본 발명에서 혈당 센서는 손 전극(24a, 24b, 24c, 24d)을 사용하여 구성하는 것이 선호된다.

또한, 제어부(53)는 피측정자에게 생체 신호 측정을 요구하는 음성 메시지를 피측정자에게 전달할 수 있다.

예컨대 제어부(53)는 음성 재생을 위한 스피커부(38a)와 음성인식을 위한 마이크부(38b)를 제어하여 대화형으로 피측정자에게 생체 신호 측정을 요구할 수 있다.

음성재생부(28a)는 음성을 재생하며, 음성 인식부(27a)는 피측정자의 음성을 인식한다.

또한, 제어부(53)는 생체 신호 및 의료 데이터의 변화 추이를 관찰하여 피측정자에게 건강상의 위험도를 알려주거나 집중 케어 검사가 필요한 항목을 알려주거나 다음 검사 일정을 피측정자에게 알려주는 건강 추적 관리부(11)를 포함할 수 있다.

또한 건강 추적 관리부(11)는 생체 신호 검사를 로봇이 검사 일정에 맞추어서 자동으로 실시하도록 로봇을 제어할 수 있다.

또한, 상기 제어부(53)는 체열 측정부(74)로 부터 생체 신호 수집부(420)에 의해 수집된 피측정자의 온도가 비정상적인 체열 온도인 경우, 이상 체열 의심 대상자로 판별하기 위한 체열 진단부(19)를 포함할 수 있다.

또한, 상기 제어부(53)는 원하는 접촉 위치로 로봇 손(70R, 70L)을 이동시키기 위해, 이미지 센서(22)로부터 이미지를 캡쳐하여 피측정자의 신체 부위(예컨대, 손가락, 가슴, 이마, 발목)를 인식하고, 로봇 팔과 손의 움직임을 제어하는 모터를 구동하여 로봇 팔과 손의 자세 및 위치 제어를 수행함으로서 피측정자와 로봇 손(70R, 70L) 간의 피부 접촉을 수행하는 바디 네비게이터(body navigator, 76)를 포함할 수 있다.

도 2의 실시예를 따르는 AI 로봇 메디컬 핸드 장치의 디지털 생체 신호 분석 모듈(400)의 또 다른 측면은, 서버(13)상에 구축된 서비스 응용 프로그램인 인공지능 신경망(16)을 사용하는 대신에 AI 로봇 메디컬 핸드 장치 내지 핸드폰상에 상주하고, 어플(application software)로서 설치되는 인공지능 신경망 앱(12)을 구비하여, 바이오 센서들에 의해 측정된 의료 데이터를 분석하여 그 결과를 피측정자에게 제공하는 것을 특징으로 한다.

이 경우 상기 인공지능 신경망 앱(12)은 버전 업그레이드에 따라 AI 로봇 메디컬 핸드 장치의 성능 개선을 꾸준히 개선할 수 있는 장점을 제공한다.

도 3은 본 발명에 따른 AI 로봇 메디컬 핸드 장치상의 바이오 센서를 이용하여, 로봇의 오른쪽 손(70R)의 바닥면과 피측정자 왼손(72L)의 바닥면을 서로 마주보게 맞대는 동안, 피측정자의 지문 인식 과 더불어, 산소 포화도 및 광전용적맥파 신호를 동시에 측정하는 일 실시예를 보인다.

예컨대, 로봇의 오른손(70R)과 피측정자 왼손(72L)의 바닥면을 서로 맞대어 접촉하는 경우, 지문 센서(26)에 의해 피측정자의 지문을 인식하는 동시에, SpO2센서(35)에 의해 산소 포화도 및 광전용적맥파 신호를 측정할 수 있다.

또한 도3의 또 다른 측면은, 로봇의 오른쪽 손(70R)의 바닥면과 피측정자 왼손(72L)의 바닥면을 서로 마주보게 맞대는 동안, 피측정자의 지문 인식 과 더불어, SpO2센서(35)에 의한 산소 포화도 및 광전용적맥파 신호를 측정하는 동시에 로봇의 왼손(70L) 상의 바이오 센서들을 함께 사용하여, 체지방(69f), 글루코스 스펙트로스코피(임피던스 주파수응답)(69e), 심전도, PCG신호(69b) 및 체열을 동일한 시간에 측정할 수 있다.

이들 생체 신호가 피측정자의 바디 컨디션과 시간에 따라 수시로 변한다는 점을 고려하면, 정확한 피측정자의 상태를 측정하기 위해서는 동일한 시간에 이들 생체 신호를 획득하는 것은 중요하다.

예컨대, 손 전극들(24a, 24b, 24c, 24d)을 사용하여 체지방(69f) 및 글루코스 스펙트로스코피(임피던스 주파수응답)(69e)를 측정할 수 있으며, ECG 센서(48)와 손 전극 1(24a)을 사용하여 심전도를 측정할 수 있으며, 청진기(44)에 의한 PCG신호(69b)를 측정할 수 있으며, 온도 센서(25)에 의한 체열 측정이 가능하다.

또한 손 전극들(24a, 24c)과 ECG 센서(48)를 병합 사용하여, 표준 사지 리드(standard limb lead)를 사용한 심전도를 측정할 수 있다.

도 4는 AI 로봇 메디컬 핸드 장치상의 온도 센서(25)를 사용하여 피측정자의 체열을 측정하는 실시 예를 보인다.

피측정자는 온도 측정동안 로봇의 지문 센서(26)에 피측정자 왼손(72L)의 엄지 손가락을 접촉하여 지문 인식이 원활이 잘 되도록 해야 하는 반면, 로봇의 온도 센서(25)는 피측정자의 이마와 접촉되도록 한다. 이 경우 SpO2센서(35)에 의해 산소 포화도 및 광전용적맥파 신호를 동시에 측정할 수 있다.

또한, 이 상태에서, 로봇 왼손(70L)의 손 전극(24c, 24d)을 피측정자의 이마에 접촉시키면, 손 전극(24a, 24b, 24c, 24d)을 이용하여, 피측정자의 이마와 피측정자 왼손(72L)간의 심전도, 글루코스 스펙트로스코피(69e) 및 체지방(69f) 측정이 가능하다.

로봇 왼손(70L)의 이미지 센서(22)는 피측정자의 이마 영역 인식하고, 바디 네비게이터(76)는 피측정자의 이마 영역과 온도 센서(25)간의 위치 정렬을 이루도록 로봇 팔과 손의 제스처 및 위치를 제어하고, 온도 센서(25)는 피측정자의 이마로부터 체열 측정을 하게 된다.

체열 진단부(19)는 피측정자의 체열이 37.5도 이상인 경우 이상 체열 의심 대상자로 상정(결정)할 수 있다.

도 5의 (a) 및 도 5의 (b)는 AI 로봇 메디컬 핸드 장치상에 설치된 지문 센서(26)에 의해 지문 인증이 이루어짐과 동시에 손 전극들(24a, 24b, 24c, 24d)에 의해 체지방(69f)을 측정하는 체지방 측정부(77), 글루코스 스펙트로스코피(69e)를 측정하는 글루코스 측정부(78) 및 이에 대한 로봇 손가락 제스처에 대한 일 실시예를 보인다.

본 발명의 체지방(69f) 측정은 기술 공지된 BIA(Bioelectrical impedance analysis) 방식으로 체지방(69f)을 측정하는 것이 선호된다.

예컨대 BIA 방식은 체수분량에 따라 전기 저항이 달라지므로 인체를 일종의 저항으로 보고, 인체의 측정부위에 약한 교류 전류(400마이크로암페어 정도)를 흘려주고 이때의 전위차를 검출하여 그 저항값을 산출한 후, 여기서 검출된 저항값과 피측정자의 개인 신체 정보(신장, 몸무게, 나이, 성별)(69g) 등의 변수와 함께 소정의 알고리즘에 의하여 체지방량, 근육량, 체수분량 등의 생체 정보를 산출하게 된다.

본 발명의 일 실시예에 따르면, 체지방 측정부(77)는 피측정자의 손가락과 직접 접촉되어 피측정자의 신체에 전류를 가하는 구동 전극, 및 피측정자의 신체와 직접 접촉될 뿐만 아니라 피측정자의 신체의 전기적 저항값을 측정하여 체지방(69f) 측정 신호를 얻기 위한 검출 전극과 연결되어 동작하게 된다.

본 실시예에서는 체지방(69f) 측정을 위해 손 전극들(24a, 24b, 24c, 24d)은 구동 전극 과 검출 전극으로 사용된다. 예컨대 손 전극들(24a, 24b)을 구동전극으로 사용하는 경우, 나머지 손 전극들(24c, 24d)은 검출 전극으로 사용된다. 이하 구동 전극 (24a, 24b) 과 검출 전극(24c, 24d)을 사용한 체지방(69f) 측정 방법을 설명하고자 한다.

로봇은 체지방(69f) 측정 동안 로봇 오른손(70R)의 구동 전극(24a, 24b)을 피측정자 왼손(72L) 손가락에 접촉시키고, 동시에 로봇 왼손(70L)의 검출 전극(24c, 24d)은 피측정자 오른손(72R) 손가락에 접촉시켜 체지방(69f)을 측정하고 동시에 지문 센서(26)에 접촉된 피측정자의 손가락으로부터 지문 인증을 수행할 수 있다.

상기 구동 전극(24a, 24b)에 접촉한 피측정자 왼손(72L) 손가락을 통해 통전되는 전류는 피측정자의 신체를 통과하여 상기 검출 전극(24c, 24d)로 통전되고, 이 통전된 전류로부터 피측정자의 신체 내로 통전된 전류의 임피던스 값을 구한다.

예컨대, 체지방 측정부(77)는 피측정자 왼손(72L) 손가락과 피측정자 오른손(72R) 손가락이 각각 로봇의 구동 전극(24a, 24b)과 검출 전극(24c, 24d)에 접촉되고 있는 동안, 구동 전극(24a, 24b)을 통해 미세한 전류(예컨대 약 500㎂)를 체내에 흘려보내 피측정자의 몸의 전기 저항을 검출 전극(24c, 24d)을 통해 측정함으로서 체지방률, 체질량지수(BMI: Body Mass Index), 근육량을 포함하는 체지방(69f) 정보를 얻고, 이를 생체 신호 수집부(420)에 전송하는 것이 선호된다.

본 발명의 예시에 따르는 체지방 측정부(77)는 도 5(a)에 도시된 바와 같이, 피측정자에 대한 생체 임피던스를 측정하기 위한 구동신호를 인가하는 구동전극(24a, 24b), 구동전극(24a, 24b)에 인가할 사인파(sine wave) 구동신호 (예컨대 10~ 50 KHz)를 생성하는 사인파 발진기(40), 인체를 통과해 수신되는 신호를 검출하기 위한 검출전극(24c, 24d), 검출전극(24c, 24d)을 통해 수신된 신호를 주파수 성분으로 변환 하기 위한 스펙트럼(spectrum) 계산부(41), 상기 스펙트럼 계산부(41)의 결과를 디지털 신호로 변환하기 위한 AD 변환기(46) 로 구성된다.

상기 스펙트럼 계산부(41)는 FFT(Fast Fourier Transform) 및 검출전극(24c, 24d)을 통해 수신된 신호중 구동 신호의 주파수 성분만을 뽑아 내기 위한 밴드패스필터(Band Pass filter)를 포함할 수 있다.

또한, 상기 스펙트럼 계산부(41)는 STFT(Short Time Fourier Transform) 및 검출전극(24c, 24d)을 통해 수신된 신호중 구동신호의 주파수 성분만을 뽑아내기 위한 밴드패스필터를 포함할 수 있다.

또한, 상기 스펙트럼 계산부(41)는 웨이블릿 변환(Wavelet Transform) 및 검출전극(24c, 24d)을 통해 수신된 신호중 구동신호의 주파수 성분만을 뽑아 내기 위한 밴드패스필터를 포함할 수 있다.

또한 생체 신호 수집부(420)의 생체 신호 유효 판별 수단(420a)은 AD 변환기(46)에 의해 변환된 체지방(69f) 정보가 사용자 인증이 완료되었는지, 그리고 유효한 생체 신호인지를 판별하고, 제어부(53)는 이러한 사용자 인증된 유효한 생체 신호 정보만을 의료 데이터 저장부(15)에 저장하도록 제어한다.

도 5의 (c)는 손 전극들(24a, 24b, 24c, 24d)에 의해 체지방(69f)을 측정하기 위한 로봇 손가락 제스처에 대한 또 다른 실시예를 보인다.

본 실시예의 경우, 로봇의 양손(70R, 70L)의 바닥면과 피측정자의 양손(72L, 72R)의 바닥면을 서로 마주보게 맞대어, 피측정자의 지문 인증과 더불어, 체지방(69f), 산소 포화도, 광전용적맥파 신호, 글루코스 스펙트로스코피(69e), 심전도를 동시에 측정하는 일 실시예를 보인다.

이 경우, 로봇 오른손(70R)의 손 전극 1(24a)과 손 전극 2(24b)는 피측정자 왼손(72L)의 엄지와 검지 손가락 각각에 접촉 되고, 로봇 왼손(70L)의 손 전극 3(24c) 과 손 전극 4(24d)는 피측정자 오른손(72R)의 엄지와 검지 손가락 각각에 접촉 되어 지문 인증과 함께 체지방(69f) 측정이 이루어진다.

또한, 로봇 오른손(70R)의 SpO2센서(35)는 피측정자 왼손(72L)의 엄지 손가락에 접촉 되어, 피측정자의 산소 포화도 및 광전용적맥파 신호에 대한 측정이 동시에 이루어질 수 있다.

또한, 상기 손 전극들(24a, 24b, 24c, 24d)들을 혈당 센서로 구성함으로써 글루코스 스펙트로스코피(69e)를 동시에 측정할 수 있다. 예컨대 체지방(69f) 측정때처럼 로봇 오른손(70R)의 손 전극 1(24a)과 손 전극 2(24b)은 피측정자 왼손(72L)의 엄지 와 검지 손가락 각각에 접촉 되고, 로봇 왼손(70L)의 손 전극 3(24c)과 손 전극 4(24d)는 피측정자 오른손(72R)의 엄지와 검지 손가락 각각에 접촉된 상태에서, 글루코스 측정부(78)를 이용하여 구동전극(24a, 24b)과 검출전극(24c, 24d) 간에 놓인 피측정자 체내의 임피던스 주파수응답을 얻음으로써 글루코스 스펙트로스코피(69e)를 측정할 수 있다.

이 경우 글루코스 측정부(78)는 글루코스 스펙트로스코피(69e)를 얻기 위해 사인파 발진기(40)의 발진 주파수의 범위는 50Hz에서 350 KHz 까지의 주파수 대역을 사용하는 것이 선호 되며, 이 주파수 대역을 사용하여 주파수 스캔하면서 구동전극과 검출전극 간에 놓인 피측정자 체내의 임피던스를 주파수별로 차례로 측정하여 임피던스 주파수 응답을 얻는다.

또한, 본 실시예 경우 손 전극들(24a, 24c)과 ECG 센서(48)를 병합 사용하여, Lead Ⅰ의 심전도를 동시에 측정할 수 있다.

도5의 (b)에서는 도 5의 (c)에서와 마찬가지 원리로 손 전극들(24a, 24b, 24c, 24d)을 사용하여, 피측정자의 지문 인증 과 더불어, 체지방(69f), 산소포화도(69c) 및 PPG신호(68), 글루코스 스펙트로스코피(69e), Lead Ⅰ의 심전도를 동시에 측정할 수 있다.

도 6은 AI 로봇 메디컬 핸드 장치상에 설치된 ECG 센서(48)에 의해 ECG신호(Electrocardiogram)(69a) 내지 심전도를 측정하는 심전도 측정부(71)의 일 실시예를 보인다.

심장은 혈액을 순환시키는 펌프 역할을 하는 근육 장기로서, 그 근육 운동이 미세한 전기로 조절되고 있으며, 심장의 수축과 이완에 따라 심장을 이루는 심근 세포로부터 나오는 미세한 전기변동을 보여주는 ECG신호(69a)가 생성되고 이 신호를 피부 표면에서 감지하는 ECG 센서(48)에 의해 읽을 수 있다.

본 발명의 ECG 센서(48)는 인체 피부 표면(47)과의 커패시티브 커플링(Capacitive coupling)을 허용하는 ECG 입력 전극(48d), 절연막(48a)과 ECG 전극면(48b)으로 구성되며, 인체 피부 표면(47)과의 커패시티브 커플링에 의해 심근 세포로부터 나오는 미세한 전기변동을 보여주는 ECG신호(69a)를 센싱한다. 인체 피부 표면(47)은 피측정자 가슴 부위의 피부 표면 내지 피측정자 손가락의 지문 부위가 선호된다. 상기 ECG 전극면(48b)는 도전성 구리 박막이 선호되며, ECG 출력 전극(48c)을 통해 차동 증폭기(61)에 입력된다.

또한, 상기 ECG 전극면(48b)은 절연막(48a)으로 코팅되고, ECG 입력 전극(48d)과 용량성 결합(Capacitive coupling)을 통해 연결되는 것이 선호된다. 또한 ECG 입력 전극(48d)과 손 전극 3(24c)은 서로 전기적으로 연결되어 통전되는 것이 선호된다. 이 경우 손 전극 3 (24c)은 ECG 입력 전극(48d)으로 병합되어 ECG 입력 전극(48d)으로 사용할 수 있으며, 인체 피부 표면(47)이 ECG 입력 전극(48d) 내지 손 전극 3(24c)에 접촉시, 커패시티브 커플링에 의해 인체 피부 표면(47)으로 부터 나오는 ECG신호(69a)를 센싱할 수 있다.

심전도 측정부(71)는 ECG 센서(48)로부터 얻은 ECG신호(69a)의 노이즈를 제거하고 증폭하여 생체 신호 수집부(420)에 전달하며, 구체적으로는 공급 전원에 혼입된 리플(ripple) 잡음을 제거하기 위한 동상제거(CMRR; Common Mode rejection Ratio) 회로를 구비한 차동 증폭기(differential amplifier, 61), 차동 증폭기(61)를 거친 ECG신호(69a)를 0.1Hz 이상의 신호를 통과시켜주는 고역통과필터(HPF, High Pass Filter, 62), 50 Hz 또는 60Hz의 전원성분을 제거하기 위한 밴드 제거 필터(BRF, Band Rejection Filter, 63), 고역통과필터(62)와 밴드 제거필터(63)를 거친 ECG신호(69a)의 출력을 디지털 신호로 변환하기 위한 AD변환기(64)로 구성된다.

또한, 생체 신호 수집부(420)는 AD 변환기(64)에 의해 디지털화된 ECG신호(69a)가 사용자 인증이 완료되었는지, 그리고 유효한 ECG신호(69a)인지를 판별하고, 제어부(53)는 사용자 인증된 유효한 ECG신호(69a)만을 의료 데이터 저장부(15)에 저장한다.

도 7a 내지 도 7b는 AI 로봇 메디컬 핸드 장치상의 ECG 센서(48)과 손 전극 1(24a)을 사용하여 피측정자의 심전도 내지 ECG신호(69a)를 측정하는 여러 실시 예로, ECG신호(69a) 측정 동안 로봇 오른손(70R)의 손 전극 1(24a)을 접지 전극으로 사용한 경우를 보인다. 즉, 접지 전극에 의해 제1 전극이 형성되고, ECG 센서(48)가 피측정자의 가슴부위, 손, 발목 내지 손목에 접촉되어 제2 전극을 형성하고 이때 이들 서로 이격된 두개의 전극(제1 전극과 제2 전극) 간에 형성된 전압 신호를 증폭하여 피측정자의 ECG신호(69a)를 측정할 수 있다. 또한, ECG신호(69a) 측정 동안 로봇 오른손(70R)상의 지문 센서(26)상에 피측정자 손가락을 접촉하여 지문 인증을 함께 수행할 수 있다.

도 7a의 (a) 경우는 로봇 왼손(70L)의 이미지 센서(22)는 피측정자의 가슴 영역을 인식하고, 바디 네비게이터(76)는 피측정자의 가슴 영역에 ECG 센서(48)가 위치 정렬하여 접촉하도록 로봇 팔과 손의 제스처 및 위치 제어를 수행하고, ECG 센서(48)는 피측정자의 가슴으로부터 심전도 내지 ECG신호(69a)를 측정 하게 된다. 또한 이경우 청진기(44)도 가슴영역에 접촉하게 됨으로 청진음 신호도 동시에 측정할 수 있게 된다.

반면, 도 7a의 (b) 경우는 로봇 왼손(70L)의 이미지 센서(22)는 피측정자의 팔목 영역을 인식하고, 바디 네비게이터(76)는 피측정자의 팔목 영역과 ECG 센서(48)간의 위치 정렬을 이루도록 로봇 팔과 손의 제스처 및 위치 제어를 수행하고, ECG 센서(48)는 피측정자의 팔목으로부터 심전도 내지 ECG신호(69a)를 측정 하게 된다.

도 7b는 표준 사지 리드(standard limb lead)를 사용하여 심전도를 측정하는 실시예를 보인다.

로봇의 이미지 센서(22)는 피측정자의 손가락 영역 내지 발목 영역의 피부표면을 인식하고, 바디 네비게이터(76)는 ECG 센서(48)와 손 전극 1(24a)을 표준 사지 리드(standard limb lead)를 따르는 위치에 정렬시켜 해당 피부표면에 접촉하도록 로봇 팔과 손의 제스처 및 위치 제어를 수행하고, ECG 센서(48)는 상기 피부 표면으로부터 Lead Ⅰ, Lead Ⅱ, Lead Ⅲ에 대해 ECG신호(69a)를 각각 측정 하게 된다.

또한 도 7b는 표준 사지 리드(standard limb lead)를 사용하여 심전도를 측정하는 동안, 손 전극들(24a, 24b, 24c, 24d)에 의해 체지방(69f), 글루코스 스펙트로스코피(69e)를 동시에 측정할 수 있는 예시를 보인다.

즉, Lead Ⅰ의 심전도 측정 동안에는 피측정자의 RA(Right Arm)와 LA(left Arm)사이의 신체부위에 대한 체지방(69f)과 글루코스 스펙트로스코피(69e)를 측정할 수 있고, Lead Ⅱ의 심전도 측정 동안에는 피측정자의 RA(Right Arm)와 LL(Left Leg)사이의 신체부위에 대한 체지방(69f)과 글루코스 스펙트로스코피(69e)를 측정할 수 있고, Lead Ⅲ의 심전도 측정 동안에는 피측정자의 LA(Left Arm)와 LL(Left Leg)사이의 신체부위에 대한 체지방(69f)과 글루코스 스펙트로스코피(69e)를 측정할 수 있다.

또한, 도 7a 내지 도 7b는 AI 로봇 메디컬 핸드 장치상의 ECG 센서(48)와 손 전극들(24a, 24c)을 병합 사용하여 피측정자의 심전도 내지 ECG신호(69a)를 측정하는 여러 실시 예로, ECG신호(69a) 측정 동안 로봇 오른손(70R)의 손 전극 1(24a)을 접지 전극으로 사용하는 반면, 로봇 왼손(70L)의 손 전극 3(24c)을 ECG 입력 전극(48d)으로 병합하여 사용한 경우를 보인다. 즉, 접지 전극에 의해 제1 전극이 형성되고, 손 전극 3(24c)이 피측정자의 가슴부위, 손, 발목 내지 손목에 접촉되어 제2 전극을 형성하고 이때 이들 서로 이격된 두개의 전극(제1 전극과 제2 전극) 간에 형성된 전압 신호를 증폭하여 피측정자의 ECG신호(69a)를 측정할 수 있다

도 8은 AI 로봇 메디컬 핸드 장치상의 반사형 SpO2센서(35)를 사용한 산소포화도 및 PPG신호 측정부(72)의 일 실시예를 보인다.

혈액의 중요한 역할 중 한가지는 몸의 각 부분에 산소를 공급하는 것이다.

이를 위해, 적혈구속의 헤모글로빈은 산소와 결합하여 산소를 몸의 각 부분에 산소를 공급하며, 이때 혈중의 산소 공급량은 산소 포화도(Saturation of partial pressure oxygen, SpO2)로서 계측한다.

즉, 산소포화도(69c)는 총 헤모글로빈의 농도에 대하여 산소를 포함하고 있는 헤모글로빈 농도의 비율로서 정의되는데, 혈액 내의 헤모글로빈이 산소와 결합해 있을 때의 광흡수도와 결합하고 있지 않을 때의 광흡수도를 측정하여 그 비를 이용하여 혈액을 직접 채취하지 않고 혈중 산소포화도(69c)를 측정한다.

혈중 산소포화도(69c) 측정의 또 다른 측면은, 심장의 수축과 이완에 따른 혈액용적 변화와 산소 헤모글로빈과 환원 헤모글로빈 간의 상대적 비율 변화를 이용하여 신호를 획득하는 방법으로, 산소와 결합한 헤모글로빈(HbO2)은 적외선(예컨대, 940nm)를 잘 흡수하고, 산소와 결합하지 않은 환원 헤모글로빈(Hb)은 적색광(예컨대, 660nm)를 더 잘 흡수하는 성질을 착안하여, 발광소자(51a, 51b)와 광 검출기(50)로 구성된 SpO2센서(35)을 사용하여 박동성 동맥혈관의 팽창과 수축에 따라서 감지되는 빛의 양을 수치화 하여 비침습적(non-invasive)으로 동맥 혈액의 산소포화도(69c)를 측정한다.

예컨대, 혈액 속에 충분히 산소가 많이 있다면, 산소와 결합한 헤모글로빈이 상대적으로 많아지고, 적외선 LED(51b)가 쏘아준 적외선이 혈관을 통과하면서 대부분 흡수되어 광 검출기(50)에는 적외선이 검출되지 않는다.

혈중 산소 포화도는 건강한 사람의 경우 산소 포화도는 대개 100%에 가까운 98~99% 사이로 관찰된다.

일반적으로, 산소 포화도가 95% 이하가 되면, 뇌나 장기에 공급되는 산소가 부족하여 주의력이나 집중력이 떨어지며, 쉽게 피로감을 느낀다.

본 발명에서, PPG신호(68)는 SpO2센서(35)을 사용하여 얻어지는 것이 선호된다.

예컨대, PPG신호(68)는 심실 수축기 동안 박출(ejection)된 혈액이 말초혈관까지 전달될 때 말초혈관에서 측정되는 맥파 신호로, SpO2센서(35)의 적색광 LED(51a) 조사동안, 손가락에서 반사된 신호를 광 검출기(50)에 의해 수집함으로써 측정될 수 있다.

또한, PPG신호(68)는 사람의 심박동에 따라 손끝 동맥과 같이 말초혈관이 분포된 위치에서 말초혈관의 용적 변화인 혈류량 변화 양상을 광량 변화로 변환시켜 나타낸 생체 신호로, 이것을 통해 피측정자의 맥박을 측정할 수 있을 뿐만 아니라, 심전도(ECG) 신호와 상관관계를 비교함으로서 맥파 전달 시간(PTT, Pulse Transit Time, 69d), Pulse Arrival time 및 맥파 전달 속도(PWV, Pulse Wave Velocity)를 측정하여 혈관의 상태, 동맥경화, 말초 순환 장애 진단 등 같은 심혈관 질환 진단에 사용될 수 있다.

본 발명의 SpO2센서(35)는 적외선 파장 영역(예컨대, 900nm 내지950nm)의 빛을 포함하는 적외선(이하 ‘IR 광’이라 함)을 피측정자의 손가락 부위에 조사하는 적외선 LED(51b); 적색 파장 영역(예컨대, 640nm 내지670nm)의 빛을 포함하는 적색광(이하 ‘RED 광’이라 함)을 손가락 부위에 조사하는 적색광 LED(51a); 및 상기 손가락 부위에서 반사한 상기 IR 광과 RED 광을 수광하기 위한 광 검출기(50)를 포함하되, 이들 수광된 IR광과 RED광간의 성분의 비를 바탕으로 산소포화도(69c)를 계산하는 것이 선호된다.

본 발명의 일 실시예에 따르면, 상기 SpO2센서(35)는 로봇의 손가락 끝에 설치되고, 제어부(53)의 명령에 따라 LED의 온오프(On-Off)가 제어되는 발광 다이오드 구동부(80)에 의해 적색광 LED(51a)와 적외선 LED(51b)를 한 주기씩 순차적으로 시차를 두고 피측정자 손가락(800)의 말초혈관 부위에 조사한 후, 조사된 빛이 혈액에 흐르는 혈관부분에서 반사 되는 빛의 양을 광 검출기(50)에서 감지하여 광의 세기에 따라 전류로 변화된 전기적 신호로부터 산소 헤모글로빈과 환원 헤모글로빈량을 산출하고, 이로부터 산소포화도(69c)를 계산한다.

차동 증폭기(84)는 광 검출기(50)로부터 출력되는 전기적 신호를 전류-전압 변환 후 증폭하며, 필터(81)에 의해 노이즈를 제거한 후 AD 변환기(82)에 의해 아날로그 신호를 디지털로 변환한다.

발광 다이오드 구동부(80)는 광 검출기(50)의 출력값을 피드백 받은 후 광 검출기(50)에서 충분한 세기의 전기적 신호가 출력되도록 적색광 LED(51a)와 적외선 LED(51b)의 구동 전류를 조절하는 회로부이다. 이는 사람의 손가락 피부마다 광의 흡수율이 다르기 때문에 손가락 피부에 가해지는 광량의 크기를 조절하기 위한 것이다.

상기 제어부(53)는 AD변환기(82)를 통해 읽어들인 DC 레벨을 가지고 적외선광과 적색광의 구동 세기를 조절하여 적색광 LED(51a)와 적외선 LED(51b)가 같은 DC 레벨을 갖도록 발광 다이오드 구동부(80)를 구동시키는 것이 선호된다.

또한, 산소 포화도 연산수단(미도시)에서는 디지털화된 IR 광 성분(적외선 성분) 과 RED 광 성분(적색광 성분)을 각각 극성이 반전(inverting)시킨 후, 직류 성분은 제거한 교류 성분만 가지고 산소포화도(69c) 값을 계산하고, 그 계산 결과를 의료 데이터 저장부(15)에 저장하는 것이 선호된다.

또한, PPG신호(68)는 상기 교류 성분 중 RED 광 성분만 가지고 얻을 수 있으며, 그 계산 결과를 의료 데이터 저장부(15)에 저장하는 것이 선호된다.

즉, 산소포화도(SpO2, 69c)는 적색광 LED(51a)와 적외선 LED(51b)을 한 주기씩 순차적으로 번갈아 발광시켜 피측정자 손가락(800)의 말초 동맥 혈관(55) 부위에 조사한 다음 반사된 IR 광 성분 과 RED 광 성분을 광 검출기(50)로 수광하여, 이들간의 성분 비로 계산하는 반면, PPG신호(68)는 RED광 성분만을 이용하여 측정될 수 있다.

생체 신호 수집부(420)는 상기 AD 변환기(82)에 의해 디지털화된 IR 광 성분 내지 RED 광 성분이 사용자 인증이 완료되었는지, 그리고 유효한 생체 신호인지를 판별하고, 제어부(53)는 사용자 인증된 유효한 생체 신호 정보(산소 포화도 내지 PPG신호(68)) 만을 의료 데이터 저장부(15)에 저장한다.

여기서, 교류(AC) 성분은 말초혈관을 통과하는 혈액에 의해 흡수된 광량을 나타내고, 반면 직류(DC) 성분은 모세혈관이나 근육, 표피, 뼈와 같은 조직에 의해 흡수된 광량을 나타낸다. 즉, 박동성 동맥혈관의 팽창과 수축에 따라 혈액 변화는 AC 성분으로 표시된다. 이에 비해 혈액을 제외한 나머지 요소들(즉, 피부와 조직)은 DC 성분으로 나타나므로, 최종적인 산소포화도(69c) 및 PPG신호(68)를 얻기 위해서는 AC성분만 추출하여 사용한다.

상기 산소 포화도 연산 수단(미도시)은, 광 검출기(50)에 수광되는 신호의 세기로 옥시헤모글로빈(HbO2) 농도와 디옥시헤모글로빈(Hb) 농도를 산정하는 것이 선호되며, 이때 산소 포화도(SpO2)는 HbO2농도/(HbO2농도+Hb농도) 와 같은 수식으로 계산될 수 있다.

여기서, 옥시헤모글로빈(HbO2) 농도는 적색광 LED(51a)가 온(On)되었을 때의 광 검출기(50)에 수광되는 신호의 세기(Red 광 성분)이고, 반면 디옥시헤모글로빈(Hb) 농도는, 적외선 LED(51b)가 온(On)되었을 때의 광 검출기(50)에 수광되는 신호의 세기(IR광 성분)를 사용하는 것이 선호된다. 이때 광 검출기(50)에 수광되는 신호의 세기 중 DC성분 제외시켜 AC성분만 사용하여 옥시헤모글로빈(HbO2) 농도와 디옥시헤모글로빈(Hb) 농도를 산정하는 것이 선호된다.

상기 산소 포화도 연산 수단(미도시)의 또 다른 측면은 먼저 아래 수학식 2와 같이 Red2IR 비율을 산출하고, 그후 Beer-Lambert law에 기반한 Loop up 테이블에 의해 Red2IR 비율값을 대응하는 산소 포화도 값으로 변환하여 산소 포화도를 구할 수 있다.

여기서, RED_DC는 적색광 LED(51a) On시 광 검출기(50)에 의해 검출된 적색광의 직류성분(DC)들의 평균값이고, IR_DC는 적외선 LED(51b) On시 광 검출기(50)에 의해 검출된 적외선의 직류성분들(DC)의 평균값이다.

또한 RED_AC는 적색광 LED(51a) On시 광 검출기(50)에 의해 검출된 적색광의 교류성분(AC)들의 평균값이고, IR_AC는 적외선 LED(51b) On시 광 검출기(50)에 의해 검출된 적외선의 교류성분(AC)들의 평균값이다.

본 발명에서 광 검출기(50)는 이미지 센서, 포도 다이오드(photo diode) 또는 포토 트랜지스터(phot transistor)를 사용하는 것이 선호된다.

또한 도 8은 로봇 오른손(70R)의 SpO2센서(35)에 의해 산소포화도(69c)를 측정하는 동안, 지문 센서(26)에 의해 피측정자의 지문 인증이 동시에 이루어지는 예시를 보인다.

이 경우 바디 네비게이터(76)는 피측정자 왼손(72L)과 로봇 오른손(70R)이 서로 마주보도록 하여, 피측정자 왼손(72L)의 엄지와 SpO2센서(35) 간의 위치 정렬을 이루도록 로봇 팔과 손의 제스처 및 위치를 제어한다.

도 9는 로봇 왼손(70L)의 이미지 센서(22)는 피측정자의 가슴 영역을 인식하고, 바디 네비게이터(76)는 피측정자의 가슴 영역에 청진기(44)를 위치 정렬시켜 접촉하도록 로봇 팔과 손의 제스처 및 위치를 제어하고, 상기 청진기(44)에 연결된 청진음 측정부(73)는 심장 및 폐와 같은 신체의 내부에서 나오는 청진기(44) 신호, 즉 PCG (PhonoCardioGram)신호(69b)를 계측하는 예시를 보인다.

청진음 측정부(73)은 청진기 입력부(170)로 부터의 미세한 물리적 음파 진동을 전기 신호로 바꾸는 트랜스듀서(transducer, 171), 상기 트랜스듀서(171)로부터 얻어진 전기 신호를 증폭한 PCG신호(69b)를 얻기 위한 신호 증폭부(172), 상기 PCG신호(69b)에 포함된 노이즈 및 전원잡음 제거를 위한 노이즈 제거 필터(173), 주파수 대역별 PCG신호(69b)를 추출하기 위한 적어도 한 개 이상의 주파수 필터(174), 상기 추출된 PCG신호(심폐음 신호, 69b)를 디지털 신호를 바꾸는 AD 변환기(176)를 포함한다.

또한 생체 신호 수집부(420)는 상기 AD 변환기(176)에 의해 디지털화된 PCG신호(69b)가 사용자 인증이 완료되었는지, 그리고 유효한 PCG신호(69b)인지를 판별하고, 제어부(53)는 사용자 인증된 유효한 PCG신호(69b)만을 의료 데이터 저장부(15)에 저장한다.

또한, 도 9와 같이, 로봇 오른손(70R)의 손 전극 1(24a)이 피측정자 왼손(72L)과 접촉한 경우, 청진기(44) 사용 동안에 ECG 센서(48)도 가슴에 동시에 접촉됨으로 PCG신호(69b) 뿐만 아니라, ECG 센서(48)와 손 전극 1(24a)간의 전위차를 통해 ECG신호(69a)도 동시에 측정할 수 있다. 이때 지문 센서(26)에 의한 지문 인증, SpO2센서(35)에 의한 산소포화도(69c) 측정도 동시에 이루어질 수 있다.

따라서, 이경우 생체 신호 수집부(420)는 유효한 PCG신호(69b) 여부를 판단하는데 있어서, 유효한 ECG신호(69a)가 포착되었을 때로 한정지어 판단할 수 있다.

상기 주파수 필터(174)는 심방, 심실, 폐, 혼합 모드(심방, 심실, 폐를 모두 포함하는 대역)에 맞는 주파수 대역을 갖는 필터를 사용할 수 있다.

상기 주파수 필터(174)의 또 다른 측면은 심음(heart sound)의 검출을 위한 벨 (bell) 모드에서는 30Hz 내지 100Hz의 주파수 대역을 갖는 필터를 사용하고, 폐음(lung sound)의 검출을 위한 다이어프램(diaphragm) 모드에서는 100Hz 내지 500Hz의 주파수 대역을 갖는 주파수 필터(174)를 사용할 수 있다.

또한, 제어부(53)는 청진기(44) 사용 동안에는 청진기(44)를 제어하여 심장 소리(20 내지 ~200Hz)에 적합한 벨(Bell) 모드, 폐 소리(200Hz 내지 1KHz)에 적합한 다이어프램(Diaphram) 모드, 상기 벨 모드와 다이어프램 모드를 합친 혼합 모드를 일정시간 간격으로 자동으로 전환하여 측정된 청진기(44) 측정 데이터를 의료 데이터 저장부(15)에 저장할 수 있다.

상기 주파수 필터(174)는 STFT내지 웨이블릿 변환을 사용할수 있다.

상기 청진기 입력부(170)은 박막 울림판(44a)으로 구성되며, 박막 울림판(44a)의 울림에 의한 내부 공기압의 변화로부터 소리를 집음하고, 상기 트랜스듀서(171)는 청진기 입력부(170)으로부터 발생한 미세 음파 진동에 의한 박막 울림판(44a)의 변위를 전기신호로 변환하기 위한 것으로 MEMS(Micro Electro Mechanical Systems) 마이크로폰, 피에조 필름(piezo 필름) 또는 마이크로폰 일수 있다.

도 10a 내지 도 10c는 AI 로봇 메디컬 핸드 장치상에 설치된 바이오 센서들로부터 얻어진 생체 신호를 이용하여 혈압, 콜레스테롤, 혈당, 심장질환을 예측하기 위한 일 실시예로, 인공지능 신경망(16)에 의해 혈압을 예측하는 혈압 측정부, 콜레스테롤을 예측하는 콜레스테롤 측정부, 혈당을 예측하는 혈당 측정부, 심장질환을 예측하는 심장질환 측정부를 구현한 실시예이다.

도 10a는 본 발명에 따른 AI 로봇 메디컬 핸드 장치상의 바이오 센서를 이용하여, 개인 지문 인증과 동시에, ECG신호(69a)의 두 R지점을 기준으로 동기화된 생체 신호들을 얻는 일 실시예를 보인다.

상기 동기화된 생체 신호는 동일한 시점에서 피측정자의 몸으로부터 측정된 생체 신호이기 때문에 동기화 안된 생체 신호(서로 다른 시점에서 획득된 생체 신호)를 인공지능 신경망(16)의 입력신호로 사용하는 것 보다 정확한 혈압 측정, 콜레스테롤 측정, 혈당 측정, 심장질환 측정이 가능하다. 피측정자의 생체 신호가 피측정자의 바디 컨디션과 시간에 따라 수시로 변하기 때문에 동일한 시점 내지 동기화된 시점에서 동시에 수집된 생체 신호를 인공지능 신경망(16)의 입력신호로 사용해야만 정확한 진단 결과를 얻을 수 있다.

본 발명의 인공지능 신경망(16)에 입력되는 생체 신호는 ECG신호(69a), PPG신호(68), PCG신호(69b), 산소포화도(69c), PTT(69d), 글루코스 스펙트로스코피(69e), 체지방(69f), PTT(69d), 심장 맥박수, PAT, PWV, HRV, 외부 의료기기(430)로부터의 수신된 의료 데이터 중 선택된 어느 하나 이상을 포함할 수 있다.

도 10a는 로봇의 오른쪽 손(70R)의 바닥면과 피측정자 왼손(72L)의 바닥면을 서로 마주보게 맞대는 동안, 피측정자의 지문 인식 과 더불어, ECG신호(69a), 산소 포화도, PPG신호(68), 및 PCG신호(69b)를 동시에 측정하는 일 실시예를 보인다.

즉, 로봇의 오른손(70R)은 지문 센서(26)에 의해 피측정자의 지문을 인식하는 동시에, SpO2센서(35)에 의한 산소 포화도 와 PPG신호(68)를 동일한 시간에 측정할 수 있다.

반면, 로봇의 왼손(70L)은 피측정자의 가슴에 접촉하고 있는 바, ECG 센서(48) 와 손 전극 1(24a)을 사용한 ECG신호(69a), 청진기(44)에 의한 PCG신호(69b)를 동시에 계측할 수 있다.

또한, 손 전극들(24a, 24b, 24c, 24d)을 사용하여 체지방(69f), 글루코스 스펙트로 스코피(69e)를 동시에 측정할 수 있다.

PTT(69d)는 ECG 피크(R 지점)와 PPG신호(68)의 피크 지점 간의 시간차 내지 ECG 피크와 SDPPG(Second Derivative Photoplethysmographic)의 피크간의 시간차로서 정의될 수 있다.

또한 ECG신호(69a)와 PPG신호(68)간의 상관관계를 비교함으로서 맥파 전달 시간(PTT, Pulse Transit Time, 69d), PAT 및 맥파 전달 속도(PWV, Pulse Wave Velocity)를 측정할 수 있다.

ECG신호(69a)상의 R 피크 시점에서 심실이 수축하면서 동맥으로 혈액을 밀어 내기 시작하므로, PTT(69d)측정의 시작점 기준을 R피크로 사용하고, PPG신호(68)의 피크 내지 SDPPG의 피크를 PTT(69d) 측정의 종료 시점으로 삼을 수 있다.

본 발명의 심장 맥박수 측정은 ECG신호(69a)의 피크(R 지점) 내지 PPG신호(68)를 이용하여 분당 Beats수(beats/min)로 산정할 수 있다, 또한 HRV(Heart Rate Variability)는 심장 맥박의 변동률을 말하며, 상기의 심장 맥박으로부터 산정할 수 있다.

본 발명의 혈압 측정부는 다양한 혈압 수치에 따라 표지된(labeled) 생체 신호 및 개인 신체 정보(69g)를 이용하여 학습된 혈압 측정용 인공지능 신경망(20a)에 의해 피측정자의 혈압을 예측하는 것이 선호된다.

혈압이란 심장에서 보낸 혈액이 동맥의 혈관 벽에 가하는 압력을 말한다. 심장의 심실이 수축할 때는 혈액의 흐르는 양이 많아져서 압력은 높아진다. 반대로 심실이 확장할 때는 흐르는 혈액량이 적어져서 압력은 낮아진다.

본 발명에서 혈압 측정은 수축기 압력과 이완기 압력의 크기로 나타낸다.

수축기 혈압(Systolic Pressure)은 심실이 수축할 때의 최대혈압을 나타내고, 이완기 혈압(Diastolic Pressure)은 심실이 확장할 때의 최소혈압을 말한다.

또한, 콜레스테롤 측정부는 다양한 콜레스테롤 수치에 따라 표지된(labeled) 생체 신호 및 개인 신체 정보(69g)를 이용하여 학습된 콜레스테롤 측정용 인공지능 신경망(20b)에 의해 피측정자의 콜레스테롤을 예측하는 것이 선호된다.

이경우 상기 콜레스테롤 측정부는 PCG신호(69b)와 PPG(68) 같은 생체 신호의 결합된 정보로 보다 정확한 콜레스테롤 측정이 가능하다.

예컨대, 정상적인 혈관에 콜레스테롤이 쌓이게 되면 혈관 탄력성이 떨어져 탄성 계수(압력에 저항하는 정도)가 낮아지는데, 심장의 구동 파워를 보여주는 PCG신호(69b), 이에 따른 PPG신호(68)를 가지고 콜레스테롤 수치를 추정할 수 있다. 콜레스테롤이 쌓이는 경우, 혈관 탄력이 떨어져 기준 PCG신호(69b) 대비 말초혈관의 용적 변화가 작아져 PPG신호(68)의 크기 변화가 작아지거나 PTT(69d)가 길어진다.

상기 콜레스테롤 측정부의 또 다른 측면은 중성지방(Triglyceride: TG), HDL-C(high-density lipoprotein-cholesterol), LDL-C(low-density lipoprotein-L cholesterol)값 중 선택된 어느 하나 이상의 값에 따라 표지된 생체 신호 및 개인 신체 정보(69g)를 이용하여 학습된 콜레스테롤 측정용 인공지능 신경망(20b)에 의해 피측정자의 콜레스테롤을 예측하는 것이 선호된다.

또한, 혈당 측정부는 다양한 혈당 수치에 따라 표지된(labeled) 생체 신호 및 개인 신체 정보(69g)를 이용하여 학습된 혈당 측정용 인공지능 신경망(20c)에 의해 피측정자의 혈당을 예측하는 것이 선호된다. 상기 혈당 수치는 식후 혈당 내지 HbA1c(당화 혈색소) 수치를 사용하는 것이 선호된다.

또한 심장질환 측정부는 심장질환 종류와 등급에 따라 표지된(labeled) 생체 신호 및 개인 신체 정보를 이용하여 학습된 심장질환 측정용 인공지능 신경망(20d)에 의해 피측정자의 심장질환을 예측하는 것이 선호된다.

이경우 상기 심장질환 측정부는 ECG신호(69a), PPG(68)와 PCG신호(69b) 같은 생체 신호의 결합된 정보로 보다 정확한 심장질환의 예후 진단이 가능하다.

즉, ECG신호(69a)와 PPG신호(68)간의 상관관계를 비교함으로써 맥파 전달 시간(PTT, Pulse Transit Time, 69d), PAT, HRV및 맥파 전달 속도(PWV, Pulse Wave Velocity)를 측정하여 혈관의 상태, 동맥경화, 말초 순환 장애 진단 등 같은 심혈관 질환 진단에 사용될 수 있다.

상기 심장질환은 심부전, 동맥경화, 심근경색, 협심증을 포함하는 것이 선호된다.

상기 인공지능 신경망(16)은 ECG신호(69a)의 두 R지점을 기준으로 동기화된 생체 신호 및 개인 신체 정보(69g)를 입력으로 사용하는 것이 선호된다, 즉, R-to-R 구간 마다 발생하는 생체 신호를 상기 인공지능 신경망(16)의 입력신호로서 사용하는 것이 선호된다.

상기 동기화된 생체 신호는 동일한 시점에서 피측정자의 몸으로부터 측정된 생체 신호이기 때문에, 이 동기화된 신호를 입력으로 사용하는 인공지능 신경망(16)은 보다 정확한 혈압, 콜레스테롤, 혈당, 및 심장질환 측정이 가능하다.

상기 인공지능 신경망(16)의 다른 측면은 상기 PPG신호(68)의 피크점을 기준으로 동기화된 생체 신호 및 개인 신체 정보(69g)를 사용하는 것이 선호된다.

도 10b 내지 도 10c는 ECG신호(69a), PPG신호(68), PCG신호(69b), 산소포화도(69c), PTT(69d), PAT, PWV, HRV, 글루코스 스펙트로스코피(69e), 체지방(69f) 및 개인 신체 정보(69g)를 이용하여 분류기(Classifier)(21a)에 의해 혈압, 콜레스테롤, 혈당, 심장질환을 측정하는 인공지능 신경망(16)의 여러 실시예이다.

또한, 도 10b 내지 도 10c 예시 경우, 분류기(21a)의 출력에 시계열 인공지능 네트웍(time sequence neural network)이 연결되어 사용할 수 있다. 이 경우 생체 신호의 시계열 정보를 분석하여 혈압, 콜레스테롤, 혈당, 심장질환을 산정할 수 있다.

도 10b에 있어서는, 특징 벡터 추출부 1(33a)은 ECG신호(69a)로부터 특징 벡터를 뽑아 내고, 특징 벡터 추출부 2(33b)는 PPG신호(68) 로부터 특징 벡터를 뽑아 내고, 특징 벡터 추출부 3(33c)은 PCG신호(69b)로부터 특징 벡터를 뽑아 낸다.

또한, 선택 사항으로 상기 특징 벡터 추출부 3(33c)은 심장 소리에 해당하는 벨 모드 신호와 폐 소리에 해당하는 다이어프램(Diaphram) 모드 신호로 분리된 PCG신호(69b)로부터, 벨모드 신호의 특징 벡터와 다이어프램 모드 신호의 특징 벡터를 각각 뽑아 낼 수 있다.

또한 상기 ECG신호(69a), 글루코스 스펙트로스코피(69e), 체지방(69f)은 표준 사지 리드(standard limb lead) 방식에 의해 얻어진 생체 신호를 포함할 수 있다.

상기 ECG신호(69a), PPG신호(68), PCG신호(69b)의 특징 벡터는 딥러닝 신경회로망(Deep learning Neural Network) 내지 주파수 영역의 스펙트럼 분석에 의해 추출 될 수 있다.

또한 상기 주파수 영역의 스펙트럼 분석에 의한 특징 벡터 추출은 Linear Prediction Codes(LPC), Mel-Coefficient, Mel-Frequency Cepstral Coefficient(MFCC), Cepstral Coefficient, Perceptual Linear Prediction(PLP) 또는 Bark Frequency Cepstral Coefficients (BFCC)에 의해 이루어질 수 있다.

예컨대, 생체 신호와 개인 신체 정보(69g)를 서버(13)에 제공하고, 이후 서버(13) 상의 인공지능 신경망(16)으로부터 혈압, 콜레스테롤, 혈당, 심장질환에 대한 진단결과를 피드백 받을 수 있다.

도 10c는 혈압, 콜레스테롤, 혈당, 심장질환을 산정하기 위한 인공지능 신경망(16)의 또 다른 실시예로, Linear Prediction Codes(LPC), Mel-Coefficient, Mel-Frequency Cepstral Coefficient(MFCC), Cepstral Coefficient, Perceptual Linear Prediction(PLP), STFT(Short Time Fourier Transform) 또는 Bark Frequency Cepstral Coefficients (BFCC)에 의해 산출되는 spectrogram을 CNN(57)의 입력으로 사용할 수 있다.

특징 벡터 추출부 4(33d)는 ECG신호(69a)로부터 ECG신호(69a)의 spectrogram을 출력하고, 특징 벡터 추출부 5(33e)는 PPG신호(68)로부터 PPG신호(68)의 spectrogram를 출력하고, 특징 벡터 추출부 6(33f)은 PCG신호(69b)로부터 PCG신호(69b)의 spectrogram를 출력한다.

또한, 선택 사항으로 상기 특징 벡터 추출부 6(33f)은 심장 소리에 해당하는 벨 모드 신호와 폐 소리에 해당하는 다이어프램(Diaphram) 모드 신호로 분리된 PCG신호(69b)로부터, 벨 모드 신호의 spectrogram과 다이어프램 모드 신호의 spectrogram를 뽑아 낼 수 있다.

이들 Spectrogram은 CNN(Convolutional Neural Network,57)에 입력되어 특징 벡터를 출력하게 된다. 또한 상기 CNN(57)은 ECG신호(69a), PPG신호(68) PCG신호(69b) 각각에 대해 별도의 독립된 CNN(57)을 적용하여 사용할 수 있다.

이들 특징 벡터들은 산소 포화도(69c), PTT(69d), PAT, PWV, HRV, 글루코스 스펙트로 스코피(69e), 체지방(69f) 및 개인 신체 정보(69g)를 함께 분류기(21a)에 입력되어 혈압, 콜레스테롤, 혈당, 심장질환을 산정하게 된다.

본 발명의 분류기(21a)는 FCN(Fully connected Network) 또는 SVM(support Vector Machine) 일수 있다.

본 발명의 일 실시예를 따르는 AI 로봇 메디컬 핸드 장치는, 근거리 통신 연결부(8)에 의해 외부 의료기기(430)로부터 측정된 의료 데이터를 수신하여 저장하는 의료 데이터 저장부(15) 및 학습용 의료 데이터들에 의해 사전에 딥러닝 학습된 인공지능 신경망(16) 내지 전문가 시스템(18)을 포함할 수 있고, 상기 딥러닝 학습된 인공지능 신경망(16) 내지 전문가 시스템(18)은, 상기 근거리 통신 연결부(8)에 의해 수신된 상기 의료 데이터를 분석하여, 피측정자의 질병 유무와 질병의 위험도를 자동으로 판별할 수 있다. 또한 이상징후가 발견된 경우, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공할 수 있다.

본 발명의 인공지능 신경망(16)의 또 다른 측면은 AI 로봇 메디컬 핸드 장치상의 바이오 센서에 의해 측정된 의료 데이터를 핸드폰에 전송하고, 이후 핸드폰상에 어플(application software)로서 설치된 인공지능 신경망 앱(app)(12)에 의해 얻어진 상기 의료 데이터의 분석한 결과를 피측정자에게 제공할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법의 동작 흐름을 간단히 살펴보기로 한다.

도 11은 일 실시예에 의한 본 발명의 AI 로봇 메디컬 핸드 장치를 이용한 검사 방법의 순서도이다.

도 11의 실시예에 따르면, 단계 S101에서, AI 로봇 메디컬 핸드 장치에 포함된 이미지 센서로부터 이미지를 캡쳐하여 피측정자의 신체 부위를 인식하고, 신체 부위에 바이오 센서, 손 전극 및 지문 센서가 접촉하도록 AI 로봇 메디컬 핸드 장치의 움직임을 제어할 수 있다.

단계 S102에서, 포함된 바이오 센서 및/혹은 손 전극과 피측정자 간 신체 접촉에 의해 사용자의 생체 신호를 획득할 수 있다.

단계 S103에서, 생체 신호를 획득하는 동시에, 지문 센서로부터 피측정자의 지문을 채취하여 사용자 인증을 수행할 수 있다.

단계 S104에서, 사용자 인증이 완료된 생체 신호를 포함하는 의료 데이터를 서버에 전송하고, 서버 상의 인공지능 신경망 내지 전문가 시스템에 의해 분석된 의료 데이터의 분석 결과를 피드백 받을 수 있다.

단계 S105에서, 상기 단계 S104에서의 분석 결과에 질병이 의심되는 징후가 발견된 경우, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공할 수 있다.

상술한 설명에서, 단계 S101 내지 S105는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

또한, 전술한 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법은 핸드폰 내지 클라우드 서버상의 애플리케이션 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

8: 근거리 통신 연결부
11: 건강 추적 관리부
12: 인공지능 신경망 앱
13: 서버
15: 의료 데이터 저장부
16: 인공지능 신경망
18: 전문가 시스템
19: 체열 진단부
20a: 혈압 측정용 인공지능 신경망
20b: 콜레스테롤 측정용 인공지능 신경망
20c: 혈당 측정용 인공지능 신경망
20d: 심장질환 측정용 인공지능 신경망
21a: 분류기
22: 이미지 센서24a: 손 전극 1
24b: 손 전극 2
24c: 손 전극 3
24d: 손 전극 4
25: 온도 센서
26: 지문 센서
27a: 음성 인식부
28a: 음성 재생부
33a: 특징 벡터 추출부 1
33b: 특징 벡터 추출부 2
33c: 특징 벡터 추출부 3
33d: 특징 벡터 추출부 4
33e: 특징 벡터 추출부 5
33f: 특징 벡터 추출부 6
35: SpO2센서
37: 무선 통신 연결 수단
38a: 스피커부
38b: 마이크부
40: 사인파 발진기
41: 스펙트럼 계산부
44: 청진기
44a: 박막 올림판
46: AD 변환기
47: 인체 피부 표면
48: ECG 센서
48a: 절연막
48b: ECG 전극면
48c: ECG 출력 전극
48d: ECG 입력 전극
50: 광 검출기
51a: 적색광 LED
51b: 적외선 LED
53: 제어부
55: 말초 동맥 혈관
57: CNN
61: 차동 증폭기
62: HPF
63: BRF
64: AD 변환기
68: PPG신호
69a: ECG신호
69b: PCG신호
69c: 산소포화도
69d: PTT
69e: 글루코스 스펙트로스코피
69f: 체지방
69g: 개인 신체 정보
70L: 로봇 왼손
70R: 로봇 오른손
71: 심전도 측정부
72: 산소포화도 및 PPG신호 측정부
72L: 피측정자 왼손
72R: 피측정자 오른손
73: 청진음 측정부
74: 체열 측정부
75: 지문 인증부
76: 바디 네비게이터
77: 체지방 측정부
78: 글루코스 측정부
80: 발광 다이오드 구동부
81: 필터
82: AD 변환기
84: 차동 증폭기
170: 청진기 입력부
171: 트랜스듀서
172: 신호 증폭부
173: 노이즈 제거 필터
174: 주파수 필터
176: AD 변환기
202: 인터넷
400: 디지털 생체 신호 분석 모듈
420: 생체 신호 수집부
420a: 생체 신호 유효 판별 수단
430: 외부 의료기기
440: 바이오 센싱부
800: 피측정자 손가락

Claims

양손형 AI 로봇 메디컬 핸드 장치에 관한 것으로,
피측정자의 신체 부위에 접촉함으로써 생체 신호를 획득하는 바이오 센서와 복수의 손 전극;
상기 피측정자의 지문을 획득하는 지문 센서;
상기 피측정자의 신체 부위 이미지를 획득하는 이미지 센서;
상기 피측정자의 신체 부위 이미지를 캡쳐하여 상기 피측정자의 신체 부위를 인식하고, 상기 AI 로봇 메디컬 핸드 장치의 움직임을 제어하여 상기 바이오 센서, 상기 손 전극 및 상기 지문 센서와 상기 피측정자 간 접촉을 수행하게 하는 바디 네비게이터; 및
상기 바이오 센서와 상기 손 전극이 상기 피측정자의 신체 부위에 접촉하여 생체 신호를 획득하는 경우, 그와 동시에 상기 지문 센서를 통해 획득한 상기 지문으로 사용자 인증을 수행하는 지문 인증부;
를 포함하는 AI 로봇 메디컬 핸드 장치.
제1항에 있어서,
상기 바이오 센서는 체열을 측정하기 위한 온도 센서, 산소 포화도 및 광전용적맥파(PPG, Photoplethysmography) 신호를 획득하기 위한 SpO2센서, ECG신호를 획득하기 위한 ECG 센서, 체지방 센서, 글루코스 스펙트로스코피를 얻기 위한 혈당 센서, PCG(phonocardiogram) 신호를 획득하기 위한 청진기 중 선택된 어느 하나 이상으로 구성되는 AI 로봇 메디컬 핸드 장치.
제2항에 있어서,
상기 SpO2 센서는 적외선을 피측정자의 손가락 부위에 조사하는 적외선 LED, 적색광을 손가락 부위에 조사하는 적색광 LED 및 상기 손가락 부위에서 반사한 상기 적외선과 적색광을 수광하기 위한 광 검출기를 포함하여,
수광된 적외선과 적색광 간의 성분의 비를 바탕으로 산소포화도를 계산하는 것을 특징으로 하는 AI 로봇 메디컬 핸드 장치.
제2항에 있어서,
상기 ECG 센서는 피측정자 피부 표면과의 커패시티브 커플링을 허용하는 ECG 입력 전극, 절연막 및 ECG 전극면으로 구성되어, 상기 피측정자 피부 표면과의 커패시티브 커플링에 의해 심근 세포로부터 나오는 미세한 전기변동을 통해 상기 ECG신호를 획득하는 것을 특징으로 하는 AI 로봇 메디컬 핸드 장치.
제1항에 있어서,
상기 생체 신호는 체온, ECG신호, PPG신호, PCG신호, SpO2, 글루코스 스펙트로스코피, 체지방, 심장 맥박수, PTT (Pulse Transit Time), Pulse Arrival time(PAT), 맥파 전달 속도(PWV, Pulse Wave Velocity), HRV(Heart Rate Variability) 중 선택된 어느 하나 이상을 포함하는 AI 로봇 메디컬 핸드 장치.
제1항에 있어서,
상기 복수의 손 전극은,
구동전극 및 검출전극으로 사용되어, 상기 사용자 인증이 수행되는 동시에, 체지방 내지 글루코스 스펙트로스코피의 상기 생체 신호를 획득하는 것을 특징으로 하는 AI 로봇 메디컬 핸드 장치.
제6항에 있어서,
상기 손 전극이 상기 체지방 생체 신호를 획득하는 경우,
상기 피측정자의 측정부위에 교류 전류를 흘려주고 전위차를 검출하여 저항값을 산출한 후, 검출된 상기 저항값 및 상기 피측정자의 개인 신체 정보 변수를 이용하여 체지방량, 근육량, 체수분량 생체 정보를 산출하는 BIA 방식으로 체지방을 측정하는 것을 특징으로 하는 AI 로봇 메디컬 핸드 장치.
제6항에 있어서,
상기 손 전극이 상기 글루코스 스펙트로스코피 생체 신호를 획득하는 경우,
상기 구동전극 및 검출전극 간 상기 피측정자 체내의 임피던스를 주파수별로 차례로 측정하여 상기 임피던스 주파수 응답을 얻음으로써 상기 글루코스 스펙트로스코피를 측정하는 것을 특징으로 하는 AI 로봇 메디컬 핸드 장치.
제1항에 있어서,
상기 복수의 손 전극은,
체지방 측정을 위한 전극, ECG 센서의 접지 전극, ECG 입력 전극 중 선택된 어느 하나로 동작하는 AI 로봇 메디컬 핸드 장치.
제1항에 있어서,
상기 바이오 센서 및 상기 손 전극으로부터 획득한 생체 신호를 증폭하거나 디지털 신호로 변환하는 바이오 센싱부; 및
상기 디지털 신호로 변환된 생체 신호를 수집하고, 수집된 생체 신호 중 사용자 인증이 완료된 유효한 생체 신호를 걸러내는 생체 신호 수집부;
를 더 포함하는 AI 로봇 메디컬 핸드 장치.
제10항에 있어서
상기 생체 신호 수집부는,
유효한 생체 신호를 걸러내는데 있어서,
1-D(Dimension) 인공지능 신경망, LSTM(Long short time Memory), 자기 상관 계수(Auto Correlation Coefficient), 유효 범위 체크 방법, 표준(기준) 생체 신호의 특징 벡터와 수집된 생체 신호의 특징 벡터 간의 상호 상관 계수 중 어느 하나 이상의 기법을 사용하는 것을 특징으로 하는 AI 로봇 메디컬 핸드 장치.
제1항에 있어서,
상기 사용자 인증이 완료된 생체 신호를 포함하는 의료 데이터를 인터넷망을 통해 서버에 전송하고, 이후 상기 서버 상의 인공지능 신경망 내지 전문가 시스템에 의해 분석된 상기 의료 데이터의 분석 결과를 피드백 받기 위한 무선 통신 연결 수단
을 더 포함하는 AI 로봇 메디컬 핸드 장치.
제12항에 있어서,
상기 생체 신호를 포함하는 의료 데이터의 변화 추이를 관찰하여 상기 피측정자에게 건강상의 위험도, 집중 케어 검사가 필요한 항목 및 다음 검사 일정을 사용자에게 알려주는 건강 추적 관리부;
를 더 포함하는 AI 로봇 메디컬 핸드 장치.
제13항에 있어서,
상기 건강 추적 관리부는,
상기 검사 일정에 맞추어서 생체 신호 검사를 자동으로 실시하도록 제어하는 것을 특징으로 하는 AI 로봇 메디컬 핸드 장치.
제1항에 있어서,
상기 양손형 AI 로봇 메디컬 핸드 장치는 상기 생체 신호를 분석하는 인공지능 신경망을 더 포함하고,
상기 인공지능 신경망은,
상기 생체 신호 및 개인 신체 정보를 입력으로 하여, 혈압 측정용 인공지능 신경망, 콜레스테롤 측정용 인공지능 신경망, 혈당 측정용 인공지능 신경망, 심장 질환 측정용 인공지능 신경망 중 선택된 어느 하나 이상을 포함하는 AI 로봇 메디컬 핸드 장치.
제15항에 있어서,
상기 인공지능 신경망은,
ECG신호 내지 PPG신호에 동기화된 생체 신호를 입력으로 취하고,
상기 생체 신호는 체온, ECG신호, PPG신호, PCG신호, 산소포화도, 글루코스 스펙트로스코피, 체지방, 심장맥박수, PTT, PAT, PWV, HRV, 외부 의료기기로부터 수신된 의료 데이터 중 선택된 어느 하나 이상을 포함하는 AI 로봇 메디컬 핸드 장치.
양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법에 관한 것으로,
이미지 센서로부터 이미지를 캡쳐하여 피측정자의 신체 부위를 인식하고, 상기 피측정자의 신체 부위에 바이오 센서, 손 전극 및 지문 센서가 접촉하도록 상기 AI 로봇 메디컬 핸드 장치의 움직임을 제어하는 단계;
상기 바이오 센서 및/혹은 상기 손 전극과 상기 피측정자 신체 부위 간 접촉을 통해 상기 피측정자의 생체 신호를 획득하는 단계;
상기 생체 신호를 획득 하는 동시에, 지문 센서로부터 상기 피측정자의 지문을 획득하여 사용자 인증을 수행하는 단계;
상기 사용자 인증이 완료된 생체 신호를 포함하는 의료 데이터를 인공지능 신경망 내지 전문가 시스템에 의해 분석하여 피드백 받는 단계;
를 포함하는 양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법.
제17항에 있어서,
상기 바이오 센서는 체열을 측정하기 위한 온도 센서, 산소 포화도 및 광전용적맥파(PPG, Photoplethysmography) 신호를 획득하기 위한 SpO2센서, ECG신호를 획득하기 위한 ECG 센서, 체지방 센서, 글루코스 스펙트로스코피를 얻기 위한 혈당 센서, PCG(phonocardiogram) 신호를 획득하기 위한 청진기 중 선택된 어느 하나 이상인 것을 특징으로 하는 양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법.
제18항에 있어서,
상기 ECG 센서를 포함하여 상기 ECG신호를 획득하는 경우,
상기 이미지 센서는 상기 피측정자의 가슴 영역, 양손 혹은 팔목을 인식하고, 상기 피측정자의 가슴 영역, 양손 혹은 팔목에 상기 ECG 센서가 위치 정렬하여 접촉하도록 하여, 상기 피측정자의 상기 ECG신호를 획득하는 것을 특징으로 하는 양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법.
제18항에 있어서,
상기 ECG 센서를 포함하여 상기 ECG신호를 획득하는 경우,
상기 이미지 센서는 상기 피측정자의 손가락 영역 내지 발목 영역의 피부표면을 인식하고, 표준 사지 리드를 따르는 상기 피측정자의 위치에 상기 ECG 센서 및 상기 손 전극이 위치 정렬하여 접촉하도록 하여 상기 피측정자의 상기 ECG신호를 획득하는 것을 특징으로 하는 양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법.
제17항에 있어서,
상기 바이오 센서 및 상기 손 전극으로부터 획득한 상기 생체 신호를 증폭하거나 디지털 신호로 변환하는 단계; 및
상기 디지털 신호로 변환된 생체 신호를 수집하고, 수집된 생체 신호 중 사용자 인증이 완료된 유효한 생체 신호를 걸러내는 단계;
를 더 포함하는 양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법.
제17항에 있어서,
상기 생체 신호를 포함하는 의료 데이터의 변화 추이를 관찰하여 상기 피측정자에게 건강상의 위험도, 집중 케어 검사가 필요한 항목 및 다음 검사 일정을 사용자에게 알려주는 단계; 및
상기 검사 일정에 맞추어서 생체 신호 검사를 자동으로 실시하도록 제어하는 단계;
를 더 포함하는 양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법.
제17항에 있어서,
상기 인공지능 신경망은,
상기 생체 신호 및 개인 신체 정보를 입력으로 하여, 혈압 측정용 인공지능 신경망, 콜레스테롤 측정용 인공지능 신경망, 혈당 측정용 인공지능 신경망, 심장 질환 측정용 인공지능 신경망 중 선택된 어느 하나 이상을 포함하는
양손형 AI 로봇 메디컬 핸드 장치를 이용한 자가 검사 방법.