[go: up one dir, main page]

KR102812404B1 - 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법 - Google Patents

응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법 Download PDF

Info

Publication number
KR102812404B1
KR102812404B1 KR1020230017410A KR20230017410A KR102812404B1 KR 102812404 B1 KR102812404 B1 KR 102812404B1 KR 1020230017410 A KR1020230017410 A KR 1020230017410A KR 20230017410 A KR20230017410 A KR 20230017410A KR 102812404 B1 KR102812404 B1 KR 102812404B1
Authority
KR
South Korea
Prior art keywords
practitioner
medical
augmented reality
patient
guide information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230017410A
Other languages
English (en)
Other versions
KR20240078265A (ko
Inventor
김경진
홍성선
조효준
김도엽
손은혜
Original Assignee
경북대학교 산학협력단
주식회사 엔가든
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단, 주식회사 엔가든 filed Critical 경북대학교 산학협력단
Priority to PCT/KR2023/018912 priority Critical patent/WO2024112106A1/ko
Publication of KR20240078265A publication Critical patent/KR20240078265A/ko
Application granted granted Critical
Publication of KR102812404B1 publication Critical patent/KR102812404B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법이 개시된다. 본 발명의 일측면에 따른 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템은, 환자상태가 설정되는 실습용 환자장치; 실습자가 착용하여 환자상태에 따른 치료가이드정보를 증강현실로 출력하는 하나 이상의 실습자장치; 하나 이상의 의료보조장치; 및 환자상태를 설정하고, 실습자장치로 치료가이드정보를 제공하되, 의료보조장치를 식별하여 상응하는 의료정보 또는 가상의료장비를 의료보조장치에 대응되도록 실습자장치에서 증강현실로 확인할 수 있도록 처리하는 중앙제어장치를 포함한다.

Description

응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법 {Augmented reality clinical simulation system and method for medical practice}
본 발명은 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법에 관한 것이다.
임상실습은 이론적인 지식을 기반으로 실제 임상에서 대상자에게 적합한 처치 및 치료 등을 수행하는 실습으로, 간호학을 비롯한 의학을 전공하는 학생들에게 필수적으로 시행되고 있다. 임상실습은 인간의 건강을 유지 및 증진하고, 건강 문제를 해결하는 데 기본적으로 요구되는 과학적 지식과 원리의 습득을 돕는 기술을 안전하고 능숙하게 하는 데에 그 목적이 있다. 통상적으로 임상실습은 학생들이 병원에 배치되어 실제 환자들을 접하는 방식으로 진행된다. 이러한 임상실습은 학생들 개개인의 학습 속도에 관계없이 일괄적으로 진행되기 때문에 학습 개별화가 어렵다. 또한, 이와 같은 임상실습은 학생들이 실제 환자들을 대상으로 처치 및 치료 등을 수행하기 때문에 위험 요소가 많다. 뿐만 아니라, 학생들이 실제 병원에 배치되어 실습해야 하기 때문에 시간과 장소에 많은 제약이 있고, 비용이 많이 소요되는 문제점이 있다.
특히 응급환자를 위한 응급처치(CPR, Intubation)는 간호사 및 의학 전문인력을 위해서는 반드시 필요하므로, 실전과 유사한 환경에서의 실습 방식이 절실하다.
대한민국 공개특허 제10-2009-0036936 임상실습 시뮬레이션 시스템 및 시뮬레이션 방법
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 증강현실을 이용하여 응급환자를 위한 응급처치 실습을 진행할 수 있는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 환자상태가 설정되는 실습용 환자장치; 실습자가 착용하여 상기 환자상태에 따른 치료가이드정보를 증강현실로 출력하는 하나 이상의 실습자장치; 하나 이상의 의료보조장치; 및 상기 환자상태를 설정하고, 상기 실습자장치로 상기 치료가이드정보를 제공하되, 상기 의료보조장치를 식별하여 상응하는 의료정보 또는 가상의료장비를 상기 의료보조장치에 대응되도록 상기 실습자장치에서 증강현실로 확인할 수 있도록 처리하는 중앙제어장치를 포함하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템가 제공된다.
여기서, 상기 중앙제어장치는 상기 실습자장치에서 촬영되는 영상을 분석하여 상기 의료보조장비를 식별할 수 있다.
또한, 상기 실습용 환자장치에 삽입하기 위한 의료장치를 더 포함하되, 상기 중앙제어장치는 상기 실습용 환자장치에 구비된 센서에 의해 상기 의료장치의 삽입 위치를 확인하여 관련정보를 상기 치료가이드정보로서 제공할 수 있다.
또한, 상기 중앙제어장치에 접속하여 상기 환자상태를 설정하고, 상기 실습자장치에서 보여지는 화면을 확인하는 관리자장치를 더 포함할 수 있다.
또한, 상기 중앙제어장치는 상기 관리자장치로부터 실시간 입력되는 추가가이드정보를 상기 실습자장치로 제공할 수 있다.
또한, 상기 중앙제어장치는 상기 실습자장치가 복수개인 경우, 각 실습자장치에서 촬영되는 상기 실습용 환자장치에 대한 시각(視角)을 이용하여 각 실습자의 역할을 결정하여 관련 치료가이드정보를 제공할 수 있다.
또한, 상기 중앙제어장치는 각 실습자장치로 상기 역할에 따른 치료가이드정보가 메인으로 표시되도록 하되, 타 실습자를 위한 치료가이드정보 중 상기 시각에 따른 일부를 함께 제공할 수 있다.
본 발명의 다른 측면에 따르면, 중앙제어장치에서 수행되는 증강현실 임상시뮬레이션 방법에 있어서, 실습용 환자장치의 환자상태를 설정하는 단계; 하나 이상의 의료보조장치를 식별하는 단계; 및 실습자가 착용하는 실습자장치로 상기 환자상태에 상응하는 치료가이드정보가 증강현실로 표시되도록 하고, 상기 의료보조장치를 식별하여 상응하는 의료정보 또는 가상의료장비를 상기 의료보조장치에 대응되도록 상기 실습자장치에서 증강현실로 확인할 수 있도록 처리하는 단계를 포함하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 방법이 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 따르면, 병원 등에서의 다양한 응급상황(CPR, Intubation)을 대처할 수 있는 임상시뮬레이션 기능 및 콘텐츠 제공을 통해 의료 교육생 및 의료진의 환자상태에 대한 대처 능력을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템의 개략적인 구성을 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 응급환자 시나리오 간호 시뮬레이션 콘텐츠 구성도을 도시한 흐름도.
도 3은 본 발명의 일 실시예에 따른 중앙제어장치에서 수행되는 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 과정을 도시한 흐름도.
도 4는 본 발명의 일 실시예에 따른 증강현실 임상시뮬레이션을 위한 배치를 도시한 예시도.
도 5는 본 발명의 일 실시예에 따른 의료보조장치인 제세동기로의 의료정보 표시 방식을 도시한 예시도.
도 6은 본 발명의 일 실시예에 따른 관리자장치에 표시되는 의료실습 유저인터페이스 화면을 도시한 예시도.
도 7은 본 발명의 일 실시예에 따른 인튜베이션 실습을 위한 의료장비 센싱 방식을 도시한 예시도.
도 8은 본 발명의 일 실시예에 따른 중앙제어장치에서 수행되는 의료 실습자의 역할 설정 과정을 도시한 흐름도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템의 개략적인 구성을 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 응급환자 시나리오 간호 시뮬레이션 콘텐츠 구성도을 도시한 흐름도이다.
도 1을 참조하면, 본 실시예에 따른 전체 시스템은 실습용 환자장치(10), 복수의 실습자장치(20-1, ..., 20-n, 이하 20으로 통칭), 관리자장치(30), 중앙제어장치(40) 및 의료보조장치(50-1, .... 50-m,, 이하 50으로 통칭)를 포함한다.
실습용 환자장치(10)는 사람형상 등의 실습용 환자인 마네킹(manikin) 본체와 치료상황을 센싱하기 위한 각종 센서(예를 들어, 휠센서, 터치센서, 압력센서, 온도센서 등)를 구비한다.
실습자장치(20)는 실습용 환자장치(10)에 대한 치료가이드정보가 증강현실로 출력되는 AR장치이다. 예를 들어, HMD(Head mounted Display) 형태로 구현될 수 있다. 따라서, 실습자는 실습자장치(20)를 착용한 상태에서 실습용 환자장치(10)를 이용한 의료 실습을 수행한다.
중앙제어장치(40)는 실습용 환자장치(10)에 대한 환자상태를 설정하고, 실습자장치(20)로 치료가이드정보를 제공한다. 그리고 일례에 따르면 실습자는 복수일 수 있으며, 또한 각 실습자는 각자의 역할이 정해질 수 있다. 따라서, 각 실습자는 역할이 주어지고, 각 역할에 따른 치료가이드를 증강현실로 확인하면서 실습용 환자장치(10)에 대한 의료행위를 수행할 수 있다.
관리자장치(30)는 교수 등의 관리자가 이용하는 컴퓨팅장치로서, 관리자는 관리자장치(30)를 이용하여 중앙제어장치(40)에 접속함으로써 실습용 환자장치(10)의 환자상태(예를 들어, 머리 충격에 의해 의식이 없는 상태, 심정지 상태 등)를 설정할 수 있다. 그리고, 관리자장치(30)는 실습자장치(20)에 의한 각각의 화면(도 5 참조)을 확인할 수 있다. 또한, 관리자는 관리자장치(30)를 이용하여 중앙제어장치(40)에 접속함으로써 실습 중 위험 감지나 기타 필요 시 음성, 텍스트 등으로 추가적인 가이드를 제공할 수 있으며, 또는 강제 중단 등의 개입을 행할 수 있다. 여기서, 본 실시예에서는 중앙제어장치(40)와 관리자장치(30)가 분리된 것으로 구현하였으나, 다른 일례에 따르면 관리자장치(30)와 중앙제어장치(40)가 하나의 장치로 구현될 수도 있다. 예를 들어, 중앙제어장치(40)는 관리자가 환자상태의 설정, 추가치료가이드정보의 입력 등을 수행할 수 있는 유저인터페이스를 제공하는 것이다. 이하에서는 설명의 편의상 도 1과 같이 중앙제어장치(40)와 관리자장치(30)가 하드웨어적으로 별도의 장치로 구현된 것을 위주로 설명하기로 한다.
의료보조장치(50)는 실습자장치(20)에 증강현실로 의료정보 또는 가상의료장비가 표시되는 것으로서, 예를 들어 의료보조장치(50)가 제세동기의 경우 실습자장치(20)에서는 관련정보가 증강현실로서 투영되어 제세동기에 표시된다. 보다 상세한 설명은 관련도면(도 4 내지 5)를 참조하여 후술하기로 한다.
중앙제어장치(40)는 환자상태를 설정하고, 실습자장치(20)로 치료가이드정보를 제공하되, 의료보조장치(50)를 식별하여 상응하는 의료정보 또는 가상의료장비를 의료보조장치(50)에 대응되도록 실습자장치(20)에서 증강현실로 확인할 수 있도록 처리한다.
여기서, 도면에는 각 구성부들이 유선으로 네트워크 통신하는 것으로 가정하였으나, 다른 일례에 따르면 일부 또는 모든 구성부는 블루투스(bluetooth), AP(Access Point)를 이용한 와이파이(wi-fi)통신과 같은 근거리 무선통신으로 서로 통신할 수도 있음은 당업자에게는 자명할 것이다.
의료 실습의 일례를 도시한 도 2에 도시된 바와 같이, 4인 1조로 실습자가 배정되어 의사(관리자)의 관리/제어하에 의료 실습이 수행될 수 있다. 이러한 시나리오대로 의료 실습이 수행되도록 중앙제어장치(40)는 각 실습자의 역할에 따라 각각의 실습자장치(20)에서 출력될 치료가이드정보를 제공할 수 있다.
이하, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템에서의 처리 과정과 예시에 대해 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 중앙제어장치(40)에서 수행되는 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 과정을 도시한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 증강현실 임상시뮬레이션을 위한 배치를 도시한 예시도이고, 도 5는 본 발명의 일 실시예에 따른 의료보조장치인 제세동기로의 의료정보 표시 방식을 도시한 예시도이다.
도 3을 참조하면, 중앙제어장치(40)는 실습용 환자장치의 환자상태를 설정한다(S310).
예를 들어, 중앙제어장치(40)는 관리자단말로부터 입력되는 정보에 기반하여 실습용 환자장치(10)의 환자상태를 설정한다. 즉, 의료 실습의 목적에 맞는 환자상태를 설정하는 것으로, 예를 들어 심정지 상태에서의 의료 실습이 목적인 경우 환자상태를 [심정지 상태]로서 설정하고, 그에 따른 실습자의 치료가이드정보를 탐색한다.
그리고, 실습자장치(20)를 착용한 각 실습자의 역할을 설정한다(S320). 일례에 따르면, 각 역할은 넘버가 정해진 각 실습자장치(20) 마다 자동으로 부여될 수 있으며, 또는 관리자에 의해 결정될 수 있다. 또한 다른 일례에 따르면 중앙제어장치(40)가 실습자장치(20)에서 촬영되는 영상을 기반으로 하여 각 실습자장치(20)의 역할을 자동 설정할 수도 있는데, 이에 대해서는 관련도면 도 8을 참조하여 상세히 후술하기로 한다.
도 4를 함께 참조하면, 실습자장치(20)를 착용하는 실습자는 4명일 수 있으며, 각각 역할이 주어진다. 중앙제어장치(40)는 이러한 실습자 4명에 대한 역할을 배정하고, 각 역할에 따른 치료가이드정보를 제공함으로써, 각 실습자는 자신의 역할에 따른 정보를 증강현실로서 확인할 수 있다.
중앙제어장치(40)는 의료보조장치(50)를 식별한다(S330). 도 4에 도시된 바와 같이 의료보조장치(50)를 예시한 제세동기(50-1)와 응급카트(50-2)를 식별한다. 일례에 따르면 각 의료보조장치(50)는 블루투스와 같은 근거리 무선통신 기능을 이용하여 중앙제어장치(40)와 통신할 수 있으며, 중앙제어장치(40)는 무선으로 수신된 정보를 기반으로 연결된 의료보조장치(50)의 종류, 기종 등을 식별한다. 다른 일례에 따르면, 중앙제어장치(40)는 실습자장치(20)에서 의료보조장치(50)를 촬영한 영상을 분석하여 의료보조장치(50)의 종류, 기종 등을 식별한다. 영상 분석에 의한 객체인식 기술은 다양한 분야에서 활용되고 있어 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다.
중앙제어장치(40)는 설정된 환자상태에 따른 치료가이드정보를 각 역할에 맞도록 각 실습자장치(20)로 제공하되, 식별된 의료보조장치(50)에 상응하는 의료정보 또는 가상의료장비를 의료보조장치(50)에 대응되도록 실습자장치(20)에서 증강현실로 확인할 수 있도록 처리한다(S340). 일례에 따른 도 5를 참조하면, 실습자가 제세동기(50-1)를 바라보면 관련 심박정보를 제세동기 화면에 투영시켜 실습자장치(20)를 통해 확인할 수 있도록 한다. 도면에는 도시되지 않았으나 의료보조장치(50)가 응급카트인 경우, 응급카트의 도어를 열면 가상의료장치가 실습자장치(20)에 증강현실로 표시되도록 하고, 또한 사용을 증강현실로서 적용한다. 예를 들어 가상의료장치가 [가상가위]인 경우, 가상가위를 쥐고 사용할 수 있도록 하는 증강현실 처리를 수행하는 것이다. 다시 말해 가상의 도구를 이용할 수 있도록 하는 것이며, 이는 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다.
그리고, 의료 실습이 진행되면서 실습용 환자장치(10)로부터의 센싱정보를 기반으로 치료상태를 확인하고, 확인된 치료상태에 대한 정보와 그에 따른 치료가이드정보를 실시간으로 실습자장치(20)로 제공하여 실습자가 증강현실로 이를 즉각적으로 확인할 수 있도록 한다. 따라서, 실습자들은 자신의 역할에 맞는 치료가이드에 대한 정보를 증강현실로 확인하면서 의료 실습을 진행하며, 치료 상태에 따른 정보와 함께 그때의 치료가이드 정보를 즉각 확인할 수 있다.
도 6은 본 발명의 일 실시예에 따른 관리자장치에 표시되는 의료실습 유저인터페이스 화면을 도시한 예시도이다.
3대의 실습자장치(20)를 이용한 의료 실습을 진행하는 경우의 관리자단말에 표시되는 인터페이스 화면을 도시한 도 6을 참조하면, 관리자는 각 실습자가 바라보는 화면을 함께 확인하면서 실시간으로 관리할 수 있다. 예를 들어, 관리자는 추가적인 가이드정보(이하 추가가이드정보라 칭함)를 제공하거나, 의료실습 중단, 재수행, 환자상태 변경 등의 제어를 수행한다.
다시 말해, 중앙제어장치(40)는 관리자장치(30)로 각 실습자가 바라보는 증강현실 화면을 그대로 전송할 수 있으며, 이를 통해 관리자가 실시간 음성, 텍스트 등으로 추가가이드정보를 원하는 실습자장치(20)로 전송할 수 있도록 한다. 즉, 중앙제어장치(40)는 관리자장치(30)로부터 입력되는 추가가이드정보를 관련 실습자장치(20)로 실시간 제공한다.
또한, 중앙제어장치(40)는 의료용 환자장치(10)의 각종 센서로부터 입력되는 센싱값에 기반하여 판단되는 치료상태정보가 응급상황으로 판단되는 경우, 각 실습자장치(20)에서 경고 알람이 처리되도록 할 수 있다. 경고 알람은 응급상황이 해지될 때까지 수행될 수 있을 것이다.
도 7은 본 발명의 일 실시예에 따른 인튜베이션 실습을 위한 의료장비 센싱 방식을 도시한 예시도이다.
도 7을 참조하면, 전체 시스템은 실습용 환자장치(10)에 삽입하기 위한 의료장치(700)를 더 포함하되, 중앙제어장치(40)는 실습용 환자장치(10)에 구비된 센서(11)에 의해 의료장치(700)의 삽입 위치를 확인하여 관련정보를 치료가이드정보로서 제공한다.
실습용 환자장치(10)의 로컬 센서(휠 센서 등을 활용)와 각 인튜베이션(의료장치(700))의 센서(휠 센서의 경우, 도구 센서는 필요 없음)를 통해 각 도구의 현재 위치값을 중앙제어장치(40)에 전달해 주어 이를 실습자장치(20)와 통신을 통해 실습자장치(20)의 디스플레이에 위치값을 가지고 있는 각 인튜베이션 도구들을 가상으로 보여 주는 것이다. 즉, 인튜베이션 상황을 실습자가 파악할 수 있도록 디스플레이한다. 실제 증강현실로 인튜베이션 실습을 하고 있는 상황에서 관련 정보를 센서를 통해 중앙제어장치(40)에 전달하고 이를 증강현실에 실시간으로 반영하여 디스플레이하는 것이다.
도 8은 본 발명의 일 실시예에 따른 중앙제어장치에서 수행되는 의료 실습자의 역할 설정 과정을 도시한 흐름도이다.
도 8을 참조하면, 중앙제어장치(40)는 환자상태를 설정한다(S810). 환자상태가 결정되면 환자상태에 따른 각 실습자의 역할과 의료 행위를 수행할 위치가 정해질 수 있는데, 예를 들어 실습자1은 환자 머리쪽에, 실습자2는 환자의 우측에서, 실습자3은 환자의 좌측에 위치하여 의료 실습을 수행해야 한다.
따라서, 각 실습자에서 촬영되는 실습용 환자장치(10)를 바라보는 시각(視角)을 이용하여 실습용 환자장치(10)에 대비한 실습자의 위치를 확인한다(S820). 객체인식 기술 및 얼굴인식 기술 등을 이용하여 영상 내의 의료용 환자장치(10)를 식별하고, 식별된 정보를 기반으로 각 실습자장치(20)에서의 시각을 확인할 수 있다. 또한 확인된 시각을 통해 실습자의 위치를 추정할 수 있다.
중앙제어장치(40)는 설정된 환자상태와 확인된 실습자장치(20)에서의 시각을 이용하여 각 실습자장치(20)의 역할을 결정한다(S830). 상술한 예를 이용하면, 환자의 머리쪽에서 바라보는 영상을 촬영하는 실습자장치(20)는 실습자1로서 역할이 결정되는 것이다.
본 실시예에 따르면, 각 실습자가 자신의 역할에 맞는 위치로 이동하기만 하면 자동으로 역할이 설정되므로 역할 설정을 위한 작업이 불필요해진다. 또한 각 실습자가 각 역할에 맞는 정확한 위치로 이동할 수 있도록 가이드 기능으로서 이용될 수도 있을 것이다.
여기서, 일례에 따르면, 중앙제어장치(40)는 각 실습자장치(20)로 각각의 역할에 따른 치료가이드정보를 제공함에 있어, 해당 역할과 관계된 가이드정보는 메인으로 표시되도록 하되, 타 실습자를 위한 치료가이드정보 중 시각(視角)에 따른 일부를 함께 제공할 수도 있다. 예를 들어, 실습용 환자장치(10)의 우측에서 실습하는 실습자2가 실습용 환자장치(10)의 머리쪽을 바라볼 때에는 머리쪽에서 실습하는 실습자1의 치료가이드정보 전부 또는 일부를 화면 일측에 표시되도록 한다. 이에 따라, 각 실습자가 의료상 중요한 정보 등에 대해 타 실습자의 의료 행위와 치료가이드를 참고하도록 할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 실습용 환자장치 20 : 실습자장치
30 : 관리자장치 40 : 중앙제어장치
50 : 의료보조장치 700 : 의료장치

Claims (8)

  1. 환자상태가 응급상황으로 설정되는 실습용 환자장치;
    실습자가 착용하여 상기 환자상태에 따른 치료가이드정보를 증강현실로 출력하는 하나 이상의 실습자장치;
    하나 이상의 의료보조장치; 및
    상기 환자상태를 설정하고, 상기 실습자장치로 상기 치료가이드정보를 제공하되, 상기 의료보조장치를 식별하여 상응하는 의료정보 또는 가상의료장비를 상기 의료보조장치에 대응되도록 상기 실습자장치에서 증강현실로 확인할 수 있도록 처리하는 중앙제어장치;
    를 포함하고,
    상기 중앙제어장치는,
    상기 실습자장치가 복수개인 경우, 각 실습자장치에서 촬영되는 상기 실습용 환자장치에 대한 시각(視角)을 이용하여 각 실습자가 이동한 위치에 맞는 역할이 자동으로 설정되도록 하여 각 실습자장치에 각각의 역할에 따른 치료가이드정보를 제공하되, 각 실습자장치에 제공된 치료가이드정보가 표시됨에 있어서, 해당 역할과 관계된 가이드정보는 메인으로 표시되도록 하고, 타 실습자를 위한 치료가이드정보 중 상기 시각에 따른 일부를 함께 제공하여 각 실습자가 타 실습자의 의료 행위와 치료가이드를 참고하여 의료상 중요한 정보의 획득이 가능하도록 하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템.
  2. 청구항 1에 있어서,
    상기 중앙제어장치는 상기 실습자장치에서 촬영되는 영상을 분석하여 상기 의료보조장치를 식별하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템.
  3. 청구항 1에 있어서,
    상기 실습용 환자장치에 삽입하기 위한 의료장치를 더 포함하되,
    상기 중앙제어장치는 상기 실습용 환자장치에 구비된 센서에 의해 상기 의료장치의 삽입 위치를 확인하여 관련정보를 상기 치료가이드정보로서 제공하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템.
  4. 청구항 1에 있어서,
    상기 중앙제어장치에 접속하여 상기 환자상태를 설정하고, 상기 실습자장치에서 보여지는 화면을 확인하는 관리자장치를 더 포함하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템.
  5. 청구항 4에 있어서,
    상기 중앙제어장치는 상기 관리자장치로부터 실시간 입력되는 추가가이드정보를 상기 실습자장치로 제공하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템.
  6. 삭제
  7. 삭제
  8. 중앙제어장치에서 수행되는 증강현실 임상시뮬레이션 방법에 있어서,
    실습용 환자장치의 환자상태를 응급상황으로 설정하는 단계;
    하나 이상의 의료보조장치를 식별하는 단계; 및
    실습자가 착용하는 실습자장치로 상기 환자상태에 상응하는 치료가이드정보가 증강현실로 표시되도록 하고, 상기 의료보조장치를 식별하여 상응하는 의료정보 또는 가상의료장비를 상기 의료보조장치에 대응되도록 상기 실습자장치에서 증강현실로 확인할 수 있도록 처리하는 단계;
    를 포함하며,
    상기 중앙제어장치는,
    상기 실습자장치가 복수개인 경우, 각 실습자장치에서 촬영되는 상기 실습용 환자장치에 대한 시각(視角)을 이용하여 각 실습자가 이동한 위치에 맞는 역할이 자동으로 설정되도록 하여 각 실습자장치에 각각의 역할에 따른 치료가이드정보를 제공하되, 각 실습자장치에 제공된 치료가이드정보가 표시됨에 있어서, 해당 역할과 관계된 가이드정보는 메인으로 표시되도록 하고, 타 실습자를 위한 치료가이드정보 중 상기 시각에 따른 일부를 함께 제공하여 각 실습자가 타 실습자의 의료 행위와 치료가이드를 참고하여 의료상 중요한 정보의 획득이 가능하도록 하는, 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 방법.
KR1020230017410A 2022-11-25 2023-02-09 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법 Active KR102812404B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/018912 WO2024112106A1 (ko) 2022-11-25 2023-11-22 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220160696 2022-11-25
KR1020220160696 2022-11-25

Publications (2)

Publication Number Publication Date
KR20240078265A KR20240078265A (ko) 2024-06-03
KR102812404B1 true KR102812404B1 (ko) 2025-05-29

Family

ID=91496383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230017410A Active KR102812404B1 (ko) 2022-11-25 2023-02-09 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102812404B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011513776A (ja) * 2008-02-25 2011-04-28 インベンティブ メディカル リミテッド 医療用訓練方法及び装置
JP2013254129A (ja) * 2012-06-08 2013-12-19 Riichiro Mizoguchi 手順訓練システム、コンピュータを手順訓練システムとして機能させるためのプログラム及びそのプログラムを記録した記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090036936A (ko) 2007-10-10 2009-04-15 목포과학대학산학협력단 임상실습 시뮬레이션 시스템 및 시뮬레이션 방법
US20130280686A1 (en) * 2012-04-19 2013-10-24 Martin Hetland Medical Procedure Training System
KR102312298B1 (ko) * 2019-12-17 2021-10-12 동서대학교 산학협력단 스마트 글라스를 이용한 cpr 및 aed ar 교육 시스템 및 그 방법
KR102423849B1 (ko) * 2020-09-29 2022-07-21 인제대학교 산학협력단 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011513776A (ja) * 2008-02-25 2011-04-28 インベンティブ メディカル リミテッド 医療用訓練方法及び装置
JP2013254129A (ja) * 2012-06-08 2013-12-19 Riichiro Mizoguchi 手順訓練システム、コンピュータを手順訓練システムとして機能させるためのプログラム及びそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
KR20240078265A (ko) 2024-06-03

Similar Documents

Publication Publication Date Title
US11819369B2 (en) Augmented reality device for providing feedback to an acute care provider
US10642046B2 (en) Augmented reality systems for time critical biomedical applications
CN108135772B (zh) 用于基于具有身体测量结果的在线存储资料的个性化治疗指导的便携式医疗设备和方法
US20170323062A1 (en) User guidance system and method, use of an augmented reality device
US10810758B2 (en) Method and system using augmentated reality for positioning of ECG electrodes
US12183215B2 (en) Simulated reality technologies for enhanced medical protocol training
US11270597B2 (en) Simulated reality technologies for enhanced medical protocol training
WO2021125547A1 (ko) 가상현실 기반의 심폐소생술 교육 시스템
CN111627266A (zh) 一种基于虚拟现实技术的传染病照护指导系统及方法
KR102812404B1 (ko) 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법
KR102637330B1 (ko) 확장현실형 응급처지 가이드 정보에 따른 응급처치자 교육형 의료 시스템
KR102789223B1 (ko) 의료 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법
KR102789219B1 (ko) 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템
CN118280173A (zh) 内窥镜手柄信号仿真器和注入式消化内镜诊疗仿真系统
KR20170024946A (ko) 모바일기기와 센서를 이용한 심폐소생술 훈련 시스템 및 방법
DE102016219157A1 (de) Assistenzvorrichtung für Patienten und Verfahren zum Betrieb einer Assistenzvorrichtung
WO2024112106A1 (ko) 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법
KR20230008406A (ko) 손모양,동작 인식 기반 심폐소생술(cpr) 및 자동제세동기(aed) ar 교육 시스템
US12544179B2 (en) Augmented reality device for providing feedback to an acute care provider
TWI671762B (zh) 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統
WO2022102863A1 (ko) 확장현실 기반의 침술 시스템 및 그 방법
KR102579540B1 (ko) 격리병실 감염관리를 위한 가상현실 임상시뮬레이션 시스템 및 가상현실 임상시뮬레이션 방법
CN116456062B (zh) 一种创伤复苏单元中复苏流程的教学实现方法和系统
US11969218B2 (en) Augmented reality surgery set-up for robotic surgical procedures
CN110769743A (zh) 用于远程医疗辅助的无线通信系统

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000