[go: up one dir, main page]

KR102789219B1 - 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템 - Google Patents

가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템 Download PDF

Info

Publication number
KR102789219B1
KR102789219B1 KR1020230017414A KR20230017414A KR102789219B1 KR 102789219 B1 KR102789219 B1 KR 102789219B1 KR 1020230017414 A KR1020230017414 A KR 1020230017414A KR 20230017414 A KR20230017414 A KR 20230017414A KR 102789219 B1 KR102789219 B1 KR 102789219B1
Authority
KR
South Korea
Prior art keywords
virtual
practitioner
patient
emergency
administrator terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230017414A
Other languages
English (en)
Other versions
KR20240078266A (ko
Inventor
김경진
홍성선
조효준
김도엽
손은혜
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to PCT/KR2023/018974 priority Critical patent/WO2024112116A1/ko
Publication of KR20240078266A publication Critical patent/KR20240078266A/ko
Application granted granted Critical
Publication of KR102789219B1 publication Critical patent/KR102789219B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/067Combinations of audio and projected visual presentation, e.g. film, slides
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템이 개시된다. 본 발명의 일측면에 따른 컴퓨팅 장치에서 수행되는 재난상황 대처 임상시뮬레이션 방법은, 가상현실로서 설정된 재난상황에 따른 하나 이상의 가상응급환자를 설정하는 단계; 가상현실에 접속한 실습자가 가상응급환자에 대한 응급처치와 중증도 분류를 수행하여 병원으로 이송하도록 하는 응급환자대응 실습을 위한 인터페이스를 제공하는 단계; 및 실습자가 수행한 응급환자대응 실습에 따른 실습결과를 관리자단말로 제공하는 단계를 포함한다.

Description

가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템{Disaster response clinical simulation method and system using virtual reality}
본 발명은 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템에 관한 것이다.
임상실습은 이론적인 지식을 기반으로 실제 임상에서 대상자에게 적합한 처치 및 치료 등을 수행하는 실습으로, 간호학을 비롯한 의학을 전공하는 학생들에게 필수적으로 시행되고 있다. 임상실습은 인간의 건강을 유지 및 증진하고, 건강 문제를 해결하는 데 기본적으로 요구되는 과학적 지식과 원리의 습득을 돕는 기술을 안전하고 능숙하게 하는 데에 그 목적이 있다. 통상적으로 임상실습은 학생들이 병원에 배치되어 실제 환자들을 접하는 방식으로 진행된다. 이러한 임상실습은 학생들 개개인의 학습 속도에 관계없이 일괄적으로 진행되기 때문에 학습 개별화가 어렵다. 또한, 이와 같은 임상실습은 학생들이 실제 환자들을 대상으로 처치 및 치료 등을 수행하기 때문에 위험 요소가 많다. 뿐만 아니라, 학생들이 실제 병원에 배치되어 실습해야 하기 때문에 시간과 장소에 많은 제약이 있고, 비용이 많이 소요되는 문제점이 있다.
또한, 재난상황에서는 다급하게 많은 수의 응급환자에 대한 구호를 수행해야 하므로, 실습자에게 다양한 재난상황에 따른 응급환자에 대한 임상시뮬레이션을 제공할 필요가 있다.
대한민국 공개특허 제10-2009-0036936 임상실습 시뮬레이션 시스템 및 시뮬레이션 방법
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 다양한 재난상황에 대한 대처 실습을 위해 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템을 제공하기 위한 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 서버 장치에서 수행되는 재난상황 대처 임상시뮬레이션 방법에 있어서, 가상현실로서 설정된 재난상황에 따른 하나 이상의 가상응급환자를 설정하는 단계; 상기 가상현실에 접속한 실습자가 상기 가상응급환자에 대한 응급처치와 중증도 분류를 수행하여 병원으로 이송하도록 하는 응급환자대응 실습을 위한 인터페이스를 제공하는 단계; 및 상기 실습자가 수행한 응급환자대응 실습에 따른 실습결과를 관리자단말로 제공하는 단계를 포함하는, 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법이 제공된다.
여기서, 상기 실습자가 상기 가상현실 속에서 움직이는 경로, 상기 실습자가 바라보는 화면을 상기 관리자단말로 제공하며, 상기 실습자와 상기 관리자단말간의 음성 통신을 중개할 수 있다.
또한, 상기 실습자가 바라보는 화면을 영상콘텐츠로서 저장하되, 상기 관리자단말로부터 실시간 수신되는 정보를 자막형태로 상기 영상콘텐츠에 기록할 수 있다.
또한, 상기 관리자단말로 상기 가상응급환자의 상태정보를 제공하고, 상기 관리자단말로부터의 요청에 따라 수신되는 음성을 상기 가상응급환자에 적용함으로써, 관리자와 실습자간의 대화를 분석하여 상기 가상응급환자를 위한 인공지능 학습데이터로 이용할 수 있다.
또한, 상기 실습자에게 의료장비 선택 인터페이스를 제공하되, 상기 실습자가 선택환 의료장비와 상기 재난상황 및 상기 가상응급환자에 상응하도록 미리 설정된 적합의료장비와의 비교를 통해 상기 실습결과에 따른 점수에 반영할 수 있다.
또한, 관리자 단말로부터 요청에 따라 수신되는 모션정보를 상기 가상응급환자에 적용하고, 상기 모션정보를 분석하여 상기 가상응급환자의 상태에 반영할 수 있다.
본 발명의 다른 측면에 따르면, 실습자가 착용하여 가상현실에 접속하여 재난상황 대처 임상시뮬레이션을 수행하도록 하는 실습자장치; 상기 가상현실로서 재난상황에 따른 하나 이상의 가상응급환자를 설정하고, 상기 실습자장치를 이용하여 상기 가상현실에 접속한 실습자가 상기 가상응급환자에 대한 응급처치와 중증도 분류를 수행하여 병원으로 이송하도록 하는 응급환자대응 실습을 위한 인터페이스를 제공하는 서비스장치; 및 상기 서비스장치로부터 상기 실습자가 수행한 응급환자대응 실습에 따른 실습결과를 수신하는 관리자단말을 포함하는, 가상현실을 이용한 재난상황 대처 임상시뮬레이션 시스템이 제공된다.
여기서, 상기 서비스장치는 상기 실습자가 상기 가상현실 속에서 움직이는 경로, 상기 실습자가 바라보는 화면을 상기 관리자단말로 제공하며, 상기 실습자장치와 상기 관리자단말간의 음성 통신을 중개할 수 있다.
또한, 상기 서비스장치는 상기 실습자가 바라보는 화면을 영상콘텐츠로서 저장하되, 상기 관리자단말로부터 실시간 수신되는 정보를 자막형태로 상기 영상콘텐츠에 기록할 수 있다.
또한, 관리자 단말로부터 요청에 따라 수신되는 모션정보를 상기 가상응급환자에 적용하고, 상기 모션정보를 분석하여 상기 가상응급환자의 상태에 반영할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 따르면, 의료진 등이 재난상황에서 다양한 상황 및 환자에 대한 응급 조치 및 중증도 분류 등에 대한 훈련을 가상현실을 통해 상시적으로 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 재난상황 대처 임상시뮬레이션을 위한 전체 시스템의 개략적인 구성을 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 서비스장치에서 수행되는 가상현실을 이용한 재난상황 대처 임상시뮬레이션 과정을 도시한 흐름도.
도 3은 본 발명의 일 실시예에 따른 실습자장치에 표시되는 다양한 가상현실화면을 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 관리자단말에 표시되는 관리자 인터페이스 화면을 도시한 예시도.
도 5는 본 발명의 일 실시예에 따른 서비스장치에서 수행되는 실습영상 제작 과정을 도시한 흐름도.
도 6은 본 발명의 일 실시예에 따른 관리자와 실습자간의 대화를 이용한 가상응급환자용 인공지능 학습데이터 생성과정을 도시한 흐름도.
도 7은 본 발명의 일 실시예에 따른 가상응급환자의 상태를 설정하는 인터페이스 화면을 도시한 예시도.
도 8은 본 발명의 일 실시예에 따른 관리자의 모션을 가상응급환자에 적용하는 과정을 도시한 흐름도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 가상현실을 이용한 재난상황 대처 임상시뮬레이션을 위한 전체 시스템의 개략적인 구성을 도시한 구성도이다.
도 1을 참조하면, 본 실시예에 따른 전체 시스템은 실습자장치(10), 관리자단말(20) 및 서비스장치(30)를 포함한다.
실습자장치(10)는 실습자가 착용하여 서비스장치(30)에서 운영되는 가상현실에 접속하기 위한 장치이다. 예를 들어, HMD(Head mounted Display) 형태로 구현될 수 있다. 따라서, 각 실습자는 실습자장치(10)를 착용한 상태에서 가상현실에 접속하여 재난상황 대처 임상시뮬레이션을 이용한 의료 실습을 수행한다.
서비스장치(30)는 가상현실로서 재난상황에 따른 하나 이상의 가상응급환자를 설정하고, 실습자장치(10)를 이용하여 가상현실에 접속한 실습자가 가상응급환자에 대한 응급처치와 중증도 분류를 수행하여 병원으로 이송하도록 하는 응급환자대응 실습을 위한 인터페이스를 제공한다.
관리자단말(20)은 의사 등의 관리자가 이용하는 단말장치로서 서비스장치(30)로부터 실습자가 수행한 응급환자대응 실습에 따른 실습결과를 수신한다. 예를 들어, 실습 결과로서 응급처치 현황(응급처치 방식, 처치시간 등), 중증도 분류 방식, 병원이송처리 현황 등에 따른 점수화 처리를 하여 제공할 수 있다.
또한, 서비스장치(30)는 실습자가 가상현실 속에서 움직이는 경로, 실습자가 바라보는 화면 등을 관리자단말(20)에게 제공하며, 실습자장치(10)와 관리자단말(20)간의 음성 통신을 중개할 수 있다. 즉, 서비스장치(30)는 실습자가 가상현실에서 의료 실습을 수행하면서 관리자와 음성(또는 채팅)으로 대화를 나눌 수 있도록 한다. 즉, 관리자는 관리자단말(20)을 이용하여 서비스장치(30)에 접속함으로써 실습 중 위험 감지나 기타 필요 시 음성, 텍스트 등으로 가이드를 제공할 수 있으며, 또는 강제 중단 등의 개입을 행할 수 있다.
또한, 관리자단말(20)은 교수 등의 관리자가 이용하는 컴퓨팅장치로서, 관리자는 관리자단말(20)을 이용하여 서비스장치(30)에 접속함으로써 각 가상응급환자의 환자상태(예를 들어, 머리 충격에 의해 의식이 없는 상태, 심정지 상태 등)를 설정할 수 있도록 한다. 다시 말해, 가상응급환자는 서비스장치(30)에서 재난상황에 따라 자동 설정하되, 필요시 관리자가 가상응급환자의 상태를 설정할 수 있도록 하는 것이다. 이에 대해서는 차후 관련도면(도 7 및 도 8)을 참조하여 상세히 설명하기로 한다.
여기서, 본 실시예에서는 서비스장치(30)와 관리자단말(20)이 분리된 것으로 구현하였으나, 다른 일례에 따르면 관리자단말(20)와 서비스장치(30)가 하나의 장치로 구현될 수도 있다. 예를 들어, 서비스장치(30)는 관리자가 가상응급환자의 상태 설정 등을 수행할 수 있는 유저인터페이스를 제공하는 것이다. 이하에서는 설명의 편의상 도 1과 같이 서비스장치(30)와 관리자단말(20)가 하드웨어적으로 별도의 장치로 구현된 것을 위주로 설명하기로 한다.
또한, 도면에는 각 구성부들이 유선으로 네트워크 통신하는 것으로 가정하였으나, 다른 일례에 따르면 일부 또는 모든 구성부는 블루투스(bluetooth), AP(Access Point)를 이용한 와이파이(wi-fi)통신과 같은 근거리 무선통신으로 서로 통신할 수도 있음은 당업자에게는 자명할 것이다.
도 2는 본 발명의 일 실시예에 따른 서비스장치(30)에서 수행되는 가상현실을 이용한 재난상황 대처 임상시뮬레이션 과정을 도시한 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 실습자장치(10)에 표시되는 다양한 가상현실화면을 도시한 예시도.
도 2를 참조하면, 서비스장치(30)는 가상현실로서 설정된 재난상황에 따른 하나 이상의 가상응급환자를 설정한다(S210). 예를 들어, 재난상황이 교통사고상황인 경우, 의식을 잃은 한명의 가상응급환자와 팔이 부러진 한명의 가상응급환자를 설정한다.
서비스장치(30)는 가상현실에 접속한 실습자가 가상응급환자에 대한 응급처치와 중증도 분류를 수행하여 병원으로 이송하도록 하는 응급환자대응 실습을 위한 인터페이스를 제공한다(S220).
실습자에게 가상현실에서 제공되는 응급환자대응 실습용 인터페이스 화면들의 예시가 도 3에 도시되어 있다. 따라서, 실습자는 각 가상응급환자에 대해 응급처치, 중증도 분류 등의 응급환자대응 실습을 진행하게 된다.
다시 도 2를 참조하면, 실습결과는 관리자단말(20)로 제공됨으로 인해(S230), 관리자는 실습자의 응급환재대응 실습 결과를 바로 확인할 수 있다. 상술한 바와 같이, 실습 결과로서 응급처치 현황(응급처치 방식, 처치시간 등), 중증도 분류 방식, 병원이송처리 현황 등에 따른 점수화 처리를 하여 제공할 수 있다. 이에 따른 일례에 의하면, 서비스장치(30)는 실습자에게 의료장비 선택 인터페이스를 제공하되, 실습자가 선택환 의료장비와 재난상황 및 가상응급환자에 상응하도록 미리 설정된 적합의료장비와의 비교를 통해 실습결과에 따른 점수에 반영할 수 있다. 이외에도 각각의 응급 우선순위가 부여된 복수의 가상응급환자에 대한 처치 순서, 총 처치 시간 등에 따라 실습결과 점수가 달라질 수 있으며, 물론 이는 일례일뿐 다양한 방식에 의해 실습결과 점수가 채점될 수 있음은 당연하다.
그리고, 상술한 바와 같이, 서비스장치(30)는 관리자가 실시간으로 실습자의 실습 내용을 확인할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 관리자단말(20)에 표시되는 관리자 인터페이스 화면을 도시한 예시도이고, 도 5는 본 발명의 일 실시예에 따른 서비스장치(30)에서 수행되는 실습영상 제작 과정을 도시한 흐름도이다.
먼저 도 4를 참조하면, 실습자의 가상현실 상에서의 위치와 움직이는 경로 등을 표시(410)하고, 실습자가 바라보는 화면(420)을 관리자단말(20)에 표시함으로써, 관리자는 실습자의 위치와 현재의 응급처치 현황을 실시간으로 확인할 수 있다. 또한, 필요 시, 관리자는 실습자와 음성 또는 텍스트로 대화를 나눌 수 있도록 한다.
이를 이용하여 실습 영상콘텐츠를 제공하는 방식을 도시한 도 5를 참조하면, 서비스장치(30)는 관리자단말(20)로 실습자의 상황을 중계한다(S510). 즉 도 4의 참조번호 520과 같이 실습자가 바라보는 화면을 관리자단말(20)로 실시간 중계하는 것이다.
그리고, 중계되는 화면을 영상콘텐츠로서 저장하며(S520), 이때 관리자로부터 음성 또는 텍스트로 실시간 입력되는 입력정보를 해당 장면에서의 자막형태로 영상콘텐츠에 기록한다. 예를 들어, 실습자의 실습화면과 관리자가 그 화면을 보면서 입력한 정보가 자막으로서 기록된 실습 영상콘텐츠를 제작함으로써, 실습용 자료로서 활용될 수 있다.
여기서, 일례에 따르면, 실습자의 실습결과 점수가 미리 설정된 임계점수 이상인 경우에만 영상콘텐츠를 생성할 수 있으며, 또는 관리자로부터의 입력정보가 없어 자막이 존재하지 않는 부분과 실습자가 가상응급환자에 대한 응급처치가 아닌 부분(예를 들어, 이동하는 부분)은 보다 빠른 속도로 재생되도록 영상콘텐츠를 생성할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 관리자와 실습자간의 대화를 이용한 가상응급환자용 인공지능 학습데이터 생성과정을 도시한 흐름도이다.
도 6을 참조하면, 서비스장치(30)는 각 가상응급환자에 대한 상태정보를 전송한다(S610). 즉, 관리자가 각 가상응급환자의 상태를 확인할 수 있도록 한다.
관리자단말(20)로부터의 요청에 따라 가상응급환자에게 관리자 음성을 적용한다(S620). 이해의 편의를 위해 예를 들면, 실습자가 가상응급환자A에게 접근하여 응급처치를 하고자 할 때, 관리자가 가상응급환자A가 되어 실습자와 대화를 나눌 수 있도록 하는 것이다.
이후, 서비스장치(30)는 관리자와 실습자간의 대화를 분석하여 가상응급환자를 위한 인공지능 학습데이터로 이용한다(S630). 예를 들어, 관리자의 경우 의료교수 등과 같이 전문적인 지식을 가진 사람이라 판단되므로, 관리자의 대화에 대해서는 차후 해당 가상응급환자가 실습자와의 대화를 진행할 때 참조할 학습용데이터로서 이용하는 것이다. 따라서,실제 전문가와 실습자간의 대화를 이용하여 인공지능을 지속적으로 학습시킴으로써, 보다 현실감 있는 가상응급환자를 생성 및 운영할 수 있게 된다.
도 7은 본 발명의 일 실시예에 따른 가상응급환자의 상태를 설정하는 인터페이스 화면을 도시한 예시도이다.
도 7을 참조하면, 서비스장치(30)는 관리자가 직접 가상응급환자의 인원수, 각각의 나이대, 연령, 응급상태, 호흡수, 맥박 여부, 손상부위, 보행가능 여부, 의식 여부, 가상공간상에 배치될 위치 등(이하 환자상태라 칭함)을 설정할 수 있도록 유저인터페이스를 관리자단말(20)로 제공한다. 따라서, 관리자가 직접 재난 현장에 배치될 각 가상응급환자의 환자 상태를 설정, 갱신, 삭제할 수 있다. 또한, 이러한 환자 상태에 따른 중증도 결과값이 자동으로 도출되어 표시될 수 있다.
그리고, 전술한 바와 같이 관리자의 목소리를 가상응급환자에 적용할 뿐 아니라, 일례에 따르면 관리자의 모션까지도 가상응급환자에 적용할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 관리자의 모션을 가상응급환자에 적용하는 과정을 도시한 흐름도이다.
도 8을 참조하면, 서비스장치는 관리자단말(20)로부터의 요청에 따라 관리자의 모션정보를 취득한다(S810). 즉, 관리자단말은 관리자의 모션을 인식하고, 그 모션정보를 서비스장치(30)로 제공한다. 그 방식으로서 관리자단말(20)은 구비된 카메라를 이용한 영상분석 또는 관리자의 몸에 부착되는 센서에 의한 센서정보를 이용하여 관리자 모션을 캡처한다. 모션캡처 기술은 다양한 분야에서 이용되고 있으므로 이에 대한 상세한 설명은 생략한다.
서비스장치(30)는 수신된 관리자의 모션정보를 해당하는 가상응급환자에 적용한다(S820). 예를 들어, 관리자가 양팔을 휘젖는 모션을 취하면, 가상응급환자도 동일한 모션을 취하도록 하는 것이다. 이로 인해, 관리자는 자신이 직접 가상응급환자의 행동을 제어함으로써 실습자가 어떤 반응을 수행하는지를 확인할 수 있게 된다.
또한, 서비스장치(30)는 관리자의 모션정보를 분석하여 가상응급환자의 환자상태에 반영한다(S830). 예를 들어, 모션정보가 경련을 일으키는 것으로 분석되는 경우, 환자상태에 [경련발생]을 적용하는 것이다. 이에 따르면, 도 7과 같이 환자상태를 일일이 입력하는 것과 비교하여 실시간으로 행동을 통해 가상응급환자의 상태를 설정 또는 갱신할 수 있다.
상술한 본 발명에 따른 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법을 수행하도록 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 실습자장치
20 : 관리자단말
30 : 서비스장치

Claims (8)

  1. 컴퓨팅 장치에서 수행되는 재난상황 대처 임상시뮬레이션 방법에 있어서,
    가상현실로서 설정된 재난상황에 따른 하나 이상의 가상응급환자를 설정하는 단계;
    상기 가상현실에 접속한 실습자가 상기 가상응급환자에 대한 응급처치와 중증도 분류를 수행하여 병원으로 이송하도록 하는 응급환자대응 실습을 위한 인터페이스를 제공하는 단계; 및
    상기 실습자가 수행한 응급환자대응 실습에 따른 실습결과를 관리자단말로 제공하는 단계를 포함하고,
    상기 컴퓨팅 장치는,
    상기 실습자의 실습결과 점수가 미리 설정된 임계점수 이상인 경우, 상기 실습자가 바라보는 화면을 영상콘텐츠로서 저장하되, 상기 관리자단말로부터 실시간 수신되는 정보를 자막형태로 상기 영상콘텐츠에 기록하고,
    상기 가상응급환자의 인원수, 각각의 나이대, 연령, 응급상태, 호흡수, 맥박 여부, 손상부위, 보행가능 여부, 의식 여부 또는 가상공간상에 배치될 위치 중 적어도 하나 이상을 포함하는 환자상태를 설정, 갱신 또는 삭제하고, 상기 환자상태에 따른 중증도 결과값을 자동으로 도출하여 표시하는 유저인터페이스를 상기 관리자단말로 제공하고,
    상기 관리자단말로 상기 가상응급환자의 상태정보를 제공하고, 상기 관리자단말로부터의 요청에 따라 수신되는 음성을 상기 가상응급환자에 적용함으로써, 관리자와 실습자간의 대화를 분석하여 상기 가상응급환자를 위한 인공지능 학습데이터로 이용하고,
    관리자단말로부터 요청에 따라 수신되는 모션정보를 상기 가상응급환자에 적용하고, 상기 모션정보를 분석하여 상기 가상응급환자의 상태에 반영하는, 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법.
  2. 청구항 1에 있어서,
    상기 실습자가 상기 가상현실 속에서 움직이는 경로, 상기 실습자가 바라보는 화면을 상기 관리자단말로 제공하며, 상기 실습자와 상기 관리자단말간의 음성 통신을 중개하는, 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법.
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 실습자에게 의료장비 선택 인터페이스를 제공하되,
    상기 실습자가 선택환 의료장비와 상기 재난상황 및 상기 가상응급환자에 상응하도록 미리 설정된 적합의료장비와의 비교를 통해 상기 실습결과에 따른 점수에 반영하는, 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법.
  6. 삭제
  7. 실습자가 착용하여 가상현실에 접속하여 재난상황 대처 임상시뮬레이션을 수행하도록 하는 실습자장치;
    상기 가상현실로서 재난상황에 따른 하나 이상의 가상응급환자를 설정하고, 상기 실습자장치를 이용하여 상기 가상현실에 접속한 실습자가 상기 가상응급환자에 대한 응급처치와 중증도 분류를 수행하여 병원으로 이송하도록 하는 응급환자대응 실습을 위한 인터페이스를 제공하는 서비스장치; 및
    상기 서비스장치로부터 상기 실습자가 수행한 응급환자대응 실습에 따른 실습결과를 수신하는 관리자단말을 포함하고,
    상기 서비스장치는,
    상기 실습자의 실습결과 점수가 미리 설정된 임계점수 이상인 경우, 상기 실습자가 바라보는 화면을 영상콘텐츠로서 저장하되, 상기 관리자단말로부터 실시간 수신되는 정보를 자막형태로 상기 영상콘텐츠에 기록하고,
    상기 가상응급환자의 인원수, 각각의 나이대, 연령, 응급상태, 호흡수, 맥박 여부, 손상부위, 보행가능 여부, 의식 여부 또는 가상공간상에 배치될 위치 중 적어도 하나 이상을 포함하는 환자상태를 설정, 갱신 또는 삭제하고, 상기 환자상태에 따른 중증도 결과값을 자동으로 도출하여 표시하는 유저인터페이스를 상기 관리자단말로 제공하고,
    상기 관리자단말로 상기 가상응급환자의 상태정보를 제공하고, 상기 관리자단말로부터의 요청에 따라 수신되는 음성을 상기 가상응급환자에 적용함으로써, 관리자와 실습자간의 대화를 분석하여 상기 가상응급환자를 위한 인공지능 학습데이터로 이용하고,
    관리자단말로부터 요청에 따라 수신되는 모션정보를 상기 가상응급환자에 적용하고, 상기 모션정보를 분석하여 상기 가상응급환자의 상태에 반영하는, 가상현실을 이용한 재난상황 대처 임상시뮬레이션 시스템.
  8. 삭제
KR1020230017414A 2022-11-25 2023-02-09 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템 Active KR102789219B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/018974 WO2024112116A1 (ko) 2022-11-25 2023-11-23 의료 실습을 위한 확장현실(xr) 임상시뮬레이션 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220160702 2022-11-25
KR1020220160702 2022-11-25

Publications (2)

Publication Number Publication Date
KR20240078266A KR20240078266A (ko) 2024-06-03
KR102789219B1 true KR102789219B1 (ko) 2025-04-01

Family

ID=91496216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230017414A Active KR102789219B1 (ko) 2022-11-25 2023-02-09 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102789219B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119339904A (zh) * 2024-12-20 2025-01-21 福建中医药大学 一种中医远程诊疗与在线教育一体化交互系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019173677A1 (en) * 2018-03-09 2019-09-12 Pearson Education, Inc. Systems and methods for diagnostic applications of augmented reality
US20210366312A1 (en) * 2017-01-24 2021-11-25 Tienovix, Llc Virtual reality system for training a user to perform a procedure

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090036936A (ko) 2007-10-10 2009-04-15 목포과학대학산학협력단 임상실습 시뮬레이션 시스템 및 시뮬레이션 방법
KR102328572B1 (ko) * 2019-10-30 2021-11-19 주식회사 뉴베이스 응급환자 처치 훈련 제공 방법 및 장치
KR102513144B1 (ko) * 2019-12-30 2023-03-23 주식회사 메타에듀시스 가상현실을 이용한 수영 안전교육 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210366312A1 (en) * 2017-01-24 2021-11-25 Tienovix, Llc Virtual reality system for training a user to perform a procedure
WO2019173677A1 (en) * 2018-03-09 2019-09-12 Pearson Education, Inc. Systems and methods for diagnostic applications of augmented reality

Also Published As

Publication number Publication date
KR20240078266A (ko) 2024-06-03

Similar Documents

Publication Publication Date Title
US20240148464A1 (en) Augmented Reality Device for Providing Feedback to an Acute Care Provider
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
EP3384437B1 (en) Systems, computer medium and methods for management training systems
US8243132B2 (en) Image output apparatus, image output method and image output computer readable medium
US7506979B2 (en) Image recording apparatus, image recording method and image recording program
US11270597B2 (en) Simulated reality technologies for enhanced medical protocol training
US12183215B2 (en) Simulated reality technologies for enhanced medical protocol training
US8150118B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
US9498123B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
US20250357012A1 (en) Systems and methods for providing context sensitive guidance for medical treatment of a patient
CN107077214A (zh) 用于在医院中使用的通信的方法和系统
US20200254310A1 (en) Adaptive virtual rehabilitation
KR102789219B1 (ko) 가상현실을 이용한 재난상황 대처 임상시뮬레이션 방법 및 시스템
US11249549B2 (en) Brain connectivity-based visual perception training device, method and program
KR20240081516A (ko) 전정 재활 훈련 시스템
KR102789223B1 (ko) 의료 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법
KR102812404B1 (ko) 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법
WO2024135545A1 (en) Information processing apparatus, information processing method, and computer-readable non-transitory storage medium
KR20210029445A (ko) 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법
Qiao et al. An inertial sensor-based system to develop motor capacity in children with cerebral palsy
WO2024112116A1 (ko) 의료 실습을 위한 확장현실(xr) 임상시뮬레이션 시스템 및 방법
WO2023195488A1 (ja) 双方向視線位置判定装置、双方向視線位置判定方法およびトレーニング方法
WO2025210801A1 (ja) 遠隔操作支援装置、方法およびプログラム
JP2022065576A (ja) プログラム、方法、情報処理装置、及びシステム
JP2024046866A (ja) 情報処理装置および恐怖症改善支援方法

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601