[go: up one dir, main page]

WO2019164277A1 - 수술영상을 이용한 출혈 평가 방법 및 장치 - Google Patents

수술영상을 이용한 출혈 평가 방법 및 장치 Download PDF

Info

Publication number
WO2019164277A1
WO2019164277A1 PCT/KR2019/002095 KR2019002095W WO2019164277A1 WO 2019164277 A1 WO2019164277 A1 WO 2019164277A1 KR 2019002095 W KR2019002095 W KR 2019002095W WO 2019164277 A1 WO2019164277 A1 WO 2019164277A1
Authority
WO
WIPO (PCT)
Prior art keywords
bleeding
surgical image
computer
amount
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/002095
Other languages
English (en)
French (fr)
Inventor
이종혁
형우진
양훈모
김호승
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hutom Co Ltd
Original Assignee
Hutom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180129709A external-priority patent/KR102014364B1/ko
Application filed by Hutom Co Ltd filed Critical Hutom Co Ltd
Publication of WO2019164277A1 publication Critical patent/WO2019164277A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the present invention relates to a method and apparatus for bleeding evaluation using surgical images.
  • Deep learning is defined as a set of machine learning algorithms that attempts to achieve high levels of abstraction (summarizing key content or functions in large amounts of data or complex data) through a combination of several nonlinear transformations. Deep learning can be seen as a field of machine learning that teaches computers how people think in a large framework.
  • the problem to be solved by the present invention is to provide a method and apparatus for bleeding evaluation using a surgical image.
  • the problem to be solved by the present invention is to provide a method and apparatus for recognizing whether bleeding occurred in the surgical image to measure the bleeding area and the amount of bleeding.
  • the bleeding evaluation method using a surgical image performed by a computer obtaining a surgical image, recognizing whether there is a bleeding region in the surgical image based on deep learning-based learning And estimating the location of the bleeding area from the surgical image based on the recognition result.
  • the step of recognizing whether the bleeding region is present based on deep learning based learning using a convolutional neural network (CNN), extracting feature information from the surgical image (feature) And recognizing whether there is a bleeding region in the surgical image based on the feature information.
  • CNN convolutional neural network
  • estimating the location of the bleeding region may specify a bleeding region in the surgical image based on the feature information.
  • estimating the location of the bleeding region includes converting a pixel in the surgical image into a specific value based on the feature information, and based on a specific value of the pixel in the surgical image. And specifying the bleeding area.
  • the method may further include calculating the amount of bleeding in the bleeding region based on the position of the bleeding region.
  • the calculating of the bleeding amount may be calculated using the pixel information of the bleeding area.
  • the calculating of the bleeding amount may include obtaining depth information of the bleeding area based on a depth map of the surgical image, and based on depth information of the bleeding area. And calculating the bleeding amount by estimating a volume corresponding to the bleeding region.
  • the calculating of the amount of bleeding may include calculating the amount of bleeding by further using the gauze information when the gauze is included in the surgical image.
  • the step of calculating the bleeding amount, corresponding to the surgical image can be calculated in the bleeding area in the bleeding area compared to the surgical image that does not exist.
  • An apparatus includes a memory for storing one or more instructions, and a processor for executing the one or more instructions stored in the memory, wherein the processor executes the one or more instructions to perform a surgical image. Acquiring, recognizing whether there is a bleeding region in the surgical image based on deep learning-based learning, and estimating a position of the bleeding region from the surgical image based on the recognition result. .
  • a computer program according to an embodiment of the present invention is combined with a computer, which is hardware, and stored in a computer-readable recording medium to perform a bleeding evaluation method using the surgical image.
  • a bleeding learning model specialized for bleeding can be provided by estimating the bleeding region in the surgical image and calculating the amount of bleeding.
  • the bleeding area and the amount of bleeding can be grasped from the surgical image, it is possible to estimate the total bleeding occurred in a specific surgery based on this, and further provide a criterion for performing the evaluation of the surgery through the bleeding degree. .
  • the present invention according to an embodiment of the present invention, it is possible to automatically derive the presence or absence of bleeding and the degree of bleeding from the surgical image without the intervention of medical staff.
  • FIG. 1 is a flowchart illustrating a bleeding evaluation method using a surgical image according to an embodiment of the present invention.
  • FIG. 2 is a view showing an example that can be applied to the bleeding evaluation method using a surgical image according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of calculating a bleeding amount by segmenting a bleeding region in a surgical image according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram schematically showing the configuration of an apparatus 100 for performing a bleeding evaluation method using a surgical image according to an embodiment of the present invention.
  • a “part” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “part” or “module” plays certain roles. However, “part” or “module” is not meant to be limited to software or hardware.
  • the “unit” or “module” may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • a “part” or “module” may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and “parts” or “modules” may be combined into smaller numbers of components and “parts” or “modules” or into additional components and “parts” or “modules”. Can be further separated.
  • a computer includes all the various devices capable of performing arithmetic processing to provide a result to a user.
  • a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous The mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable.
  • a head mounted display (HMD) device includes a computing function
  • the HMD device may be a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • FIG. 1 is a flowchart illustrating a bleeding evaluation method using a surgical image according to an embodiment of the present invention.
  • the method of FIG. 1 is described as being performed by a computer for convenience of description, the subject of each step is not limited to a specific device but may be used to encompass a device capable of performing computing processing. That is, in the present embodiment, the computer may mean an apparatus capable of performing a bleeding evaluation method using a surgical image according to an embodiment of the present invention.
  • the bleeding evaluation method using a surgical image the step of obtaining a surgical image (S100), whether there is a bleeding region in the surgical image based on deep learning-based learning Recognizing (S200), estimating the location of the bleeding area from the surgical image based on the recognition result (S300), and calculating the amount of bleeding in the bleeding area based on the location of the bleeding area (S400) can do.
  • S100 surgical image
  • S200 deep learning-based learning Recognizing
  • S300 estimating the location of the bleeding area from the surgical image based on the recognition result
  • S400 the amount of bleeding in the bleeding area based on the location of the bleeding area
  • the computer may acquire a surgical image (S100).
  • the surgical image may be an actual surgical image or may be a virtual image for simulation.
  • the actual surgical image refers to data obtained by the medical staff performing the actual operation, for example, the actual image taken by the camera inserted into the patient's body during minimally invasive surgery such as surgical robot, laparoscopic, endoscope, etc. It may be an image including a surgical scene. In other words, the actual surgical image is data recorded on the surgical site and the operation during the actual surgical procedure.
  • the virtual image for the simulation refers to a simulation image generated based on a medical image taken from a medical imaging apparatus such as CT, MRI, PET, etc., for example, is generated by modeling a medical image of a real patient in three dimensions It can be a simulated model.
  • a virtual surgical image may be generated by rehearsing or simulating the simulation model in the virtual space. Therefore, the virtual image may be data recorded about the surgical site and the operation during the surgery performed on the simulation model.
  • the computer may recognize whether there is a bleeding region in the surgical image acquired in step S100 based on the deep learning-based learning (S200).
  • the computer generates a learning model previously learned to recognize whether the surgical image acquired in step S100 is a bleeding image including a bleeding region (that is, recognize whether a bleeding region exists in the surgical image). It is available.
  • the computer may first learn to recognize the presence or absence of a bleeding region in the surgical image by using deep learning based on the surgical image data set.
  • the surgical image data set may be a training data set for labeling the surgical image through various learning methods.
  • the surgical image dataset may be data learned using machine learning methods such as supervised learning, unsupervised learning, and reinforcement learning.
  • the computer acquires a surgical image dataset as training data and uses the same to perform a learning to recognize the presence or absence of a bleeding portion (that is, a bleeding region) in the surgical image, thereby learning a model (eg, a bleeding recognition model).
  • the computer may construct and store the learning model learned based on the surgical image data set in advance, or use the learning model constructed in another device.
  • the computer acquires a new surgical image (that is, the surgical image in step S100)
  • the bleeding region in the new surgical image is obtained using a learning model (eg, a bleeding awareness model) trained based on the surgical image dataset.
  • a learning model eg, a bleeding awareness model
  • the computer may estimate the location of the bleeding region from the surgical image based on the surgical image recognition result (that is, whether the surgical image is a bleeding image or a non-bleeding image) in step S200 (S300).
  • the computer when the computer recognizes that the bleeding region exists in the surgical image based on deep learning-based learning, the computer may specify the bleeding region in the surgical image and estimate the location of the specified bleeding region. have.
  • the computer may extract feature information from the surgical image through deep learning based learning, and recognize and specify a bleeding region in the surgical image based on the extracted feature information.
  • the feature information is information representing a feature of the bleeding, and texture information such as color, shape, and texture for identifying the bleeding may be used. A detailed process thereof will be described later with reference to FIG. 2.
  • the computer may calculate the amount of bleeding in the bleeding region based on the location of the bleeding region estimated in step S300 (S400).
  • the computer may calculate the amount of bleeding using pixel information of the bleeding region in the surgical image.
  • the computer acquires depth information of the bleeding region in the surgical image based on the depth map of the surgical image, and estimates the volume corresponding to the bleeding region based on the depth of the bleeding amount. Can be calculated.
  • the computer may calculate the amount of bleeding in the bleeding area by using the gauze information.
  • FIG. 2 is a view showing an example that can be applied to the bleeding evaluation method using a surgical image according to an embodiment of the present invention. That is, FIG. 2 is a specific embodiment applicable to the method of FIG. 1, and a detailed description of the process overlapping with that of FIG. 1 will be omitted.
  • the computer may acquire a surgical image (S100).
  • the computer may acquire at least one surgical image taken during a particular surgery in order to evaluate the bleeding occurred during a particular surgery (eg, determine whether the bleeding occurred, the degree of bleeding, etc.).
  • the computer may repeatedly perform each step to be described below with respect to each of the at least one surgical image photographed during a specific surgery. Therefore, since the computer can identify the bleeding area and the amount of bleeding from each of the surgical images taken at the time of a specific surgery, the computer can finally evaluate the degree of bleeding during the specific surgery.
  • the computer may recognize whether a bleeding region exists in the surgical image based on deep learning based learning (S200).
  • the computer may perform deep learning based learning using a CNN (Convolutional neural network) by inputting a surgical image to a learning model (eg, a bleeding / recognition model) previously trained based on the surgical image data set. (S210).
  • the CNN may recognize whether bleeding in the surgical image occurs using at least one layer.
  • the computer may extract feature information from the surgical image through learning using the CNN (S220).
  • the computer may obtain a feature map by extracting feature information from the surgical image through at least one layer of the CNN.
  • the computer may generate a feature map by extracting information representing a bleeding feature while learning the surgical image through at least one layer of the CNN.
  • the bleeding feature may be extracted using texture information such as color, texture, and material in the surgical image.
  • the computer may recognize whether a bleeding region exists in the surgical image based on the feature information (S230).
  • the computer recognizes whether a bleeding region exists based on a feature map including feature information through a classifier, and according to a recognition result, the computer recognizes whether the bleeding region exists. Can be classified as a non-bleeding image.
  • the computer may estimate the location of the bleeding region from the surgical image based on the recognition result through the learning of the surgical image (S300).
  • the computer may specify the bleeding region in the surgical image based on the feature map including the feature information. That is, since the computer can grasp the part indicating the bleeding feature from the feature map, the computer can specify the bleeding area in the surgical image.
  • the computer may specify the bleeding region from the surgical image based on the degree of influence on the characteristic of the bleeding region from the result (eg, feature information) derived using at least one layer of the CNN.
  • the computer may convert each pixel in the surgical image into a specific value based on the feature map including the characteristic information, and specify a bleeding region based on the specific value of each pixel in the surgical image.
  • Each pixel in the surgical image may be converted into a specific value based on a predetermined weight depending on whether the region corresponds to a feature of the bleeding based on the feature map (ie, the degree of influence on the feature of the bleeding).
  • the computer uses Grad weight-weighted Class Activation Mapping (CAM) technology, which inversely estimates the learning result of recognizing the bleeding area in the surgical image through CNN, to convert each pixel of the surgical image to a specific value.
  • CAM Grad weight-weighted Class Activation Mapping
  • the computer assigns a high value (e.g., a high weight) to a pixel that is recognized as corresponding to a bleeding area in the surgical image based on the feature map, and a low value (e.g., to a pixel that is recognized as not corresponding to a bleeding area. Low weight) to convert each pixel value of the surgical image.
  • the computer may further highlight the bleeding region in the surgical image through the converted pixel value, and may segment the bleeding region to estimate the position of the region.
  • the computer may apply a Grad CAM technique to generate a heat map for each pixel in the surgical image based on the feature map and convert each pixel into a probability value.
  • the computer may specify the bleeding region in the surgical image based on the probability value of each converted pixel. For example, the computer may determine a pixel area having a high probability value as a bleeding area.
  • the computer may calculate the amount of bleeding based on the bleeding region in the surgical image (S400).
  • the computer may calculate the amount of bleeding using pixel information of the bleeding region in the surgical image. For example, the computer may calculate the amount of bleeding using the number of pixels corresponding to the bleeding region in the surgical image, color information (eg, RGB value) of the pixel, and the like.
  • the computer acquires depth information of the bleeding region in the surgical image based on a depth map of the surgical image, and calculates the depth information of the bleeding region based on the acquired depth information.
  • the amount of bleeding can be calculated by estimating the corresponding volume.
  • the surgical image is a stereoscopic image, it has a three-dimensional stereoscopic sense, that is, depth information, so that the volume of the bleeding region in the three-dimensional space can be grasped.
  • the computer may acquire pixel information (eg, the number of pixels, the position of the pixel, etc.) of the bleeding region in the surgical image, and calculate a depth value of the depth map corresponding to the acquired pixel information of the bleeding region. .
  • the computer can calculate the amount of bleeding by knowing the volume of the bleeding area based on the calculated depth value.
  • the computer may calculate the amount of bleeding in the bleeding area by using the gauze information.
  • the computer may reflect the amount of bleeding generated in the bleeding area by using the number of gauze in the surgical image and color information of the gauze (eg, RGB value).
  • the computer may calculate the amount of bleeding in the bleeding area based on a three-dimensional surgical simulation model generated in accordance with the patient's body. For example, the computer may obtain a region corresponding to the bleeding region from the 3D surgical simulation model, and calculate the bleeding amount by estimating pixel information or volume information (depth information) on the region in the obtained 3D surgical simulation model. .
  • the computer may segment the bleeding region in the surgical image, and calculate the amount of bleeding using the pixel information and the depth map of the segmented bleeding region.
  • the amount of bleeding is calculated first for the portion (segmented portion) estimated as the bleeding area, so that a more effective and accurate amount of bleeding can be calculated, and also a non-bleeding but bleeding-like pixel value (ie, characteristic information). In the case of having a bleeding amount can be reduced to calculate the error reflected. A detailed process thereof will be described with reference to FIG. 3.
  • the computer may acquire the surgical image 10 and estimate whether the bleeding region exists in the surgical image 10 based on deep learning based learning to estimate the bleeding region.
  • the computer may segment only the portion corresponding to the bleeding region from the surgical image by applying the Grad CAM technique as described above.
  • the computer may acquire a depth map 30 corresponding to the segmented bleeding area 20.
  • the computer generates pixel information (eg, the number of pixels, RGB color values of the pixel, etc.) of the bleeding region 20 based on the surgical image 10, the segmented bleeding region 20, and the depth map 30.
  • Volume information depth information
  • the bleeding amount can be calculated by concentrating on the segmented bleeding area, so that a more accurate bleeding amount can be obtained.
  • the computer may calculate the amount of bleeding by comparing with a bleeding surgical image in which the bleeding area exists, but comparing with a non-bleeding surgical image in which the bleeding area does not exist.
  • the computer obtains pixel information or volume information (depth information) of the portion corresponding to the bleeding region of the bleeding surgical image in the non-bleeding surgical image, and pixel information or volume information of the bleeding region of the bleeding surgical image (Depth information) can be compared. Therefore, the computer can determine accurate pixel information or volume information (depth information) at the time of non-bleeding by comparing the two images, thereby calculating a more accurate amount of bleeding in the bleeding area.
  • the computer may calculate the amount of bleeding using pixel information of the bleeding region in the surgical image, the amount of bleeding using volume information (depth information), or the gauze information according to the type of operation, the surgical site, and the like.
  • the amount of bleeding may be calculated or a three dimensional surgical simulation model may be used to determine whether the amount of bleeding is calculated. For example, in the case of gastric cancer surgery, since a lot of bleeding occurs, the surgery is continuously performed by absorbing the bleeding site using gauze. In this case, since the volume measurement in the bleeding area is difficult, the computer can calculate the amount of bleeding by reflecting the number of gauze used and the color change as the gauze absorbs blood. In the case of rectal cancer surgery, because of the large distribution of blood vessels around the bleeding occurs little by little.
  • the medical staff performs multiple times of irrigation (i.e., watering) to identify the bleeding area, so the volume measurement in the bleeding area cannot calculate the exact amount of bleeding.
  • the computer can calculate the amount of bleeding by reflecting the color change of the pixel in the bleeding area.
  • a learning model specialized for bleeding may be provided by estimating the bleeding region in the surgical image and calculating the amount of bleeding.
  • the bleeding area and the amount of bleeding can be grasped from the surgical image, it is possible to estimate the total bleeding occurred in a specific surgery based on this, and furthermore, the criteria for performing the evaluation of the surgery through the bleeding degree Can provide.
  • FIG. 4 is a diagram schematically showing the configuration of an apparatus 100 for performing a bleeding evaluation method using a surgical image according to an embodiment of the present invention.
  • the processor 110 may include a connection passage (for example, a bus or the like) that transmits and receives signals with one or more cores (not shown) and a graphic processor (not shown) and / or other components. ) May be included.
  • a connection passage for example, a bus or the like
  • the processor 110 executes one or more instructions stored in the memory 120 to perform a bleeding evaluation method using the surgical image described with reference to FIGS. 1 to 3.
  • the processor 110 acquires a surgical image by executing one or more instructions stored in the memory 120, recognizes whether there is a bleeding region in the surgical image based on deep learning-based learning, and recognizes the result.
  • the location of the bleeding region can be estimated from the surgery image.
  • the processor 110 may read random access memory (RAM) and read-only memory (ROM) for temporarily and / or permanently storing a signal (or data) processed in the processor 110. , Not shown) may be further included.
  • the processor 110 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processor, a RAM, and a ROM.
  • SoC system on chip
  • the memory 120 may store programs (one or more instructions) for processing and controlling the processor 110. Programs stored in the memory 120 may be divided into a plurality of modules according to functions.
  • the bleeding evaluation method using the surgical image according to the embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a computer which is hardware and stored in a medium.
  • the above-described program includes C, C ++, JAVA, machine language, etc. which can be read by the computer's processor (CPU) through the computer's device interface so that the computer reads the program and executes the methods implemented as the program.
  • Code may be coded in the computer language of. Such code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, and includes control procedures related to execution procedures necessary for the computer's processor to execute the functions according to a predetermined procedure. can do.
  • the code may further include memory reference code for additional information or media required for the computer's processor to execute the functions at which location (address address) of the computer's internal or external memory should be referenced. have.
  • the code may be used to communicate with any other computer or server remotely using the communication module of the computer. It may further include a communication related code for whether to communicate, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access or various recording media on the computer of the user. The media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

컴퓨터가 수행하는 수술영상을 이용한 출혈 평가 방법이 제공된다. 상기 방법은 수술영상을 획득하는 단계, 딥러닝 기반의 학습을 기초로 상기 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계, 및 상기 인식 결과를 기반으로 상기 수술영상으로부터 상기 출혈 영역의 위치를 추정하는 단계를 포함한다.

Description

수술영상을 이용한 출혈 평가 방법 및 장치
본 발명은 수술영상을 이용한 출혈 평가 방법 및 장치에 관한 것이다.
수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술 행위를 인식할 수 있어야 한다.
따라서, 컴퓨터가 수술영상으로부터 수술행위를 인식할 수 있는 기술의 개발이 요구된다.
또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.
본 발명이 해결하고자 하는 과제는 수술영상을 이용한 출혈 평가 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 수술영상 내 출혈이 발생하였는지 여부를 인식하여 출혈 발생 영역 및 출혈량을 측정하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술영상을 이용한 출혈 평가 방법은, 수술영상을 획득하는 단계, 딥러닝 기반의 학습을 기초로 상기 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계, 및 상기 인식 결과를 기반으로 상기 수술영상으로부터 상기 출혈 영역의 위치를 추정하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 출혈 영역이 존재하는지 여부를 인식하는 단계는, CNN(Convolutional neural network)을 이용한 딥러닝 기반의 학습에 기초하여, 상기 수술영상으로부터 특징(feature) 정보를 추출하는 단계, 및 상기 특징 정보를 기초로 상기 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출혈 영역의 위치를 추정하는 단계는, 상기 특징 정보를 기초로 상기 수술영상 내 출혈 영역을 특정할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출혈 영역의 위치를 추정하는 단계는, 상기 특징 정보를 기초로 상기 수술영상 내 픽셀을 특정값으로 변환하는 단계, 및 상기 수술영상 내 픽셀의 특정값을 기초로 상기 출혈 영역을 특정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출혈 영역의 위치를 기초로 상기 출혈 영역에서의 출혈량을 산출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출혈량을 산출하는 단계는, 상기 출혈 영역의 픽셀 정보를 이용하여 상기 출혈량을 산출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출혈량을 산출하는 단계는, 상기 수술영상의 깊이맵(depth map)을 기초로 상기 출혈 영역의 깊이 정보를 획득하는 단계, 및 상기 출혈 영역의 깊이 정보를 기초로 상기 출혈 영역에 대응하는 부피를 추정하여 상기 출혈량을 산출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출혈량을 산출하는 단계는, 상기 수술영상 내 거즈를 포함하는 경우, 상기 거즈 정보를 더 이용하여 상기 출혈량을 산출할 수 있다.
본 발명의 일 실시예에 있어서, 상기 출혈량을 산출하는 단계는, 상기 수술영상과 대응하되, 상기 출혈 영역이 존재하지 않는 수술영상과 비교하여 상기 출혈 영역에서의 출혈량을 산출할 수 있다.
본 발명의 일 실시예에 따른 장치는, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 수술영상을 획득하는 단계, 딥러닝 기반의 학습을 기초로 상기 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계, 및 상기 인식 결과를 기반으로 상기 수술영상으로부터 상기 출혈 영역의 위치를 추정하는 단계를 수행한다.
본 발명의 일 실시예에 따른 컴퓨터프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 수술영상을 이용한 출혈 평가 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 발명에 따르면, 수술영상 내의 출혈 영역을 추정하고 출혈량을 산출함으로써 출혈에 특화된 출혈 학습 모델을 제공할 수 있다.
본 발명에 따르면, 수술영상으로부터 출혈 영역 및 출혈량을 파악할 수 있으므로, 이를 바탕으로 특정 수술 시 발생한 전체 출혈 정도를 추정할 수 있고 나아가 출혈 정도를 통해 수술에 대한 평가를 수행하는 기준을 제공할 수 있다.
본 발명에 따르면, 본 발명의 실시예에 따르면, 의료진의 개입 없이 수술영상으로부터 출혈 유무 및 출혈 정도를 자동으로 도출할 수 있도록 한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법을 적용할 수 있는 일례를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 수술 영상 내 출혈 영역을 세그먼테이션하여 출혈량을 산출하는 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법을 수행하는 장치(100)의 구성을 개략적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법을 도시한 흐름도이다.
도 1의 방법은 설명의 편의를 위하여 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체가 특정 장치에 제한되는 것은 아니고 컴퓨팅 처리를 수행할 수 있는 장치를 포괄하는 의미로 사용될 수 있다. 즉, 본 실시예에서 컴퓨터는 본 발명의 실시예에 따른 수술영상을 이용한 출혈 평가 방법을 수행할 수 있는 장치를 의미할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법은, 수술영상을 획득하는 단계(S100), 딥러닝 기반의 학습을 기초로 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계(S200), 인식 결과를 기반으로 수술영상으로부터 출혈 영역의 위치를 추정하는 단계(S300), 및 출혈 영역의 위치를 기초로 출혈 영역에서의 출혈량을 산출하는 단계(S400)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 수술영상을 획득할 수 있다(S100).
여기서, 수술영상은 실제 수술 영상일 수도 있고, 시뮬레이션을 위한 가상 영상일 수도 있다.
일 실시예로, 실제 수술 영상은 의료진이 실제 수술을 수행함에 따라 획득되는 데이터를 의미하며, 예컨대 수술로봇, 복강경, 내시경 등과 같은 최소침습수술 시 환자의 신체 내부에 삽입된 카메라에 의하여 촬영된 실제 수술 장면을 포함하는 영상일 수 있다. 즉, 실제 수술 영상은 실제 수술과정에서의 수술부위 및 수술동작에 대해 기록된 데이터이다.
일 실시예로, 시뮬레이션을 위한 가상 영상은 CT, MRI, PET 등과 같은 의료영상 촬영장비로부터 촬영된 의료영상에 기초하여 생성된 시뮬레이션 영상을 말하며, 예컨대 실제 환자의 의료영상을 3차원으로 모델링하여 생성된 시뮬레이션 모델일 수 있다. 이때 가상공간에서 시뮬레이션 모델에 대해 리허설 또는 시뮬레이션을 수행함에 따라 가상 수술 영상이 생성될 수 있다. 따라서 가상 영상은 시뮬레이션 모델에 대해 수행된 수술과정에서의 수술부위 및 수술동작에 대해 기록된 데이터일 수 있다.
컴퓨터는 딥러닝 기반의 학습을 기초로 단계 S100에서 획득된 수술영상 내 출혈 영역이 존재하는지 여부를 인식할 수 있다(S200).
일 실시예로, 컴퓨터는 단계 S100에서 획득된 수술영상이 출혈 영역을 포함하고 있는 출혈영상인지 여부를 인식(즉, 수술영상 내 출혈 영역이 존재하는지 여부를 인식)하기 위해서 미리 학습된 학습 모델을 이용할 수 있다.
이때, 미리 학습된 학습 모델을 이용함에 있어서, 컴퓨터는 먼저 수술영상 데이터셋을 기초로 딥러닝을 이용하여 수술영상 내 출혈 영역의 유무를 인식하는 학습을 수행할 수 있다. 수술영상 데이터셋은 수술영상에 대해 다양한 학습 방법을 통해 레이블링을 수행한 학습 데이터셋일 수 있다. 예를 들어, 수술영상 데이터셋은 지도학습, 비지도학습, 강화학습 등의 기계학습 방법을 사용하여 학습된 데이터일 수 있다. 따라서, 컴퓨터는 학습 데이터로서 수술영상 데이터셋을 획득하고, 이를 이용하여 수술영상에서 출혈이 발생한 부분(즉, 출혈 영역)의 유무를 인식하는 학습을 수행하여 학습 모델(예컨대, 출혈유무 인식모델)을 미리 구축하여 둘 수 있다. 이때, 컴퓨터는 수술영상 데이터셋을 기초로 학습된 학습 모델을 미리 구축하여 저장하여 둘 수도 있고, 또는 다른 장치에서 구축된 학습 모델을 이용할 수도 있다.
이후, 컴퓨터는 새로운 수술영상(즉, 단계 S100에서의 수술영상)을 획득하면, 수술영상 데이터셋을 기초로 학습된 학습 모델(예컨대, 출혈유무 인식모델)을 이용하여 새로운 수술영상 내 출혈 영역이 존재하는지 여부를 인식할 수 있다. 즉, 컴퓨터는 딥러닝 기반의 미리 구축된 학습 모델(예컨대, 출혈유무 인식모델)을 통해 새로 획득된 수술영상이 출혈 영역을 포함하고 있는 출혈영상인지 비출혈영상인지 여부를 신속하고 효과적으로 판단할 수 있다.
컴퓨터는 단계 S200의 수술영상 인식 결과(즉, 수술영상이 출혈영상인지 비출혈영상인지 인식 결과)를 기반으로, 수술영상으로부터 출혈 영역의 위치를 추정할 수 있다(S300).
일 실시예로, 컴퓨터는 딥러닝 기반의 학습을 기초로 수술영상 내 출혈 영역이 존재하는 출혈영상인 것으로 인식한 경우, 수술영상 내 출혈 영역을 특정하고, 특정된 출혈 영역의 위치를 추정할 수 있다. 예를 들어, 컴퓨터는 딥러닝 기반의 학습을 통해 수술영상으로부터 특징(feature) 정보를 추출하고, 추출된 특징 정보를 기초로 수술영상 내 출혈 영역을 인식하여 특정할 수 있다. 이때, 특징 정보는 출혈의 특징을 나타내는 정보로, 출혈을 특정할 수 있는 색상, 형태, 질감 등의 텍스처(texture) 정보를 이용할 수 있다. 이에 대한 구체적인 과정은 도 2를 참조하여 후술하도록 한다.
컴퓨터는 단계 S300에서 추정된 출혈 영역의 위치를 기초로, 출혈 영역에서의 출혈량을 산출할 수 있다(S400).
일 실시예로, 컴퓨터는 수술영상 내 출혈 영역의 픽셀 정보를 이용하여 출혈량을 산출할 수 있다. 또는, 수술영상이 스테레오스코픽 영상인 경우, 컴퓨터는 수술영상의 깊이맵(depth map)을 기초로 수술영상 내 출혈 영역의 깊이 정보를 획득하고, 이를 기초로 출혈 영역에 대응하는 부피를 추정하여 출혈량을 산출할 수 있다. 또는, 수술영상 내 거즈가 포함된 경우, 컴퓨터는 거즈 정보를 이용하여 출혈 영역에서의 출혈량을 산출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법을 적용할 수 있는 일례를 도시한 도면이다. 즉, 도 2는 도 1의 방법에 적용될 수 있는 구체적인 실시예로서, 도 1과 중복되는 과정에 대해서는 상세한 설명을 생략하도록 한다.
도 2를 참조하면, 컴퓨터는 수술영상을 획득할 수 있다(S100).
일 실시예로, 컴퓨터는 특정 수술시에 발생한 출혈을 평가(예: 출혈이 발생하였는지 여부, 출혈의 정도 등을 파악)하기 위해서 특정 수술시에 촬영된 적어도 하나의 수술영상을 획득할 수 있다. 컴퓨터는 특정 수술시에 촬영된 적어도 하나의 수술영상 각각에 대해 후술할 각 단계를 반복 수행할 수 있다. 따라서, 컴퓨터는 특정 수술시에 촬영된 각 수술영상으로부터 출혈 영역 및 출혈량을 파악할 수 있으므로, 최종적으로 특정 수술 동안 전체 출혈 정도를 평가할 수 있다.
컴퓨터는 딥러닝 기반의 학습을 기초로, 수술영상 내 출혈 영역이 존재하는지 여부를 인식할 수 있다(S200).
보다 구체적으로, 컴퓨터는 수술영상 데이터셋을 기초로 미리 학습된 학습 모델(예컨대, 출혈유무 인식모델)에 수술영상을 입력하여 CNN(Convolutional neural network)을 이용한 딥러닝 기반의 학습을 수행할 수 있다(S210). 이때, CNN은 적어도 하나의 레이어를 이용하여 수술영상 내 출혈이 발생하였는지 여부를 인식할 수 있다.
컴퓨터는 CNN을 이용한 학습을 통해 수술영상으로부터 특징 정보를 추출할 수 있다(S220).
일 실시예로, 컴퓨터는 CNN의 적어도 하나의 레이어를 통해 수술영상으로부터 특징 정보를 추출하여 특징 맵(feature map)을 획득할 수 있다. 예를 들어, 컴퓨터는 수술영상에 대해 CNN의 적어도 하나의 레이어를 통해 학습 과정을 거치면서 출혈의 특징을 나타내는 정보를 추출하여 특징 맵을 생성할 수 있다. 이때, 출혈의 특징은, 수술영상 내 색상, 질감, 재질 등의 텍스처 정보를 이용하여 추출될 수 있다.
컴퓨터는 특징 정보를 기초로 수술영상 내 출혈 영역이 존재하는지 여부를 인식할 수 있다(S230).
일 실시예로, 컴퓨터는 분류기(classifier)를 통해 특징 정보를 포함하는 특징 맵을 기초로 출혈 영역이 존재하는지 여부를 인식하고, 인식 결과에 따라 출혈 영역이 존재하는 출혈 영상인지 출혈 영역이 존재하지 않는 비출혈 영상인지를 분류할 수 있다.
컴퓨터는 수술영상의 학습을 통한 인식 결과를 바탕으로 수술영상으로부터 출혈 영역의 위치를 추정할 수 있다(S300).
보다 구체적으로, 컴퓨터는 특징 정보를 포함하는 특징 맵을 기초로 수술영상 내 출혈 영역을 특정할 수 있다. 즉, 컴퓨터는 특징 맵으로부터 출혈의 특징을 나타내는 부분을 파악할 수 있으므로, 수술영상 내 출혈 영역을 특정할 수 있다.
일 실시예로, 컴퓨터는 CNN의 적어도 하나의 레이어를 이용하여 도출된 결과(예컨대, 특징 정보)로부터 출혈 영역의 특징에 영향을 준 정도를 기초로 수술영상으로부터 출혈 영역을 특정할 수 있다. 예를 들어, 컴퓨터는 특징 정보를 포함하는 특징 맵을 기초로 수술영상 내 각 픽셀을 특정값으로 변환하고, 수술영상 내 각 픽셀의 특정값을 기초로 출혈 영역을 특정할 수 있다. 수술영상 내 각 픽셀은 특징 맵을 기초로 출혈의 특징에 대응하는 영역인지에 따라(즉, 출혈의 특징에 영향을 준 정도에 따라) 소정의 가중치를 기초로 특정값으로 변환될 수 있다. 예를 들어, 컴퓨터는 CNN을 통해 수술영상 내 출혈 영역을 인식한 학습결과를 역으로 추정하는 Grad CAM(Gradient-weighted Class Activation Mapping) 기술을 적용하여, 수술영상의 각 픽셀을 특정값으로 변환할 수 있다. 컴퓨터는 특징 맵을 기초로 수술영상 내 출혈 영역에 해당하는 것으로 인식된 픽셀에 대해 높은 값(예컨대, 높은 가중치)을 부여하고, 출혈 영역에 해당하지 않는 것으로 인식된 픽셀에 대해 낮은 값(예컨대, 낮은 가중치)을 부여하는 방식으로 수술영상의 각 픽셀 값을 변환시킬 수 있다. 컴퓨터는 이러한 변환된 픽셀 값을 통해 수술영상 내 출혈 영역 부분을 보다 부각시킬 수 있고, 이를 통해 출혈 영역을 세그먼테이션하여 해당 영역의 위치를 추정할 수 있다. 또한, 컴퓨터는 Grad CAM 기술을 적용하여, 특징 맵을 기초로 수술영상 내 각 픽셀에 대해 히트 맵(heat map)을 생성하여 각 픽셀을 확률값으로 변환시킬 수 있다. 컴퓨터는 변환된 각 픽셀의 확률값을 기초로 수술영상 내 출혈 영역을 특정할 수 있다. 예컨대, 컴퓨터는 확률값이 큰 픽셀 영역을 출혈 영역으로 판단할 수 있다.
컴퓨터는 수술영상 내 출혈 영역을 기초로 출혈량을 산출할 수 있다(S400).
일 실시예로, 컴퓨터는 수술영상 내 출혈 영역의 픽셀 정보를 이용하여 출혈량을 산출할 수 있다. 예를 들어, 컴퓨터는 수술영상 내 출혈 영역에 해당하는 픽셀의 개수, 픽셀의 색상 정보(예: RGB 값) 등을 이용하여 출혈량을 산출할 수 있다.
다른 실시예로, 컴퓨터는 수술영상이 스테레오스코픽 영상인 경우, 수술영상의 깊이 맵(depth map)을 기초로 수술영상 내 출혈 영역의 깊이 정보를 획득하고, 획득된 깊이 정보를 기초로 출혈 영역에 대응하는 부피를 추정하여 출혈량을 산출할 수 있다. 수술영상이 스테레오스코픽 영상인 경우 3차원적인 입체감, 즉 깊이 정보를 가지므로, 출혈 영역에 대한 3차원 공간 상에서의 부피를 파악할 수 있다. 예를 들어, 컴퓨터는 수술영상 내 출혈 영역의 픽셀 정보(예: 픽셀의 개수, 픽셀의 위치 등)를 획득하고, 획득된 출혈 영역의 픽셀 정보에 대응하는 깊이 맵의 깊이 값을 산출할 수 있다. 컴퓨터는 산출된 깊이 값을 기초로 출혈 영역의 부피를 파악하여 출혈량을 계산할 수 있다.
또 다른 실시예로, 컴퓨터는 수술영상 내 거즈가 포함된 경우, 거즈 정보를 이용하여 출혈 영역에서의 출혈량을 산출할 수 있다. 예를 들어, 컴퓨터는 수술영상 내 거즈의 개수, 거즈의 색상 정보(예: RGB 값) 등을 이용하여 출혈 영역에서 발생한 출혈량을 산출하는데 반영할 수 있다.
또 다른 실시예로, 컴퓨터는 환자의 신체와 부합하게 생성된 3차원 수술 시뮬레이션 모델을 기초로 출혈 영역에서의 출혈량을 산출할 수 있다. 예를 들어, 컴퓨터는 3차원 수술 시뮬레이션 모델로부터 출혈 영역에 대응하는 영역을 획득하고, 획득된 3차원 수술 시뮬레이션 모델 내의 영역 상에서 픽셀 정보 또는 부피 정보(깊이 정보)를 추정하여 출혈량을 산출할 수 있다.
또 다른 실시예로, 컴퓨터는 수술영상 내 출혈 영역을 세그먼테이션하고, 세그먼테이션된 출혈 영역의 픽셀 정보 및 깊이 맵을 이용하여 출혈량을 산출할 수 있다. 이 경우, 출혈 영역으로 추정된 부분(세그먼테이션된 부분)에 대해 우선적으로 출혈량을 산출하게 되므로, 보다 효과적이고 정확한 출혈량 계산이 가능하며, 또한 비출혈 부분이지만 출혈과 유사한 픽셀 값(즉, 특징 정보)을 가지는 경우에도 출혈량 산출 시에 반영되어 계산되는 에러를 줄일 수 있다. 이에 대한 구체적인 과정은 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 수술 영상 내 출혈 영역을 세그먼테이션하여 출혈량을 산출하는 일례를 도시한 도면이다. 도 3을 참조하면, 컴퓨터는 수술영상(10)을 획득하고, 딥러닝 기반의 학습을 기초로 수술영상(10) 내 출혈 영역이 존재하는지 여부를 인식하여 출혈 영역을 추정할 수 있다. 이때, 컴퓨터는 상술한 바와 같이 Grad CAM 기술을 적용하여 수술영상으로부터 출혈 영역에 해당하는 부분만 세그먼테이션(20)할 수 있다. 컴퓨터는 세그먼테이션된 출혈 영역(20)에 해당하는 깊이 맵(30)을 획득할 수 있다. 이후, 컴퓨터는 수술영상(10), 세그먼테이션된 출혈 영역(20), 깊이 맵(30)을 기초로 출혈 영역(20)에 대한 픽셀 정보(예: 픽셀의 개수, 픽셀의 RGB 색상 값 등) 및 부피 정보(깊이 정보)를 이용하여 출혈량을 산출할 수 있다. 이 경우, 세그먼테이션된 출혈 영역에 대해서 집중하여 출혈량을 계산할 수 있으므로 보다 정확한 출혈량을 얻을 수 있다.
출혈 영역에서의 출혈량을 산출함에 있어서, 컴퓨터는 출혈 영역이 존재하는 출혈 수술영상과 대응하되, 출혈 영역이 존재하지 않는 비출혈 수술영상과 비교하여, 출혈량을 산출할 수도 있다. 일 실시예로, 컴퓨터는 비출혈 수술영상 내에서 출혈 수술영상의 출혈 영역에 대응하는 부분의 픽셀 정보 또는 부피 정보(깊이 정보)를 획득하고, 이를 출혈 수술영상의 출혈 영역의 픽셀 정보 또는 부피 정보(깊이 정보)와 비교할 수 있다. 따라서, 컴퓨터는 두 영상 간 비교를 통해 비출혈 시의 정확한 픽셀 정보 또는 부피 정보(깊이 정보)를 파악할 수 있으므로, 보다 정확한 출혈 영역에서의 출혈량을 산출할 수 있다.
또한, 컴퓨터는 수술의 종류, 수술 부위 등에 따라 수술영상 내 출혈 영역에 대한 픽셀 정보를 이용하여 출혈량을 산출할 것인지, 부피 정보(깊이 정보)를 이용하여 출혈량을 산출할 것인지, 거즈 정보를 이용하여 출혈량을 산출할 것인지, 3차원 수술 시뮬레이션 모델을 이용하여 출혈량을 산출할 것인지를 결정할 수도 있다. 예컨대, 위암 수술의 경우 출혈이 많이 발생하기 때문에, 거즈를 사용하여 계속적으로 출혈 부위를 흡수하여 수술을 진행한다. 이 경우, 출혈 영역에서의 부피 측정이 힘들기 때문에, 컴퓨터는 사용된 거즈의 개수, 거즈가 혈액을 흡수함에 따른 색상 변화를 반영하여 출혈량을 산출할 수 있다. 직장암 수술의 경우 주변에 혈관이 많이 분포하기 때문에, 출혈이 조금씩 자주 발생하게 된다. 이 경우, 의료진은 출혈 부위를 파악하기 위해서 이리게이션(즉, 물뿌리기)을 여러 번 수행하게 되므로, 출혈 영역에서의 부피 측정으로는 정확한 출혈량을 계산할 수 없다. 따라서, 컴퓨터는 출혈 영역에서의 픽셀의 색상 변화를 반영하여 출혈량을 산출할 수 있다.
본 발명의 실시예에 따르면, 수술영상 내의 출혈 영역을 추정하고 출혈량을 산출함으로써 출혈에 특화된 학습 모델을 제공할 수 있다.
또한 본 발명의 실시예에 따르면, 수술영상으로부터 출혈 영역 및 출혈량을 파악할 수 있으므로, 이를 바탕으로 특정 수술 시 발생한 전체 출혈 정도를 추정할 수 있고 나아가 출혈 정도를 통해 수술에 대한 평가를 수행하는 기준을 제공할 수 있다.
또한 본 발명의 실시예에 따르면, 의료진의 개입 없이 수술영상으로부터 출혈 유무 및 출혈 정도를 자동으로 도출할 수 있도록 한다.
도 4는 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법을 수행하는 장치(100)의 구성을 개략적으로 나타내는 도면이다.
도 4를 참조하면, 프로세서(110)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 3과 관련하여 설명된 수술영상을 이용한 출혈 평가 방법을 수행한다.
예를 들어, 프로세서(110)는 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술영상을 획득하고, 딥러닝 기반의 학습을 기초로 수술영상 내 출혈 영역이 존재하는지 여부를 인식하고, 인식 결과를 기반으로 수술영상으로부터 출혈 영역의 위치를 추정할 수 있다.
한편, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)에는 프로세서(110)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(120)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 수술영상을 이용한 출혈 평가 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (11)

  1. 컴퓨터가 수행하는 수술영상을 이용한 출혈 평가 방법에 있어서,
    수술영상을 획득하는 단계;
    딥러닝 기반의 학습을 기초로 상기 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계; 및
    상기 인식 결과를 기반으로 상기 수술영상으로부터 상기 출혈 영역의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  2. 제1항에 있어서,
    상기 출혈 영역이 존재하는지 여부를 인식하는 단계는,
    CNN(Convolutional neural network)을 이용한 딥러닝 기반의 학습에 기초하여, 상기 수술영상으로부터 특징(feature) 정보를 추출하는 단계; 및
    상기 특징 정보를 기초로 상기 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계를 포함하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  3. 제2항에 있어서,
    상기 출혈 영역의 위치를 추정하는 단계는,
    상기 특징 정보를 기초로 상기 수술영상 내 출혈 영역을 특정하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  4. 제3항에 있어서,
    상기 출혈 영역의 위치를 추정하는 단계는,
    상기 특징 정보를 기초로 상기 수술영상 내 픽셀을 특정값으로 변환하는 단계; 및
    상기 수술영상 내 픽셀의 특정값을 기초로 상기 출혈 영역을 특정하는 단계를 포함하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  5. 제1항에 있어서,
    상기 출혈 영역의 위치를 기초로 상기 출혈 영역에서의 출혈량을 산출하는 단계를 더 포함하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  6. 제5항에 있어서,
    상기 출혈량을 산출하는 단계는,
    상기 출혈 영역의 픽셀 정보를 이용하여 상기 출혈량을 산출하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  7. 제5항에 있어서,
    상기 출혈량을 산출하는 단계는,
    상기 수술영상의 깊이맵(depth map)을 기초로 상기 출혈 영역의 깊이 정보를 획득하는 단계; 및
    상기 출혈 영역의 깊이 정보를 기초로 상기 출혈 영역에 대응하는 부피를 추정하여 상기 출혈량을 산출하는 단계를 포함하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  8. 제5항에 있어서,
    상기 출혈량을 산출하는 단계는,
    상기 수술영상 내 거즈를 포함하는 경우, 상기 거즈 정보를 더 이용하여 상기 출혈량을 산출하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  9. 제5항에 있어서,
    상기 출혈량을 산출하는 단계는,
    상기 수술영상과 대응하되, 상기 출혈 영역이 존재하지 않는 수술영상과 비교하여 상기 출혈 영역에서의 출혈량을 산출하는 것을 특징으로 하는 수술영상을 이용한 출혈 평가 방법.
  10. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    수술영상을 획득하는 단계;
    딥러닝 기반의 학습을 기초로 상기 수술영상 내 출혈 영역이 존재하는지 여부를 인식하는 단계; 및
    상기 인식 결과를 기반으로 상기 수술영상으로부터 상기 출혈 영역의 위치를 추정하는 단계를 수행하는 것을 특징으로 하는 장치.
  11. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2019/002095 2018-02-20 2019-02-20 수술영상을 이용한 출혈 평가 방법 및 장치 Ceased WO2019164277A1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20180019867 2018-02-20
KR20180019868 2018-02-20
KR10-2018-0019866 2018-02-20
KR10-2018-0019867 2018-02-20
KR10-2018-0019868 2018-02-20
KR20180019866 2018-02-20
KR1020180129709A KR102014364B1 (ko) 2018-02-20 2018-10-29 수술영상을 이용한 출혈 평가 방법 및 장치
KR10-2018-0129709 2018-10-29

Publications (1)

Publication Number Publication Date
WO2019164277A1 true WO2019164277A1 (ko) 2019-08-29

Family

ID=67687818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002095 Ceased WO2019164277A1 (ko) 2018-02-20 2019-02-20 수술영상을 이용한 출혈 평가 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2019164277A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761776A (zh) * 2021-08-24 2021-12-07 中国人民解放军总医院第一医学中心 基于增强现实的心脏出血与止血模型的仿真系统和方法
CN115761365A (zh) * 2022-11-28 2023-03-07 首都医科大学附属北京友谊医院 术中出血状况的确定方法、装置和电子设备
WO2024079523A3 (en) * 2022-10-12 2024-08-22 Taipei University Of Technology The method of and the computing device for generating surgical condition information
US12205287B2 (en) 2020-01-29 2025-01-21 Airs Medical Co., Ltd. Method for determining location of target of body
CN119991773A (zh) * 2024-12-24 2025-05-13 中国医学科学院北京协和医院 一种基于深度学习的乳房对称性评估方法及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080020652A (ko) * 2005-06-01 2008-03-05 올림푸스 메디칼 시스템즈 가부시키가이샤 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체
JP4504951B2 (ja) * 2001-03-14 2010-07-14 ギブン イメージング リミテッド 生体内での比色分析の異常を検出するための方法およびシステム
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
KR101175065B1 (ko) * 2011-11-04 2012-10-12 주식회사 아폴로엠 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
JP2016039874A (ja) * 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4504951B2 (ja) * 2001-03-14 2010-07-14 ギブン イメージング リミテッド 生体内での比色分析の異常を検出するための方法およびシステム
KR20080020652A (ko) * 2005-06-01 2008-03-05 올림푸스 메디칼 시스템즈 가부시키가이샤 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
KR101175065B1 (ko) * 2011-11-04 2012-10-12 주식회사 아폴로엠 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
JP2016039874A (ja) * 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12205287B2 (en) 2020-01-29 2025-01-21 Airs Medical Co., Ltd. Method for determining location of target of body
CN113761776A (zh) * 2021-08-24 2021-12-07 中国人民解放军总医院第一医学中心 基于增强现实的心脏出血与止血模型的仿真系统和方法
WO2024079523A3 (en) * 2022-10-12 2024-08-22 Taipei University Of Technology The method of and the computing device for generating surgical condition information
CN115761365A (zh) * 2022-11-28 2023-03-07 首都医科大学附属北京友谊医院 术中出血状况的确定方法、装置和电子设备
CN115761365B (zh) * 2022-11-28 2023-12-01 首都医科大学附属北京友谊医院 术中出血状况的确定方法、装置和电子设备
CN119991773A (zh) * 2024-12-24 2025-05-13 中国医学科学院北京协和医院 一种基于深度学习的乳房对称性评估方法及程序产品

Similar Documents

Publication Publication Date Title
KR102014364B1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
US12051199B2 (en) Image processing method and apparatus, server, medical image processing device and storage medium
CN110473192B (zh) 消化道内镜图像识别模型训练及识别方法、装置及系统
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
CN110175527A (zh) 行人再识别方法及装置、计算机设备及可读介质
WO2018084682A1 (ko) 의료 데이터의 매핑 방법, 장치 및 컴퓨터 프로그램
CN109002846B (zh) 一种图像识别方法、装置和存储介质
WO2021093011A1 (zh) 无人车驾驶决策方法、无人车驾驶决策装置及无人车
WO2022089257A1 (zh) 医学图像处理方法、装置、设备、存储介质及产品
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
WO2023029348A1 (zh) 基于人工智能的图像实例标注方法及相关设备
WO2019231104A1 (ko) 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
WO2020032562A2 (ko) 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
CN116597471A (zh) 人体跟踪方法、电子设备及存储介质
WO2024112107A1 (ko) 인공지능 모델 기반의 혈관 분할 장치 및 방법
CN110443812B (zh) 眼底图像分割方法、装置、设备和介质
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
WO2019164278A1 (ko) 수술영상을 이용한 수술정보 제공 방법 및 장치
WO2021075701A1 (ko) 인터랙션 검출 방법 및 그 장치
CN118787372A (zh) 癫痫样放电确定方法、装置、电子设备及计算机存储介质
WO2024117555A1 (ko) 이미지 데이터에 대한 분류 모델을 학습시키는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19756745

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19756745

Country of ref document: EP

Kind code of ref document: A1