[go: up one dir, main page]

KR102236826B1 - 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템 - Google Patents

기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템 Download PDF

Info

Publication number
KR102236826B1
KR102236826B1 KR1020180152863A KR20180152863A KR102236826B1 KR 102236826 B1 KR102236826 B1 KR 102236826B1 KR 1020180152863 A KR1020180152863 A KR 1020180152863A KR 20180152863 A KR20180152863 A KR 20180152863A KR 102236826 B1 KR102236826 B1 KR 102236826B1
Authority
KR
South Korea
Prior art keywords
data
machine learning
frames
learning
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180152863A
Other languages
English (en)
Other versions
KR20200065923A (ko
KR102236826B9 (ko
Inventor
이정원
박예슬
유동연
임창남
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020180152863A priority Critical patent/KR102236826B1/ko
Priority to US16/655,443 priority patent/US20200175340A1/en
Publication of KR20200065923A publication Critical patent/KR20200065923A/ko
Application granted granted Critical
Publication of KR102236826B1 publication Critical patent/KR102236826B1/ko
Publication of KR102236826B9 publication Critical patent/KR102236826B9/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 의료 영상 데이터가 기계학습에 이용하기 적합한지 여부를 확인하기 위하여 의료 영상 데이터 세트의 품질을 평가하는 방법 및 그 시스템에 관한 것으로, 평가항목은 전체 프레임 중 정상 프레임이 차지하는 비율을 의미하는 데이터 정상성; 수신한 데이터에서 레이블링 되거나 레이블링 가능한 프레임이 차지하는 비율을 의미하는 학습 적합성; 및 의료 표준에 기초한 해부학적 요소에 대비하여 수신한 데이터에 포함된 해부학적 요소의 비율을 의미하는 해부학적 완전성을 포함할 수 있다.

Description

기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템{The Method and System for Evaluating the Quality of Medical Image dataset for Machine Learning}
본 발명은 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 의료 영상 데이터가 기계학습에 이용하기 적합한지 여부를 확인하기 위하여 데이터셋의 품질을 평가하는 방법 및 그 시스템에 관한 것이다.
구글(Google)에서는 당뇨병 망막증 검출 알고리즘을 개발하기 위해, 많은 양의 망막 안저 사진(Retinal Fundus Photograph)을 수집하였다. 그러나 수집된 의료 영상 데이터 중 레이블(Label)을 달 수 없는 데이터가 대부분이어서, 구글에서는 의료 전문가의 도움을 받아 레이블링(Labeling) 작업을 진행하였으며, 이 때 레이블링 작업을 보조할 수 있는 도구를 개발한 바 있다.
구글이 개발한 상기 도구는 당뇨병 망막증 검출 알고리즘 설계를 위해 학습 가능한 데이터를 선별하는데 큰 도움을 주었으며, 관련 논문에서는 영상의 품질과 영상의 레이블에 따라 학습된 알고리즘의 성능 차이를 설명하고 검증하였다.
그러나 데이터가 기계학습에 적용하기 위해 현재 수집된 데이터가 충분한지 수집 데이터의 품질을 평가하는 프로그램 혹은 알고리즘은 개발되어 있지 않다. 따라서, 실제로 의료기관으로부터 의료 영상 데이터를 수집하였을지라도, 기계학습에 적용하기에 충분하지 않아 도출한 결과도 좋지 않은 경우가 많다.
예컨대, 정상군의 데이터와 비정상군의 데이터가 비슷하게 많아야 하고, 의료 영상 데이터에 적절하게 레이블이 되어 있어야 품질이 우수한 것으로 볼 수 있다.
(KR) 등록특허 제10-1880678호
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 기계학습용 의료 영상 데이터셋의 품질을 평가하는 기준을 제시하고, 수집된 데이터에 대한 전체적인 평가 방법 및 그 시스템을 제공하기 위함이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 품질을 평가하는 방법은, 요구사항 정의부가, 기계학습 목적에 따른 요구사항을 수신하는 단계; 데이터 수신부가 기계학습용 의료 영상 데이터를 수신하는 단계; 및 데이터 평가부가 상기 데이터 수신부에서 수신한 기계학습용 의료 영상 데이터에 대하여, 상기 요구사항 정의부에서 수신한 요구사항을 적용한 평가항목을 평가하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 평가항목은, 전체 프레임 중 정상 프레임이 차지하는 비율을 의미하는 데이터 정상성; 수신한 데이터에서 레이블링 되거나 레이블링 가능한 프레임이 차지하는 비율을 의미하는 학습 적합성; 및 의료 표준에 기초한 해부학적 요소에 대비하여 수신한 데이터에 포함된 해부학적 요소의 비율을 의미하는 해부학적 완전성을 포함할 수 있다.
본 발명의 일 실시예에 따른 데이터 정상성(Data Normality)은 하기 수식 1에 의하여 산출될 수 있다.
수식 1:
Figure 112021010469298-pat00048
,
Figure 112021010469298-pat00049
(여기서, T는 전체 프레임 수, Nor는 정상 프레임 수, Ni는 i번째 종류의 노이즈 프레임 수, i는 노이즈 종류의 인덱스를 의미한다.)
본 발명의 일 실시예에 따른 상기 학습 적합성(Learning Fitness)은 하기 수식 2에 의하여 산출될 수 있다.
수식 2:
Figure 112018120374505-pat00002
(여기서, T는 전체 프레임 수, L은 레이블링 되거나 레이블링 가능한 프레임 수를 의미한다.)
본 발명의 일 실시예에 따른 상기 해부학적 완전성(Anatomical Completeness)은 하기 수식 3에 의하여 산출될 수 있다.
수식 3:
Figure 112018120374505-pat00003
(여기서, MF는 발견된 필수적 특징 수(Mandatory Features), TMF는 필수적 특징의 전체 수, OF는 발견된 선택적 특징 수(Optional Features), TOF는 선택적 특징의 전체 수,
Figure 112018120374505-pat00004
는 학습 목적에 따라 결정되는 비율인자)
본 발명의 일 실시예에 따른 요구사항 정의부가, 기계학습 목적에 따른 요구사항을 수신하는 단계는, 기계학습 목적에 따라 정의되는 학습 노이즈를 결정하고, 상기 평가항목을 평가하는 단계는 상기 학습 노이즈가 제거된 데이터에 대하여 데이터를 평가하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터셋 품질 평가 시스템은 기계학습 목적에 따른 요구사항을 수신하는 요구사항 정의부; 기계학습용 의료 영상 데이터를 수신하는 데이터 수신부; 및 상기 데이터 수신부에서 수신한 기계학습용 의료 영상 데이터에 대하여, 상기 요구사항 정의부에서 수신한 요구사항을 적용한 평가항목을 평가하는 데이터 평가부를 포함하고, 상기 데이터 평가부는, 전체 프레임 중 정상 프레임이 차지하는 비율을 의미하는 데이터 정상성; 수신한 데이터에서 레이블링 되거나 레이블링 가능한 프레임이 차지하는 비율을 의미하는 학습 적합성; 및 의료 표준에 기초한 해부학적 요소에 대비하여 수신한 데이터에 포함된 해부학적 요소의 비율을 의미하는 해부학적 완전성을 평가항목으로 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따라 수집된 의료 영상 데이터셋을 평가함으로써, 수집된 데이터가 기계학습을 수행하기에 적합한지 판별할 수 있다.
또한, 학습하고자 하는 목적에 따라 데이터를 다른 기준으로 평가함으로써, 학습목적에 맞는 데이터로 적합한지 판별할 수 있다.
본 발명의 일 실시예에 따라 의료 영상 데이터를 학습하기에 적합한지 평가함으로써, 수집된 데이터에 대한 품질 평가 등급을 개발자에게 제공하여 보다 효과적인 학습 데이터 수집과 학습 네트워크 설계를 보조할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터셋 품질 평가 시스템의 블록도이다.
도 2a는 학습 목적에 따라 양성 영상으로 정의된 영상을 나타내고, 도 2b는 학습 목적에 따라 음성 영상으로 정의된 영상을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터셋 품질 평가 방법의 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 기계학습용 의료 영상 데이터셋 품질 평가 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터셋의 품질을 평가하는 평가항목을 나타낸다.
도 6은 본 발명의 일 실시예에 따라 데이터의 품질을 평가한 결과를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
명세서 전체에서 의료 영상 데이터는 캡슐내시경 영상을 실시예로 하여 설명하고 있으나, 반드시 이에 제한되는 것은 아니다.
한편, 명세서 전체에서 '노이즈'는 해상도(resolution)가 좋은 의료 영상 데이터라도, 기계학습에 적용하기에 부적합한 데이터를 포함하는 것을 지칭할 수 있다. 예컨대, 캡슐내시경 영상에 거품이나 이물질이 너무 많이 존재하여 내장 내부의 형태를 알아보기 힘든 경우에는 노이즈 영상으로 지칭할 수 있다. 명세서 전체에서 상기 노이즈는 '학습 노이즈'라고도 지칭할 수 있다.
또한, 의료 영상 데이터는 의료기관으로부터 수집된 데이터 세트를 의미하며 데이터셋의 품질을 평가하는 것은 수집된 정도가 기계학습을 수행하기에 적합하도록 데이터가 수집된 것인지를 평가하는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터셋 품질 평가 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터 품질 평가 시스템(100)은 기계학습 목적에 따른 요구사항을 수신하는 요구사항 정의부(110); 기계학습용 의료 영상 데이터를 수신하는 데이터 수신부(120); 및 상기 데이터 수신부에서 수신한 기계학습용 의료 영상 데이터에 대하여, 상기 요구사항 정의부에서 수신한 요구사항을 적용한 평가항목을 평가하는 데이터 평가부(130)를 포함할 수 있다.
요구사항 정의부(110)는 학습 목적에 따라 영상에 대한 정의사항을 사용자의 입력으로부터 수신할 수 있다. 즉, 상기 요구사항이라 함은, 영상에 대한 정의를 의미할 수 있다.
예컨대, 데이터에 대한 학습목적이 병변을 검출하기 위한 기계학습인 경우, 도 2a와 같이 병변(Polyp)이 있는 영상은 양성(Positive) 영상으로 정의하고 도 2b와 같이 병변(Polyp)이 없는 영상은 음성(Negative) 영상으로 정의할 수 있다.
한편, 데이터에 대한 학습의 목적이 캡슐의 위치를 추적하기 위한 학습인 경우, 위장관의 해부학적 구조가 레이블 된다. 그리고, 개발자의 네트워크 설계에 따라 양성(Positive) 영상 또는 음성(Negative) 영상을 정의한다. 예를 들어, 위장관 교차점 인식을 통한 캡슐의 위치 추적이라면 Z-Line, 유문판 및 회맹판이 있는 영상은 양성 영상이고, 위, 식도 및 소장이 있는 영상은 음성 영상으로 정의된다.
요구사항 정의부(110)는 또한 학습 노이즈에 대한 정의사항을 사용자로부터 수신할 수 있다. 예컨대, 기계학습에 방해가 되는 거품이나 이물질이 많은 영상을 학습 노이즈 영상으로 정의할 수 있다.
한편, 학습 노이즈는 기계학습 목적에 따라 다르게 정의될 수 있다. 예컨대, 학습 목적이 캡슐내시경의 위치를 추적하기 위한 학습인 경우에는 병변이 너무 많거나 적은 영상은 학습에 방해가 되는 학습 노이즈 영상으로 정의될 수 있다.
데이터 수신부(120)는 의료 기관 또는 병원의 서버에 저장된 캡슐내시경 영상을 수신할 수 있다.
상기 수신한 의료 영상 데이터는 기계학습에 사용되기에 적합한지 데이터 평가부(130)를 통해 평가될 수 있다.
데이터 평가부(130)는, 전체 프레임 중 정상 프레임이 차지하는 비율을 의미하는 데이터 정상성(Normality); 수신한 데이터에서 레이블링 되거나 레이블링 가능한 프레임이 차지하는 비율을 의미하는 학습 적합성(Learning Fitness) 및 의료 표준에 기초한 해부학적 요소에 대비하여 수신한 데이터에 포함된 해부학적 요소의 비율을 의미하는 해부학적 완전성(Anatomical Completeness)을 평가항목으로 하여 수신한 데이터의 품질을 평가할 수 있다.
보다 상세하게는, 데이터 정상성은 학습 노이즈를 제외한 정상적인 데이터가 수집된 정도를 나타내고, 학습 적합성은 수집 데이터에 레이블링(Labeling)된 정도에 따라 기계학습에 활용될 수 있는 정도를 나타낸다. 레이블은 의료 영상 데이터에 병변의 유무, 해부학적 위치 등이 표기된 것을 의미한다.
한편, 해부학적 완전성은 수집 데이터에서 해부학적 요소들이 모두 포함된 정도를 나타낸다.
평가항목을 구성하는 데이터 정상성, 학습 적합성 및 해부학적 완전성에 관련하여서는 도 5를 참조하여 후술한다.
도 3은 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터 품질 평가 방법의 순서도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 품질을 평가하는 방법은, 요구사항 정의부가, 기계학습 목적에 따른 요구사항을 수신하는 단계(S210); 데이터 수신부가 기계학습용 의료 영상 데이터를 수신하는 단계(S220) 및 데이터 평가부가 상기 수신한 기계학습용 의료 영상 데이터에 대하여, 평가항목을 평가하는 단계(S230)를 포함할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 기계학습용 의료 영상 데이터 품질 평가 방법의 순서도이다.
도 4를 참조하면, 기계학습 목적에 따른 요구사항을 수신하는 단계(S310), 기계학습용 의료 영상 데이터를 수신하는(S320) 단계는 도 3과 동일하나, 기계학습용 의료 영상 데이터를 스크리닝(S330)하는 단계를 더 포함할 수 있다.
의료 영상 데이터를 스크리닝(S330)하는 단계는 병원관계자 또는 인공지능(Artificial intelligence, AI) 알고리즘이 의료 영상 데이터 세트 전체를 확인하는 단계로, 학습목적을 지닌 영상 프레임 분석, 노이즈 영상 프레임에 대한 분석 및 영상에 포함된 해부학적 요소에 대한 분석을 수행하는 단계이다.
한편, 노이즈 영상을 판단하는 방법은 종래기술인 Garbor Filter, Gray Level Co-Occurrence Matrix (GLCM), Speeded Up Robust Features(SURF), Histogram, Wavelet Transform, Convolution Neural Network(CNN) 등의 알고리즘이 사용될 수 있다.
상기 의료 영상 데이터 스크리닝 단계(S330)를 거치면, 의료 영상 데이터를 구성하는 프레임에 분석된 내용에 대응되는 레이블이 포함될 수 있다.
도 4에 따른 의료 영상 데이터 품질 평가 방법은 의료 영상 데이터에 대해 평가항목을 평가하는 단계(S340) 이후, 기계학습 모델을 개발하는 단계(S350)를 더 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 기계학습용 의료 영상 데이터의 품질을 평가하는 평가항목을 나타낸다.
정상성(Data Normality, 40)은 정상적인 데이터가 수집된 정도를 나타내는 평가항목으로, 하기 수식 1에 의하여 산출될 수 있다.
수식 1:
Figure 112021010469298-pat00050
,
Figure 112021010469298-pat00051
여기서, T는 전체 프레임 수, Nor는 정상 프레임 수(42), Ni는 i번째 종류의 노이즈 프레임 수(41), i는 노이즈 종류의 인덱스를 의미한다.
본 발명의 일 실시예에서 노이즈의 종류는 거품이 낀 캡슐내시경 영상(Bubble), 소화중인 음식물 찌꺼기가 떠다니는 영상(Residue), 흐리거나 어둡거나 너무 밝은 영상(Fuzzy, Dark, Bright Image), 통신 불량으로 인해 잡음이 섞인 영상(Bad Communication), 이물질이 보이는 영상(Foreign Body Ingestion), 음식물 덩어리로 인한 밀착성 폐쇄 영상(Food Bolus Impaction), 위장관의 구조를 가릴 정도로 병변이 많이 포함된 이미지(Lesion Image) 등 7가지 종류가 노이즈로 정의 될 수 있다.
한편, 상기 노이즈 종류들이 모두 노이즈로 정의되어 상기 수식 1에 포함되는 것은 아니다. 기계학습의 목적에 따라 노이즈의 종류는 상기 서술된 노이즈들의 종류 중 일부만 학습 노이즈로 분류될 수 있다.
본 발명의 일 실시예에 따라 정상성(40)이 나온 퍼센트 별로 정상성의 등급을 아래 표 1과 같이 나눌 수 있다.
각 평가항목(%) 등급
90-100 5
80-90 4
70-80 3
60-70 2
60 미만 1
학습 적합성(Learning Fitness, 50)은 수집된 데이터에 레이블되는 정도에 따라 데이터를 학습에 활용할 수 있는 정도를 나타내는 평가항목으로, 하기 수식 2에 의하여 산출될 수 있다
수식 2:
Figure 112018120374505-pat00006
여기서, T는 전체 프레임 수, L은 레이블링 되거나 레이블링 가능한 프레임 수를 의미한다.
수신한 데이터의 프레임에는 레이블이 된 경우(51)도 있고 레이블이 되어 있지 않은 경우도 있다. 레이블이 되어 있지 않은 경우에도 개발자가 레이블이 된 프레임을 기준으로 소정의 구간에 포함된 프레임들을 레이블 가능한 프레임(52)으로 포함시킬 수 있다.
보다 구체적으로, L은 양성으로 레이블된 프레임 수(Frames Labeled the Positive Learning Purpose, LLP), 음성으로 레이블된 프레임 수(Frames Labeled the Negative Learning Purpose, LLN) 및 레이블링 가능한 프레임 수(Frames Posible to Label Learning Purpose, LUP, 52)를 모두 합한 것을 의미한다.
즉, L은 전체 프레임 수(T)에서 레이블링이 불가능한 프레임 수(Frames Imposible to Label Learning Purpose, LUI, 53)를 뺀 만큼을 의미한다.
학습 적합성 평가항목도 표 1과 같이 퍼센트 별로 등급을 나눌 수 있다.
해부학적 완전성(Anatomical Completeness, 60)은 수집된 데이터에 해부학적 요소가 포함된 정도를 판별할 수 있는 평가항목이다.
해부학적 요소는 캡슐내시경에 대한 의료 표준인 MST(Minimal Standard Terminology for gastrointestinal endoscopy), CEST(Capsule Endoscopy Structured Terminology) 등에서 제시하고 있는 해부학적 요소를 기준으로 하고, 캡슐내시경이 촬영한 영상에서 확인되는 해부학적 요소의 비율을 평가항목으로 산출한다.
즉, 상기 해부학적 완전성을 통해 수집된 데이터를 해부학적으로 분석하여, 캡슐내시경에서 확인되는 해부학적 요소가 존재하는지 확인할 수 있다. 해부학적 요소는 필수적 특징과 선택적 특징으로 구분될 수 있다. 필수적 특징은 모든 사람에게서 발견될 수 있는 해부학적 특징이고, 선택적 특징은 일부 환자에게만 발견될 수 있는 특징이다.
해부학적 완전성(60)은 수식 3에 의하여 산출된다.
수식 3:
Figure 112018120374505-pat00007
여기서, MF는 발견된 필수적 특징 수(63), TMF는 필수적 특징의 전체 수(63+64), OF는 발견된 선택적 특징 수(61), TOF는 선택적 특징의 전체 수(61+62),
Figure 112018120374505-pat00008
는 학습 목적에 따라 결정되는 비율인자를 의미한다.
예컨대, 필수적 특징은 위장 경계표(Gastrointestinal Landmark), 위장 관절 접합부(Gastrointestinal Tract Junction)를 포함할 수 있고, 선택적 특징은 단면 위치로 분류된 발견, 병변의 고도로 분류된 발견을 포함할 수 있다.
그리고 해부학적 완전성을 점수화하는 경우, 아래 표 2와 같이 나타낼 수 있다.
필수 발견 요소 완전성(%)
Figure 112018120374505-pat00009
 점수 선택 발견 요소 완전성(%)
Figure 112018120374505-pat00010
 점수
(90-100)%
Figure 112018120374505-pat00011
 5 (90-100)%
Figure 112018120374505-pat00012
 5
(80-90)%
Figure 112018120374505-pat00013
 4 (80-90)%
Figure 112018120374505-pat00014
 4
(70-80)%
Figure 112018120374505-pat00015
 3 (70-80)%
Figure 112018120374505-pat00016
 3
(60-70)%
Figure 112018120374505-pat00017
 2 (60-70)%
Figure 112018120374505-pat00018
 2
60%
Figure 112018120374505-pat00019
미만		 1 60%
Figure 112018120374505-pat00020
미만		 1
도 6은 본 발명의 일 실시예에 따라 데이터의 품질을 평가한 결과를 나타낸다.데이터 정상성, 학습 적합성 및 해부학적 완전성을 상기 표 1 및 표 2와 같이 등급 또는 점수화한 것을 종합하여 전체 품질 등급을 도 6과 같이 나타낼 수 있다.
본 발명의 일 실시예에서는 등급이 높을수록 데이터의 품질이 높은 것으로 예시하였으나, 반드시 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따라 위장관 교차점 기반으로 캡슐내시경의 위치를 학습하는 사례를 예로 들어 설명한다.
레이블(Label)의 종류는 양성 영상인 위장접합(Gastrointestinal Junction, GI Junction)과 음성 영상인 위장 경계표(Gastrointestinal Landmark)이다.
위장접합(GI Junction)은 Z-line, 유문 밸브(Pyloric Valve), 회 맹수 밸브(Ileocecal Valve)을 포함하고, 위장 경계표(GI Landmark)는 식도(Esophagus), 위(Stomach), 소장(Small Intestine), 대장 (Large Intestine)을 포함한다.
12명의 환자로부터 수집한 의료 영상 데이터 프레임을 사용하였는데, 총 수집 시간은 6일 4시간 05분 30초이다. 수집한 의료 영상 데이터 프레임 중 중복한 프레임은 제거하여 총 253,003 개의 프레임을 평가에 이용하였다.
레이블 가능한 프레임 수(L, 51+52)는 244,835 개이고, 레이블 불가능한 프레임 수(LUI, 53)는 8,168개이다. 그리고 학습 노이즈로 판단된 프레임 수(41)는 15,784개이다.
총 필수적 특징 수(TMF, 63+64)는 12개, 발견된 필수적 특징 수(MF, 63)는 8개이고, 총 선택적 특징 수(TOF, 61+62)는 29개이고, 발견된 선택적 특징 수(OF, 61)는 2개이다.
본 발명의 일 실시예에 따른 데이터 정상성(Data Normality)은 수식 1에 의하여, 94%로 산출된다(T=253,003, N=15,784).
Figure 112018120374505-pat00021
본 발명의 일 실시예에 따른 학습 적합성(Learning Fitness)은 수식 2에 의하여, 96.7%로 산출된다(T=253,003, L=244,835).
Figure 112018120374505-pat00022
본 발명의 일 실시예에 따른 해부학적 완전성(Anatomical Completeness)은 수식 3에 의하여, 66.6%로 산출된다(
Figure 112018120374505-pat00023
, MF=8, TMF=12, OF=2, TOF=29). 이 경우, 캡슐내시경의 위치를 학습하기 위한 학습목적을 갖기 때문에, 병변여부에 따라 나타나는 선택적 특징에 대한 비율(1-
Figure 112018120374505-pat00024
)은 0이고, 필수적 특징에 대한 비율(
Figure 112018120374505-pat00025
)은 1로 결정될 수 있다.
Figure 112018120374505-pat00026
상기 평가항목들을 모두 종합하면, 데이터 정상성, 학습 적합성 및 해부학적 완전성이 비교적 양호한 편인 것을 알 수 있으므로, 개발자는 위장관 교차점 기반으로 캡슐내시경의 위치를 학습하기에 적합한다고 판단할 수 있다.
본 발명의 다른 실시예에 따라 출혈 병변을 검출하는 학습을 하기 위한 사례를 예로 들어 설명한다.
레이블(Label)의 종류는 양성 영상인 출혈(Bleeding)과, 음성 영상인 정상(Normal)로 나뉜다.
12명의 환자로부터 수집한 의료 영상 데이터 프레임을 사용하였는데, 총 수집 시간은 6일 4시간 05분 30초이다. 수집한 의료 영상 데이터 프레임 중 중복한 프레임은 제거하여 총 253,003 개의 프레임을 평가에 이용하였다.
레이블 가능한 프레임 수(L, 51+52)는 출혈 영상 프레임 3개, 정상 영상 프레임 2734개로 총 2737개이고, 레이블 불가능한 프레임 수(LUI, 53)는 250,266개이다. 그리고 학습 노이즈로 판단된 프레임 수(41)는 15,784개이다.
총 필수적 특징 수(TMF, 63+64)는 12개, 발견된 필수적 특징 수(MF, 63)는 8개이고, 총 선택적 특징 수(TOF, 61+62)는 29개이고, 발견된 선택적 특징 수(OF, 61)는 2개이다.
본 발명의 일 실시예에 따른 데이터 정상성(Data Normality)은 수식 1에 의하여, 94%로 산출된다(T=253,003, N=15,784).
Figure 112018120374505-pat00027
본 발명의 일 실시예에 따른 학습 적합성(Learning Fitness)은 수식 2에 의하여, 1.1%로 산출된다(T=253,003, L=2,737).
Figure 112018120374505-pat00028
본 발명의 일 실시예에 따른 해부학적 완전성(Anatomical Completeness)은 수식 3에 의하여, 24%로 산출된다(
Figure 112018120374505-pat00029
0.3, MF=8, TMF=12, OF=2, TOF=29). 이 경우, 출혈 병변을 검출하기 위한 학습목적을 갖기 때문에, 병변여부에 따라 나타나는 선택적 특징에 대한 비율(1-
Figure 112018120374505-pat00030
)은 높게 설정할 수 있는데 본 발명의 일 실시예에서는 0.7, 필수적 특징에 대한 비율(
Figure 112018120374505-pat00031
)은 0.3로 결정될 수 있다.
Figure 112018120374505-pat00032
상기 평가항목들을 모두 종합하면, 데이터 정상성은 높나, 학습 적합성 및 해부학적 완전성은 상대적으로 상당히 낮은 결과가 나왔기 때문에, 개발자는 출혈 병변을 검출하기 위한 학습에 데이터 세트를 사용하기가 부적합하다고 판단할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
40 : 데이터 정상성 50 : 학습 적합성
60 : 해부학적 완전성
100 : 기계학습용 의료 영상 데이터 품질 평가 시스템
110 : 요구사항 정의부 120 : 데이터 수신부 130 : 데이터 평가부

Claims (10)

  1. 요구사항 정의부, 데이터 수신부 및 데이터 평가부를 포함하는 시스템을 이용하여 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법에 있어서,
    상기 요구사항 정의부가, 기계학습 목적에 따른 요구사항을 수신하는 단계;
    상기 데이터 수신부가 기계학습용 의료 영상 데이터를 수신하는 단계; 및
    상기 데이터 평가부가 상기 데이터 수신부에서 수신한 기계학습용 의료 영상 데이터에 대하여, 상기 요구사항 정의부에서 수신한 요구사항을 적용한 평가항목을 평가하는 단계를 포함하고,
    상기 평가항목은,
    전체 프레임 중 정상 프레임이 차지하는 비율을 의미하는 데이터 정상성;
    수신한 데이터에서 레이블링 되거나 레이블링 가능한 프레임이 차지하는 비율을 의미하는 학습 적합성; 및
    의료 표준에 기초한 해부학적 요소에 대비하여 수신한 데이터에 포함된 해부학적 요소의 비율을 의미하는 해부학적 완전성을 포함하는 것을 특징으로 하는 기계학습용 의료 영상 데이터셋의 품질 평가 방법.
  2. 제 1 항에 있어서,
    상기 데이터 정상성(Data Normality)은 하기 수식 1에 의하여 산출되는 것인, 기계학습용 의료 영상 데이터셋의 품질 평가 방법.
    수식 1:
    Figure 112021010469298-pat00052
    ,
    Figure 112021010469298-pat00053

    (여기서, T는 전체 프레임 수, Nor는 정상 프레임 수, Ni는 i번째 종류의 노이즈 프레임 수, i는 노이즈 종류의 인덱스를 의미한다.)
  3. 제 1 항에 있어서,
    상기 학습 적합성(Learning Fitness)은 하기 수식 2에 의하여 산출되는 것인, 기계학습용 의료 영상 데이터셋의 품질 평가 방법.
    수식 2:
    Figure 112018120374505-pat00034

    (여기서, T는 전체 프레임 수, L은 레이블링 되거나 레이블링 가능한 프레임 수를 의미한다.)
  4. 제 1 항에 있어서,
    상기 해부학적 완전성(Anatomical Completeness)은 하기 수식 3에 의하여 산출되는 것인, 기계학습용 의료 영상 데이터셋의 품질 평가 방법.
    수식 3:
    Figure 112018120374505-pat00035

    (여기서, MF는 발견된 필수적 특징 수, TMF는 필수적 특징의 전체 수, OF는 발견된 선택적 특징 수, TOF는 선택적 특징의 전체 수,
    Figure 112018120374505-pat00036
    는 학습 목적에 따라 결정되는 비율인자)
  5. 제 1 항에 있어서,
    상기 요구사항 정의부가, 기계학습 목적에 따른 요구사항을 수신하는 단계는, 기계학습 목적에 따라 정의되는 학습 노이즈를 결정하고,
    상기 평가항목을 평가하는 단계는 상기 학습 노이즈가 제거된 데이터에 대하여 데이터를 평가하는 것을 특징으로 하는 기계학습용 의료 영상 데이터셋의 품질 평가 방법.
  6. 기계학습용 의료 영상 데이터셋 품질 평가 시스템에 있어서,
    기계학습 목적에 따른 요구사항을 수신하는 요구사항 정의부;
    기계학습용 의료 영상 데이터를 수신하는 데이터 수신부; 및
    상기 데이터 수신부에서 수신한 기계학습용 의료 영상 데이터에 대하여, 상기 요구사항 정의부에서 수신한 요구사항을 적용한 평가항목을 평가하는 데이터 평가부를 포함하고,
    상기 데이터 평가부는,
    전체 프레임 중 정상 프레임이 차지하는 비율을 의미하는 데이터 정상성;
    수신한 데이터에서 레이블링 되거나 레이블링 가능한 프레임이 차지하는 비율을 의미하는 학습 적합성; 및
    의료 표준에 기초한 해부학적 요소에 대비하여 수신한 데이터에 포함된 해부학적 요소의 비율을 의미하는 해부학적 완전성을 평가항목으로 포함하는 것을 특징으로 하는 기계학습용 의료 영상 데이터셋 품질 평가 시스템.
  7. 제 6 항에 있어서,
    상기 데이터 정상성(Data Normality)은 하기 수식 1에 의하여 산출되는 것인, 기계학습용 의료 영상 데이터셋 품질 평가 시스템.
    수식 1:
    Figure 112021010469298-pat00054
    ,
    Figure 112021010469298-pat00055

    (여기서, T는 전체 프레임 수, Nor는 정상 프레임 수, Ni는 i번째 종류의 노이즈 프레임 수, i는 노이즈 종류의 인덱스를 의미한다.)
  8. 제 6 항에 있어서,
    상기 학습 적합성(Learning Fitness)은 하기 수식 2에 의하여 산출되는 것인, 기계학습용 의료 영상 데이터셋 품질 평가 시스템.
    수식 2:
    Figure 112018120374505-pat00038

    (여기서, T는 전체 프레임 수, L은 레이블링 되거나 레이블링 가능한 프레임 수를 의미한다.)
  9. 제 6 항에 있어서,
    상기 해부학적 완전성(Anatomical Completeness)은 하기 수식 3에 의하여 산출되는 것인, 기계학습용 의료 영상 데이터셋 품질 평가 시스템.
    수식 3:
    Figure 112018120374505-pat00039

    (여기서, MF는 발견된 필수적 특징 수, TMF는 필수적 특징의 전체 수, OF는 발견된 선택적 특징 수, TOF는 선택적 특징의 전체 수,
    Figure 112018120374505-pat00040
    는 학습 목적에 따라 결정되는 비율인자)
  10. 제 6 항에 있어서,
    상기 요구사항 정의부는 기계학습 목적에 따라 정의되는 학습 노이즈를 결정하고,
    상기 데이터 평가부는 상기 학습 노이즈가 제거된 데이터에 대하여 데이터를 평가하는 것을 특징으로 하는 기계학습용 의료 영상 데이터셋 품질 평가 시스템.
KR1020180152863A 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템 Active KR102236826B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180152863A KR102236826B1 (ko) 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템
US16/655,443 US20200175340A1 (en) 2018-11-30 2019-10-17 Method and system for evaluating quality of medical image dataset for machine learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152863A KR102236826B1 (ko) 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템

Publications (3)

Publication Number Publication Date
KR20200065923A KR20200065923A (ko) 2020-06-09
KR102236826B1 true KR102236826B1 (ko) 2021-04-06
KR102236826B9 KR102236826B9 (ko) 2021-09-17

Family

ID=70850111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152863A Active KR102236826B1 (ko) 2018-11-30 2018-11-30 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템

Country Status (2)

Country Link
US (1) US20200175340A1 (ko)
KR (1) KR102236826B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497990B1 (ko) 2020-08-13 2023-02-09 순천향대학교 산학협력단 전이학습을 이용한 안저 이미지 품질 평가 장치 및 방법
KR102406538B1 (ko) 2020-08-13 2022-06-08 순천향대학교 산학협력단 안저 이미지를 이용한 심층 신경망 기반 안구질환 진단 장치 및 방법
WO2022054043A1 (en) * 2020-09-08 2022-03-17 Given Imaging Ltd. Estimating the adequacy of a procedure
CN114565538B (zh) * 2022-03-10 2024-03-01 山东大学齐鲁医院 一种内镜图像处理方法、系统、存储介质及设备
KR102851566B1 (ko) * 2022-09-22 2025-08-29 동국대학교 산학협력단 캡슐내시경 영상을 이용하여 인공지능 모델의 학습 데이터를 구축하는 전자장치 및 그 구축 방법
KR102831324B1 (ko) * 2022-12-16 2025-07-07 아주대학교산학협력단 대표 패턴 기반 의료 영상의 투과 상태 품질을 평가하는 방법 및 장치
KR102748662B1 (ko) * 2022-12-27 2024-12-31 주식회사 가치랩스 인공지능 훈련 데이터 선별 장치 및 그의 제어 방법
KR102879485B1 (ko) 2024-10-14 2025-11-04 주식회사 유엠아이옵틱스 Ai 기반 실명 질환 감지 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016159379A1 (ja) 2015-04-02 2016-10-06 イービーエム株式会社 血管形状構築装置、その方法及びコンピュータソフトウエアプログラム
JP2017221555A (ja) 2016-06-17 2017-12-21 学校法人同志社 角膜内皮細胞品質評価支援システム
KR101848321B1 (ko) 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130054003A (ko) * 2011-11-16 2013-05-24 삼성전자주식회사 해부학적 특성을 기반으로 초음파 조사 계획을 수립하는 방법 및 장치
US8824752B1 (en) * 2013-03-15 2014-09-02 Heartflow, Inc. Methods and systems for assessing image quality in modeling of patient anatomic or blood flow characteristics
KR101880678B1 (ko) 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
US11116407B2 (en) * 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
WO2018153473A1 (en) * 2017-02-24 2018-08-30 Brainlab Ag Deep inspiration breath-hold setup using x-ray imaging
US11664114B2 (en) * 2017-05-25 2023-05-30 Enlitic, Inc. Medical scan assisted review system
US11393587B2 (en) * 2017-12-04 2022-07-19 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
CN109447973B (zh) * 2018-10-31 2021-11-26 腾讯医疗健康(深圳)有限公司 一种结肠息肉图像的处理方法和装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016159379A1 (ja) 2015-04-02 2016-10-06 イービーエム株式会社 血管形状構築装置、その方法及びコンピュータソフトウエアプログラム
JP2017221555A (ja) 2016-06-17 2017-12-21 学校法人同志社 角膜内皮細胞品質評価支援システム
KR101848321B1 (ko) 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR20200065923A (ko) 2020-06-09
US20200175340A1 (en) 2020-06-04
KR102236826B9 (ko) 2021-09-17

Similar Documents

Publication Publication Date Title
KR102236826B1 (ko) 기계학습용 의료 영상 데이터셋의 품질을 평가하는 방법 및 시스템
JP7593921B2 (ja) 腸の病理学のための画像スコアリング
CN102096917B (zh) 胶囊内窥镜冗余图像数据的自动剔除方法
CN114998210B (zh) 一种基于深度学习目标检测的早产儿视网膜病变检测系统
Cho et al. Comparison of convolutional neural network models for determination of vocal fold normality in laryngoscopic images
CN114612389A (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
WO2021114817A1 (zh) 基于神经网络的oct图像病灶检测方法、装置及介质
CN113576508A (zh) 一种基于神经网络的脑出血辅助诊断系统
CN112869697A (zh) 同时识别糖尿病视网膜病变的分期和病变特征的判断方法
CN111563910A (zh) 眼底图像分割方法及设备
JP2025063333A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Tomihama et al. Machine learning analysis of confounding variables of a convolutional neural network specific for abdominal aortic aneurysms
JP7699018B2 (ja) 情報処理装置、学習データ生成装置、及び診断支援システム
Kiziloluk et al. Multi-feature fusion and dandelion optimizer based model for automatically diagnosing the gastrointestinal diseases
CN118134898A (zh) 一种全局融合的双通道视网膜血管分割方法
CN112348746A (zh) 内窥镜图像数据集构建方法
CN112820398A (zh) 一种基于人工智能的肺部诊断辅助系统及其方法
CN110197722B (zh) Ai-cpu系统平台
Ozbilgin et al. An alternative approach for determining the cholesterol level: Iris analysis
CN117876301A (zh) 一种针对mri图像的医学图像质量评估(miqa)方法与设备
Zhang et al. Weakly supervised object detection for automatic tooth-marked tongue recognition
KR20230171799A (ko) 자궁경부 영상 판독 전처리 시스템
Shimbre et al. ChestXFusionNet: A multimodal deep learning framework for predicting chest diseases from X-ray images and clinical data
Gadermayr et al. Fully automated decision support systems for celiac disease diagnosis
CN117315357B (zh) 基于中医虚实辨证分类的图像识别方法以及相关装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181130

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201126

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210330

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210331

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210401

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent event code: PG17011E01I

Patent event date: 20210914

Comment text: Request for Publication of Correction

Publication date: 20210917

PR1001 Payment of annual fee

Payment date: 20231220

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241223

Start annual number: 5

End annual number: 5