[go: up one dir, main page]

TWI728369B - 人工智慧雲端膚質與皮膚病灶辨識方法及其系統 - Google Patents

人工智慧雲端膚質與皮膚病灶辨識方法及其系統 Download PDF

Info

Publication number
TWI728369B
TWI728369B TW108118008A TW108118008A TWI728369B TW I728369 B TWI728369 B TW I728369B TW 108118008 A TW108118008 A TW 108118008A TW 108118008 A TW108118008 A TW 108118008A TW I728369 B TWI728369 B TW I728369B
Authority
TW
Taiwan
Prior art keywords
skin
feature vector
skin quality
artificial intelligence
parameters
Prior art date
Application number
TW108118008A
Other languages
English (en)
Other versions
TW202044271A (zh
Inventor
李友專
靳嚴博
侯則瑜
林昱廷
王筱涵
李隆辰
Original Assignee
臺北醫學大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 臺北醫學大學 filed Critical 臺北醫學大學
Priority to TW108118008A priority Critical patent/TWI728369B/zh
Priority to US16/831,769 priority patent/US20200372639A1/en
Publication of TW202044271A publication Critical patent/TW202044271A/zh
Application granted granted Critical
Publication of TWI728369B publication Critical patent/TWI728369B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dermatology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一種人工智慧雲端膚質與皮膚病灶辨識方法及其系統。此系統包括電子裝置及伺服器。伺服器包括儲存裝置及處理器。處理器耦接儲存裝置，存取並執行儲存於儲存裝置的多個模組，多個模組包括：資訊接收模組，接收擷取影像及多個使用者參數；特徵向量取得模組，取得擷取影像的第一特徵向量，並計算多個使用者參數的第二特徵向量；膚質參數取得模組，根據第一特徵向量及第二特徵向量取得關聯於膚質參數的輸出結果；以及膚質辨識模組，根據膚質參數的輸出結果決定對應的辨識結果。

Description

人工智慧雲端膚質與皮膚病灶辨識方法及其系統
本發明是有關於一種膚質及皮膚病灶檢測技術，且特別是有關於一種人工智慧雲端膚質與皮膚病灶辨識方法及其系統。
一般來說，皮膚科醫生除了從外觀判斷皮膚狀況之外，還會藉由問診來綜合判斷皮膚是否出現異常狀況。藉由外觀及問診結果，醫生可以初步判斷皮膚的狀態。舉例來說，若皮膚上的痣在一段時間內明顯變大或有異常凸起，則有可能是病變的前兆。一旦發生病變便需要花費時間治療而造成身體的負擔，因此提早發現病情以及時進行治療是避免受苦的最好方法。
然而，目前皮膚變化狀態均需透過醫生的專業判斷，一般使用者容易忽略皮膚的改變，且難以自己初步判斷皮膚是否出現異常狀況。因此，如何有效且明確地得知皮膚狀況，是本領域 技術人員所欲解決的問題之一。
有鑑於此，本發明提供一種人工智慧雲端膚質與皮膚病灶辨識方法及其系統，其可同時考量皮膚影像及使用者回答問題的內容，藉由皮膚影像及使用者參數決定皮膚辨識結果。
本發明提供一種人工智慧雲端膚質與皮膚病灶辨識系統，包括電子裝置及伺服器。電子裝置取得擷取影像及多個使用者參數。伺服器連接所述電子裝置，所述伺服器包括儲存裝置及處理器。儲存裝置儲存多個模組。處理器耦接所述儲存裝置，存取並執行儲存於所述儲存裝置的所述多個模組，所述多個模組包括資訊接收模組、特徵向量取得模組、膚質參數取得模組及膚質辨識模組。資訊接收模組接收所述擷取影像及所述多個使用者參數；特徵向量取得模組取得所述擷取影像的第一特徵向量，並計算所述多個使用者參數的第二特徵向量；膚質參數取得模組根據所述第一特徵向量及所述第二特徵向量取得關聯於膚質參數的輸出結果；以及膚質辨識模組根據所述輸出結果決定對應於所述擷取影像的膚質辨識結果。
在本發明的一實施例中，上述特徵向量取得模組取得所述擷取影像的所述第一特徵向量的運作包括：利用機器學習模型取得所述擷取影像的所述第一特徵向量。
在本發明的一實施例中，上述特徵向量取得模組計算所 述多個使用者參數的所述第二特徵向量的運作包括：利用向量表示各所述多個使用者參數；將向量化的各所述多個使用者參數合併並輸入至機器學習模型的全連接層以取得所述第二特徵向量。
在本發明的一實施例中，上述多個使用者參數包括性別參數、年齡參數、患部面積大小、時間參數或患部變化參數的組合。
在本發明的一實施例中，上述膚質參數取得模組根據所述第一特徵向量及所述第二特徵向量取得關聯於所述膚質參數的所述輸出結果的運作包括：合併所述第一特徵向量及所述第二特徵向量以取得合併向量；以及輸入所述合併向量至機器學習模型的全連接層以取得所述輸出結果，其中所述輸出結果關聯於所述膚質參數的目標機率。
在本發明的一實施例中，上述膚質辨識模組根據所述膚質參數決定對應於所述擷取影像的所述膚質辨識結果的運作包括：根據所述輸出結果決定對應於所述擷取影像的所述膚質辨識結果。
在本發明的一實施例中，上述機器學習模型包括卷積神經網路或深度神經網路。
本發明提供一種人工智慧雲端膚質與皮膚病灶辨識方法，適用於具有處理器的伺服器，該方法包括下列步驟：接收擷取影像及多個使用者參數；取得所述擷取影像的第一特徵向量，並計算所述多個使用者參數的第二特徵向量；根據所述第一特徵 向量及所述第二特徵向量取得關聯於膚質參數的輸出結果；以及根據所述輸出結果決定對應於所述擷取影像的膚質辨識結果。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
1:人工智慧雲端膚質與皮膚病灶辨識系統
10:電子裝置
11、21:通訊裝置
12、22:處理器
13、23:儲存裝置
20:伺服器
231:資訊接收模組
232:特徵向量取得模組
233:膚質參數取得模組
234:膚質辨識模組
S301~S304、S401~S405:步驟
圖1繪示本發明一實施例的人工智慧雲端膚質與皮膚病灶辨識系統的示意圖。
圖2繪示本發明一實施例的電子裝置及伺服器的元件方塊圖。
圖3繪示本發明一實施例的人工智慧雲端膚質與皮膚病灶辨識方法的流程圖。
圖4繪示本發明一實施例的人工智慧雲端膚質與皮膚病灶辨識方法的流程圖。
本發明同時考量皮膚影像及使用者回答問題的內容，利用機器學習模型取得皮膚影像的特徵向量，並計算使用者參數的特徵向量。接著根據皮膚影像的特徵向量及使用者參數的特徵向量取得關聯於膚質參數的輸出結果以決定皮膚辨識結果。藉此，可同時考量皮膚影像及使用者回答問題的內容來決定皮膚病灶或 膚質的辨識結果。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法以及人工智慧雲端膚質與皮膚病灶辨識系統的範例。
圖1繪示本發明一實施例的人工智慧雲端膚質與皮膚病灶辨識系統的示意圖。參照圖1，人工智慧雲端膚質與皮膚病灶辨識系統1至少包括但不僅限於電子裝置10及伺服器20。其中伺服器20可分別與多個電子裝置10連接。
圖2繪示本發明一實施例的電子裝置及伺服器的元件方塊圖。參照圖2，電子裝置10可包括但不僅限於通訊裝置11、處理器12及儲存裝置13。電子裝置10例如是具備運算功能的智慧型手機、平板電腦、筆記型電腦、個人電腦或其他裝置，本發明不在此限制。伺服器20可包括但不僅限於通訊裝置21、處理器22及儲存裝置23。伺服器20例如是電腦主機、遠端伺服器、後台主機或其他裝置，本發明不在此限制。
通訊裝置11及通訊裝置21可以是支援諸如第三代(3G)、第四代(4G)、第五代(5G)或更後世代行動通訊、Wi-Fi、乙太網路、光纖網路等通訊收發器，以連線至網際網路。伺服器20通過通訊裝置21與電子裝置10的通訊裝置11通訊連接以與電 子裝置10互相傳輸資料。
處理器12耦接通訊裝置11及儲存裝置13，處理器22耦接通訊裝置21及儲存裝置23，並且處理器12及處理器22可以分別存取並執行儲存於儲存裝置13及儲存裝置23的多個模組。在不同實施例中，處理器12及處理器22可以分別例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合，本發明不在此限制。
儲存裝置13及儲存裝置23例如是任何型態的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或類似元件或上述元件的組合而用以儲存可分別由處理器12及處理器22執行的程式。於本實施例中，儲存裝置23用於儲存緩衝的或永久的資料、軟體模組(例如，資訊接收模組231、特徵向量取得模組232、膚質參數取得模組233及膚質辨識模組234等)等資料或檔案，且其詳細內容待後續實施例詳述。
圖3繪示本發明一實施例的人工智慧雲端膚質與皮膚病灶辨識方法的流程圖。請同時參照圖2及圖3，本實施例的方法適用於上述人工智慧雲端膚質與皮膚病灶辨識系統1，以下即搭配電 子裝置10及伺服器20的各項裝置及元件說明本實施例的人工智慧雲端膚質與皮膚病灶辨識方法的詳細步驟。本技術領域人員應可理解，上述儲存在伺服器20的軟體模組不一定要在伺服器20上執行，也可以是下載並儲存至電子裝置10的儲存裝置13中，而由電子裝置10執行所述軟體模組進行人工智慧雲端膚質與皮膚病灶辨識方法。
首先，處理器22存取並執行資訊接收模組231以接收擷取影像及多個使用者參數(步驟S301)。其中，擷取影像及各使用者參數可以由伺服器20中的通訊裝置21自電子裝置10接收。在一實施例中，擷取影像及多個使用者參數先由電子裝置10取得。詳細而言，電子裝置10耦接於影像來源裝置(未繪示)並且從影像來源裝置取得擷取影像。影像來源裝置可以是配置於電子裝置10的相機，也可以是儲存裝置13、外接的記憶卡或遠端伺服器等用以儲存影像的裝置，本發明不在此限制。也就是說，使用者例如是操作電子裝置10藉由相機拍攝影像，或者是操作從裝置中取得先前拍攝好的影像，並且將選擇好的影像傳輸至伺服器20作為擷取影像供後續操作使用。
此外，伺服器20會提供多個問題要求使用者回答，當使用者透過電子裝置10回答這些問題後，回答的結果將傳輸至伺服器20作為使用者參數供後續操作使用。其中，使用者例如是透過電子裝置10顯示的一使用者介面來回答問題，使用者介面可以是通訊軟體的聊天室、網頁、語音助理或其他可供互動功能的軟體 介面，本發明不在此限制。
接著，處理器22存取並執行特徵向量取得模組232以取得擷取影像的第一特徵向量，並計算多個使用者參數的第二特徵向量(步驟S302)。
詳細而言，為了取得擷取影像的第一特徵向量，處理器22先透過皮膚病變影像樣本及使用者參數樣本訓練機器學習模型內各層的參數值。在一實施例中，上述機器學習模型例如是利用類神經網路(Neural Network)等技術所建構的機器學習模型，以類神經網路為例，其輸入層與輸出層之間是由眾多的神經元和鏈接組成，其中可包含多個隱藏層(hidden layer)，各層節點(神經元)的數目不定，可使用數目較多的節點以增強該類神經網路的強健性。在本實施例中，機器學習模型例如是卷積神經網路(Convolutional Neural Network，CNN)或深度神經網路(Deep Neural Networks，DNN)，本發明不在此限制。以卷積神經網路為例，可以將皮膚病變影像所對應的參數數值作為機器學習模型的輸入至卷積神經網路，並利用反向傳遞(Backward propagation)進行訓練以利用最後的目標函數(loss/cost function)來進行各層參數的更新，而可訓練學習模型內各層的參數值，其中例如是以誤差均方和(mean square error)當作目標函數。其中，各皮膚病變影像樣本可以是用習知的ResNet50、InceptionV3等卷積神經網路模型架構來訓練。
接著可將影像輸入至訓練好的機器學習模型來取得影像 特徵。在一實施例中，特徵向量取得模組232利用機器學習模型取得擷取影像的第一特徵向量。也就是說，在訓練機器學習模型後，處理器22將擷取影像輸入至訓練好的機器學習模型，並且提取擷取影像的第一特徵向量。
另一方面，特徵向量取得模組232還會計算多個使用者參數的第二特徵向量。其中，特徵向量取得模組232例如是利用向量表示各使用者參數，將向量化的各使用者參數合併並輸入至機器學習模型的全連接層(Fully Connected Layer)以取得第二特徵向量。其中，合併後的向量化的各使用者參數的維度與問題數量和問題內部的選項有關。
詳細而言，特徵向量取得模組232會將伺服器20從電子裝置10接收到的使用者參數使用指示函數(indicator function)來編碼。舉例而言，若問題是使用者的性別，當使用者回答性別為男，則產生向量(1,0,0)；當使用者回答性別為女，則產生向量(0,1,0)；當使用者不想回答性別，則產生向量(0,0,1)。在編碼完所有使用者參數之後，特徵向量取得模組232會將編碼完的各使用者參數合併以取得合併向量，並將合併後的合併向量輸入至全連接層來進行雜交並輸出N維的向量。其中，全連接層會考量各使用者參數彼此之間的交互作用而產生出向量維度比原先各使用者參數的向量維度還多的第二特徵向量，例如，輸入16維度的向量至全連接層可以產生256維度的向量。在一實施例中，多個使用者參數包括性別參數、年齡參數、患部面積大小、時間 參數或患部變化參數其中之一或其組合。
接著，處理器22存取並執行膚質參數取得模組233以根據第一特徵向量及第二特徵向量取得關聯於膚質參數的輸出結果(步驟S303)。其中，膚質參數取得模組233合併第一特徵向量及第二特徵向量以取得合併向量，並且輸入合併向量至機器學習模型的全連接層以取得輸出結果，其中輸出結果關聯於膚質參數的目標機率。在一實施例中，由於透過機器學習模型取得的第一特徵向量得到可能是二維結構的圖片，因此可以先將第一特徵向量轉換成一維空間的向量後再與第二特徵向量合併產生合併向量。
詳細而言，膚質參數取得模組233會合併特徵向量取得模組232取得的擷取影像的第一特徵向量以及從多個使用者參數計算出的第二特徵向量，並將第一特徵向量及第二特徵向量合併為合併向量。接著，膚質參數取得模組233將合併向量輸入至全連接層，並在輸出層(Output Layer)產生輸出結果。其中輸出結果的數量與想分類(classification)的輸出結果數目有關，假設最終希望輸出結果分為兩個類別(例如：皮膚無狀況與皮膚有狀況)，則在輸出層有兩個輸出類別的膚質參數，本發明不在此限制輸出類別的數量。最終合併向量輸入至全連接層會轉化成各個輸出類別的機率(介於0到1之間)。在本實施例中，膚質參數例如是「痣」、「青春痘」或「膚況」等不同組輸出類別中分別分為「惡變風險較低的痣/惡變風險較高的痣」、「青春痘/非青春痘」或「膚況好/膚況不好」等不同的分類，並且輸出結果關聯於各組輸出類 別中各膚質參數的目標機率。
最後，處理器22存取並執行膚質辨識模組234以根據輸出結果決定對應於擷取影像的膚質辨識結果(步驟S304)。其中，膚質辨識模組234根據輸出結果決定對應於擷取影像的膚質辨識結果。詳細而言，輸出結果中機率最大的即是最有可能的類別。
基於上述，本發明的實施例在輸入影像至機器學習模型取得影像的特徵向量，並利用全連接層計算出使用者參數的向量後，將兩者向量合併作為資料輸入機器學習模型的全連接層，並透過全連接層產生輸出結果。也就是說，本發明除了考慮圖片的資訊以外，還同時考慮非圖片資訊，藉由建立能夠同時考慮圖片及非圖片資訊的機器學習模型，以更真實地模擬臨床判斷膚質的情境並使模型精準度提高。
以下實施例以「痣」為例，其中輸出類別「痣」分為「惡變風險較低的痣」與「惡變風險較高的痣」兩個膚質參數，並且在本實施例中，使用卷積神經網路作為機器學習模型的範例。圖4繪示本發明一實施例的人工智慧雲端膚質與皮膚病灶辨識方法的流程圖。請參照圖4，首先，處理器22接收擷取影像及多個使用者參數(步驟S401)。在本實施例中，使用者利用電子裝置10拍攝或從電子裝置10選取擷取影像，擷取影像的圖片大小例如是按照習知的卷積神經網路的輸入格式與尺寸設置為224x224，因此擷取影像可以表示為(224,224,3)的矩陣，其中3代表RGB顏色的位階。並且使用者回答伺服器20提供的多個問題，其中問題例 如是包括「性別(男，女，不想回答)」、「年齡(20歲以下，21~40歲，41-65歲，66歲以上)」、「患部面積(小於等於0.6平方公分，大於0.6平方公分)」、「存在時間(小於等於1年，大於1年且小於2年，大於2年，沒注意)」或「患部變化(最近一個月有變化，最近一個月無變化，沒注意)」的組合。處理器22接收由電子裝置10傳輸的擷取影像及多個使用者參數。
接著，處理器22利用卷積神經網路取得擷取影像的第一特徵向量(步驟S4021)。並且處理器22計算多個使用者參數的第二特徵向量(步驟S4022)。其中，處理器22將擷取影像輸入至訓練好的卷積神經網路來取得擷取影像的第一特徵向量，其中卷積神經網路係利用關於「痣」的影像來訓練。並且伺服器20接收使用者的回答後，處理器22將回答編碼為向量，例如在本實施例中，若使用者回答為男、20歲以下、小於等於0.6公分、小於等於1年、最近一個月有變化，則向量化的回答為性別(1,0,0)、年齡(1,0,0,0)、患部面積(1,0)、存在時間(1,0,0,0)及患部變化(1,0,0)。接著，處理器22在維度上合併向量化的各多個使用者參數以取得合併向量，並且處理器22輸入合併向量至機器學習模型的全連接層以取得第二特徵向量。
接著，處理器22合併第一特徵向量及第二特徵向量以取得合併向量(步驟S403)。接著，處理器22輸入合併向量至卷積神經網路的全連接層以取得輸出結果(步驟S404)。在本實施例中，處理器22對第一特徵向量及第二特徵向量在維度上進行合併 以取得合併向量，並且輸入合併向量至卷積神經網路的全連接層以取得輸出結果，其中輸出結果關聯於輸出類別「痣」中兩個膚質參數「惡變風險較低的痣/惡變風險較高的痣」分別的目標機率。
最後，處理器22根據輸出結果決定對應於擷取影像的膚質辨識結果(步驟S405)。在本實施例中，輸出結果中若膚質參數「惡變風險較低的痣」的機率大則決定擷取影像中包括惡變風險較低的痣，若膚質參數「惡變風險較高的痣」的機率大則決定擷取影像中包括惡變風險較高的痣。
在另一實施例中，若卷積神經網路係利用「青春痘」等其他關於病灶的影像或是「膚況」等關於膚質的影像來訓練，並且針對「青春痘」或「膚況」等病灶或膚質提出不同的用於判斷病灶或膚質的問題作為使用者參數，則本發明的系統及方法建立的模型可用於協助判斷「青春痘」、「膚況」或其他的病灶或膚質的影像是否符合特定病灶或膚質的狀態。
在另一實施例中，本發明實施例提供的人工智慧雲端膚質與皮膚病灶辨識方法所建立的人工智慧雲端膚質與皮膚病灶辨識模型，可利用反向傳遞進行訓練以利用最後的目標函數來進行各層參數的更新，以使模型的辨識精準度提高。
綜上所述，本發明提供的人工智慧雲端膚質與皮膚病灶辨識方法及其系統可同時考量皮膚影像及使用者回答問題的內容，在輸入影像至機器學習模型取得影像的特徵向量，並利用全連接層計算出使用者參數的向量後，將影像的特徵向量及使用者 參數的向量合併作為資料輸入機器學習模型的全連接層，並透過全連接層產生輸出結果。藉此，可根據皮膚影像的特徵向量及使用者參數的特徵向量取得各膚質參數的機率以決定病灶或膚質的辨識結果。也就是說，本發明除了考慮圖片的資訊以外，還同時考慮非圖片資訊，藉由建立能夠同時考慮圖片及非圖片資訊的機器學習模型，以更真實地模擬臨床判斷病灶或膚質時以患部狀態及問答結果判斷的情境來使模型精準度提高。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:電子裝置
11、21:通訊裝置
12、22:處理器
13、23:儲存裝置
20:伺服器
231:資訊接收模組
232:特徵向量取得模組
233:膚質參數取得模組
234:膚質辨識模組

Claims (14)

  1. 一種人工智慧雲端膚質與皮膚病灶辨識系統，包括： 電子裝置，取得擷取影像及多個使用者參數；以及 伺服器，連接所述電子裝置，所述伺服器包括： 儲存裝置，儲存多個模組；以及 處理器，耦接所述儲存裝置，存取並執行儲存於所述儲存裝置的所述多個模組，所述多個模組包括： 資訊接收模組，接收所述擷取影像及所述多個使用者參數； 特徵向量取得模組，取得所述擷取影像的第一特徵向量，並計算所述多個使用者參數的第二特徵向量； 膚質參數取得模組，根據所述第一特徵向量及所述第二特徵向量取得關聯於膚質參數的輸出結果；以及 膚質辨識模組，根據所述輸出結果決定對應於所述擷取影像的膚質辨識結果。
  2. 如申請專利範圍第1項所述的人工智慧雲端膚質與皮膚病灶辨識系統，其中所述特徵向量取得模組取得所述擷取影像的所述第一特徵向量的運作包括： 利用機器學習模型取得所述擷取影像的所述第一特徵向量。
  3. 如申請專利範圍第1項所述的人工智慧雲端膚質與皮膚病灶辨識系統，其中所述特徵向量取得模組計算所述多個使用者參數的所述第二特徵向量的運作包括： 利用向量表示各所述多個使用者參數；以及 將向量化的各所述多個使用者參數合併並輸入至機器學習模型的全連接層以取得所述第二特徵向量。
  4. 如申請專利範圍第3項所述的人工智慧雲端膚質與皮膚病灶辨識系統，其中所述多個使用者參數包括性別參數、年齡參數、患部面積大小、時間參數或患部變化參數的組合。
  5. 如申請專利範圍第1項所述的人工智慧雲端膚質與皮膚病灶辨識系統，其中所述膚質參數取得模組根據所述第一特徵向量及所述第二特徵向量取得關聯於所述膚質參數的所述輸出結果的運作包括： 合併所述第一特徵向量及所述第二特徵向量以取得合併向量；以及 輸入所述合併向量至機器學習模型的全連接層以取得所述輸出結果，其中所述輸出結果關聯於所述膚質參數的目標機率。
  6. 如申請專利範圍第5項所述的人工智慧雲端膚質與皮膚病灶辨識系統，其中所述膚質辨識模組根據所述膚質參數決定對應於所述擷取影像的所述膚質辨識結果的運作包括： 根據所述輸出結果決定對應於所述擷取影像的所述膚質辨識結果。
  7. 如申請專利範圍第2項所述的人工智慧雲端膚質與皮膚病灶辨識系統，其中所述機器學習模型包括卷積神經網路或深度神經網路。
  8. 一種人工智慧雲端膚質與皮膚病灶辨識方法，適用於具有處理器的伺服器，該方法包括下列步驟： 接收擷取影像及多個使用者參數； 取得所述擷取影像的第一特徵向量，並計算所述多個使用者參數的第二特徵向量； 根據所述第一特徵向量及所述第二特徵向量取得關聯於膚質參數的輸出結果；以及 根據所述輸出結果決定對應於所述擷取影像的膚質辨識結果。
  9. 如申請專利範圍第8項所述的人工智慧雲端膚質與皮膚病灶辨識方法，其中取得所述擷取影像的第一特徵向量的步驟包括： 利用機器學習模型取得所述擷取影像的所述第一特徵向量。
  10. 如申請專利範圍第8項所述的人工智慧雲端膚質與皮膚病灶辨識方法，其中計算所述多個使用者參數的所述第二特徵向量的步驟包括： 利用向量表示各所述多個使用者參數；以及 將向量化的各所述多個使用者參數合併並輸入至機器學習模型的全連接層以取得所述第二特徵向量。
  11. 如申請專利範圍第10項所述的人工智慧雲端膚質與皮膚病灶辨識方法，其中所述多個使用者參數包括性別參數、年齡參數、患部面積大小、時間參數或患部變化參數的組合。
  12. 如申請專利範圍第8項所述的人工智慧雲端膚質與皮膚病灶辨識方法，其中根據所述第一特徵向量及所述第二特徵向量取得關聯於所述膚質參數的所述輸出結果的步驟包括： 合併所述第一特徵向量及所述第二特徵向量以取得合併向量；以及 輸入所述合併向量至機器學習模型的全連接層以取得所述輸出結果，其中所述輸出結果關聯於所述膚質參數的目標機率。
  13. 如申請專利範圍第12項所述的人工智慧雲端膚質與皮膚病灶辨識方法，其中根據所述膚質參數決定對應於所述擷取影像的所述膚質辨識結果的步驟包括： 根據所述輸出結果決定對應於所述擷取影像的所述膚質辨識結果。
  14. 如申請專利範圍第9項所述的人工智慧雲端膚質與皮膚病灶辨識方法，其中所述機器學習模型包括卷積神經網路或深度神經網路。
TW108118008A 2019-05-24 2019-05-24 人工智慧雲端膚質與皮膚病灶辨識方法及其系統 TWI728369B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108118008A TWI728369B (zh) 2019-05-24 2019-05-24 人工智慧雲端膚質與皮膚病灶辨識方法及其系統
US16/831,769 US20200372639A1 (en) 2019-05-24 2020-03-26 Method and system for identifying skin texture and skin lesion using artificial intelligence cloud-based platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108118008A TWI728369B (zh) 2019-05-24 2019-05-24 人工智慧雲端膚質與皮膚病灶辨識方法及其系統

Publications (2)

Publication Number Publication Date
TW202044271A TW202044271A (zh) 2020-12-01
TWI728369B true TWI728369B (zh) 2021-05-21

Family

ID=73457060

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108118008A TWI728369B (zh) 2019-05-24 2019-05-24 人工智慧雲端膚質與皮膚病灶辨識方法及其系統

Country Status (2)

Country Link
US (1) US20200372639A1 (zh)
TW (1) TWI728369B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI794863B (zh) * 2021-06-02 2023-03-01 美商醫守科技股份有限公司 臨床關聯評估裝置及臨床關聯評估方法
TWI837522B (zh) * 2021-10-01 2024-04-01 臺北醫學大學 乾癬影像之評估系統及其運作方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507944B (zh) * 2020-03-31 2023-07-04 北京百度网讯科技有限公司 皮肤光滑度的确定方法、装置和电子设备
CN116601670A (zh) * 2020-11-13 2023-08-15 卡耐基梅隆大学 用于对跨医学图像中的变化进行域泛化的系统和方法
CN113569985B (zh) * 2021-08-18 2023-08-22 梧州市中医医院 一种烙铁头蛇或竹叶青蛇咬伤的智能识别系统
TWI874826B (zh) * 2022-10-14 2025-03-01 臺中榮民總醫院 皮膚疾病影像判讀方法及皮膚疾病影像判讀系統
WO2025115178A1 (ja) * 2023-11-30 2025-06-05 富士通株式会社 機械学習プログラム、機械学習方法、および情報処理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824290A (zh) * 2008-12-22 2014-05-28 赛利恩影像股份有限公司 自动检测医学图像中的病变的方法和系统
US20170262985A1 (en) * 2016-03-14 2017-09-14 Sensors Unlimited, Inc. Systems and methods for image-based quantification for allergen skin reaction
US20180189949A1 (en) * 2016-12-30 2018-07-05 Skinio, Llc Skin Abnormality Monitoring Systems and Methods
CN108920634A (zh) * 2018-06-30 2018-11-30 天津大学 基于知识图谱的皮肤病特征分析系统
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置
US10169863B2 (en) * 2015-06-12 2019-01-01 International Business Machines Corporation Methods and systems for automatically determining a clinical image or portion thereof for display to a diagnosing physician
TWM586599U (zh) * 2019-05-24 2019-11-21 臺北醫學大學 人工智慧雲端膚質與皮膚病灶辨識系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824290A (zh) * 2008-12-22 2014-05-28 赛利恩影像股份有限公司 自动检测医学图像中的病变的方法和系统
US10169863B2 (en) * 2015-06-12 2019-01-01 International Business Machines Corporation Methods and systems for automatically determining a clinical image or portion thereof for display to a diagnosing physician
US20170262985A1 (en) * 2016-03-14 2017-09-14 Sensors Unlimited, Inc. Systems and methods for image-based quantification for allergen skin reaction
US20180189949A1 (en) * 2016-12-30 2018-07-05 Skinio, Llc Skin Abnormality Monitoring Systems and Methods
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置
CN108920634A (zh) * 2018-06-30 2018-11-30 天津大学 基于知识图谱的皮肤病特征分析系统
TWM586599U (zh) * 2019-05-24 2019-11-21 臺北醫學大學 人工智慧雲端膚質與皮膚病灶辨識系統

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI794863B (zh) * 2021-06-02 2023-03-01 美商醫守科技股份有限公司 臨床關聯評估裝置及臨床關聯評估方法
TWI837522B (zh) * 2021-10-01 2024-04-01 臺北醫學大學 乾癬影像之評估系統及其運作方法

Also Published As

Publication number Publication date
TW202044271A (zh) 2020-12-01
US20200372639A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
TWI728369B (zh) 人工智慧雲端膚質與皮膚病灶辨識方法及其系統
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
US11270169B2 (en) Image recognition method, storage medium and computer device
US9750450B2 (en) Method, electronic apparatus, and computer readable medium of constructing classifier for skin-infection detection
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
WO2021114818A1 (zh) 基于傅里叶变换的oct图像质量评估方法、系统及装置
US20250166040A1 (en) Artificial intelligence-based systems and methods for providing personalized skin product recommendations
CN113327212B (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
CN112330624A (zh) 医学图像处理方法和装置
CN115100723B (zh) 面色分类方法、装置、计算机可读程序介质及电子设备
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN117934841A (zh) 一种耳穴定位方法
Wang et al. MetaScleraSeg: an effective meta-learning framework for generalized sclera segmentation
Huang et al. TongueMobile: automated tongue segmentation and diagnosis on smartphones
KR20260008053A (ko) 근거 기반의 가이드라인에 따른 챗봇 서비스를 제공하는 서버
WO2024066927A1 (zh) 图像分类模型的训练方法、装置及设备
TWM586599U (zh) 人工智慧雲端膚質與皮膚病灶辨識系統
CN114283110B (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
CN114708493A (zh) 一种中医裂纹舌诊便携设备及使用方法
KR102165487B1 (ko) 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
Hanif et al. Upper airway classification in sleep endoscopy examinations using convolutional recurrent neural networks
CN119092117A (zh) 基于人脸识别的睡眠呼吸暂停风险评估方法及系统
CN117352135A (zh) 基于深度学习的糖网识别方法和装置、设备及存储介质
KR100915922B1 (ko) 영상인식을 통한 얼굴 특징 추출과 사상체질 판별 방법 및시스템