WO2019091509A1 - Verfahren zur auswertung des hautbildes eines menschen im rahmen der hautkrebs- vorsorgeuntersuchung sowie vorrichtung zu dessen betrieb - Google Patents

Abstract

Es wird ein verbessertes Verfahren zur Untersuchung der Haut anhand von mikroskopischen Bildern unter Einbeziehung eines Convolutional Neural Networks (CNN) vorgestellt. Dieses Verfahren soll ferner durch die ergänzende Auswertung von klinischen Bildern zusammen mit den mikroskopischen Bildern verfeinert werden. Der Erfindung liegt weiterhin die Aufgabe zugrunde, eine zur Durchführung des genannten Verfahrens besonders geeignete Vorrichtung anzugeben. Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass eine regelunabhängige Bewertung von Läsionen anhand der mikroskopischen und klinischen Bilder erfolgen kann, die in der täglichen dermatologischen Praxis im Rahmen der digitalen Hautkrebsvorsorge erstellt werden. Die Erfindung ist unabhängig von den verwendeten digitalen Aufnahmemedien, Bildformaten und Bildauflösungen. Die Kombination von mikroskopischen und klinischen Bildern im Rahmen einer Auswertung mittels eines Convolutional Neural Networks (CNN) bringt den Auswertevorgang als solche auf eine neue Ebene und ermöglicht eine parallele Auswertung oder eine Einzelauswertung anhand des mikroskopischen Bildes oder des klinischen Bildes.

Description

Beschreibung

Verfahren zur Auswertung des Hautbildes eines Menschen im Rahmen der Hautkrebs- Vorsorgeuntersuchung sowie Vorrichtung zu dessen Betrieb

Die Erfindung bezieht sich auf ein Verfahren zur Untersuchung der Haut eines Probanden, insbesondere im Rahmen einer Hautkrebs-Vorsorgeuntersuchung. Die Erfindung bezieht sich des Weiteren auf eine Vorrichtung zur Durchführung des Verfahrens.

Hinsichtlich der Häufigkeit von Hautkrebs-Erkrankungen ist in jüngerer Zeit ein deutlicher Anstieg festzustellen. Ursache hierfür ist insbesondere der Trend, sich vermehrt intensiver Sonnenbestrahlung auszusetzen. Die häufigste tödlich verlaufende Hauterkrankung ist das sogenannte maligne Melanom. Bei einer frühzeitigen Diagnose der Hauterkrankung und einer sofort eingeleiteten Therapie, die in der Regel die chirurgische Entfernung des erkrankten Gewebes umfasst, bestehen gute Heilungsaussichten. Problematisch ist jedoch die frühzeitige Erkennung. Die modernsten Methoden zur Früherkennung maligner Melanome sind die digitale Auflichtmikroskopie sowie die Analyse einzelner Naevi und die Analyse des gesamten Hautbildes zum Aufzeigen neuer und veränderter Läsionen, das sogenannte Total Body Mapping. Eine Kombination aus Auflichtmikroskopie und Total Body Mapping stellt den Goldstandard der Hautkrebsvorsorge dar und dient dazu, Veränderungen pigmentierter Hautläsionen noch frühzeitiger festzustellen und unnötige Exzisionen zu vermeiden.

Die typische Methode zur Früherkennung maligner Melanome ist die Überwachung verdächtiger Naevi im Zeitablauf mit Hilfe der digitalen Auflichtmikroskopie. Dabei werden mit einer speziellen Videokamera und Dermatoskopievorsatz (z. B. FotoFinder medicam®) Bilder in 20-70facher Vergrößerung gemacht und in einer Datenbank abgespeichert. Durch die Verlaufskontrolle können entstehende Melanome frühzeitig erkannt und in einem Stadium entfernt werden, in dem die Heilungschancen als hoch gelten. Durch den Vergleich von Wiederholungsaufnahmen in Abständen von drei bis sechs Monaten werden Veränderungen rechtzeitig diagnostiziert, um suspekte Läsionen gezielt zu exzidieren. Die Beurteilung der Läsionen liegt in der alleinigen Verantwortung des Dermatologen uns ist von dessen Expertise abhängig. Im Durchschnitt erreichen Dermatologen bei der Hautkrebsfrüherkennung eine Sensitivität von ca. 80% und einer Spezifität von ca. 80%.

Die "Sensitivität" (richtig positive Rate eines Tests) bezeichnet den Anteil der test-positiven Personen unter allen Erkrankten einer Stichprobe, d. h. die Wahrscheinlichkeit, mit einem diagnostischen Test die Kranken auch als krank zu identifizieren. Eine hohe Sensitivität wird angestrebt, wenn eine Erkrankung mit hoher Sicherheit ausgeschlossen werden soll.

Die "Spezifität" (richtig-negative Rate eines Tests) beschreibt den Anteil der Test-negativen Personen unter allen Nicht-Erkrankten einer Stichprobe, d. h. die Wahrscheinlichkeit, mit einem diagnostischen Test Nicht-Erkrankte korrekt zu identifizieren. Eine hohe Spezifität wird angestrebt, wenn eine Erkrankung mit großer Sicherheit bestätigt werden soll.

Für die Unterscheidung zwischen gutartigen Muttermalen und dem malignen Melanom ist eine jahrelange klinische Erfahrung erforderlich. Selbst Spezialisten können anhand des klinischen Bildes nicht immer sicher entscheiden, ob es sich um ein Melanom oder ein auffälliges Muttermal handelt. Zur auflichtmikroskopischen Bewertung von Muttermalen wurden in den letzten Jahren einige unterschiedliche Scores ( ABCD Regel, 7 Point Rule, 3 Point Rule) erarbeitet, die für die Diagnose von Melanomen hilfreich sein sollen - insbesondere für Dermatologen in der Ausbildung, für auf diesem Gebiet weniger erfahrene Dermatologen und für schwierig zu diagnostizierende Läsionen. Die Bewertung von Muttermalen hinsichtlich ihrer Malignität wird ferner durch zahlreiche computergestützte Expertensysteme unterstützt. So ist zum Beispiel der„Tübinger Mole Analyzer" (entwickelt unter der Leitung der Universitätshautklinik Tübingen) ein Hilfsmittel zur Untermauerung der Diagnose des Hautarztes. Mikroskopische Aufnahmen von Läsionen werden nach bestimmten Bilderkennungsparametern ausgewertet und diese Werte mit Werten einer Referenzdatenbank verglichen. Ein daraus ermittelter Gesamtwert (Score) gibt dem Dermatologen weitere Anhaltspunkte zur Festlegung seiner finalen Diagnose.

Die Bildanalyse-Software entfernt zunächst mittels eines Filters Bildstörungen, die etwa durch die versehentliche Aufnahme von kleinen Luftbläschen entstehen oder durch Haare verursacht werden. Im nächsten Schritt erfolgt eine vollautomatisierte Randsuche. Dabei beschreibt die Software über ein eigens entwickeltes Verfahren unter Berücksichtigung von Gradienten und Helligkeitsveränderungen möglichst exakt die Läsion. In einer an der Universitäts-Hautklinik Tübingen eigens dafür durchgeführten Studie wurden die wichtigsten bildanalytischen Parameter untersucht, die eine Unterscheidung zwischen Melanom und Muttermal ermöglichen. Mit einem komplexen Modell, in das die Größe der Läsion, spezielle Farbwerte und ein Texturmaß eingehen, lassen sich Wahrscheinlichkeitsaussagen zur Melanomdiagnose machen. Es wurden zwei Modelle angepasst: eines für kleine Läsionen, die vollständig abgebildet werden, das andere für über den Rand des Bildes hinausragende, große Läsionen. Für 605 kleine Läsionen liegt die Sensitivität bei 80 Prozent, die Spezifität bei 82 Prozent; für die 232 großen Läsionen beträgt die Sensitivität 88 Prozent und die Spezifität 83 Prozent. Damit erreicht das System in etwa die gleiche Diagnosequalität wie die eines Spezialisten. Obwohl die in einer Studie nachgewiesene Spezifität und Sensitivität gute Werte erreicht, ist bei diesem Expertensystem nachteilig, dass die Verwendung des Expertensystems nur für ein Aufnahmemedium (Kamera) validiert ist. Läsionen die mit davon abweichenden Kameramodellen (Videokamera, Digitalkamera etc.) aufgenommen wurden, können zwar auch auswertetet werden, die Ergebnisse sind jedoch nicht validiert.

Aus US7894651 ist eine Vorrichtung und ein Verfahren bekannt, dass mittels eines speziellen computergestützten Bildgebungssystems (MelaFind®) erstmals nicht-invasiv auch Daten eines auffälligen Leberflecks aus tieferen Hautschichten von bis zu 2,5 mm erfasst, dargestellt und auswerten kann. Die multispektrale Verwendung von polarisiertem Licht (10 verschiedenen Wellenlängen von 430 bis 950nm) ermöglicht es, auffällige Wachstumsmuster unterhalb der Hautoberfläche extrem genau nachzuweisen (Auflösung bis zu 20pm) und den Grad einer solchen Auffälligkeit äußerst präzise einzustufen (Sensitivität von 98,3%). In einer Zulassungsstudie für den US- amerikanischen Markt wurde jedoch festgestellt, dass die Spezifität relativ niedrig ist, d.h. das System häufig Läsionen als malignen einstuft, die sich später im Rahmen der histologischen Auswertung als harmlos herausstellten. Dieses System bietet weder dem Arzt als auch dem Patienten einen Mehrwert in der Hautkrebsfrüherkennung, da nahezu jedes Muttermal als Risikomuttermal eingestuft wird.

Nachteil aller Expertensysteme ist, dass sie hochspezialisiert auf ein schmales Wissensgebiet sind und se die Grenzen ihrer Kompetenz nicht erkennen. Werden also nicht passende Bilder in ein Expertensystem eingeben, kann dieses Diagnoseempfehlungen oder Risikoeinschätzungen geben, die schlichtweg falsch sind, weil das Ausgangsmaterial ungeeignet war. Insofern bedarf ein Expertensystem immer einen kompetenten Anwender.

Aus WO/2011/087807 ist ein System und Verfahren zur Diagnose eines Melanoms aus digitalen Bildern, die von einem entfernten Benutzer mit einem Smartphone oder einer Digitalkamera aufgenommen wurden und an einen Bildanalyseserver übertragen, der mit einem verteilten Netzwerk kommuniziert, bekannt. Der Bildanalyseserver enthält eine trainierte Lernmaschine zur Klassifizierung von Bildern von malignen und benignen Hautläsionen. Das vom Benutzer bereitgestellte Bild wird vorab verarbeitet, um Größe, Form und Farbe zu extrahieren. Diese Features werden dann mit der trainierten Lernmaschine verarbeitet, um die verdächtige Läsion zu klassifizieren. Das Klassifizierungsergebnis wird nachverarbeitet und eine Risikokennzahl ermittelt, die an den entfernten Benutzer übertragen wird. Eine mit dem Server verknüpfte Datenbank enthält Verweisinformationen zum geografischen Abgleich, d.h. dem Fernnutzer werden Kontaktinformationen von Ärzten zur Behandlung von Hautkrebs bereitgestellt.

Die Verwendung von sogenannter Künstlicher Intelligenz zur Musterverarbeitung und zur Erstellung von Diagnoseempfehlungen ist seit den früheren 1960 Jahren bekannt. Man analysierte, ausgehend von der Neurophysiologie, die Informationsarchitektur des menschlichen und tierischen Gehirns. Die Modellierung in Form künstlicher neuronaler Netze illustrierte, wie aus einer einfachen Grundstruktur komplexe Musterverarbeitung geleistet werden kann. Zur Untersuchung dieser Verfahren hat sich die Neuroinformatik als wissenschaftliche Disziplin entwickelt .Diese Art von Lernen beruht im Gegensatz zu Expertensystemen nicht auf der Herleitung und Anwendung von Regeln, denn die besonderen Fähigkeiten des menschlichen Gehirns sind nicht auf einen regelbasierten Intelligenz- Begriff reduzierbar.

Das menschliche Gehirn tut sich bei der Bilderkennung leicht. Es braucht keine Anstrengung, um z.B. einen Löwen und einen Tiger voneinander unterscheiden, ein Zeichen zu lesen oder das Gesicht eines Menschen zu erkennen. Es scheint einfach, weil das menschliche Gehirn unglaublich gut darin ist, Bilder zu verstehen. Hingegen ist eine computergestützte Bilderkennung eine komplexe Aufgabe. In den letzten Jahren hat der Bereich des maschinellen Lernens enorme Fortschritte bei der Bewältigung dieser schwierigen Aufgabe gemacht. Ein als Convolutional Neural Network (tiefe Faltungs-Neuronales Netzwerk) bezeichnete Form von Künstlicher Intelligenz erreicht eine vernünftige Leistung bei schweren visuellen Erkennungsaufgaben, wobei die Ergebnisse in manchen Bereichen mit der menschlichen Leistung übereinstimmen oder diese sogar übertreffen können.

Typische Modelle eines Convolutional Neural Networks sind QuocNet, AlexNet, Inception (GoogLeNet), BN-lnception-v2. Die Forschung hat einen stetigen Fortschritt in der Bildverarbeitung gezeigt, indem sie Ergebnisse gegen ImageNet validiert haben. ImageNet ist eine Datenbank von Bildern, welche für Forschungsprojekte eingesetzt wird. Jedes Bild wird einem Substantiv zugeordnet. Die Substantive sind durch das Word Net-Projekt hierarchisch angeordnet. Zu jedem Substantiv gibt es im Schnitt mehr als 500 Bilder.

ImageNet wird seit der Veröffentlichung, welche 2009 auf der IEEE Conference on Computer Vision and Pattern Recognition stattfand, zum Trainieren von Convolutional Neural Networks (CNN) verwendet - und stellt einen akademischen Maßstab für Bilderkennung dar.

Basierend auf den guten Ergebnissen der Convolutional Neural Network in der allgemeinen Bilderkennung wird in der Medizin und insbesondere in der Dermatologie daran gearbeitet, mit Hilfe von einem Convolutional Neural Network (CNN) die Hautkrebsfrüherkennung zu verbessern.

Es wird dabei gezielt daran gearbeitet, anhand von klinischen Bildern der Haut die Malignität einer Lasion mit Hilfe eines CNN zu bestimmen. Nachteilig erweist sich hierbei, dass das verfügbare Bildmaterial an klinischen Bildern hinsichtlich ihrer Qualität oftmals schlecht und nicht histologisch gesichert ist, d.h. zum Trainieren eines CNN nur bedingt geeignet ist.

Der Erfindung liegt daher die Aufgabe zugrunde, ein vor dem vorstehend beschriebenen Hintergrund verbessertes Verfahren zur Untersuchung der Haut anhand von mikroskopischen Bildern unter Einbeziehung eines CNN vorzuschlagen. Dieses Verfahren soll ferner durch die ergänzende Auswertung von klinischen Bildern zusammen mit den mikroskopischen Bildern verfeinert werden. Der Erfindung liegt weiterhin die Aufgabe zugrunde, eine zur Durchführung des genannten Verfahrens besonders geeignete Vorrichtung anzugeben.

Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass eine regelunabhängige Bewertung von Läsionen anhand der mikroskopischen und klinischen Bilder erfolgen kann, die in der täglichen dermatologischen Praxis im Rahmen der digitalen Hautkrebsvorsorge erstellt werden. Die Erfindung ist unabhängig von den verwendeten digitalen Aufnahmemedien, Bildformaten und Bildauflösungen. Die Kombination von mikroskopischen und klinischen Bildern im Rahmen einer Auswertung mittels eines Convolutional Neural Networks (CNN) bringt den Auswertevorgang als solche auf eine neue Ebene und ermöglicht eine parallele Auswertung oder eine Einzelauswertung anhand des mikroskopischen Bildes oder des klinischen Bildes.

Bezüglich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 3 ff.. Weitere Vorteile und Merkmale der Erfindung ergeben sich aus nachfolgender Beschreibung eines bevorzugten Ausführungsbeispiels anhand der beigefügten Zeichnungen.

Dabei zeigt:

Fig. 1 ein schematisiertes Ablaufdiagramm eines Teils des erfindungsgemäßen Verfahrens; Fig. 2 ein schematisiertes Ablaufdiagramm eines weiteren Teils des erfindungsgemäßen Verfahrens;

Fig. 3 eine schematische Darstellung einer zur Durchführung des genannten Verfahrens besonders geeignete Vorrichtung;

Das erfindungsgemäße Verfahren sieht folgende Schritte gemäß Fig.1 vor:

Zunächst erfolgt die Aufnahme digitaler Bilder eines Untersuchungskörpers (Patienten) anhand einer Mehrzahl vorgegebener Positionierungen des Untersuchungskörpers bezüglich des Abbildungssystems durch das Abbildungssystem (S1 a). Dieser Verfahrensschritt wird als Total Body Mapping bezeichnet.

In einem nächsten Verfahrensschritt werden vom Anwender zu den aufgefunden Läsionen mikroskopische Bilder mittels eines digitalen Dermatoskops erstellt (S1 b). Dem Anwender steht es frei, ob er von allen aufgefundenen oder nur von ausgewählten Läsionen mikroskopische Aufnahmen erstellt. Die mikroskopischen Aufnahmen werden durch den vorgebenden Bedienungsablauf den Läsionen in den Total Body Mapping Aufnahmen zugeordnet (Si c).

In einem weiteren Verfahrensschritt (S2) werden die mikroskopischen Aufnahmen an das ein CNN enthaltenes Auswertemodul übergeben, das zum Beispiel auf dem GoogleNet Inception v4 CNN Architektur basiert. Dazu werden die mikroskopischen Bilder wie folgt verarbeitet:

Die Inception Architektur erfordert derzeit eine standardisierte Bereitstellung der Bilder im Format 229 x229 Pixel. Die mikroskopischen Aufnahmen liegen in der Regel in einem rechteckigen Format vor und sind in einer höheren Auflösung aufgenommen. Nachdem die mikroskopischen Aufnahmen von verschiedenen Aufnahmegeräten stammen können, zusätzlich kann die Auflösung der jeweiligen Aufnahme variieren. Die Anpassung des Bildverhältnisses auf ein Verhältnis 1 : 1 für das CNN Modul kann durch Zuschneiden des Bildes auf ein Bildverhältnis 1 : 1 oder durch Auffüllen des rechteckigen Bildbereichs zu einem Bildverhältnis 1 : 1 erfolgen. Dabei ist jedoch nachteilig, dass beim Zuschneiden wichtige Bildinformationen der Läsion verloren gehen könnten, wenn diese nicht zentriert, also bildmittig aufgenommen wurde. Das Auffüllen des Bildbereichs auf ein Bildverhältnis 1 : 1 hat jedoch den Nachteil, dass das Bild noch größer wird und mit Bildinformationen gefüllt wird, die für die Auswertung nicht relevant sind, da nachträglich hinzugefügt. Zum anderen muss die Auflösung anschließend auf 229 x 229 Pixel reduziert werden, so dass also durch das Auffüllen und anschließende Komprimieren noch ein zusätzlicher Qualitätsverlust erfolgt. Bei beiden vorgenannten Bearbeitungsschritten ginge also für die Auswertung wichtige Bildinformation verloren.

Der dieser Erfindung zugrunde liegende Verfahrensschritt sieht daher eine kombinierte Vorgehensweise vor. Zunächst wird das Bild auf ein Bildverhältnis von 1 : 1 aufgefüllt (sog. Padding). Dabei wird das Bild mit schwarzen Pixeln auf ein quadratisches Bildformat aufgefüllt. Anschließend wird dieses Bild zugeschnitten (sog. cropping), so dass sie hinsichtlich Format und Auflösung vom CNN-Auswertemodul übernommen werden können. Es wird also aus einem mikorskopischen Bild je nach Größe und Auflösung eine Vielzahl von Bildzuschnitten mit einem Bildverhältnis 1 :1 und einer Auflösung von 229 x 229 Pixel erstellt. Dadurch muss kein Qualitätsverlust hingenommen werden. Sofern es sich um eine melanozytäre Läsion handelt, die im Bildbereich der mikroskopischen Aufnahme vollständig abgebildet ist, kann mittels automatischer Randerkennung die Läsion aus dem Bild ausgeschnitten werden und in einem neuen Datensatz zwischengespeichert werden. Auf diesen Datensatz werden dann anschließend die vorgenannten Bearbeitungsschritte S2a und S2b durchgeführt mit dem Vorteil, dass dabei weniger Bildinformationen verloren gehen.

Ein CNN besteht aus einer oder mehreren Faltungsschichten, häufig mit einer Sub-Sampling- Schicht, die von einer oder mehreren voll verbundenen Schichten wie in einem herkömmlichen neuronalen Netz gefolgt wird. Das Design eines CNN orientiert sich an der Sehrinde im Gehirn. Die Sehrinde enthält viele Zellen, die dafür verantwortlich sind, Licht in kleinen sich überlappenden Unterbereichen des Gesichtsfelds zu erkennen. Diese werden Rezeptorenfelder genannt. Die Zellen agieren als lokale Filter für den Eingabebereich, während komplexere Zellen größere Rezeptorenfelder haben. Die Faltungsschicht in einem CNN führt die gleiche Funktion aus wie die Zellen in der Sehrinde. Jedes Element einer Schicht empfängt Eingaben von verschiedenen Elementen, die in enger Nachbarschaft in der vorhergehenden Schicht liegen und damit quasi lokale Rezeptorenfelder darstellen. Mit lokalen Rezeptorenfeldern lassen sich elementare Sehmerkmale wie Kanten, Endpunkte, Ecken usw. extrahieren, die dann mittels höherer Schichten kombiniert werden. Im konventionellen Modell der Muster-/Bilderkennung sammelt ein manuell entwickeltes Merkmal-Extraktionswerkzeug relevante Informationen aus der Eingabe und entfernt irrelevante Bestandteile. Dem Extraktionswerkzeug folgt ein trainierbarer Klassifizierer, ein herkömmliches neuronales Netz, das Merkmal-Vektoren in Klassen einteilt. In einem CNN übernehmen dagegen Faltungsschichten die Funktion des Merkmal-Extraktionswerkzeugs. Diese wurden aber nicht manuell entwickelt, sondern ein Trainingsprozess hat die entsprechenden Filtergewichte bestimmt. Die Faltungsschichten können lokale Merkmale extrahieren, da sie die Empfangsfelder der verdeckten Schichten auf den lokalen Bereich einschränken.

Die in dieser Erfindung verwendete CNN Struktur besteht aus 27 Schichten, wobei die erste Schicht das eingegebene Bild und die letzte Schicht die Klassifizierung und ein Vertrauenswert darstellen. In den Schichten dazwischen werden bestimmte Filtermethoden auf verschiedene Pixeleinstellungen angewandt um so viel Informationen aus den Bildern zu ziehen wie möglich. Bei einigen Filtern werden bestimmte Mittelwerte oder Maximalwerte extrahiert. Über die vorletzte Schicht wird das Model generalisiert. Um ein CNN Netzwerk für die Erkennung und Bewertung von Hautläsionen verwenden zu können, muss man das CNN Netzwerk darauf trainieren. CNN Netzwerke funktionieren am besten mit großen Datensätzen. Dazu verwendet man einen sehr gut trainierten Datensatz (über 1 ,2 Mio. Bilder) mit ausgezeichneter Performance hinsichtlich allgemeiner Bilderkennung und passt diesen an die neue Aufgabenstellung zur Erkennung von Hautläsionen an. Dieses Verfahren wird als„transfer learning" bezeichnet. Dazu wird das vorhandene Modell mit angepassten Gewichtungswerten initialisiert, sodass es am Ende dazu in der Lage ist eine Läsion klassifizieren zu können. Damit diese Methode zuverlässig funktioniert, wurden für das spezifische Training des der Erfindung zugrunde liegenden Modells über 25.000 dermatoskopische Bilder von Hautläsionen verwendet. Diese Aufnahmen wurden entweder durch Histologie oder durch Verlaufskontrolle ohne Veränderung als bösartig (malignant) oder gutartig (benign) diagnostiziert.

Diese gemäß S2a und S2b erstellten Bildausschnitte werden nun vom CNN-Auswertemodul übergeben (S3) und hinsichtlich ihrer Malignität ausgewertet (S4a). Dabei werden die Bildausschnitte jeweils mehrmals in das CNN-Auswertemodul in unterschiedlichen Ausrichtungen eingegeben, d.h. in unterschiedlichen Winkeln und Drehungen.

Diese Teilergebnisse werden anschließend zu einem Endergebnis verrechnet (S4b).

Das Endergebnis wird anschließend in Form eines Gewichtungswertes für die betroffene Läsion auf der Ausgabeeinheit für den Anwender angezeigt.

Im Rahmen der Auswertung gemäß S4a und S4b ist es dabei unwesentlich, in welchem Vergrößerungsfaktor die mikroskopischen Aufnahmen erstellt wurden. Es können beispielsweise dermatoskopische Aufnahmen mit 20-facher optischer Vergrößerung genauso ausgewertet werden wie Aufnahmen mit 70-facher Vergrößerung.

Nachdem eine mikroskopische Aufnahme stets einem klinischen Bild zugeordnet ist, wird in einem ergänzenden Verfahrensschritt (siehe Fig.2) aus dem klinischen Bild ein Teilausschnitt durch die Verarbeitungseinheit erstellt und abgespeichert. Die Extraktion erfolgt durch eine Bilderkennungsund Verarbeitungsfunktion (Software) die auf der Verarbeitungseinheit installiert ist. Wird dieser Detailausschnitt anschließend in voller Auflösung angezeigt, so können bereits anhand diesen klinischen Bildes die dermatoskopischen Strukturen der Läsion wie Farbe, Durchmesser, Struktur, Begrenzung gut erkannt werden. Anschließend wird dieser Datensatz zum Trainieren des CNN bereitgestellt, indem er nach dem dafür üblichen Vorgehen in das CNN eingepflegt wird (S6).

Insofern kann das erfindungsgemäße Verfahren auch ergänzend auf klinische Bilder angewendet werden, denn nach entsprechendem Trainingsaufwand kann anhand der klinischen Bilder einer Läsion bereits eine Risikoeinschätzung hinsichtlich der Malignität erfolgen.

Um das Verfahren hinaus weitere Vorteile zu verleihen, ist es besonders wünschenswert, wenn neben der Malignität der Läsion auch ermittelt wird, ob es sich bei der Läsion um ein melanozytäre oder eine nicht- melanozytäre Läsion handelt. Nachdem die Abgrenzung zwischen melanozytären und nicht- melanozytären Läsionen für den Arzt aufwändig ist, bietet eine entsprechende Auswertung durch das erfindungsgemäße Verfahren einen deutlichen Mehrwert für die ärztliche Diagnosefindung.

Unter dem Begriff der melanozytären Läsion versteht man in der Dermatologie ein Hautareal, das sich farblich von seiner Umgebung unterscheidet. Verantwortlich für die meist bräunliche Färbung sind die Pigmentzellen der Haut - die Melanozyten. Diese Läsion wird als Nävus bezeichnet.

Unter den nicht-melanozytären Läsionen werden durch verschiedene Faktoren bedingte Veränderungen der Oberhaut verstanden. Als Ursachen kommen besonders chronische Lichtschädigungen oder die Infektion mit bestimmten Viren in Frage. Gegenüber den melanozytären Läsionen werden sie in einem mehrstufigen Verfahren abgegrenzt. Häufige nicht-melanozytäre Läsionen sind zum Beispiel die aktinische Keratose oder Morbus Bowen, eine Vorstufe des Spinalioms sowie Basalzellkarzinome.

Aktinische Keratosen können dunkel gefärbt sein, so dass der Arzt zunächst von eine melanozytären Läsion ausgehen könnte.

Das Verfahren erfolgt analog zum dem Verfahren zur Ermittlung des Gewichtungswertes hinsichtlich der Malignität. Wie in Fig. 1 dargestellt, werden die mikroskopischen Bilder der Läsion für die Übergabe in das CNN entsprechend aufbereitet und an dieses übergeben. Das CNN ist zuvor anhand von Trainingsdatensätzen mittels Bilder von melanozytären und nicht- melanozytären Läsionen trainiert und kann diesbezüglich einen Gewichtungswert ausgeben.

Die erfindungsgemäße Aufgabe wird durch eine computerisierte Vorrichtung gelöst, welches eine Empfangseinheit zum Empfangen von klinischen Bildern von Hautläsionen sowie die dazugehörigen mikroskopischen Aufnahmen der Hautläsion eines Menschen oder Tieres eingerichtet ist. Ferner verfügt die Vorrichtung über eine Verarbeitungseinheit die in der Weise konfiguriert ist, die empfangenen klinischen Bilder von Hautläsionen sowie der dazugehörigen mikroskopischen Aufnahmen der Hautläsionen zu verarbeiten, d.h. um die Bilder für die Übergabe in ein Convolutional Neural Network (CNN) vorzubereiten. Ferner verfügt die Vorrichtung über eine Bereitstellungseinheit, die in der Weise konfiguriert ist, ein Convolutional Neural Network (CNN) vorzuhalten. Nachdem das Betreiben eines Convolutional Neural Network (CNN) eine erhebliche Rechnerleistung bedarf, ist in der Regel die Bereitstellungseinheit räumlich von der Empfangs- und Verarbeitungseinheit getrennt und die verschiedenen Einheiten sind über eine Netzwerkleitung oder das Internet verbunden. Die Empfangs- und Verarbeitungseinheit kann zum Beispiel aus einem handelsüblichen Total Body Mapping System (z.B. FotoFinder bodystudio ATBM) bestehen, wie es in DE 20 2013 007 374U1 offenbart ist. Es wird dabei eine hochauflösende Digitalkamera (Auflösung 24 MegaPixel oder höher) zum Erstellen der klinischen Bilder der menschlichen Haut von einzelnen Körperregionen verwendet. Die Verarbeitungseinheit nutzt die hochauflösenden Bilder um daraus einzelne Läsionen aus dem klinischen Bild zu extrahieren und dies in ihrer vollen Auflösung für die weitere Verarbeitung bereitzustellen. Die Extraktion erfolgt durch eine Bilderkennungs- und Verarbeitungsfunktion (Software) die auf der Verarbeitungseinheit installiert ist. Wird dieser Detailausschnitt anschließend in voller Auflösung angezeigt, so können bereits anhand diesen klinischen Bildes die dermatoskopischen Strukturen der Läsion wie Farbe, Durchmesser, Struktur, Begrenzung gut erkannt werden. Da sich die Auflösung zukünftiger digitaler Kameras erfahrungsgemäß weiter erhöhen wird, wird sich das Ergebnis dieser Vorgehensweise immer mehr einer dermatoskopischen Aufnahme annähern bzw. dieser entsprechen. Die extrahierten Bilder werden als neuer Datensatz gespeichert und mit der dazugehörigen klinischen Aufnahme verknüpft. Diese beiden Datensätze können dann in das CNN zur weiteren Auswertung übergeben werden. Der Datensatz des klinischen Bildes kann zum Trainieren des CNN verwendet werden, wobei das Ergebnis der Auswertung des zugehörigen mikroskopischen Bildes in Form des Gewichtungswertes mitübergeben wird. Dieser Gewichtungswert definiert also die Einstufung des klinischen Bildes als benign oder malignant.

In einer weiteren vorteilhaften Ausführungsform kann hierbei der histologische Befund für die Läsion mitübergeben werden. Wird eine Läsion vom Arzt als bösartig klassifiziert und operativ entfernt, wird in der Regel im Rahmen einer histologischen Untersuchung die Malignität der Läsion final geklärt. Das Ergebnis der histologischen Untersuchung kann mit dem Datensatz der mikroskopischen Aufnahme und damit auch mit der klinischen Aufnahme der Läsion verknüpft werden und erhöht somit die Validität des Datensatzes als Trainingsdatensatz für das CNN.

Fundstellen a) Dermatologist-Ievel Classification of skin cancer with deep neural networks" Andre Esteva, Brett Kuprel (..) , Nature 542, 1 15-1 18 02 February 2017)

b) Ciresan, D., Meier, U., Schmidhuber, J,:. Multi-column deep neural networks for image classication. In: Conference on Computer Vision and Pattern Recognition, IEEE (2012) 3642-3649;

c) Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classication with deep convolutional neural networks. In: Advances in Neural Information Processing Systems. Volume 1. (2012) 4;

Claims

Patentansprüche

1. Eine computerisierte Vorrichtung zum Verarbeiten von Bilddaten, wobei die computerisierte Vorrichtung umfasst:

eine Empfangseinheit die konfiguriert ist, klinische Bilder von Hautlasionen sowie die dazugehörigen mikroskopischen Aufnahmen der Hautläsion eines Menschen oder Tieres zu empfangen,

eine Verarbeitungseinheit die konfiguriert ist, die empfangenen klinischen Bilder von Hautläsionen sowie der dazugehörigen mikroskopischen Aufnahmen der Hautläsionen zu verarbeiten und

eine Bereitstellungseinheit die konfiguriert ist, ein Convolutional Neural Network (CNN) zum Verarbeiten der klinischen Bilder von Hautläsionen sowie der dazugehörigen mikroskopischen Aufnahmen der Hautläsionen vorzuhalten und

unter Verwendung eines Convolutional Neural Network (CNN)) Hautläsionen anhand der mikroskopischen Aufnahmen hinsichtlich ihrer Malignität klassifiziert und

einen Gewichtungswert für die Läsion ermittelt und

anschließend die klinischen Bilder der Läsion unter Bezugnahme auf den ermittelten Gewichtungswert der zugehörigen mikroskopischen Aufnahme zum Trainieren des CNN bereitstellt.

2. Eine computerisierte Vorrichtung gemäß Anspruch 1 , dadurch gekennzeichnet, dass

unter Verwendung eines Convolutional Neural Network (CNN) Hautläsionen anhand der mikroskopischen Aufnahmen hinsichtlich ihrer Melanozytät klassifiziert und

einen Gewichtungswert für die Läsion ermittelt wird.

3. Ein Verfahren zum Verarbeiten von Bilddaten, wobei das Verfahren umfasst:

Empfangen einer mikroskopischen Aufnahme der Hautläsion eines Menschen oder Tieres Bereitstellen eines Convolutional Neural Network (CNN) zum Verarbeiten der empfangenen Bilddaten und

Verarbeiten mikroskopische Aufnahme unter Verwendung des Convolutional Neural Network (CNN) zum Klassifizieren der Malignität der Hautläsion und

Errechnen und Ausgabe eines Gewichtungswertes für die Läsion.

4. Ein Verfahren zum Verarbeiten von Bilddaten, wobei das Verfahren umfasst:

Empfangen einer mikroskopischen Aufnahme einer Hautläsion eines Menschen oder Tieres Bereitstellen eines Convolutional Neural Network (CNN) zum Verarbeiten der empfangenen Bilddaten und Verarbeiten der empfangenen Bilddaten unter Verwendung des Convolutional Neural Network (CNN) zur Bestimmung der Melanozytät der Lasion. und

Errechnen und Ausgabe eines Gewichtungswertes für die Läsion.

5. Ein Verfahren gemäß Anspruch 3, wobei das Verfahren umfasst:

Empfangen eines vergrößerten Ausschnitts des klinischen Bildes der Lasion sowie der dazugehörigen mikroskopischen Aufnahme der Hautläsion;

Bereitstellen eines Convolutional Neural Network (CNN) zum parallelen Verarbeiten der empfangenen und verbundenen Bilddaten sowie

Trainieren des Convolutional Neural Network (CNN) anhand des klinischen Bildes und dem dazugehörigen mikroskopischen Bildes sowie des ermittelten Gewichtungswertes.

6. Ein Verfahren nach den Ansprüchen 3, 4 und 5 wobei das Verfahren umfasst:

Auffüllen des in das Convolutional Neural Network (CNN) zu übergebende Bild auf ein Bildverhältnis von 1 : 1 (sog. Padding) und

Zuschneiden des Bildes (sog. cropping) in Teilbilder mit einer für die Übergabe in ein Convolutional Neural Network (CNN) geeignete Auflösung.

7. Ein Verfahren nach Anspruch 6 wobei das Verfahren umfasst:

Zuschneiden des Bildes (sog. cropping) in Teilbilder mit einer Auflösung von 223 x 223 Pixel.

8. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass der gewichtete Gesamtwert in der Verarbeitungseinheit gespeichert wird.