DE102024201190A1

DE102024201190A1 - Verfahren und Systeme für föderales Lernen eines Maschinenlernmodells

Info

Publication number: DE102024201190A1
Application number: DE102024201190.8A
Authority: DE
Inventors: Varghese Kollerathu; Vineet Vinay Bhombore; Matthias Wolf
Original assignee: Siemens Healthineers AG
Current assignee: Siemens Healthineers AG
Priority date: 2024-02-09
Filing date: 2024-02-09
Publication date: 2025-08-14
Also published as: CN120471137A; US20250259428A1

Abstract

Es sind computerimplementierte Verfahren und entsprechende Systeme für föderales Lernen eines Maschinenlernmodells offenbart, deren Ausführungsformen die folgenden Schritte implementieren:- Empfangen (S10), an der Modellaggregatorvorrichtung (MAD), von einem lokalen Standort (LS), der sich entfernt von der Modellaggregatorvorrichtung (MAD) befindet, einer lokalen Aktualisierung (ML') des Maschinenlernmodells (ML), wobei die lokale Aktualisierung (ML') am lokalen Standort (LS) basierend auf lokalen Daten (LTD) erzeugt wurde, und einer Parametrisierung (P) der lokalen Daten (LTD),- Erzeugen (S20), an der Modellaggregatorvorrichtung (MAD), einer synthetischen Repräsentation (SR) der lokalen Daten (LTD) basierend auf der Parametrisierung (P) unter Verwendung einer generativen KI-Funktion (GEN),- Beurteilen (S30), an der Modellaggregatorvorrichtung (MAD), der lokalen Aktualisierung (ML') unter Verwendung der synthetischen Repräsentation (SR), um ein Beurteilungsergebnis zu erhalten, das die Leistung der lokalen Aktualisierung (ML') angibt, und- Aktualisieren (S40), an der Modellaggregatorvorrichtung (MAD), des Maschinenlernmodells (ML) basierend auf dem Beurteilungsergebnis und der lokalen Aktualisierung (ML').

Description

Ausführungsformen der vorliegenden Erfindung betreffen Systeme und Verfahren zum Bereitstellen eines aktualisierten Maschinenlernmodells in einer verteilten Umgebung. Insbesondere betreffen Ausführungsformen der vorliegenden Erfindung das föderale Lernen eines Maschinenlernmodells, um ein aktualisiertes Maschinenlernmodell bereitzustellen. Insbesondere betreffen Ausführungsformen der vorliegenden Erfindung die Verwendung eines aktualisierten Maschinenlernmodells zur medizinischen Datenverarbeitung und insbesondere zur medizinischen Bilddatenverarbeitung.
Maschinelle Lernverfahren und -algorithmen werden weitläufig angewendet, um Erkenntnisse und/oder (prädiktive) Rechenmodelle aus Daten zu erzeugen. Typischerweise werden Daten einer Verarbeitungseinheit (wie etwa einer Cloud) zugeführt, die solche Verfahren und Algorithmen ausführen kann, um Modelle zu trainieren oder Erkenntnisse zu erzeugen. In dieser Hinsicht haben sich maschinelle Lernverfahren in verschiedenen Anwendungsgebieten als sehr vielseitig erwiesen. Sie werden beispielsweise verwendet, um die Entscheidungsfindung beim autonomen Fahren zu unterstützen. Gleichermaßen wird auf maschinelle Lernverfahren beim Bereitstellen medizinischer Diagnosen durch automatisierte Systeme zurückgegriffen, die physiologische Messungen wie etwa medizinische Bilder verarbeiten.
Aufgrund von Datenschutzbestimmungen ist es häufig jedoch nicht möglich, Daten einer externen Verarbeitungseinheit zuzuführen, die maschinelle Lernverfahren und -algorithmen ausführen kann, aber deren Eigentümerschaft von der der Daten abweicht. Häufig müssen die Daten unter solchen Umständen immer vor Ort beim Dateneigentümer bleiben. Diese Situation entsteht in vielen Fällen im Gesundheitswesen, bei dem die inhärente Sensibilität patientenbezogener Daten wichtige Bedenken hinsichtlich des Datenschutzes der Patienten aufwirft.
Eine Weise zum Ansprechen dieses Problems besteht darin, ein verteiltes oder föderales Lernschema zu implementieren. Hier kann ein zentrales Maschinenlernmodell, das an einer Modellaggregatorvorrichtung (wie etwa einer zentralen Servereinheit) gehostet wird, basierend auf der Nutzung verbessert werden, die durch viele Client-Einheiten gemeldet wird, die jeweils an lokalen Standorten vorhanden sind. Dadurch wird ein fertig trainiertes, funktionierendes und einsetzbares zentrales Maschinenlernmodell an die lokalen Standorte verteilt und lokal ausgeführt. Jeder Client kann zufällig, periodisch oder auf Befehl eine lokale Aktualisierung an die zentrale Servereinheit senden. Die lokale Aktualisierung kann eine lokale Änderung am Maschinenlernmodell basierend auf den durch den Client gesammelten lokalen Daten zusammenfassen. Die Modellaggregatorvorrichtung kann die lokalen Aktualisierungen verwenden, um das Maschinenlernmodell zu verbessern. Im Gegenzug kann die Modellaggregatorvorrichtung dann zu den Clients ein modifiziertes Maschinenlernmodell hochladen, das die Lernmodifikationen basierend auf der tatsächlichen Nutzung, die durch den Client gemeldet wird, implementiert. Dies ermöglicht den Clients, kollaborativ zu lernen und ein gemeinsam genutztes Maschinenlernmodell zu verbessern, während ihre lokalen und potenziell klassifizierten Daten nicht außerhalb der Client-Einheiten verteilt werden.
Ein Problem in dieser Hinsicht besteht darin, dass die lokalen Aktualisierungen an der Modellaggregatorvorrichtung beurteilt oder getestet werden müssen, um zu bestimmen, ob sie eine Verbesserung darstellen. Zu diesem Zweck muss die Modellaggregatorvorrichtung Testdaten haben, auf deren Basis Modifikationen des Maschinenlernmodells getestet werden. Typischerweise handelt es sich bei diesen Testdaten um einen festen Satz, der in Übereinstimmung mit Datenschutzbestimmungen erhalten wurde. Das zentrale Unterhalten eines solchen festen Satzes hat mehrere Nachteile. Zunächst sind solche Testdaten schwierig zu erhalten, und daher ist die Anzahl von Dateninstanzen beschränkt. Darüber hinaus gibt es keine Garantie, dass die zentral gehosteten Testdaten für die realen Szenarien repräsentativ sind, und zudem sind solche festen Daten nicht gegenüber Konzeptdrift (Concept Drift) widerstandsfähig, die im Feld auftreten kann.
Als eine Alternative wurde vorgeschlagen, einen dezentralisierten Ansatz zur Beurteilung der Modelle zu verwenden (vgl. beispielsweise US 2021 / 0 097 439 A1 ). Hier wird ein aggregiertes Modell an alle Clients gesendet, um eine Beurteilung an den lokalen Testdaten durchzuführen. Jeder Client lädt die Modelle herunter, führt Inferenz durch und lädt dann Beurteilungsergebnisse hoch. Der zentrale Server aggregiert die Beurteilungsleistung über Standorte hinweg und entscheidet dann, das Modell zu behalten oder es zu verwerfen. Dies ergibt den Vorteil, dass die Modelle an realen Daten getestet werden und die Möglichkeit der Überanpassung reduziert wird, da sich die Testdaten als eine Funktion der Zeit ändern. Andererseits leidet dieser Ansatz jedoch auch unter Nachteilen. Erstens müssen die Clients Rechenressourcen nicht nur für das Training, sondern auch für das Testen reservieren. Dies könnte die Durchlaufzeiten sowohl bei Modellaktualisierungszyklen als auch bei der tatsächlichen Nutzung der Modelle an den Clients reduzieren. Zweitens führt dies notwendigerweise zu erhöhtem Datenverkehr, da die Clients die Modelle herunter- und die Ergebnisse zurück zu der Modellaggregatorvorrichtung hochladen müssen. Drittens werden sich die lokalen Daten konzeptuell im Laufe der Zeit ändern. Während dies den Effekt der Überanpassung reduziert, kann es schwierig werden, aktuelle Modelle mit historischen Modellen zu vergleichen.
Es ist daher ein Ziel von Ausführungsformen der Erfindung, verbesserte Verfahren und Systeme für föderales Lernen einer Maschinenlernfunktion bereitzustellen. Insbesondere ist es ein Ziel von Ausführungsformen der vorliegenden Erfindung, Systeme und Verfahren bereitzustellen, die eine effizientere Beurteilung von Maschinenlernfunktionen in einer verteilten Umgebung ermöglichen.
Dieses Ziel wird durch ein Verfahren für föderales Lernen eines Maschinenlernmodells, ein System für föderales Lernen eines Maschinenlernmodells, entsprechende Computerprogrammprodukte und computerlesbare Speichermedien gemäß den Hauptansprüchen gelöst. Alternative und/oder bevorzugte Ausführungsformen sind der Gegenstand der abhängigen Ansprüche.
Im Folgenden wird die technische Lösung gemäß der vorliegenden Erfindung mit Bezug auf die beanspruchten Einrichtungen sowie mit Bezug auf die beanspruchten Verfahren beschrieben. Hierin beschriebene Merkmale, Vorteile oder alternative Ausführungsformen können gleichermaßen zu anderen beanspruchten Gegenständen zugewiesen werden, und umgekehrt. Mit anderen Worten können Ansprüche, die das erfindungsgemäße Verfahren ansprechen, durch Merkmale verbessert werden, die mit Bezug auf die Einrichtungen beschrieben oder beansprucht werden. In diesem Fall werden z. B. funktionelle Merkmale des Verfahrens durch objektive Einheiten oder Elemente der Einrichtung verkörpert.
Die technische Lösung wird sowohl mit Bezug auf Verfahren und Systeme zum Bereitstellen einer aktualisierten Maschinenlernfunktion sowie mit Bezug auf Verfahren und Systeme zum Bereitstellen von Trainings- oder Testdaten zum Aktualisieren eines Maschinenlernsystems beschrieben. Merkmale und alternative Formen von Ausführungsformen von Datenstrukturen und/oder Funktionen für Verfahren und Systeme zum Bereitstellen von Maschinenlernfunktionen können auf analoge Datenstrukturen und/oder Funktionen für Verfahren und Systeme zum Bereitstellen von Trainings- oder Testdaten übertragen werden. Analoge Datenstrukturen können insbesondere durch Verwendung des Präfixes „Training“ identifiziert werden. Ferner können die in Verfahren und Systemen zum Bereitstellen von Informationen verwendeten Vorhersagefunktionen insbesondere durch Verfahren und Systeme zum Anpassen von Vorhersagefunktionen angepasst und/oder trainiert und/oder bereitgestellt worden sein.
Gemäß einem Aspekt ist ein computerimplementiertes Verfahren für föderales Lernen eines Maschinenlernmodells in einer Modellaggregatorvorrichtung bereitgestellt. Das Verfahren umfasst eine Vielzahl von Schritten. Ein Schritt ist auf das Empfangen, an der Modellaggregatorvorrichtung, von einem lokalen Standort, der sich entfernt von der Modellaggregatorvorrichtung findet, einer lokalen Aktualisierung des Maschinenlernmodells und einer Protokolldatei ausgerichtet, wobei die lokale Aktualisierung am lokalen Standort basierend auf lokalen Daten erzeugt (oder bereitgestellt) wurde und die Protokolldatei eine Parametrisierung der lokalen Daten umfasst. Ein anderer Schritt ist auf das Erzeugen, an der Modellaggregatorvorrichtung, einer synthetischen Repräsentation der lokalen Daten basierend auf der Parametrisierung unter Verwendung einer generativen KI-Funktion ausgerichtet. Ein anderer Schritt ist auf das Beurteilen, an der Modellaggregatorvorrichtung, der lokalen Aktualisierung unter Verwendung der synthetischen Repräsentation ausgerichtet, um ein Beurteilungsergebnis zu erhalten, das die Leistung der Modellaktualisierung angibt. Ein anderer Schritt ist auf das Aktualisieren, an der Modellaggregatorvorrichtung, des Maschinenlernmodells basierend auf dem Beurteilungsergebnis und der lokalen Aktualisierung ausgerichtet.
Gemäß einem weiteren Aspekt ist ein computerimplementiertes Verfahren für föderales Lernen eines Maschinenlernmodells in einer Modellaggregatorvorrichtung bereitgestellt. Das Verfahren umfasst eine Vielzahl von Schritten. Ein Schritt ist auf das Empfangen, an der Modellaggregatorvorrichtung, von einem ersten lokalen Standort, der sich entfernt von der Modellaggregatorvorrichtung findet, einer ersten lokalen Aktualisierung des Maschinenlernmodells und einer Protokolldatei ausgerichtet, wobei die erste lokale Aktualisierung am lokalen Standort basierend auf lokalen Daten erzeugt (oder bereitgestellt) wurde und die Protokolldatei eine Parametrisierung der lokalen Daten umfasst. Ein anderer Schritt ist auf das Erzeugen, an der Modellaggregatorvorrichtung, einer synthetischen Repräsentation der lokalen Daten basierend auf der Parametrisierung unter Verwendung einer generativen KI-Funktion ausgerichtet. Ein anderer Schritt ist auf das Empfangen, an der Modellaggregatorvorrichtung, von einem zweiten lokalen Standort, der sich entfernt von der Modellaggregatorvorrichtung befindet und sich vom ersten lokalen Standort unterscheidet, einer zweiten lokalen Aktualisierung des Maschinenlernens, die sich von der ersten lokalen Aktualisierung unterscheidet, ausgerichtet. Ein anderer Schritt ist auf das Beurteilen, an der Modellaggregatorvorrichtung, der zweiten lokalen Aktualisierung unter Verwendung der synthetischen Repräsentation ausgerichtet, um ein Beurteilungsergebnis zu erhalten, das die Leistung der zweiten Modellaktualisierung angibt. Ein anderer Schritt ist auf das Aktualisieren, an der Modellaggregatorvorrichtung, des Maschinenlernmodells basierend auf dem Beurteilungsergebnis und der zweiten lokalen Aktualisierung ausgerichtet.
Die Modellaggregatorvorrichtung kann eine zentrale Servereinheit sein, die dazu ausgelegt ist, das föderale Lernen des Maschinenlernmodells zu administrieren. Beispielsweise kann die Modellaggregatorvorrichtung einen Webserver umfassen. Ferner kann die Modellaggregatorvorrichtung einen Cloud-Server oder einen lokalen Server umfassen. Die Modellaggregatorvorrichtung kann sich in Datenkommunikation mit einem oder mehreren lokalen Standorten befinden. Die Modellaggregatorvorrichtung kann dazu ausgelegt sein, das Maschinenlernmodell an die lokalen Standorte bereitzustellen und aktualisierte Maschinenlernmodelle von den lokalen Standorten (lokale Aktualisierungen) zu erhalten. Die Modellaggregatorvorrichtung kann ferner dazu ausgelegt sein, die lokalen Aktualisierungen zu beurteilen und über eine Integration von Merkmalen der lokalen Aktualisierung im Maschinenlernmodell basierend auf dem Beurteilungsschritt zu entscheiden. Die Modellaggregatorvorrichtung kann eine Schnittstelleneinheit zum Ermöglichen der Datenkommunikationen mit den lokalen Standorten umfassen, beispielsweise über eine Internetverbindung.
Der lokale Standort kann als ein Client oder eine Client-Einheit im föderalen Lernnetzwerk angesehen werden, das durch die Modellaggregatorvorrichtung administriert wird. Die lokalen Standorte können insbesondere ein lokales Computernetzwerk umfassen, das eine oder mehrere Recheneinheiten umfasst. Die lokalen Standorte können sich beispielsweise auf eine Organisation beziehen, in der das Maschinenlernmodell eingesetzt werden soll. Insbesondere können sich die lokalen Standorte auf Gesundheitsumgebungen, -organisationen oder -einrichtungen beziehen, wie etwa Krankenhäuser, Labore, Praxen, Universitäten oder Verbindungen von einem oder mehreren der zuvor erwähnten. Gemäß einigen Beispielen befindet sich die Modellaggregatorvorrichtung außerhalb der lokalen Standorte und bedient einen oder mehrere der lokalen Standorte von der Außenseite.
Das Maschinenlernmodell kann als ein Master-Modell in einem föderalen Lernschema angesehen werden, das zentral durch die Modellaggregatorvorrichtung administriert wird.
Im Allgemeinen ist das Maschinenlernmodell dazu ausgelegt, eine gewünschte oder vorbestimmte Art von Ausgabe durch Verarbeitung einer gewissen Art von Eingabedaten bereitzustellen. Dadurch ahmt ein Maschinenlernmodell kognitive Funktionen nach, die Menschen mit anderen menschlichen Gedanken assoziieren. Insbesondere kann sich die Maschinenlernfunktion durch das Training basierend auf Trainingsdaten an neue Umstände anpassen, wobei sie Muster detektieren und extrapolieren kann. Andere Ausdrücke für Maschinenlernmodell können trainierte Funktion, trainiertes Maschinenlernmodell, trainierte Abbildungsspezifikation, Abbildungsspezifikation mit trainierten Parametern, Funktion mit trainierten Parametern, auf künstlicher Intelligenz basierender Algorithmus oder Maschinenlernalgorithmus sein.
Im Allgemeinen können Parameter eines Maschinenlernmodells durch Training angepasst werden, um eine Modellaktualisierung zu erhalten (z. B. in Form einer lokalen Aktualisierung oder einer zentralen Aktualisierung des Maschinenlernmodells an der Modellaggregatorvorrichtung). Insbesondere können überwachtes Training, halbüberwachtes Training, unüberwachtes Training, Verstärkungslernen und/oder aktives Lernen verwendet werden. Weiterhin kann das Repräsentationslernen verwendet werden. Insbesondere können die Parameter des Maschinenlernmodells durch mehrere Trainingsschritte iterativ angepasst werden.
Insbesondere kann das Maschinenlernmodell ein neuronales Netzwerk, eine Support-Vektor-Maschine, einen Entscheidungsbaum und/oder ein bayessches Netzwerk umfassen, und/oder kann die trainierte Funktion auf k-Means-Clustering, Q-Lernen, genetischen Algorithmen, einem Transformer-Netzwerk und/oder Assoziationsregeln basieren. Insbesondere kann ein neuronales Netzwerk ein tiefes neuronales Netzwerk, ein faltendes neuronales Netzwerk oder ein faltendes tiefes neuronales Netzwerk sein. Ferner kann ein neuronales Netzwerk ein gegnerisches Netzwerk, ein tiefes gegnerisches Netzwerk und/oder ein generatives gegnerisches Netzwerk sein. Darüber hinaus kann ein neuronales Netzwerk ein Transformer-Netzwerk umfassen.
Die lokalen Daten können (Trainings-)Eingabedaten und optional entsprechende (Trainings-)Ausgabedaten umfassen. Die Trainingsausgabedaten können Daten sein, von denen erwartet wird, dass die Maschinenlernfunktion diese basierend auf den Eingabetrainingsdaten produziert. Die Trainingsausgabedaten können verifizierte Ausgaben umfassen. Gemäß einigen Beispielen können die verifizierten Ausgaben durch einen (menschlichen) Experten am lokalen Standort verifiziert werden. Es ist anzumerken, dass für unüberwachtes Lernen keine Ausgabetrainingsdaten benötigt werden.
Die lokalen Daten oder Teile der lokalen Daten können einer Datenschutzpflicht unterzogen werden, die die Übertragung der Trainingsdaten an die Außenseite des lokalen Standorts beschränkt. Demnach kann gemäß einigen Beispielen auf die lokalen Daten nicht von der Außenseite des lokalen Standorts zugegriffen werden. Insbesondere kann die Modellaggregatorvorrichtung nicht auf die lokalen Daten zugreifen.
Gemäß einigen Beispielen können sich die lokalen Daten auf medizinische Daten eines oder mehrerer Patienten beziehen. Beispielsweise können die lokalen Daten Labortestergebnisse und/oder pathologische Daten, die von pathologischer Bildgebung stammen, und/oder medizinische Bilddaten, die durch eine oder mehrere medizinische Bildgebungsgeräte erzeugt werden, wie etwa Computertomografievorrichtungen, ein Magnetresonanzsystem, ein Angiographiesystem (oder C-Bogen-Röntgensystem), ein Positronen-Emissions-Tomographiesystem oder dergleichen und eine beliebige Kombination davon, umfassen. Ferner können die lokalen Daten ergänzende Informationen bezüglich eines Patienten umfassen, wie etwa Diagnoseberichte, Informationen über verabreichte Behandlungen, Informationen über Symptome und Behandlungsreaktionen, Gesundheitsverlauf und dergleichen. Solche Informationen können beispielsweise mittels einer elektronischen Patientenakte (ePA) bereitgestellt werden. Die lokalen Daten können lokal in einer oder mehreren Datenbanken der lokalen Standorte gespeichert werden. Die Datenbanken können Teil von Krankenhausinformationssystemen (KIS), Radiologieinformationssystemem (RIS), klinischen Informationssystemen (CIS), Laborinformationssystemen (LIS) und/oder Herz-Kreislauf-Informationssystemen (CVIS), Bildarchivierungs- und Kommunikationssystemen (PACS) oder dergleichen sein. Aus diesen Datenbanken kann auf die lokalen Daten lokal für das Training von Maschinenlernmodellen (und die spätere regelmäßige Verwendung der Maschinenlernmodelle nach dem Einsatz) zugegriffen werden. Die lokalen Daten können Datenschutzbestimmungen unterliegen, die untersagen, dass die lokalen Daten die lokalen Standorte verlassen. Die lokalen Daten können insbesondere Datensätze umfassen, mit denen ein Maschinenlernmodell trainiert, validiert und getestet werden kann. Gemäß einigen Beispielen können die lokalen Daten Datensätze umfassen, basierend auf denen die lokale Aktualisierung validiert und/oder getestet wurde. Mit anderen Worten umfassen die lokalen Daten möglicherweise keine Trainingsdaten, basierend auf denen ein tatsächliches weiteres Training des Maschinenlernmodells durchgeführt wurde. Datensätze können Eingabedaten und assoziierte Ausgabedaten umfassen, die verwendet werden können, um die Leistung eines Maschinenlernmodells während des überwachten Lernens zu beurteilen. Die Ausgabedaten können verifizierte Ergebnisse entsprechend den Eingabedaten sein. Die Ausgabedaten können durch einen Menschen basierend auf den Eingabedaten erzeugt und/oder verifiziert werden.
Gemäß einigen Beispielen umfassen die lokalen Daten eine Vielzahl einzelner Datenelemente. Dadurch kann jedes Datenelement ein Trainingseingabedatenelement und optional ein entsprechendes Trainingsausgabedatenelement umfassen. Beispielsweise kann sich ein Trainingseingabedatenelement auf einen einzelnen medizinischen Bilddatensatz eines Patienten beziehen, und ein Trainingsausgabedatenelement kann sich auf ein entsprechendes Detektionsergebnis beziehen. Somit können die lokalen Daten als ein Satz angesehen werden, der die Vielzahl von Datenelementen umfasst.
Gemäß einigen Beispielen kann die lokale Aktualisierung des Maschinenlernmodells das Maschinenlernmodell umfassen, wobei ein oder mehrere Parameter des Maschinenlernmodells angepasst (oder geändert oder optimiert) wurden, insbesondere basierend auf den lokalen Daten. Insbesondere können der eine oder die mehreren angepassten Parameter ein oder mehrere angepasste Gewichte und/oder angepasste Hyperparameter des Maschinenlernmodells umfassen. „Erzeugt am lokalen Standort basierend auf lokalen Daten“ kann umfassen, dass die lokale Aktualisierung unter Verwendung der lokalen Daten trainiert und/oder validiert und/oder getestet wurde. Insbesondere können die lokalen Daten in Trainingsdaten, Validierungsdaten und Testdaten aufgeteilt sein. Für ein tatsächliches Training (im Sinne der Anpassung des Maschinenlernmodells, um eine lokale Aktualisierung zu erzeugen) kann ein Rückpropagationsschema basierend auf einer zweckmäßigen Kostenfunktion und unter Verwendung der Trainingsdaten verwendet werden. Basierend auf den Validierungsdaten kann die lokale Aktualisierung mit der besten Leistung aus mehreren lokalen Aktualisierungen am lokalen Standort ausgewählt werden. Die Spezifität und die Sensibilität können dann am lokalen Standort basierend auf den Testdaten bestimmt werden. Gemäß einigen Beispielen können Spezifität und Sensibilität in der Protokolldatei enthalten sein.
Gemäß einigen Beispielen kann die Parametrisierung als eine Datenminimierung der ursprünglichen lokalen Daten angesehen werden. Gemäß einigen Beispielen kann die Parametrisierung eine reduzierte Informationstiefe im Vergleich zu den lokalen Daten aufweisen, und insbesondere eine reduzierte Datengröße. Die Parametrisierung unterliegt möglicherweise nicht der Datenschutzpflicht. Die Parametrisierung kann einen oder mehrere Parameter umfassen, wie etwa numerische Werte oder semantische Ausdrücke, die die lokalen Daten charakterisieren. Gemäß einigen Beispielen umfasst die Parametrisierung nicht die (ursprünglichen) lokalen Daten und/oder (nur) Auszüge der lokalen Daten. Insbesondere kann die Parametrisierung dazu ausgelegt sein, eine Rekonstruktion von zumindest Teilen der lokalen Daten zu ermöglichen, und insbesondere jener Teile, die keiner Datenschutzpflicht unterliegen.
Gemäß einigen Beispielen kann die Parametrisierung auf den Trainingseingabedaten oder den Trainingseingabedaten und den Trainingsausgabedaten basieren. Gemäß einigen Beispielen kann die Parametrisierung (nur) auf den Trainingsausgabedaten basieren. Dies liegt daran, dass die erwartete Ausgabe, die in den lokalen Trainingsausgabedaten codiert ist, schon die Inhalte der Trainingseingabedaten auf einer höheren Ebene widerspiegeln kann, und somit eine gute Basis zum Erzeugen der synthetischen Repräsentationen bereitstellen kann. Gemäß anderen Beispielen kann die Parametrisierung auf Trainingsausgabedaten und entsprechenden Auszügen der Trainingseingabedaten basieren. Um ein Beispiel bereitzustellen, kann die Parametrisierung einer Beschreibung eines medizinischen Befundes (bei dem es sich um die Trainingsausgabedaten handeln würde) und ein Snippet eines medizinischen Bilddatensatzes, der den medizinischen Befund zeigt, umfassen.
Um ein Beispiel aus dem Gebiet der medizinischen Bildgebung bereitzustellen, umfasst die Parametrisierung möglicherweise nicht die vollen Bilddaten eines medizinischen Bilddatensatzes, sondern lediglich bestimmte Schlüsselparameter. Beispielsweise kann dies die Bildgebungsmodalität und verwendeten Bildgebungsparameter, Bildqualitätsmetriken, Stellen und Beschreibungen von Befunden, Bild-Snippets und so weiter umfassen. Es ist anzumerken, dass er möglicherweise keine Daten umfasst, basierend auf denen eine Identifikation des Patienten möglich sein kann. Trivialerweise kann es sich dabei um demografische Informationen des Patienten handeln, aber auch um subtilere Merkmale, die zu einer Identifikation führen könnten, wie etwa Körperformen oder Implantate, die im medizinischen Bild sichtbar sind.
Gemäß einigen Beispielen kann die synthetische Repräsentation als eine Wiederherstellung oder Rekonstruktion der ursprünglichen lokalen Daten basierend auf der Parametrisierung angesehen werden. Gemäß einigen Beispielen unterliegt die synthetische Repräsentation nicht der Datenschutzpflicht. Weiterhin kann die synthetische Repräsentation gemäß einigen Beispielen die relevanten Charakteristiken zum Beurteilen und/oder Trainieren des Maschinenlernmodells umfassen.
Die generative KI-Funktion ist eine Maschinenlernfunktion oder ein Maschinenlernmodell, die bzw. das dazu ausgelegt ist, Text, Bilder oder andere Daten basierend auf Eingabedaten zu erzeugen. Gemäß einigen Beispielen kann die Eingabe die Parametrisierung sein, oder eine Aufforderung in natürlicher Sprache, die basierend auf der Parametrisierung erzeugt wird. Mit anderen Worten tauscht die generative KI-Funktion die Parametrisierung gegen die synthetische Repräsentation aus. Gemäß einigen Beispielen kann die generative KI-Funktion ein Transformer-Netzwerk umfassen, insbesondere ein Transformer-basiertes (tiefes) neuronales Netzwerk. Gemäß einigen Beispielen können die lokalen Daten Bilddaten umfassen, die Parametrisierung umfasst nicht die Bilddaten, und die generative KI-Funktion ist eine Parametrisierung-zu-Bild-Funktion, die eine synthetische Version/Repräsentation der Bilddaten ausgibt. Gemäß einigen Beispielen umfasst die generative KI-Funktion einen Vision-Transformer, wie hierin beschrieben.
Die generative KI-Funktion kann basierend auf Paaren von Parametrisierungen und entsprechenden Daten, die insbesondere Bilddaten umfassen, trainiert werden. Dadurch können die Parametrisierungen aus den entsprechenden Daten auf die gleiche oder eine ähnliche Art und Weise wie die Parametrisierung extrahiert worden sein, die aus den lokalen Daten extrahiert wird. Während des Trainings der generativen KI-Funktion können die entsprechenden Daten als eine Ground Truth verwendet werden, mit der die Ausgabe der generativen KI-Funktion verglichen wird.
Gemäß einigen Beispielen kann die generative KI-Funktion ein Transformer-Netzwerk umfassen. Ein Transformer-Netzwerk ist eine Architektur eines neuronalen Netzwerks, die im Allgemeinen einen Encoder, einen Decoder oder sowohl einen Encoder als auch einen Decoder umfasst. In einigen Fällen bestehen die Encoders und/oder Decoders aus mehreren entsprechenden Codierschichten bzw. Decodierschichten. In jeder Codier- und Decodierschicht befindet sich ein Attention-Mechanismus. Der Attention-Mechanismus, der manchmal als Self-Attention bezeichnet wird, setzt Datenelemente (wie etwa Wörter oder Pixel) innerhalb einer Reihe von Datenelementen mit anderen Datenelementen in der Reihe in Beziehung.
Für einen Überblick über Transformer-Netzwerke wird auf Vaswani et al. „Attention Is All You Need", in arXiv: 1706.03762, 12. Juni 2017, Bezug genommen, dessen Inhalt hier durch Bezugnahme in seiner Gesamtheit aufgenommen wird.
Gemäß einigen Beispielen können handelsübliche generative KI-Funktionen verwendet werden, wie etwa DALL-E oder Midjourney. Gemäß anderen Beispielen können maßgeschneiderte generative KI-Funktionen basierend auf einer Transformer-Architektur verwendet werden, die basierend auf Paaren von Parametrisierungen und entsprechenden (realen) Daten trainiert werden.
Gemäß einigen Beispielen kann das Beurteilen (ein anderes Wort ist Testen) das Testen umfassen, ob die lokale Aktualisierung in der Lage ist, bei ungesehenen Daten ausreichend gute Ergebnisse zu erzielen. Gemäß einigen Beispielen kann das Beurteilen das Zulassen umfassen, dass das Maschinenlernmodell die synthetische Repräsentation und/oder andere Testdaten, die an der Modellaggregatorvorrichtung verfügbar sind, verarbeitet und das Resultat der Verarbeitung mit dem gewünschten Resultat vergleicht. Die anderen Testdaten können eine oder mehrere synthetische Repräsentationen umfassen, die aus Parametrisierungen erhalten werden, die von einem oder mehreren lokalen Standorten empfangen werden, die sich von dem lokalen Standort unterscheiden.
Die Merkmale arbeiten synergistisch miteinander, um der Modellaggregatorvorrichtung synthetische Repräsentationen der lokalen Daten bereitzustellen, während gewährleistet wird, dass die Datenschutzanforderungen der lokalen Standorte erfüllt werden. Ferner reduziert die Datenminimierung auch die Menge an Daten, die transferiert werden müssen, was die Latenz im System reduziert. Dies ermöglicht einen effizienteren föderalen Lernarbeitsfluss in verteilten Umgebungen.
Gemäß einigen Beispielen umfasst der Schritt zum Aktualisieren des Maschinenlernmodells an der Modellaggregatorvorrichtung das Aggregieren der lokalen Aktualisierung im Maschinenlernmodell. Damit kann ein Master-Modell sukzessive optimiert werden.
Gemäß einigen Beispielen kann das Aggregieren das Übernehmen eines oder mehrerer aktualisierter Parameter der lokalen Aktualisierung in das Maschinenlernmodell umfassen. Gemäß einigen Beispielen kann das Aktualisieren durchgeführt werden, falls das Beurteilungsergebnis eine erhöhte Leistung der lokalen Aktualisierung angibt.
Gemäß einigen Beispielen wird die Parametrisierung durch Anwenden eines trainierten Merkmals-Encoders auf die lokalen Daten erzeugt. Gemäß einigen Beispielen wird der Merkmals-Encoder dem lokalen Standort durch die Modellaggregatorvorrichtung bereitgestellt. Gemäß einigen Beispielen umfasst die Parametrisierung codierte Merkmale, wie durch den Merkmals-Encoder basierend auf den lokalen Daten identifiziert. Gemäß einigen Beispielen unterscheidet sich der Encoder von der generativen KI-Funktion und/oder ist unabhängig von dieser. Dies kann bedeuten, dass der Encoder unabhängig von der generativen KI-Funktion trainiert wurde und/oder eine andere Architektur umfasst. Gemäß einigen Beispielen umfasst das Erzeugen der Parametrisierung das Anwenden des Merkmals-Encoders auf jedes einzelne Datenelement der lokalen Daten, um für jedes Datenelement einen Satz von codierten Merkmalen zu erzeugen, und das Anhängen jedes Satzes von codierten Merkmalen an die Parametrisierung/die Protokolldatei.
Gemäß einigen Beispielen kann die Protokolldatei ein Leistungsprotokoll der aktualisierten Maschinenlernfunktion umfassen. Das Leistungsprotokoll kann angeben, wie gut das Maschinenlernmodell mit lokaler Aktualisierung an den lokalen Daten am lokalen Standort abschnitt. Gemäß einigen Beispielen umfasst der Schritt zum Beurteilen zusätzlich das Beurteilen der lokalen Aktualisierung basierend auf dem Leistungsprotokoll. Damit kann eine verbesserte Bewertung der lokalen Aktualisierung vorgenommen werden. Als eine Alternative kann die Parametrisierung an sich ohne Einschluss in eine Protokolldatei bereitgestellt werden. Dann wird keine Protokolldatei erzeugt/übertragen.
Gemäß einigen Beispielen wird die Protokolldatei gemäß dem JSON-Standard formatiert. JSON steht für JavaScript Object Notation und ist ein offenes standardmäßiges Dateiformat und Datenaustauschformat, das menschlich lesbaren Text verwendet, um Datenobjekte, die aus Attribut-Werte-Paaren und Arrays bestehen, zu speichern und zu übertragen. Damit kann die Interoperabilität des Verfahrens verbessert werden.
Gemäß einem Aspekt besteht die Parametrisierung aus einer Parametrisierung der Daten, die zum Validieren und/oder Testen der lokalen Aktualisierung am lokalen Standort verwendet werden.
Mit anderen Worten wird nur eine Parametrisierung der Daten erzeugt/übertragen, die zum Validieren und/oder Testen der lokalen Aktualisierung verwendet werden. Die tatsächlichen Trainingsdaten, die zur Feinabstimmung (im Sinne von Anpassung) des Maschinenlernmodells verwendet wurden, sind nicht parametrisiert, und/oder keine Parametrisierung solcher lokalen Daten wird gemäß diesem Aspekt übertragen. Somit umfasst die Parametrisierung keine Parametrisierung dieser tatsächlichen Trainingsdaten. Folglich ist die synthetische Repräsentation (nur) eine synthetische Wiederherstellung der Datensätze, die zum Testen und/oder Validieren der lokalen Aktualisierung verwendet werden, aber nicht der Trainingsdatensätze.
Dies kann den Vorteil haben, dass der Bias reduziert werden kann, da das Modell bzw. die Modelle systematisch nicht an der Modellaggregatorvorrichtung basierend auf Informationen beurteilt werden, an denen sie trainiert wurden.
Gemäß einem Aspekt ist die generative KI-Funktion dazu ausgelegt, die synthetische Repräsentation basierend auf einer Aufforderung in natürlicher Sprache zu erzeugen, die die zu erzeugende synthetische Repräsentation angibt, und der Schritt zum Erzeugen umfasst das Erhalten der Aufforderung in natürlicher Sprache basierend auf der Parametrisierung und das Eingeben der Aufforderung in natürlicher Sprache in die generative KI-Funktion, um die synthetische Repräsentation zu erzeugen.
Eine Aufforderung kann als eine Beschreibung in natürlicher Sprache der zu erzeugenden synthetischen Repräsentation angesehen werden.
Die Verwendung der Aufforderung hat den Vorteil, dass das Verfahren leicht mit den handelsüblichen generativen KI-Funktionen kompatibel ist, die häufig Aufforderungen als Eingabe erfordern.
Gemäß einigen Beispielen umfasst der Schritt zum Erzeugen das Eingeben der Aufforderung zusammen mit der Parametrisierung. Dies hat den Vorteil, dass der generativen KI-Funktion zusätzliche Informationen zum Simulieren der synthetischen Repräsentation bereitgestellt werden.
Gemäß einigen Beispielen können die Aufforderungen durch ein Parser-Modul erzeugt werden, das dazu ausgelegt ist, Aufforderungen basierend auf Parametrisierungen zu erzeugen. Der Parser kann einen Sprachdecodierer umfassen, der dazu ausgelegt ist, Text in natürlicher Sprache basierend auf der Parametrisierung zu erzeugen. Der Sprachdecodierer kann ein Transformer-Netzwerk umfassen. Durch die Verwendung eines Parser-Moduls kann der Arbeitsfluss weiter automatisiert und effizienter gemacht werden.
Gemäß einigen Beispielen umfasst das Verfahren ferner das Modifizieren der Aufforderung in natürlicher Sprache, um eine modifizierte Aufforderung in natürlicher Sprache zu erzeugen, wobei der Schritt zum Erzeugen der synthetischen Repräsentation das Eingeben der modifizierten Aufforderung in die generative KI-Funktion, um eine weitere synthetische Repräsentation zu erzeugen, und das Einschließen der weiteren synthetischen Repräsentation in die synthetische Repräsentation umfasst.
Im Allgemeinen kann die modifizierte Aufforderung einen anderen Inhalt und/oder andere Anweisungen für die generative KI-Funktion umfassen.
Mit modifizierten Aufforderungen kann eine weitere Erweiterung der Trainingsdaten erreicht werden. Zur gleichen Zeit kann die modifizierte Aufforderung als Ground Truth für die weitere synthetische Repräsentation dienen. Beispielsweise kann eine anfängliche Aufforderung spezifizieren, dass ein Röntgenbild eine Läsion an einer gewissen Stelle in der Lunge des Patienten anzeigt. Dann kann die modifizierte Aufforderung eine Läsion an einer (etwas) anderen Stelle spezifizieren.
Gemäß einigen Beispielen umfasst das Verfahren ferner das Hinzufügen der synthetischen Repräsentation zu einem bestehenden Testdatensatz zum Testen des Maschinenlernmodells an der Modellaggregatorvorrichtung, um einen erweiterten Testdatensatz zu erzeugen, wobei im Schritt zum Beurteilen die lokale Aktualisierung basierend auf dem erweiterten Testdatensatz beurteilt wird.
Mit anderen Worten werden die synthetischen Daten an die Testdatenbasis der Modellaggregatorvorrichtung angehängt. Dies kann den erweiterten Testdatensatz repräsentativer für die realen Szenarios machen und ihn gegenüber Konzeptdrift an den lokalen Standorten widerstandsfähiger machen.
Gemäß einigen Beispielen umfasst das Verfahren ferner das Bestimmen einer Datenqualität der synthetischen Repräsentation, wobei im Schritt zum Beurteilen die lokale Aktualisierung basierend auf der Datenqualität beurteilt wird.
Die Datenqualität kann eine Angabe darüber umfassen, wie gut die Simulation der lokalen Daten an der Modellaggregatorvorrichtung (d. h., die synthetische Repräsentation) tatsächlich ist. Insbesondere kann die Datenqualität eine Angabe darüber umfassen, wie gut die synthetische Repräsentation den lokalen Daten entspricht.
Gemäß einigen Beispielen umfasst der Schritt zum Beurteilen das Prüfen, ob die Datenqualität ein vorbestimmtes Qualitätskriterium erfüllt, und das Verwenden der synthetischen Repräsentation zum Beurteilen der lokalen Aktualisierung, falls die Datenqualität das vorbestimmte Qualitätskriterium erfüllt.
Gemäß einigen Beispielen umfasst der Schritt zum Hinzufügen der synthetischen Daten das Hinzufügen der synthetischen Repräsentation basierend auf der Datenqualität. Gemäß einigen Beispielen umfasst der Schritt zum Hinzufügen der synthetischen Daten das Prüfen, ob die Datenqualität ein vorbestimmtes Qualitätskriterium erfüllt, und das Hinzufügen der synthetischen Daten, falls sie das vorbestimmte Qualitätskriterium erfüllt.
Gemäß einigen Beispielen repräsentiert die Parametrisierung eine Vielzahl von unabhängigen Datenelementen (der lokalen Daten), und der Schritt zum Erzeugen einer synthetischen Repräsentation der lokalen Daten umfasst das Erzeugen eines synthetischen Datenelements für jedes der unabhängigen Datenelemente, sodass die synthetische Repräsentation die synthetischen Datenelemente umfasst.
Gemäß einigen Beispielen umfasst der Schritt zum Bestimmen der Datenqualität das Bestimmen eines Datenqualitätsmaßes für jedes synthetische Datenelement.
Gemäß einigen Beispielen umfasst der Schritt zum Prüfen das Prüfen, ob das Datenqualitätsmaß jedes synthetischen Datenelements das vorbestimmte Kriterium erfüllt. Gemäß einigen Beispielen umfasst der Schritt zum Beurteilen das Verwenden synthetischer Datenelemente zum Beurteilen der lokalen Aktualisierung, deren Datenqualitätsmaß das vorbestimmte Kriterium erfüllt. Gemäß einigen Beispielen umfasst der Schritt zum Hinzufügen das Hinzufügen synthetischer Datenelemente zu den bestehenden Testdaten, deren Datenqualitätsmaß das vorbestimmte Kriterium erfüllt.
Durch das Bestimmen der Datenqualität und das Verwenden dieser Informationen bei der Beurteilung der lokalen Aktualisierung und/oder der Erweiterung des zentralen Testdatensatzes kann gewährleistet werden, dass unzweckmäßige synthetische Repräsentationen nicht zu unerwünschten Effekten führen.
Gemäß einem Aspekt umfasst der Schritt zum Bestimmen einer Datenqualität der synthetischen Repräsentation das Erzeugen einer Rückwärtsparametrisierung der synthetischen Repräsentation, das Vergleichen der Rückwärtsparametrisierung mit der Parametrisierung und das Bestimmen der Datenqualität basierend auf dem Schritt zum Vergleichen der Rückwärtsparametrisierung mit der Parametrisierung.
Gemäß einigen Beispielen umfasst der Schritt zum Vergleichen das Bestimmen einer Differenz oder Distanz zwischen der Parametrisierung und der Rückwärtsparametrisierung.
Gemäß einigen Beispielen wird die Rückwärtsparametrisierung im Wesentlichen auf die gleiche Weise wie die Parametrisierung erzeugt. Gemäß einigen Beispielen wird die Parametrisierung an der lokalen Seite durch Anwenden eines Encoders auf die lokalen Daten erzeugt. Gemäß einigen Beispielen wird die Rückwärtsparametrisierung an der Modellaggregatorvorrichtung durch Anwenden des Encoders oder einer Kopie des Encoders auf die synthetische Repräsentation erzeugt.
Gemäß einigen Beispielen umfasst der Schritt zum Erzeugen der Rückwärtsparametrisierung das Erzeugen einer Rückwärtsparametrisierung für jedes synthetische Datenelement, und der Schritt zum Vergleichen umfasst das Vergleichen der Rückwärtsparametrisierungen mit der jeweiligen Parametrisierung (oder dem jeweiligen Teil der Parametrisierung), um ein Qualitätsmaß für jedes Datenelement zu erzeugen.
Aufgrund der verteilten Umgebung ist eine direkte Qualitätskontrolle der synthetischen Repräsentation schwierig. Dies liegt daran, dass die ursprünglichen Trainingsdaten typischerweise an den lokalen Standorten bleiben müssen und daher nicht für einen Vergleich mit der synthetischen Repräsentation verfügbar sind. Hier bietet die vorgeschlagene Berechnung der Rückwärtsparametrisierung eine elegante Weise zum Erhalten einer Ablesung, die direkt mit den Informationen verglichen werden kann, die zu der Modellaggregatorvorrichtung hochgeladen werden. Damit kann die Qualität der synthetischen Repräsentation gesichert werden. Im Gegenzug ermöglicht dies eine effizientere Beurteilung von Maschinenlernfunktionen in einem föderalen Lernumfeld.
Gemäß einem Aspekt umfasst der Schritt zum Bestimmen einer Datenqualität der synthetischen Repräsentation das Erzeugen einer Zusammenfassung in natürlicher Sprache basierend auf der synthetischen Repräsentation, das Vergleichen der Zusammenfassung in natürlicher Sprache mit der Aufforderung in natürlicher Sprache und das Bestimmen der Datenqualität basierend auf dem Schritt zum Vergleichen der Zusammenfassung in natürlicher Sprache mit der Aufforderung in natürlicher Sprache.
Gemäß einigen Beispielen umfasst der Schritt zum Vergleichen das Bestimmen einer Differenz oder Distanz zwischen der Zusammenfassung in natürlicher Sprache und der Aufforderung in natürlicher Sprache.
Gemäß einigen Beispielen wird die Zusammenfassung durch Anwenden eines Parsers auf die synthetische Repräsentation erzeugt, wobei der Parser dazu ausgelegt ist, Daten in Text in natürlicher Sprache zusammenzufassen und/oder zu beschreiben. Der Parser kann einen Sprachdecodierer umfassen, der dazu ausgelegt ist, Text in natürlicher Sprache basierend auf Daten, insbesondere Bilddaten, zu erzeugen. Der Sprachdecodierer kann ein Transformer-Netzwerk umfassen. Gemäß einigen Beispielen kann der Parser von der gleichen Art wie oder eine Kopie des Parsers sein, der beim Erzeugen der Aufforderung verwendet wird.
Gemäß einem Aspekt umfasst der Schritt zum Erzeugen der Zusammenfassung in natürlicher Sprache das Erzeugen einer Zusammenfassung in natürlicher Sprache für jedes synthetische Datenelement, und der Schritt zum Vergleichen umfasst das Vergleichen der Zusammenfassungen in natürlicher Sprache mit der jeweiligen Aufforderung in natürlicher Sprache, um ein Qualitätsmaß für jedes Datenelement zu erzeugen.
Durch das Erzeugen von Zusammenfassungen basierend auf den synthetischen Repräsentationen und das Vergleichen dieser Zusammenfassungen mit den Aufforderungen, die zum Auslösen der Erzeugung der synthetischen Repräsentation verwendet wurden, kann eine andere Qualitätskontrolle des Verfahrens durchgeführt werden. Die Qualitätskontrolle basierend auf den Aufforderungen kann zusätzlich zu oder als eine Alternative zu der Qualitätskontrolle basierend auf der Rückwärtsparametrisierung ausgeführt werden.
Gemäß einigen Beispielen umfassen die lokalen Daten eine Vielzahl von unabhängigen Datenelementen, und die Parametrisierung umfasst für jedes unabhängige Datenelement eine Elementparametrisierung jedes Datenelements und eine oder mehrere statistische Eigenschaften der Vielzahl von unabhängigen Datenelementen.
Gemäß einigen Beispielen können die statistischen Eigenschaften eine oder mehrere Verteilungen von Parametern der unabhängigen Datenelemente und/oder statistische Observablen, die aus den Verteilungen abgeleitet werden, umfassen. Eine statistische Observable kann sich auf quantifizierbare Eigenschaften einer entsprechenden Verteilung beziehen. Gemäß einigen Beispielen kann eine statistische Observable Durchschnittswerte, die Entropie, die Schiefe, die Varianz und so weiter umfassen.
Gemäß einigen Beispielen werden die eine oder die mehreren statistischen Eigenschaften zusammen mit der einen oder den mehreren jeweiligen elementweisen Parametrisierungen in die generative KI-Funktion eingegeben, und die synthetische Repräsentation wird zusätzlich basierend auf der einen oder den mehreren statistischen Eigenschaften erzeugt. Insbesondere kann die synthetische Repräsentation so erzeugt werden, dass die entsprechenden statistischen Eigenschaften der synthetischen Repräsentation den statistischen Eigenschaften der Parametrisierung entsprechen.
Die Verwendung der statistischen Eigenschaften kann den Vorteil haben, dass die synthetische Repräsentation genauer den lokalen Daten entspricht. Insbesondere kann gesichert werden, dass die synthetische Repräsentation die gleichen Statistiken wie die lokalen Daten zeigt.
Gemäß einigen Beispielen umfasst der Schritt zum Bestimmen einer Datenqualität der synthetischen Repräsentation das Bestimmen einer oder mehrerer entsprechender statistische Eigenschaften basierend auf der synthetischen Repräsentation und das Vergleichen der entsprechenden statistischen Eigenschaften mit den statistischen Eigenschaften. Die entsprechenden statistischen Eigenschaften können die gleichen statistischen Observablen wie die statistischen Eigenschaften umfassen.
Mit anderen Worten kann eine Qualitätskontrolle basierend auf einem statistischen Test implementiert werden. Dies ermöglicht eine effiziente Weise zur Überwachung der Qualität der synthetischen Repräsentation in einem Szenario, bei dem die ursprünglichen Trainingsdaten nicht für einen direkten Vergleich verfügbar sind.
Gemäß einem Aspekt umfasst das Verfahren ferner das Erzeugen einer modifizierten Parametrisierung basierend auf der Parametrisierung, wobei im Schritt zum Erzeugen die synthetische Repräsentation zusätzlich basierend auf der modifizierten Parametrisierung erzeugt wird.
Gemäß einigen Beispielen kann die modifizierte Parametrisierung einen oder mehrere Werte umfassen, die sich von der Parametrisierung unterscheiden. Gemäß einigen Beispielen ist die modifizierte Parametrisierung auf eine Weise ausgelegt, dass sie zu (leicht) anderen synthetischen Repräsentationen, falls sie mit der generativen KI-Funktion verarbeitet wird, im Vergleich zu der (ursprünglichen) Parametrisierung führt. Falls beispielsweise ein Abschnitt der Parametrisierung einen Befund mit bestimmten Charakteristiken festlegt, kann der entsprechende Abschnitt in der modifizierten Parametrisierung einen Befund mit anderen Charakteristiken oder überhaupt keinen Befund festlegen. Besonders das Letztgenannte ist leicht zu implementieren, ausfallsicher und kann die Anzahl von normalen, d. h. unverdächtigen, Samples in den synthetischen Daten erhöhen.
Gemäß einigen Beispielen kann die modifizierte Parametrisierung unter Verwendung einer trainierten Funktion erzeugt werden, die dazu ausgelegt wurde, (physikalisch oder medizinisch) sinnvolle Modifikationen für die Parametrisierung abzuleiten. Gemäß einigen Beispielen kann eine entsprechende trainierte Funktion trainiert werden, indem auf die hierin beschriebene Qualitätskontrolle aufgebaut wird, bis die trainierte Funktion in der Lage ist, akzeptable modifizierte Parametrisierungen zu erzeugen.
Mit anderen Worten wird eine Datenerweiterung der Parametrisierung durchgeführt. Im Gegenzug führt dies zu zusätzlichen und vielfältigeren Daten zum Testen des Maschinenlernmodells. Darüber hinaus kann die Perturbation den Vorteil haben, dass jene Datensätze, die für die tatsächliche Anpassung des Maschinenlernmodells verwendet wurden, leichter beim Beurteilungsschritt verwendet werden können, ohne zu viel Bias einzuführen.
Gemäß einigen Beispielen können die Datenqualitätskontrollmaße, die in Verbindung mit der synthetischen Repräsentation beschrieben sind, die basierend auf der Parametrisierung erzeugt wird, auch auf die synthetische Repräsentation angewendet werden, die basierend auf der modifizierten Parametrisierung erzeugt wird.
Insbesondere umfasst der Schritt zum Bestimmen einer Datenqualität der synthetischen Repräsentation das Bestimmen einer oder mehrerer entsprechender statistischer Eigenschaften basierend auf der synthetischen Repräsentation (basierend auf den modifizierten Parametrisierungen erzeugt) und das Vergleichen der entsprechenden statistischen Eigenschaften mit den statistischen Eigenschaften der (ursprünglichen) Parametrisierung. Damit kann geprüft werden, ob die modifizierten Parametrisierungen weiterhin zu den gleichen Statistiken führen.
Gemäß einigen Beispielen umfassen die lokalen Daten eine Vielzahl von unabhängigen Datenelementen, und die Parametrisierung umfasst für jedes unabhängige Datenelement eine Elementparametrisierung, wobei der Schritt zum Erzeugen einer modifizierten Parametrisierung das Erzeugen modifizierter Elementparametrisierungen umfasst, und der Schritt zum Erzeugen der synthetischen Repräsentation umfasst das Erzeugen eines synthetischen Datenelements für sowohl die Elementparametrisierung als auch die modifizierte Elementparametrisierung, wobei die synthetische Repräsentation die synthetischen Datenelemente umfasst.
Gemäß einigen Beispielen umfassen die lokalen Daten geschützte Informationen, insbesondere geschützte persönliche Informationen, und die Parametrisierung umfasst nicht die geschützten Informationen.
Gemäß einigen Beispielen können die geschützten Informationen Informationen sein, die den lokalen Standort nicht verlassen dürfen. Beispielsweise können die lokalen Daten einer Datenschutzbestimmung unterliegen, wie etwa einer Vertraulichkeitsvereinbarung oder einer rechtlichen Bestimmung wie etwa der Datenschutz-Grundverordnung der EU.
Das Löschen der geschützten Informationen zum Erzeugen der Parametrisierung ermöglicht, solche Daten an die Außenseite des lokalen Standortes zu verteilen. Dies ermöglicht die Verwendung dieser Informationen zum Testen des Maschinenlernmodells an der Modellaggregatorvorrichtung.
Gemäß einem Aspekt ist das Maschinenlernmodell eine Bildverarbeitungsfunktion, die dazu ausgelegt ist, ein Bildverarbeitungsergebnis basierend auf Bilddaten zu erzeugen, die lokalen Daten umfassen Trainingsbilddaten, die Parametrisierung umfasst eine Parametrisierung der Trainingsbilddaten, die synthetische Repräsentation umfasst synthetische Bilddaten, die durch die generative KI-Funktion basierend auf der Parametrisierung der Trainingsbilddaten erzeugt werden.
Die lokalen Daten umfassen (Trainings-)Bilddaten und verifizierte Bildverarbeitungsergebnisse. Beispielsweise können die Bilddaten Bilder umfassen, die durch ein Kamerasystem oder andere Bilderfassungssysteme erfasst werden. Gemäß einigen Beispielen kann sich dies auf Bilddaten beziehen, die durch eine Smartphone-Kamera oder ein Kamerasystem, das an einem Auto befestigt ist, erfasst werden. Das Bildverarbeitungsergebnis kann sich auf ein Objekt beziehen, das in den Bilddaten detektiert wird, wie etwa Personen, Text, Autos, Spurmarkierungen oder andere Objekte.
Gemäß einigen Beispielen umfasst die Parametrisierung Grundcharakteristiken der Bilddaten, wie etwa Auflösung, Farbe, Rauschpegel, Erfassungssystem und so weiter. Ferner kann sie Informationen umfassen, die den Inhalt der zugrundeliegenden Bilddaten charakterisieren. Gemäß einigen Beispielen können diese Informationen Merkmalsvektoren oder Einbettungen umfassen, die durch einen entsprechend konfigurierten Encoder extrahiert werden. Ferner können die Informationen gemäß einigen Beispielen eine oder mehrere semantische Bedeutungen und Beziehungen dafür, was in den Bilddaten dargestellt ist, umfassen. Die Parametrisierung kann für einen Menschen begreifbar sein (z. B. „das Bild zeigt eine Person, die Fahrrad fährt“), und/oder kann (nur) maschineninterpretierbare Informationen sein, wie etwa komplexe Merkmalsvektoren. Darüber hinaus kann die Parametrisierung Informationen über das verifizierte Bildverarbeitungsergebnis umfassen (d. h. die Trainingsausgabedaten). Gemäß einigen Beispielen kann die Parametrisierung der Bilddaten identisch zu der Parametrisierung des Bildverarbeitungsergebnisses sein.
Gemäß einigen Beispielen wurde die Parametrisierung möglicherweise durch Anwenden eines Encoders oder Merkmals-Encoders auf die lokalen Daten erzeugt. Gemäß einigen Beispielen kann der Merkmals-Encoder einen Vision-Transformer umfassen. Der Vision-Transformer kann dazu ausgelegt sein, Eingabebilder in Patches zu zerlegen und sie mit einem Token zu versehen (Extrahieren von Repräsentationsvektoren), bevor die Tokens auf eine standardmäßige Transformer-Architektur angewendet werden. Der Vision-Transformer kann einen Attention-Mechanismus umfassen, der dazu ausgelegt ist, Repräsentationsvektoren von Bild-Patches wiederholt zu transformieren, um mehr und mehr semantische Beziehungen zwischen Bild-Patches in einem Bild einzubeziehen.
Gemäß einigen Beispielen können der Vision-Transformer und/oder die generative KI-Funktion durch Trainieren eines maskierten Autoencoders erhalten werden. Ein maskierter Autoencoder umfasst zwei Vision-Transformers, die aneinandergereiht sind. Der erste nimmt Bild-Patches mit Positionscodierung und gibt Vektoren aus, die jeden Patch repräsentieren. Der zweite nimmt Vektoren mit Positionscodierung und gibt erneut Bild-Patches aus. Während des Trainings werden beide Vision-Transformers verwendet. Ein Bild wird in Patches geschnitten. Der zweite Vision-Transformer nimmt die codierten Vektoren und gibt eine Rekonstruktion des vollen Bildes aus. Während der Verwendung kann der erste Vision-Transformer als Encoder verwendet werden, und/oder der zweite Vision-Transformer kann als generative KI-Funktion verwendet werden. Damit sind Encoder und generative KI-Funktion durch Design zueinander komplementär, was eine nahtlose Datenverarbeitung mit beschränkten Verlusten ermöglicht.
Gemäß einigen Beispielen können der Vision-Transformer und/oder die generative KI-Funktion durch Trainieren eines Vision-Transformers VQGAN erhalten werden oder können darauf basieren. In einem Vision-Transformer VQGAN gibt es zwei Vision-Transformer-Encoders und einen Diskriminator. Einer codiert Patches eines Bildes in eine Liste von Vektoren, eine für jeden Patch. Ein anderer codiert die quantisierten Vektoren zurück zu Bild-Patches. Das Trainingsziel versucht, das Rekonstruktionsbild (das Ausgabebild) originalgetreu zu dem Eingabebild zu machen. Der Diskriminator (gewöhnlich ein faltendes Netzwerk, aber andere Netzwerke sind möglich) versucht, zu entscheiden, ob ein Bild ein ursprüngliches reales Bild oder ein rekonstruiertes Bild durch den Vision-Transformer ist.
Dies hat den Vorteil, dass, nachdem ein solcher Vision-Transformer VQGAN trainiert ist, er verwendet werden kann, um ein beliebiges Bild in eine Liste von Symbolen zu codieren und eine beliebige Liste von Symbolen in ein Bild zu codieren. Die Liste von Symbolen kann verwendet werden, um in einen standardmäßigen autoregressiven Transformer zur autoregressiven Erzeugung eines Bildes zu trainieren. Ferner kann eine Liste von Bildunterschrift-Bild-Paaren genommen, die Bilder in Zeichenfolgen von Symbolen umgewandelt und ein standardmäßiger Transformer im GPT-Stil trainiert werden. Dann kann zur Testzeit nur eine Bildunterschrift gegeben und das Bild autoregressiv erzeugt werden.
Gemäß einigen Beispielen werden die synthetischen Bilddaten so erzeugt, dass sie den lokalen Daten so viel wie möglich ähneln oder diese nachahmen.
Durch die Parametrisierung und Rekonstruktion von Bilddaten kann ein effizientes föderales Lernschema bereitgestellt werden. Insbesondere gewährleistet das Verfahren die Datenzugänglichkeit, während Datenschutz gesichert und Datenverkehr reduziert wird.
Gemäß einigen Beispielen umfasst die Parametrisierung keine Bilddaten.
Dies kann den Vorteil einer besonders effizienten Datenminimierung aufweisen.
Gemäß einigen Beispielen kann die Parametrisierung einen oder mehrere Bild-Patches umfassen, die aus den lokalen Daten extrahiert werden. Mit anderen Worten kann die Parametrisierung einen Teilsatz der Bilddaten in den lokalen Daten umfassen. Gemäß einigen Beispielen können die Patches den Bilddetektionsergebnissen entsprechen. Insbesondere kann ein Patch ein Ausschnitt der Bilddaten sein. Mit anderen Worten kann die Parametrisierung nur die relevantesten Bilddaten umfassen, während weniger relevante Teile der Bilddaten nicht in der Parametrisierung eingeschlossen sind.
Dies kann den Vorteil haben, dass eine genauere synthetische Repräsentation der Bilddaten an der Modellaggregatorvorrichtung erstellt werden kann, während weiterhin eine zweckmäßige Datenminimierung ermöglicht wird.
Gemäß einigen Beispielen ist das Maschinenlernmodell dazu ausgelegt, ein Bildverarbeitungsergebnis basierend auf medizinischen Bilddaten zu erzeugen, wobei das Bildverarbeitungsergebnis aus Folgendem ausgewählt wird: einem Detektionsergebnis eines medizinischen Befundes in medizinischen Bilddaten, einer Klassifikation eines medizinischen Befundes in medizinischen Bilddaten und/oder einer Segmentierung medizinischer Bilddaten, und die Trainingsbilddaten umfassen medizinische Bilddaten.
Dementsprechend kann die synthetische Repräsentation eine synthetische Wiederherstellung der medizinischen Bilddaten umfassen.
Gemäß einigen Beispielen umfassen die medizinischen Bilddaten eine Vielzahl von medizinischen Bilddatensätzen, die jeweils einen Körperteil eines Patienten zeigen.
Der medizinische Bilddatensatz kann sich auf eine medizinische Bildstudie beziehen. Der medizinische Bilddatensatz kann sich auf dreidimensionale Datensätze, die drei Dimensionen im Raum oder zwei Dimensionen im Raum und eine Dimension in der Zeit bereitstellen, auf zweidimensionale Datensätze, die zwei Dimensionen im Raum bereitstellen, und/oder auf vierdimensionale Datensätze, die drei Dimensionen im Raum und eine Dimension in der Zeit bereitstellen, beziehen.
Der medizinische Bilddatensatz kann einen Körperteil eines Patienten in dem Sinne darstellen, dass er dreidimensionale Bilddaten des Körperteils des Patienten enthält. Der medizinische Bilddatensatz kann ein Bildvolumen repräsentieren. Der Körperteil des Patienten kann im Bildvolumen enthalten sein.
Der medizinische Bilddatensatz umfasst Bilddaten, beispielsweise in Form eines zwei- oder dreidimensionalen Arrays von Pixeln oder Voxeln. Solche Arrays von Pixeln oder Voxeln können Intensität, Absorption oder andere Parameter als eine Funktion der dreidimensionalen Position repräsentieren und können beispielsweise durch geeignete Verarbeitung von Messsignalen erhalten werden, die mit einer medizinischen Bildgebungsmodalität erhalten werden.
Eine medizinische Bildgebungsmodalität entspricht einem System, mit dem medizinische Bilddaten erzeugt oder produziert werden. Beispielsweise kann eine medizinische Bildgebungsmodalität ein Computertomographiesystem (CT-System), ein Magnetresonanztomographiesystem (MR-System), ein Angiographiesystem (oder C-Bogen-Röntgensystem), ein Positronen-Emissions-Tomographiesystem (PET-System), ein Ultraschall-Bildgebungssystem oder dergleichen sein. Insbesondere ist Computertomographie ein weitläufig verwendetes Bildgebungsverfahren und nutzt „harte“ Röntgenstrahlen, die durch ein speziell rotierendes Instrument erzeugt und detektiert werden. Die resultierenden Abschwächungsdaten (auch als Rohdaten bezeichnet) werden von einer analytischen Computersoftware präsentiert, die detaillierte Bilder der internen Struktur der Körperteile des Patienten erzeugt. Die erzeugten Bildsätze werden als CT-Scans bezeichnet und können zahlreiche Reihen von sequenziellen Bildern darstellen, um die inneren anatomischen Strukturen in Querschnitten senkrecht zur Achse des menschlichen Körpers zu präsentieren. Die Magnetresonanztomographie (MRT), um ein weiteres Beispiel bereitzustellen, ist eine fortschrittliche Technik der medizinischen Bildgebung, bei der die Wirkung des Magnetfeldes auf die Bewegung von Protonen genutzt wird. In MRT-Maschinen sind die Detektoren Antennen, und die Signale werden durch einen Computer analysiert, der detaillierte Bilder der inneren Strukturen in einem beliebigen Abschnitt des menschlichen Körpers erzeugt.
Dementsprechend wird der dargestellte Körperteil des Patienten im Allgemeinen eine Vielzahl von Anatomien und/oder Organen umfassen (auch als Kompartimente oder anatomische Strukturen bezeichnet). Ein Brustbild als ein Beispiel, kann der medizinische Bilddatensatz Lungengewebe, Knochen, z. B. den Brustkorb, das Herz und die Aorta, Lymphknoten und anderes zeigen.
Der medizinische Bilddatensatz kann eine Vielzahl von Bildern oder Bild-Slices umfassen. Die Slices können jeweils eine Querschnittsansicht des Bildvolumens zeigen. Die Slices können ein zweidimensionales Array von Pixeln oder Voxeln als Bilddaten umfassen. Die Anordnung von Slices im medizinischen Bilddatensatz kann durch die Bildgebungsmodalität oder durch ein beliebiges verwendetes Nachverarbeitungsschema bestimmt werden.
Ferner kann der medizinische Bilddatensatz einen zweidimensionalen pathologischen Bilddatensatz umfassen, d. h. ein sogenanntes Whole-Slide Image, der einen Gewebeschnitt des Patienten darstellt.
Gemäß einigen Beispielen kann der medizinische Bilddatensatz am lokalen Standort erfasst worden sein.
Der medizinische Bilddatensatz kann in einem Standardbildformat, wie etwa dem Digital Imaging and Communications in Medicine (DICOM) Format, und in einem Speicher oder einem Computerspeichersystem am lokalen Standort wie etwa einem Bildarchivierungs- und Kommunikationssystem (PACS) gespeichert werden. Wann immer hier DICOM erwähnt wird, soll erkannt werden, dass sich dies auf den Standard „Digital Imaging and Communications in Medicine“ (DICOM), z. B. gemäß dem Standard DICOM PS3.1 2020c (oder irgendeiner späteren oder früheren Version dieses Standards) bezieht.
Gemäß einigen Beispielen umfasst der lokale Datensatz für jeden medizinischen Bilddatensatz ein verifiziertes Bildverarbeitungsergebnis, insbesondere ein verifiziertes Detektionsergebnis eines medizinischen Befundes im jeweiligen medizinischen Bilddatensatz, ein verifiziertes Klassifikationsergebnis eines medizinischen Befundes im jeweiligen medizinischen Bilddatensatz und/oder eine Segmentierung des jeweiligen medizinischen Bilddatensatzes.
Gemäß einigen Beispielen umfasst die Parametrisierung das verifizierte Bildverarbeitungsergebnis oder eine Parametrisierung davon. Wie es der Fall sein kann, kann die Parametrisierung eine Angabe über die medizinische Bildgebungsmodalität (oder -modalitäten), mit der die medizinischen Bilddaten erfasst wurden, Bildgebungsparameter, die beim Erfassen der medizinischen Bilddaten verwendet werden, einen medizinischen Befund, der in den medizinischen Bilddaten enthalten ist, eine Segmentierung eines Objekts, das in den medizinischen Bilddaten enthalten ist, umfassen.
Ein medizinischer Befund kann einen bestimmten Zustand oder eine bestimmte Pathologie des Patienten angeben. Der Zustand oder die Pathologie kann für die Diagnose des Patienten relevant sein.
Ein medizinischer Befund kann sich auf eine anatomische Struktur beziehen, die den Patienten von anderen Patienten unterscheidet. Medizinische Befunde können sich innerhalb unterschiedlicher Organe des Patienten (z. B. innerhalb der Lunge eines Patienten oder innerhalb der Leber eines Patienten) oder zwischen den Organen des Patienten befinden. Insbesondere kann sich ein medizinischer Befund auch auf einen Fremdkörper beziehen.
Insbesondere kann sich ein medizinischer Befund auf eine Neoplasie (auch als „Tumor“ bezeichnet), insbesondere eine benigne Neoplasie, eine Neoplasie in situ, eine maligne Neoplasie und/oder eine Neoplasie unsicheren/unbekannten Verhaltens beziehen. Insbesondere kann sich ein medizinischer Befund auf einen Knoten, insbesondere einen Lungenknoten, beziehen. Insbesondere kann sich ein medizinischer Befund auf eine Läsion, insbesondere eine Lungenläsion, beziehen.
Eine Klassifikation kann sich auf das Identifizieren eines Befundtyps und/oder das Bereitstellen einer Klassifikation gemäß einer Vielzahl vordefinierter Klassen wie etwa benigne oder maligne beziehen.
Gemäß einigen Beispielen kann eine Segmentierung auf ein Organ, einen Befund oder ein anderes Kompartiment eines Körperteils des Patienten ausgerichtet sein. Gemäß einigen Beispielen kann der Schritt zum Segmentieren das Erhalten eines Umrisses des jeweiligen Organs oder Kompartiments und/oder das Abgrenzen des Organs oder Kompartiments vom Rest der Bilddaten bedeuten.
Durch das Anwenden des Verfahrens bei der medizinischen Bilddatenverarbeitung werden die Vorteile des Verfahrens besonders wirksam. Dies liegt daran, dass insbesondere die medizinische Umgebung mit restriktiven Datenschutzrichtlinien reguliert ist. Zur gleichen Zeit gibt es strenge Richtlinien bezüglich der Qualität und Validierung von Maschinenlernfunktionen.
Gemäß einigen Beispielen umfasst die Parametrisierung keine geschützten Gesundheitsinformationen. Geschützte Gesundheitsinformationen können sich insbesondere auf persönliche Informationen oder andere Informationen des Patienten beziehen, die zu einer Identifikation des Patienten führen könnten.
Gemäß einigen Beispielen umfasst die Parametrisierung einen oder mehrere Ausschnitte der medizinischen Bilddaten, die jeweils rund um einen Befund gemacht werden, der in den medizinischen Bilddaten dargestellt ist. Ein anderes Wort für Ausschnitt kann Patch sein. Ein Ausschnitt wird allgemein den Befund und das umliegende Gewebe, aber nicht das gesamte medizinische Bild anzeigen. Damit können bessere synthetische Repräsentationen erzeugt werden, die die ursprünglichen lokalen Daten näher widerspiegeln.
Gemäß einem Aspekt umfasst das Verfahren ferner das Bereitstellen des aktualisierten Maschinenlernmodells an einen zweiten lokalen Standort, der sich vom lokalen Standort unterscheidet.
Durch das Bereitstellen des aktualisierten Maschinenlernmodells an andere Standorte kann das Wissen, das an einem Standort durch eine lokale Modellaktualisierung gesammelt und an der Modellaggregatorvorrichtung zentral verifiziert wird, geteilt und verteilt werden. Am zweiten lokalen Standort kann eine weitere lokale Modellaktualisierung basierend auf zweiten lokalen Daten erzeugt werden. Die weitere lokale Aktualisierung kann an der Modellaggregatorvorrichtung zusammen mit einer Parametrisierung der zweiten lokalen Daten empfangen werden, und der Prozess kann erneut für die weitere lokale Aktualisierung starten.
Gemäß einem Aspekt ist ein computerimplementiertes Verfahren für föderales Lernen eines Maschinenlernmodells bereitgestellt. Das Verfahren umfasst eine Vielzahl von Schritten. Ein erster Schritt ist auf das Empfangen, an einem lokalen Standort, von einer Modellaggregatorvorrichtung, die sich entfernt vom lokalen Standort befindet, eines Maschinenlernmodells ausgerichtet. Ein weiterer Schritt ist auf das Erzeugen (oder Bereitstellen), am lokalen Standort, einer lokalen Aktualisierung des Maschinenlernmodells unter Verwendung von lokalen Daten des lokalen Standorts ausgerichtet. Ein weiterer Schritt ist auf das Erzeugen, am lokalen Standort, einer Parametrisierung der lokalen Daten ausgerichtet. Ein weiterer Schritt ist auf das Übertragen, durch den lokalen Standort, der lokalen Aktualisierung und der Parametrisierung an die Modellaggregatorvorrichtung ausgerichtet.
Gemäß einem weiteren Aspekt ist ein computerimplementiertes Verfahren für föderales Lernen eines Maschinenlernmodells bereitgestellt. Das Verfahren umfasst eine Vielzahl von Schritten. Ein erster Schritt ist auf das Empfangen, an einem lokalen Standort, von einer Modellaggregatorvorrichtung, die sich entfernt vom lokalen Standort befindet, eines Maschinenlernmodells (oder optional der generativen KI-Funktion) ausgerichtet. Ein weiterer Schritt ist auf das Erzeugen (oder Bereitstellen), am lokalen Standort, einer lokalen Aktualisierung des Maschinenlernmodells unter Verwendung von lokalen Daten des lokalen Standorts ausgerichtet. Ein weiterer Schritt ist auf das Erzeugen, am lokalen Standort, einer Parametrisierung der lokalen Daten ausgerichtet. Ein weiterer Schritt ist auf das Erzeugen, am lokalen Standort, einer synthetischen Repräsentation der lokalen Daten basierend auf der Parametrisierung unter Verwendung einer generativen KI-Funktion ausgerichtet. Ein weiterer Schritt ist auf das Übertragen, durch den lokalen Standort, der lokalen Aktualisierung und der synthetischen Repräsentation an die Modellaggregatorvorrichtung ausgerichtet.
Mit anderen Worten ist das obige Verfahren auf die Client-seitige Verarbeitung ausgerichtet. Die Schritte können gemäß den hierin beschriebenen Aspekten und Beispielen weiter detailliert und mit anderen Merkmalen kombiniert werden. Insbesondere können die Schritte der Client-seitigen Verarbeitung mit Schritten der Server-seitigen Verarbeitung an der Modellaggregatorvorrichtung kombiniert werden. Die in Verbindung mit den anderen Aspekten und Beispielen der Offenbarung beschriebenen Vorteile werden auch durch die entsprechend konfigurierten Schritte der Client-seitigen Verarbeitung realisiert.
Gemäß einem Aspekt ist ein computerimplementiertes Verfahren zum Bereitstellen einer synthetischen Repräsentation von lokalen Daten an einem lokalen Standort an eine Aggregatorvorrichtung bereitgestellt. Das Verfahren umfasst eine Vielzahl von Schritten. Ein Schritt ist auf das Erzeugen, am lokalen Standort, einer Parametrisierung der lokalen Daten ausgerichtet. Ein anderer Schritt ist auf das Übertragen der Parametrisierung vom lokalen Standort an die Aggregatorvorrichtung ausgerichtet. Ein anderer Schritt ist auf das Empfangen der Parametrisierung an der Aggregatorvorrichtung ausgerichtet. Ein anderer Schritt ist auf das Erzeugen, an der Aggregatorvorrichtung, einer synthetischen Repräsentation der lokalen Daten basierend auf der Parametrisierung unter Verwendung einer generativen KI-Funktion ausgerichtet. Ein weiterer Schritt ist auf das Bereitstellen der synthetischen Repräsentation an der Aggregatorvorrichtung ausgerichtet.
Gemäß einem alternativen Aspekt ist ein computerimplementiertes Verfahren zum Bereitstellen einer synthetischen Repräsentation von lokalen Daten an einem lokalen Standort an eine Aggregatorvorrichtung bereitgestellt, wobei das Verfahren Erzeugen, am lokalen Standort, einer synthetischen Repräsentation der lokalen Daten unter Verwendung einer generativen KI-Funktion und Bereitstellen der synthetischen Repräsentation vom lokalen Standort an die Aggregatorvorrichtung umfasst. Insbesondere kann das Erzeugen der synthetischen Repräsentationen an den lokalen Standorten das Erzeugen, am lokalen Standort, einer Parametrisierung der lokalen Daten und das Erzeugen, am lokalen Standort, einer synthetischen Repräsentation der lokalen Daten basierend auf der Parametrisierung unter Verwendung der generativen KI-Funktion umfassen.
Mit den obigen Verfahren kann eine datenschutzbewahrende Weise zum Austauschen von Informationen bereitgestellt werden. Die Aggregatorvorrichtung kann auf eine äquivalente Weise wie die Modellaggregatorvorrichtung ausgelegt sein. Ferner kann das obige Verfahren gemäß den anderen hierin beschriebenen Beispielen und Aspekten modifiziert werden und kann ähnliche Vorteile aufweisen.
Gemäß einem Aspekt ist eine Modellaggregatorvorrichtung für föderales Lernen eines Maschinenlernmodells bereitgestellt, wobei die Modellaggregatorvorrichtung eine Recheneinheit und eine Schnittstelleneinheiten umfasst. Die Schnittstelleneinheiten ist dazu ausgelegt, von einem lokalen Standort, der sich entfernt von der Modellaggregatorvorrichtung befindet, eine lokale Aktualisierung des Maschinenlernmodells und eine Protokolldatei zu empfangen, wobei die lokale Aktualisierung am lokalen Standort basierend auf lokalen Daten erzeugt wurde und die Protokolldatei eine Parametrisierung der lokalen Daten umfasst. Die Recheneinheit ist dazu ausgelegt, eine synthetische Repräsentation der lokalen Daten basierend auf der Parametrisierung unter Verwendung einer generativen KI-Funktion zu erzeugen, die lokale Aktualisierung unter Verwendung der synthetischen Repräsentation zu beurteilen, um ein Beurteilungsergebnis zu erhalten, das die Leistung der Modellaktualisierung angibt, und das Maschinenlernmodell basierend auf dem Beurteilungsergebnis und der lokalen Aktualisierung zu aktualisieren.
Die Recheneinheit kann als ein Datenverarbeitungssystem oder als Teil eines Datenverarbeitungssystems realisiert sein. Ein derartiges Datenverarbeitungssystem kann z. B. ein Cloud-Computing-System, ein Computernetzwerk, einen Computer, einen Tablet-Computer, ein Smartphone und/oder dergleichen umfassen. Die Recheneinheit kann Hardware und/oder Software umfassen. Die Hardware kann z. B. einen oder mehrere Prozessoren, einen oder mehrere Speicher und Kombinationen davon umfassen. Der eine oder die mehreren Speicher können Anweisungen zum Ausführen der Verfahrensschritte gemäß der Erfindung speichern. Die Hardware kann durch die Software konfigurierbar sein und/oder durch die Software betreibbar sein. Generell können alle Einheiten, Untereinheiten oder Module zumindest zeitweilig im Datenaustausch miteinander stehen, z. B. über eine Netzwerkverbindung oder entsprechende Schnittstellen. Folglich können einzelne Einheiten voneinander entfernt angeordnet sein.
Ferner kann die Recheneinheit als eine Edge-Vorrichtung ausgelegt sein.
Die Schnittstelleneinheit kann eine Schnittstelle zum Datenaustausch mit einem oder mehreren lokalen Clients z. B. über das Internet umfassen. Die Schnittstelleneinheit kann ferner angepasst sein, um mit einem oder mehreren Benutzern des Systems z. B. durch das Anzeigen des Ergebnisses der Verarbeitung für den Benutzer (z. B. in einer graphischen Benutzeroberfläche) eine Schnittstelle zu bilden.
Die Modellaggregatorvorrichtung kann dazu angepasst sein, die wie hierin beschriebenen Verfahren in ihren verschiedenen Aspekten und Beispielen für das föderale Lernen einer Maschinenlernfunktion zu implementieren. Die in Verbindung mit den Verfahrensaspekten und -beispielen beschriebenen Vorteile können auch durch die entsprechend konfigurierten Systemkomponenten realisiert werden.
Gemäß einem Aspekt ist eine lokale Modellaktualisierungsvorrichtung für föderales Lernen eines Maschinenlernmodells bereitgestellt. Die lokale Modellaktualisierungsvorrichtung befindet sich an einem lokalen Standort. Die lokale Modellaktualisierungsvorrichtung umfasst eine lokale Schnittstelleneinheiten und eine lokale Recheneinheit. Die lokale Schnittstelleneinheiten ist dazu ausgelegt, von einer Modellaggregatorvorrichtung, die sich entfernt vom lokalen Standort befindet, ein Maschinenlernmodell zu empfangen und eine lokale Aktualisierung des Maschinenlernmodells und eine Parametrisierung der lokalen Daten, die zum Erzeugen der lokalen Aktualisierung am lokalen Standort verwendet werden, an die Modellaggregatorvorrichtung zu übertragen. Die Recheneinheit ist dazu ausgelegt, am lokalen Standort die lokale Aktualisierung des Maschinenlernmodells basierend auf den lokalen Daten zu erzeugen und die Parametrisierung der lokalen Daten zu erzeugen.
Eine oder mehrere der lokalen Modellaktualisierungsvorrichtungen können mit der Modellaggregatorvorrichtung kombiniert werden, um ein System für föderales Lernen der Maschinenlernfunktion zu bilden. Die eine oder die mehreren lokalen Recheneinheiten können allgemein auf eine äquivalente Weise wie die Recheneinheit ausgelegt sein. Gleichermaßen können die eine oder die mehreren lokalen Schnittstelleneinheiten auf die im Wesentlichen gleiche Weise wie die Schnittstelleneinheit ausgelegt sein.
Gemäß einem anderen Aspekt ist die vorliegende Erfindung auf ein Computerprogrammprodukt ausgerichtet, das Programmelemente umfasst, die eine Recheneinheit einer Modellaggregatorvorrichtung (oder einer lokalen Modellaktualisierungsvorrichtung) für föderales Lernen einer Maschinenlernfunktion veranlasst, die Schritte gemäß einem oder mehreren der obigen Verfahrensaspekte und -beispiele durchzuführen, wenn die Programmelemente in einen Speicher der Recheneinheit geladen werden.
Gemäß einem anderen Aspekt ist die vorliegende Erfindung auf ein computerlesbares Medium ausgerichtet, in dem Programmelemente gespeichert sind, die durch eine Recheneinheit einer Modellaggregatorvorrichtung (oder einer lokalen Modellaktualisierungsvorrichtung) für föderales Lernen einer Maschinenlernfunktion lesbar und ausführbar sind, um die Schritte gemäß einem oder mehreren Verfahrensaspekten und - beispielen durchzuführen, wenn die Programmelemente durch die Recheneinheit ausgeführt werden.
Die Realisierung der Erfindung durch ein Computerprogrammprodukt und/oder ein computerlesbares Medium hat den Vorteil, dass bereits bestehende bereitstellende Systeme einfach durch Softwareaktualisierungen angepasst werden können, um so zu arbeiten, wie von der Erfindung vorgeschlagen wird.
Das Computerprogrammprodukt kann z. B. ein Computerprogramm sein oder neben dem Computerprogramm als solchem ein weiteres Element umfassen. Dieses andere Element kann Hardware, z. B. eine Speichervorrichtung, in der das Computerprogramm gespeichert ist, ein Hardware-Schlüssel zum Verwenden des Computerprogramms und dergleichen, und/oder Software, z. B. eine Dokumentation oder ein Software-Schlüssel zum Verwenden des Computerprogramms, sein. Das Computerprogrammprodukt kann ferner Entwicklungsmaterial, ein Laufzeitsystem und/oder Datenbanken oder Bibliotheken umfassen. Das Computerprogrammprodukt kann zwischen mehreren Computerinstanzen verteilt sein.
Sowohl die Charakteristiken, Merkmale und Vorteile der oben beschriebenen Erfindung als auch die Art und Weise, wie sie erreicht werden, werden angesichts der folgenden Beschreibung von Ausführungsformen, die ausführlich bezüglich der Figuren beschrieben werden, deutlicher und verständlicher. Diese folgende Beschreibung beschränkt die Erfindung nicht auf die enthaltenen Ausführungsformen ein. Gleiche Komponenten, Teile oder Schritte können in unterschiedlichen Figuren mit den gleichen Bezugszeichen bezeichnet werden. Im Allgemeinen sind die Figuren nicht maßstabsgetreu gezeichnet. Im Folgenden gilt:

1 stellt schematisch eine Ausführungsform eines Systems für föderales Lernen einer Maschinenlernfunktion gemäß einer Ausführungsform dar;
2 stellt schematisch ein Verfahren für föderales Lernen einer Maschinenlernfunktion gemäß einer Ausführungsform dar;
3 stellt schematisch ein beispielhaftes Datenflussdiagramm in Verbindung mit einem Verfahren für föderales Lernen einer Maschinenlernfunktion gemäß einer Ausführungsform dar;
4 stellt schematisch ein beispielhaftes Datenflussdiagramm in Verbindung mit einem Verfahren für föderales Lernen einer Maschinenlernfunktion gemäß einer Ausführungsform dar;
5 stellt schematisch ein Verfahren für föderales Lernen einer Maschinenlernfunktion gemäß einer Ausführungsform dar;
6 stellt schematisch ein beispielhaftes Datenflussdiagramm in Verbindung mit einem Verfahren für föderales Lernen einer Maschinenlernfunktion gemäß einer Ausführungsform dar; und
7 stellt schematisch ein Encoder-Decoder-Transformer-Netzwerk gemäß einer Ausführungsform dar.

1 stellt ein beispielhaftes System 1 für föderales Lernen eines Maschinenlernmodells ML in einer verteilten Umgebung dar. Das System kann in der Lage sein, das Maschinenlernmodell ML in einer Umgebung, die eine Vielzahl von lokalen Standorten LS, LS-2, LS-3 umfasst, zu erzeugen, zu trainieren, zu aktualisieren, zu verteilen, zu überwachen und allgemein zu administrieren. Das System 1 ist dazu angepasst, das Verfahren gemäß einer oder mehrerer Ausführungsformen durchzuführen, z. B. wie ferner mit Bezug auf die 2 bis 6 beschrieben ist.
Das System 1 umfasst eine Modellaggregatorvorrichtung MAD und eine Vielzahl von Clients, die sich jeweils an anderen lokalen Standorten LS, LS-2, LS-3 befinden. Die Modellaggregatorvorrichtung MAD und die Clients können über ein Netzwerk verknüpft sein. Die Modellaggregatorvorrichtung MAD ist allgemein dazu ausgelegt, die föderalen Lernprozeduren im System 1 zu steuern, zu koordinieren und zu lenken. Die lokalen Standorte LS, LS-2, LS-3 können sich beispielsweise auf klinische oder medizinische Umgebungen beziehen, wie etwa Krankenhäuser oder Krankenhausgruppen, Kliniken oder Praxen.
Das Maschinenlernmodell ML kann als ein Master-Modell angesehen werden, das zentral durch die Modellaggregatorvorrichtung MAD administriert wird und an die lokalen Standorte LS, LS-2, LS-3 verteilt und an diesen weiter trainiert wird. Das Maschinenlernmodell ML kann allgemein dazu ausgelegt sein, eine medizinische Diagnose basierend auf medizinischen Eingabedaten bereitzustellen. Dies kann Resultatvorhersage, die Detektion von Befunden in medizinischen Bilddaten, die Annotation medizinischer Bilder z. B. hinsichtlich Orientierungen oder Landmarkdetektion, die Erzeugung medizinischer Berichte und dergleichen einschließen.
Die Modellaggregatorvorrichtung MAD kann auf einem Server gehostet werden, bei dem es sich um einen Cloud-Server oder einen lokalen Server handeln kann. Die Modellaggregatorvorrichtung MAD kann jedoch auch unter Verwendung einer oder mehrerer anderer geeigneter Rechenvorrichtungen implementiert werden. Die Modellaggregatorvorrichtung MAD umfasst eine Recheneinheit CU und eine Schnittstelleneinheit IU. Ferner kann die Modellaggregatorvorrichtung MAD Zugang zu einer zentralen Datenbank CDB aufweisen, die zur zentralen Speicherung von Trainingsdaten zum Beurteilen des Maschinenlernmodells ML ausgelegt ist.
Die Recheneinheit CU kann einen oder mehrere Prozessoren und einen Arbeitsspeicher umfassen. Der eine oder die mehreren Prozessoren können zum Beispiel eine oder mehrere Zentralverarbeitungseinheiten (CPUs), Grafikverarbeitungseinheiten (GPUs) und/oder andere Verarbeitungsvorrichtungen beinhalten. Die Recheneinheit CU kann ferner einen Mikrocontroller oder eine integrierte Schaltung umfassen. Alternativ kann die Recheneinheit CU eine reale oder virtuelle Gruppe von Computern, wie einen sogenannten ,Cluster' oder eine ,Cloud', umfassen. Der Arbeitsspeicher kann ein oder mehrere computerlesbare Medien beinhalten, wie etwa einen RAM zum vorübergehenden Laden von Daten, z. B. Daten von der Datenbank CDB oder Daten, die von den lokalen Standorten LS, LS-2, LS-3 hochgeladen werden. Der Arbeitsspeicher kann ferner Informationen speichern, die für den einen oder die mehreren Prozessoren zugänglich sind, um Verfahrensschritte gemäß einer oder mehreren hierin beschriebenen Ausführungsformen durchzuführen.
Die Schnittstelleneinheiten IU kann beliebige geeignete Komponenten zur Schnittstellenbildung mit einem oder mehreren Netzwerken beinhalten, einschließlich zum Beispiel Sender, Empfänger, Ports, Steuerungen oder andere geeignete Komponenten. Die Modellaggregatorvorrichtung MAD kann Informationen mit einem oder mehreren lokalen Standorten LS, LS-2, LS-3 über die Schnittstelleneinheiten IU austauschen. Eine beliebige Anzahl von lokalen Standorten LS, LS-2, LS-3 kann mit der Modellaggregatorvorrichtung MAD über die Schnittstelleneinheiten IU verbunden sein.
Die Recheneinheit CU kann Untereinheiten SYNTH, AGGR und MGMT umfassen. Die Untereinheit MGMT kann ein Verwaltungsmodul oder eine Verwaltungseinheit sein, das bzw. die zur Steuerung und Administration des föderalen Lernens des Maschinenlernmodells ML im System 1 ausgelegt ist. Die Untereinheit MGMT kann die Verteilung des Maschinenlernmodells ML an die lokalen Standorte LS, LS-2, LS-3 auslösen und die Aktualisierung des Maschinenlernmodells ML im System 1 initiieren, sobald eine neue aktualisierte Version ML* verfügbar ist.
Die Untereinheit SYNTH kann als ein Trainingsdaten-Synthesizer angesehen werden. Die Untereinheit SYNTH ist dazu ausgelegt, synthetische Repräsentationen SR der lokalen Daten LTD basierend auf entsprechenden Parametrisierungen P zu erzeugen. Zu diesem Zweck kann die Untereinheit SYNTH dazu ausgelegt sein, eine entsprechend konfigurierte generative KI-Funktion GEN zu hosten und auszuführen.
Die Untereinheit AGGR kann als eine Modellaktualisierungseinheit angesehen werden. Die Untereinheit AGGR ist dazu ausgelegt, lokale Modellaktualisierungen ML' zu beurteilen und die lokalen Aktualisierungen ML' im Master-Maschinenlernmodell ML zu aggregieren, falls sie eine Verbesserung darstellen. Zu diesem Zweck kann die Untereinheit AGGR dazu ausgelegt sein, ein Kreuzvalidierungsschema anzuwenden.
Die Bezeichnung der verschiedenen Untereinheiten SYNTH, AGGR, MGMT ist beispielhaft und nicht einschränkend für die Offenbarung auszulegen. Dementsprechend können die Untereinheiten SYNTH, AGGR, MGMT integriert werden, um eine einzige Verarbeitungseinheit zu bilden, oder sie können durch Computercodesegmente verkörpert sein, die dazu ausgelegt sind, die entsprechenden Verfahrensschritte auszuführen, die auf einem Prozessor oder dergleichen der Recheneinheit CU laufen. Jede Untereinheit SYNTH, AGGR, MGMT kann einzeln mit anderen Untereinheiten und/oder anderen Komponenten des Systems 1 verbunden sein, wobei ein Datenaustausch erforderlich ist, um die Verfahrensschritte durchzuführen.
Die zentrale Datenbank CDB kann als eine Cloud-Speicherung realisiert sein. Alternativ kann die zentrale Datenbank CDB als eine lokale oder verteilte Speicherung realisiert sein, insbesondere innerhalb der Räumlichkeiten der Modellaggregatorvorrichtung MAD. Die zentrale Datenbank CDB ist dazu ausgelegt, zentrale Trainingsdaten CTD zu speichern.
Jeder der lokalen Standorte LS, LS-2, LS-3 umfasst eine lokale Modellaktualisierungsvorrichtung LMUD und eine lokale Datenbank LDB. Die lokale Datenbank LDB kann als eine lokale oder verteilte Speicherung innerhalb der Räumlichkeiten des jeweiligen lokalen Standorts LS, LS-2, LS-3 realisiert werden. Die lokale Datenbank LDB kann die lokalen (Trainings-)Daten LTD speichern, die durch das Maschinenlernmodell ML verarbeitet werden sollen.
Die lokalen Daten LTD können eine Anzahl einzelner Datenelemente umfassen, die sich zum Beispiel auf ein klinisches oder medizinisches Problem beziehen. Als ein Beispiel können sich die Datenelemente auf Labortestergebnisse und/oder pathologische Daten und/oder medizinische Bildgebungsdaten, elektronische Krankenakten und eine beliebige Kombination davon beziehen. Die lokalen Daten LTD können sich auf medizinische Daten eines oder mehrerer Patienten beziehen. Die lokalen Daten LTD können an den jeweiligen lokalen Standorten LS, LS-2, LS-3 erzeugt worden sein. Die lokale Datenbank LDB kann Teil von Krankenhausinformationssystemen (KIS), Radiologieinformationssystemem (RIS), klinischen Informationssystemen (CIS), Laborinformationssystemen (LIS) und/oder Herz-Kreislauf-Informationssystemen (CVIS), einem Bildarchivierungs- und Kommunikationssystem (PACS) oder dergleichen sein.
Aus der lokalen Datenbank EDB kann auf die lokalen Daten LTD lokal für das Training des Maschinenlernmodells ML und die spätere regelmäßige Verwendung des Maschinenlernmodells ML nach dem Einsatz zugegriffen werden. Das Training kann das Anpassen des Maschinenlernmodells und das Validieren und Testen des angepassten Maschinenlernmodells umfassen. Die lokalen Daten können in Trainingsdaten, Validierungsdaten und Testdaten aufgeteilt sein. Für das Training des Maschinenlernmodells an den lokalen Standorten kann der Rückpropagationsalgorithmus basierend auf einer zweckmäßigen Kostenfunktion und unter Verwendung der Trainingsdaten verwendet werden. Basierend auf den Validierungsdaten kann das Maschinenlernmodell mit der besten Leistung aus mehreren Maschinenlernmodellen (mit unterschiedlichen Hyperparametern, z. B. Anzahl von Schichten, Größe und Anzahl von Kernels, Auffüllung usw.) ausgewählt werden. Die Spezifität und die Sensibilität können dann basierend auf den Testdaten bestimmt werden.
Insbesondere kann auf die lokalen Daten LTD nicht von der Außenseite zugegriffen werden, da die lokalen Daten LTD Datenschutzbestimmungen unterliegen können, die verbieten, dass die lokalen Daten LTD die lokalen Standorte LS, LS-2, LS-3 verlassen. Die lokalen Daten LTD können Trainingseingabedaten und assoziierte Trainingsausgabedaten umfassen, die verwendet werden können, um die Leistung eines Maschinenlernmodells ML während des Trainings zu beurteilen. Die Ausgabetrainingsdaten können sich auf verifizierte Ergebnisse entsprechend den Eingabetrainingsdaten beziehen. Die Ausgabetrainingsdaten können durch einen Menschen basierend auf den Eingabetrainingsdaten erzeugt und/oder verifiziert werden.
Die lokale Modellaktualisierungsvorrichtung LMUD kann eine lokale Recheneinheit LCU und eine lokale Schnittstelleneinheit LIU umfassen. Die lokale Schnittstelleneinheit LIU kann auf eine äquivalente Weise wie die Schnittstelleneinheit IU ausgelegt sein und kann beliebige geeignete Komponenten zur Schnittstellenbildung mit der Schnittstelleneinheit IU über ein Netzwerk wie etwa das Internet beinhalten.
Die lokale Recheneinheit LCU ist dazu ausgelegt, das Maschinenlernmodell ML basierend auf den lokalen Daten LTD weiter zu trainieren, um eine lokale Aktualisierung ML' des Maschinenlernmodells ML bereitzustellen. Zu diesem Zweck kann die lokale Recheneinheit LCU eine entsprechend konfigurierte Trainingseinheit oder ein entsprechend konfiguriertes Trainingsmodul TRN umfassen. Ferner kann die lokale Recheneinheit LCU ein Parametrisierungsmodul oder eine Parametrisierungseinheit PAR umfassen, das bzw. die dazu ausgelegt ist, eine Parametrisierung P der lokalen Daten LTD zu erzeugen. Zu diesem Zweck kann die Parametrisierungseinheit PAR dazu ausgelegt sein, eine entsprechend konfigurierte Encoder-Funktion ENC zu hosten. Um zu gewährleisten, dass keine datenschutzrelevanten Informationen aus der Parametrisierung P abgeleitet oder geschlussfolgert werden können, können ein oder mehrere Verschlüsselungstechniken, Zufallsrauschtechniken und/oder andere Sicherheitstechniken durch die Parametrisierungseinheit PAR nach der Erzeugung der Parametrisierungen P hinzugefügt werden. Sowohl die lokale Aktualisierung ML' als auch die Parametrisierung P können der Modellaggregatorvorrichtung MAD über die lokale Schnittstelleneinheit LIU bereitgestellt werden.
Die Bezeichnung der verschiedenen Untereinheiten TRN, PAR ist beispielhaft und nicht einschränkend für die Offenbarung auszulegen. Dementsprechend können die Untereinheiten TRN, PAR integriert werden, um eine einzige Verarbeitungseinheit zu bilden, oder sie können durch Computercodesegmente verkörpert sein, die dazu ausgelegt sind, die entsprechenden Verfahrensschritte auszuführen, die auf einem Prozessor oder dergleichen der lokalen Recheneinheit LCU laufen.
Lokale Recheneinheiten LCU können eine beliebige geeignete Art von Rechenvorrichtung sein, wie etwa ein Universalcomputer, ein Spezialcomputer, ein Laptop, ein lokales Serversystem oder eine andere geeignete Rechenvorrichtung. Die lokalen Recheneinheiten LCU können einen oder mehrere Prozessoren und einen Speicher beinhalten. Der eine oder die mehreren Prozessoren können zum Beispiel eine oder mehrere Zentralverarbeitungseinheiten (CPUs), Grafikverarbeitungseinheiten (GPUs) und/oder andere Verarbeitungsvorrichtungen beinhalten. Der Speicher kann ein oder mehrere computerlesbare Medien beinhalten und kann Informationen speichern, auf die der eine oder die mehreren Prozessoren zugreifen können, einschließlich Anweisungen, die durch den einen oder die mehreren Prozessoren ausgeführt werden können. Die Anweisungen können Anweisungen für das lokale weitere Training des Maschinenlernmodells ML und/oder die Erzeugung von Parametrisierungen P beinhalten.
In einer alternativen Ausführungsform (nicht gezeigt) wird es auch denkbar sein, den lokalen Standorten LS, LS-2, LS-3 Module zur Erzeugung synthetischer Repräsentationen SR der lokalen Daten LTD basierend auf entsprechenden Parametrisierungen P bereitzustellen. Dann würde die synthetische Repräsentation SR direkt an den lokalen Standorten LS, LS-2, LS-3 erzeugt und an die Modellaggregatorvorrichtung MAD übertragen werden. Ebenfalls gemäß dieser Alternative können Datenschutzanforderungen eingehalten werden, da nur die synthetische Repräsentation SR die lokalen Standorte LS, LS-2, LS-3 verlässt.
2 stellt ein Verfahren für föderales Lernen eines Maschinenlernmodells in einer verteilten Umgebung dar. Entsprechende Datenströme werden in 3 gezeigt. Zusätzlich zeigt 4 Datenströme, die mit der Modellaggregation an der Modellaggregationsvorrichtung MAD assoziiert sind. Das Verfahren umfasst mehrere Schritte. Die Reihenfolge der Schritte entspricht nicht notwendigerweise der Nummerierung der Schritte, sondern kann außerdem zwischen unterschiedlichen Ausführungsformen der vorliegenden Erfindung variieren. Ferner können einzelne Schritte oder eine Folge von Schritten wiederholt werden.
Die Schritte C10-C40 finden an der Client-Seite statt, d. h., an den jeweiligen lokalen Standorten LS, LS-2, LS-3, und können durch die lokale Modellaktualisierungsvorrichtung LMUD ausgeführt werden. Die Schritte S10-S80 finden an der Server-Seite statt und können durch die Modellaggregatorvorrichtung MAD ausgeführt werden. Gemäß Verfahren der vorliegenden Erfindungen können die Schritte separat ausgeführt werden. Mit anderen Worten decken Aspekte der Erfindung Verfahren ab, die nur Client-seitige Verfahrensschritte umfassen, während andere Aspekte Verfahren abdecken, die nur Server-seitige Schritte umfassen. Ferner können Aspekte der Erfindung auch Verfahren abdecken, die Server-seitige und Client-seitige Schritte umfassen.
Bei Schritt C10 wird ein Maschinenlernmodell ML am lokalen Standort LS empfangen. Das Maschinenlernmodell ML kann eine Kopie des Master-Modells sein, das durch die Modellaggregatorvorrichtung MAD bereitgestellt und administriert wird. Das Maschinenlernmodell ML ist fertig trainiert und soll am lokalen Standort LS gemäß der erlernten Aufgabe eingesetzt werden. Gemäß Ausführungsformen kann diese erlernte Aufgabe eine automatisierte Verarbeitung medizinischer Bilddaten zur Ableitung einer medizinischen Diagnose umfassen. Insbesondere kann das Maschinenlernmodell dazu ausgelegt sein, medizinische Bilddaten eines Patienten zu verarbeiten, um medizinische Befunde zu detektieren und/oder zu klassifizieren. Gemäß einigen Beispielen können die medizinischen Bilddaten Teile des Oberkörpers des Patienten zeigen, und die Befunde umfassen Läsionen in der Lunge oder Leber des Patienten. Gemäß anderen Beispielen umfassen die medizinischen Bilddaten digitale Pathologiebilder des Patienten, und die Befunde beziehen sich auf eine Segmentierung des digitalen Pathologiebildes gemäß einem oder mehreren Gewebetypen.
Bei Schritt C20 kann das Maschinenlernmodell ML basierend auf den lokalen Daten LTD an den lokalen Standorten LS weiter trainiert werden. Dies führt zu einer lokalen Aktualisierung ML' des Maschinenlernmodells ML. Gemäß einigen Beispielen kann ein solches Training on-the-fly stattfinden, z. B., wenn ein Benutzer am lokalen Standort die Verarbeitungsergebnisse des Maschinenlernmodells ML überprüft. Beispielsweise kann ein Radiologe Läsionen ablehnen oder akzeptieren, die durch das Maschinenlernmodell ML gefunden wurden. Ferner kann der Radiologe Läsionen hinzufügen, die nicht durch das Maschinenlernmodell gefunden wurden. Gemäß anderen Beispielen kann ein Pathologe eine Segmentierung, wie durch das Maschinenlernmodell ML bereitgestellt, modifizieren. Die Benutzereingaben können als Ground Truth zur weiteren Optimierung, das heißt Training, des Maschinenlernmodells ML an den lokalen Standorten LS, LS-2, LS-3 verwendet werden. Die Ground Truth zusammen mit den zugrundeliegenden lokalen Daten können die lokalen Daten LTD bilden.
Bei Schritt C30 kann eine Parametrisierung P der lokalen Daten LTD oder eines Teils der lokalen Daten erzeugt werden. Insbesondere kann nur der Teil der lokalen Daten, der zur Validierung des weiter trainierten Maschinenlernmodells verwendet wird, parametrisiert werden. Die Parametrisierung P kann sich auf einen Datenminimierungsschritt beziehen, bei dem die lokalen Daten LTD zu einer Version abgebaut werden, die weiterhin die Synthetisierung oder Wiederherstellung der lokalen Daten LTD an der Modellaggregatorvorrichtung MAD ermöglichen, aber die keine unnötigen Informationen enthalten. Insbesondere umfasst die Parametrisierung P möglicherweise keine Informationen, die einer Datenschutzbestimmung unterliegen, wie etwa persönliche Informationen eines Patienten.
Die Parametrisierung P kann eine Vielzahl charakteristischer Werte des zugrundeliegenden medizinischen Bildes und optional auch Bilddatenauszügej-ausschnitte des medizinischen Bildes umfassen. Um ein Beispiel bereitzustellen, kann die Parametrisierung P wie folgt aussehen: Typ: Brust-CT-Scan, Bolusagent: xyz, Modalität: Siemens Healthineers CT-Scanner, Modellnummer: 12345, Kilospannungsspitze: xxx, Milliamperesekunden: yyy, Lungenknoten 1: Größe: 11 mm, Typ: fest, Stelle: oberer linker Lungenlappen, Lungenknoten 2: Größe: 16 mm, Typ: ggn, Stelle: unterer linker Lungenlappen, usw. Gemäß anderen Beispielen kann die Parametrisierung P eine abstraktere Form aufweisen und kann in Form von Einbettungen bereitgestellt werden, die durch die generative KI-Funktion GEN, aber nicht notwendigerweise durch einen menschlichen Benutzer, interpretiert werden können. Ferner kann die Parametrisierung P auch eine oder mehrere statistische Eigenschaften der gesamten lokalen Daten umfassen.
Bei Schritt C30 kann die Parametrisierung P durch einen Encoder ENC oder Autoencoder erzeugt werden, der dem lokalen Standort LS durch die Modellaggregatorvorrichtung MAD zusammen mit dem Maschinenlernmodell ML bereitgestellt werden kann. Der Encoder ENC kann als ein Gegenstück der generativen KI-Funktion GEN angesehen werden und kann in Verbindung mit der generativen KI-Funktion GEN trainiert werden, wie hierin beschrieben.
Bei Schritt C40 werden die lokale Aktualisierung ML' und die Parametrisierung P durch die lokale Schnittstelleneinheiten LMUD an die Modellaggregatorvorrichtung MAD übertragen.
Bei Schritt S10 werden die lokale Aktualisierung ML' und die Parametrisierung P im Gegenzug an der Modellaggregatorvorrichtung MAD empfangen. Bei Schritt S20 wird eine synthetische Repräsentation SR der lokalen Daten LTD erzeugt. Zu diesem Zweck kann die generative KI-Funktion GEN auf die Parametrisierung P angewendet werden. Gemäß dem obigen Beispiel umfasst die synthetische Repräsentation SR erneut ein medizinisches Bild, wie etwa ein radiologisches oder ein pathologisches medizinisches Bild als eine Wiederherstellung der entsprechenden Bilddaten am lokalen Standort LS.
Optional kann die generative KI-Funktion GEN auf Basis einer Aufforderung in natürlicher Sprache funktionieren. Die Aufforderung kann als eine Anweisung oder ein Steuerbefehl für die generative KI-Funktion angesehen werden. Eine solche Aufforderung kann im optionalen Teilschritt S21 auf Basis der Parametrisierung P erzeugt werden. Auf eine Weise kann Schritt S21 als ein Übersetzungsschritt zur Übersetzung der Parametrisierung P in einen Satz von Anweisungen angesehen werden, auf deren Basis die generative KI-Funktion GEN wirken kann.
Beim optionalen Schritt S22 wird die Aufforderung in die generative KI-Funktion eingegeben, um die Erzeugung der synthetischen Repräsentation SR auszulösen.
Bei Schritt S30 wird die synthetische Repräsentation SR optional zusammen mit anderem Training, das schon in der zentralen Datenbank CDB vorhanden ist, verwendet, um die lokale Aktualisierung ML' zu beurteilen. Das Ergebnis der Verarbeitung kann in Form eines Beurteilungsergebnisses bereitgestellt werden.
Ein Datenflussdiagramm eines Modellbeurteilungs- und - aggregationsprozesses ist in 4 gezeigt. Wie in 4 gesehen werden kann, empfängt die Modellaggregatorvorrichtung MAD nicht nur lokale Aktualisierungen ML' von einem lokalen Standort LS, sondern von einer Vielzahl von lokalen Standorten LS, LS-1, LS-2. Gleichermaßen kann die Modellaggregatorvorrichtung MAD synthetische Repräsentationen SR von unterschiedlichen lokalen Standorten LS, LS-1, LS-2 empfangen.
Zum Testen, Validieren und schließlich Angelangen bei einem aktualisierten Master-Modell ML* kann ein Validierungsschema bei Teilschritt S31 verwendet werden. Insbesondere kann ein Kreuzvalidierungsschema verwendet werden, gemäß dem die verfügbaren Daten, das heißt die synthetische Repräsentation SR und andere zweckmäßige Trainingsdaten, die an der Modellaggregatorvorrichtung MAD verfügbar sind, in eine Vielzahl komplementärer Teilsätze oder Folds partitioniert werden. Unterschiedliche verfügbare Modelle (oder ihre Parameter) können nach dem Trail-Prinzip kombiniert werden, um eine Vielzahl von Kandidatenmodellaktualisierungen ML_tmp zu erzeugen. Ein zusätzliches weiteres Training dieser unterschiedlichen Kombinationen ML_tmp kann an einem Teilsatz der verfügbaren Daten durchgeführt werden (genannt der Trainingssatz oder Trainings-Fold), und ein Test wird an dem anderen Teilsatz durchgeführt (genannt der Testsatz oder Test-Fold). Um Variabilität zu reduzieren, können mehrere Durchläufe der Kreuzvalidierung unter Verwendung unterschiedlicher Partitionen der Trainingsdaten durchgeführt werden, und die Validierungsergebnisse werden über die unterschiedlichen Partitionen kombiniert (z. B. gemittelt), um eine Schätzung der prädiktiven Leistung des jeweiligen Maschinenlernmodells ML_tmp zu ergeben. Falls zusätzliche Hyperparameter optimiert werden müssen, können verschachtelte Kreuzvalidierungsschemen angewendet werden. Im Grunde sind diese angewiesen auf (1) eine innere Kreuzvalidierung, um die Hyperparameter abzustimmen und optimale Hyperparameter auszuwählen, und (2) eine äußere Kreuzvalidierung, die zur Beurteilung des Modells verwendet wird, das unter Verwendung optimierter Hyperparameter trainiert wird, wie durch die innere Kreuzvalidierung ausgewählt. Das beste Modell kann in Form eines (finalen) Beurteilungsergebnisses bereitgestellt werden.
Bevor synthetische Repräsentationen SR bei der Beurteilung des Maschinenlernmodells ML_tmp verwendet werden, können sie einer Qualitätskontrolle unterliegen, wie in Verbindung mit den 5 und 6 beschrieben.
Auf Basis des Modellevaluierungs- und -aggregationsergebnisses von Schritt S30 kann die Variante mit der besten Leistung für die aktualisierte Version des Master-Modells angenommen und als die (globale) Aktualisierung ML* des Maschinenlernmodells ML bereitgestellt werden.
Wie aus den 3 und 4 gesehen werden kann, kann das Verfahren ferner einen Schritt zum Hinzufügen der synthetischen Repräsentation SR zu der zentralen Datenbank CDB umfassen. Dies kann beim optionalen Schritt S50 stattfinden. Ferner können der Hinzufügung synthetischer Repräsentationen SR zu der zentralen Datenbank CDB Qualitätskontrollschritte zur Bestimmung, ob die synthetische Repräsentation SR eine ausreichende Qualität aufweist, vorausgehen. In dieser Hinsicht können die Schritte, die in Verbindung mit den 5 und 6 erläutert sind, eingesetzt werden.
Schließlich kann beim optionalen Schritt S60 die aktualisierte Version ML* des Maschinenlernmodells ML bei einem oder mehreren der lokalen Standorte LS, LS-1, LS-2 eingeführt werden, um das (global) aktualisierte Maschinenlernmodell ML* bereitzustellen.
5 stellt optionale Teilschritte in einem Verfahren für föderales Lernen eines Maschinenlernmodells in einer verteilten Umgebung dar. Entsprechende Datenströme werden in 6 gezeigt. Das Verfahren umfasst mehrere Schritte. Die Reihenfolge der Schritte entspricht nicht notwendigerweise der Nummerierung der Schritte, sondern kann außerdem zwischen unterschiedlichen Ausführungsformen der vorliegenden Erfindung variieren. Ferner können einzelne Schritte oder eine Folge von Schritten wiederholt werden.
Bei Schritt S70 wird eine Qualitätsbewertung der synthetischen Repräsentation SR durchgeführt. In dem in 2 dargestellten Arbeitsfluss kann Schritt S70 z. B. dem Schritt S20 folgen. In Schritt S70 sind zwei alternative Prozesse zur Qualitätskontrolle enthalten. Einer beinhaltet die Erzeugung einer Rückwärtsparametrisierung P' (Schritte S71 und S72), der andere basiert auf der Erzeugung einer Textzusammenfassung SUM (Schritte S73 und S74). Die beiden Prozesse können jeweils separat oder in Kombination angewendet werden.
Insbesondere kann bei Schritt S71 eine Rückwärtsparametrisierung P' der synthetischen Repräsentation SR erzeugt werden. Gemäß einigen Beispielen kann der gleiche Encoder ENC, der zur Erzeugung der Parametrisierung P am lokalen Standort LS verwendet wurde, verwendet werden.
Nachfolgend kann bei Schritt S72 die Rückwärtsparametrisierung P' mit der Parametrisierung P verglichen werden. Falls basierend auf dem Vergleich die Rückwärtsparametrisierung P' und die Parametrisierung P ausreichend übereinstimmen, kann angenommen werden, dass die Datenqualität der synthetischen Repräsentation SR für die weitere Verwendung (z. B. eine Integration in die zentrale Datenbank CDB und/oder die Beurteilung/Aggregation der lokalen Aktualisierung ML') ausreichend ist.
Bei Teilschritt S73 kann eine Textzusammenfassung SUM der synthetischen Repräsentation SR erzeugt werden. Beispielsweise kann die Textzusammenfassung automatisch durch Anwenden einer noch anderen trainierten Funktion erzeugt werden, die von der generativen KI-Funktion unabhängig ist. Im medizinischen Kontext können Vision-Transformers verwendet werden, die trainiert wurden, um medizinische Bilddaten zu analysieren und die Befunde in textliche Eindrücke zu konsolidieren (wie jene, die in medizinischen Berichten vorgefunden werden).
Bei Schritt S74 kann die Zusammenfassung SUM mit der Aufforderung verglichen werden. Falls die Textzusammenfassung SUM mit der Aufforderung übereinstimmt, kann dies als eine Angabe für eine ausreichende Datenqualität der synthetischen Repräsentation SR angesehen werden.
Schritt S80 kann als ein optionaler Datenerweiterungsschritt angesehen werden. In Schritt S80 können weitere Varianten der Parametrisierung P durch leichte Veränderung oder Perturbation der enthaltenen Werte erzeugt werden. Beispielsweise können die Größe und die Stelle von Knoten leicht variiert werden. Ferner können Beschreibungen weiterer Knoten hinzugefügt werden, während die Beschreibung anderer Knoten gelöscht werden kann. Mit anderen Worten führt dies zu perturbierten Parametrisierungen P_mod für die generative KI-Funktion. Wie es der Fall sein kann, können die perturbierten Merkmale verwendet werden, um zusätzliche Aufforderungen zu erzeugen, die von der ursprünglichen Aufforderung basierend auf der nicht perturbierten Parametrisierung P abweichen.
Gemäß anderen Beispielen kann die Aufforderung PMT auch direkt perturbiert/modifiziert werden (falls eine Aufforderung PMC im Arbeitsfluss erzeugt wird). In diesem Fall können außerdem weitere Versionen für die Eingabe in die generative KI-Funktion GEN erhalten werden.
Im Gegenzug führt dies zu zusätzlichen synthetischen Repräsentationen SR, was die Menge an Daten in der zentralen Datenbank CDB weiter erhöhen kann. Selbstverständlich können die synthetischen Repräsentationen SR, die basierend auf solchen perturbierten Eingabeparametern erzeugt werden, den gleichen Qualitätskontrollen unterliegen, wie in Verbindung mit Schritt S70 beschrieben und in 6 gezeigt.
Gemäß einigen Beispielen kann sich der Encoder ENC, der zur Erzeugung der Parametrisierung P verwendet wird, auf einen Encoder-Teil ENCP eines Encoder-Decoder-Transformer-Netzwerks beziehen, und die generative KI-Funktion GEN kann sich auf den Decoder-Teil DEC eines Encoder-Decoder-Transformer-Netzwerks beziehen. Der Encoder-Teil kann dazu ausgelegt sein, Bilder zu nehmen und Merkmalscodierungen auszugeben, während der Decoder dazu ausgelegt ist, eine synthetische Repräsentation der Eingabebilder basierend auf den Merkmalscodierungen zu erzeugen. Mit anderen Worten können der Encoder ENC und die generative KI-Funktion GEN als Vision-Transformers angesehen werden, die auf eine reziproke Art und Weise bezüglich zueinander arbeiten. In dieser Hinsicht können die Merkmalscodierungen, die die beiden Teile verbinden, als die Parametrisierung P der vorliegenden Erfindung angesehen werden.
Das heißt, 7 zeigt eine schematische Repräsentation eines Encoder-Decoder-Transformer-Netzwerks gemäß einer Ausführungsform. Während die Verwendung einer solchen Struktur einige Vorteile haben kann, wie Ende-zu-Ende-Training, sollte angemerkt werden, dass andere Konfigurationen auch möglich sein können. Insbesondere können der Encoder ENC und die generative KI-Funktion GEN auch voneinander unabhängig sein, wie an anderer Stelle hierin beschrieben.
Kurz gesagt besteht die Aufgabe des Encoders ENC darin, eine Eingabe INPT, d. h., die lokalen Daten LTD, insbesondere ein medizinisches Bild, auf eine Sequenz kontinuierlicher Repräsentationen, die Parametrisierungen P, abzubilden, die dann in einen Decoder GEN eingespeist werden. Der Decoder GEN empfängt die Ausgabe P des Encoders ENC zusammen mit der Decoder-Ausgabe OUTR einer vorherigen Iteration, um eine Ausgabe OUT zu erzeugen, die eine synthetisierte Repräsentation SR der Eingabe INPT ist, insbesondere ein synthetisches Bild.
Der Encoder ENC dieser Ausführungsform kann einen Stapel von N = 8 identischen Schichten umfassen. Um der einfachen Bezugnahme willen ist in der Zeichnung nur eine Schicht xN gezeigt. Ferner kann N außerdem gemäß der jeweiligen Aufgabe auf unterschiedliche Werte und insbesondere auf Werte größer als N = 8 gesetzt sein. Jede Schicht xN des Encoders ENCP umfasst zwei Unterschichten L1 und L3. Die erste Unterschicht L1 implementiert einen sogenannten Multihead-Self-Attention-Mechanismus. Spezifisch kann die erste Unterschicht L1 dazu ausgelegt sein, zu bestimmen, wie relevant ein spezifisches Bilddatenelement hinsichtlich anderer Elemente in der Eingabe INPT ist. Dies kann als ein Attention-Vektor repräsentiert werden. Um irgendeinen Bias zu vermeiden, können mehrere Attention-Vektoren pro Wort erzeugt werden und in einen gewichteten Durchschnitt eingespeist werden, um den endgültigen Attention-Vektor für jedes Wort zu berechnen. Die zweite Unterschicht L3 ist ein vollständig verbundenes Feedforward-Netzwerk, das z. B. zwei lineare Transformationen mit einer Aktivierung einer rektifizierten linearen Einheit (ReLU) dazwischen umfassen kann. Die N = 8 Schichten des Encoders ENC wenden die gleichen linearen Transformationen auf alle Elemente in der Eingabe INPT an, wobei aber jede Schicht andere Gewichts- und Biasparameter dafür einsetzt. Jeder Unterschicht L1, L3 folgt eine Normierungsschicht L2, die die zwischen der in die jeweilige Unterschicht L1, L3 eingespeisten Eingabe und der durch die jeweiligen Unterschicht L1, L3 selbst erzeugten Ausgabe berechnete Summe normiert. Um die Informationen über die relativen Positionen der Elemente in der Eingabe INPT zu erfassen, werden basierend auf den Eingabeeinbettungen INPT-E Positionscodierungen PE erzeugt, bevor sie in die Schichten xN eingespeist werden. Die Positionscodierungen PE weisen die gleiche Dimension wie die Eingabeeinbettungen INPT-E auf und können unter Verwendung von Sinus- und Kosinusfunktionen mit unterschiedlichen Frequenzen erzeugt werden. Dann können die Positionscodierungen PE einfach mit den Eingabeeinbettungen INPT-E summiert werden, um die Positionsinformationen PE zu injizieren. Die Eingabeeinbettungen INPT-E können wie üblich eine Repräsentation jedes Bild-Patches in der Eingabe INPT, typischerweise in Form eines reellwertigen Vektors sein, der das Muster oder andere visuelle Charakteristiken codiert, sodass erwartet wird, dass Patches, die sich im Vektorraum näher befinden, ähnlich sind. Gemäß einigen Beispielen kann ein faltendes neuronales Netzwerk verwendet werden, um die Eingabeeinbettungen INPT-E zu erzeugen.
Der Decoder GEN dieser Ausführungsform kann auch einen Stapel von N = 8 identischen Schichten xN umfassen, die jeweils drei Unterschichten L4, L1, L3 umfassen, auf die eine Normierungsschicht L2 folgen kann, wie im Zusammenhang mit dem Encoder ENC erläutert. Um der einfachen Bezugnahme willen ist in der Zeichnung nur eine Schicht xN des Decoders GEN gezeigt. Ferner kann N außerdem gemäß der jeweiligen Aufgabe anders, insbesondere größer als N=8 festgelegt sein. Obwohl die Unterschichten L1 und L3 des Decoders GEN in ihrer Funktionalität den jeweiligen Unterschichten L1 und L3 des Encoders ENC entsprechen, empfängt die Unterschicht L4 die vorherige Ausgabe OUTR des Decoders GEN (die optional in entsprechende Einbettungen transformiert und mit Positionsinformationen erweitert wird, falls die Ausgabe ein synthetisiertes Bild-Patch ist), und implementiert Multihead-Self-Attention über ihre Gewichtung darüber, wie wichtig einzelne Elemente des vorherigen Ausgabevektors OUTR sind. Nachfolgend werden die Werte aus der ersten Unterschicht L4 des Decoders DEC in die L1-Unterschicht des Decoders GEN eingegeben. Diese Unterschicht L1 des Decoders GEN implementiert einen Multihead-Self-Attention-Mechanismus, der dem ähnlich ist, der in der ersten Unterschicht L1 des Encoders ENC implementiert wird. Auf der Decoder-Seite empfängt dieser Multihead-Mechanismus die Werte von der vorherigen Decoder-Unterschicht L4 und die Ausgabe des Encoders ENC. Dies ermöglicht dem Decoder GEN, alle Patches parallel zu bearbeiten. Wie im Teil des Encoders ENC wird die Ausgabe der L1-Unterschichten in eine Feedforward-Schicht L2 geleitet, die bewirkt, dass sich die Ausgabevektoren zu etwas formen, das durch einen weiteren Decoder-Block oder eine lineare Schicht einfach akzeptabel ist. Nachdem alle Schichten xN des Decoders DEC verarbeitet worden sind, wird das Zwischenergebnis in eine lineare Schicht L5 eingespeist, die eine weitere Feedforward-Schicht sein kann. Es wird verwendet, um die Dimensionen in ein Bildformat zu erweitern, das für die Ausgabe OUT erwartet wird. Nachfolgend wird das Ergebnis durch eine Softmax-Schicht L6 geleitet, die das Ergebnis in eine finale Ausgabe transformiert.
Wo immer es sinnvoll ist, können einzelne Ausführungsformen oder ihre einzelnen Aspekte und Merkmale miteinander kombiniert oder ausgetauscht werden, ohne den Schutzumfang der vorliegenden Erfindung einzuschränken oder zu erweitern. Vorteile, die mit Bezug auf eine Ausführungsform der vorliegenden Erfindung beschrieben sind, sind, wo auch immer anwendbar, auch für andere Ausführungsformen der vorliegenden Erfindung vorteilhaft. Unabhängig von der grammatikalischen Verwendung des Begriffs werden Personen mit männlicher, weiblicher oder anderer Geschlechtsidentität in den Begriff einbezogen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2021 / 0 097 439 A1 [0006]

Zitierte Nicht-Patentliteratur

Vaswani et al. „Attention Is All You Need“, in arXiv: 1706.03762, 12. Juni 2017 [0031]

Claims

Computerimplementiertes Verfahren für föderales Lernen eines Maschinenlernmodells (ML) in einer Modellaggregatorvorrichtung (MAD), wobei das Verfahren umfasst: - Empfangen (S10), an der Modellaggregatorvorrichtung (MAD), von einem lokalen Standort (LS), der sich entfernt von der Modellaggregatorvorrichtung (MAD) befindet, einer lokalen Aktualisierung (ML') des Maschinenlernmodells (ML), wobei die lokale Aktualisierung (ML') am lokalen Standort (LS) basierend auf lokalen Daten (LTD) erzeugt wurde, und einer Parametrisierung (P) der lokalen Daten (LTD), - Erzeugen (S20), an der Modellaggregatorvorrichtung (MAD), einer synthetischen Repräsentation (SR) der lokalen Daten (LTD) basierend auf der Parametrisierung (P) unter Verwendung einer generativen KI-Funktion (GEN), - Beurteilen (S30), an der Modellaggregatorvorrichtung (MAD), der lokalen Aktualisierung (ML') unter Verwendung der synthetischen Repräsentation (SR), um ein Beurteilungsergebnis zu erhalten, das die Leistung der lokalen Aktualisierung (ML') angibt, und - Aktualisieren (S40), an der Modellaggregatorvorrichtung (MAD), des Maschinenlernmodells (ML) basierend auf dem Beurteilungsergebnis und der lokalen Aktualisierung (ML').
Verfahren nach Anspruch 1, wobei - die Parametrisierung (P) aus einer Parametrisierung der Daten besteht, die zum Validieren und/oder Testen der lokalen Aktualisierung (ML') am lokalen Standort (LS) verwendet werden.
Verfahren nach einem der Ansprüche 1 oder 2, wobei: - die generative KI-Funktion (GEN) dazu ausgelegt ist, die synthetische Repräsentation (SR) basierend auf einer Aufforderung in natürlicher Sprache zu erzeugen, die die zu erzeugende synthetische Repräsentation (SR) angibt, und - der Schritt zum Erzeugen (S20) das Erhalten (S21) der Aufforderung in natürlicher Sprache basierend auf der Parametrisierung (P) und das Eingeben (S22) der Aufforderung in natürlicher Sprache in die generative KI-Funktion (GEN) umfasst, um die synthetische Repräsentation (SR) zu erzeugen.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend - Hinzufügen (S50) der synthetischen Repräsentation (SR) zu einem bestehenden Testdatensatz, auf den die Modellaggregatorvorrichtung (MAD) zum Validieren und/oder Testen des Maschinenlernmodells (ML) zugreifen kann, um einen erweiterten Testdatensatz zu erzeugen, - wobei im Schritt zum Beurteilen (S30) die lokale Aktualisierung (ML') basierend auf dem erweiterten Testdatensatz beurteilt wird.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend - Bestimmen (S70) einer Datenqualität der synthetischen Repräsentation (SR), - wobei im Schritt zum Beurteilen (S30) die lokale Aktualisierung (ML') basierend auf der Datenqualität beurteilt wird.
Verfahren nach Anspruch 5, wobei der Schritt zum Bestimmen (S70) einer Datenqualität der synthetischen Repräsentation (SR) umfasst: - Erzeugen (S71) einer Rückwärtsparametrisierung (P') der synthetischen Repräsentation (SR), - Vergleichen (S72) der Rückwärtsparametrisierung (P') mit der Parametrisierung (P), und - Bestimmen (S70) der Datenqualität basierend auf dem Schritt zum Vergleichen der Rückwärtsparametrisierung (P') mit der Parametrisierung (P).
Verfahren nach einem der Ansprüche 5 oder 6, in Kombination mit Anspruch 3, wobei der Schritt zum Bestimmen (S70) einer Datenqualität der synthetischen Repräsentation (SR) umfasst: - Erzeugen (S73) einer Zusammenfassung in natürlicher Sprache (SUM) basierend auf der synthetischen Repräsentation (SR), - Vergleichen (S74) der Zusammenfassung in natürlicher Sprache (SUM) mit der Aufforderung in natürlicher Sprache, und - Bestimmen (S70) der Datenqualität basierend auf dem Schritt zum Vergleichen der Zusammenfassung in natürlicher Sprache mit der Aufforderung in natürlicher Sprache.
Verfahren nach einem der vorstehenden Ansprüche, wobei - die lokalen Daten (LTD) eine Vielzahl unabhängiger Datenelemente umfassen, und - die Parametrisierung (P) umfasst: - für jedes unabhängige Datenelement, eine Elementparametrisierung des Datenelements, und - und eine oder mehrere statistische Eigenschaften der Vielzahl unabhängiger Datenelemente.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend - Erzeugen (S80) einer modifizierten Parametrisierung basierend auf der Parametrisierung (P), - wobei im Schritt zum Erzeugen (S20) die synthetische Repräsentation (SR) zusätzlich basierend auf der modifizierten Parametrisierung erzeugt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die lokalen Daten (LTD) geschützte Informationen umfassen, insbesondere geschützte persönliche Informationen umfassen, und die Parametrisierung (P) nicht die geschützten Informationen umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei: - das Maschinenlernmodell (ML) eine Bildverarbeitungsfunktion ist, die dazu ausgelegt ist, ein Bildverarbeitungsergebnis basierend auf Bilddaten zu erzeugen, - die lokalen Daten (LTD) Trainingsbilddaten umfassen, - die Parametrisierung (P) eine Parametrisierung der Trainingsbilddaten umfasst, - die synthetische Repräsentation (SR) synthetische Bilddaten umfasst, die durch die generative KI-Funktion (GEN) basierend auf der Parametrisierung (P) der Trainingsbilddaten erzeugt werden.
Verfahren nach Anspruch 11, wobei - das Maschinenlernmodell (ML) dazu ausgelegt ist, ein Bildverarbeitungsergebnis basierend auf medizinischen Bilddaten zu erzeugen, wobei das Bildverarbeitungsergebnis aus Folgendem ausgewählt wird: einem Detektionsergebnis eines medizinischen Befundes in medizinischen Bilddaten, einer Klassifikation eines medizinischen Befundes in medizinischen Bilddaten und/oder einer Segmentierung medizinischer Bilddaten, und - die Trainingsbilddaten medizinische Bilddaten umfassen.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend: - Bereitstellen (S60) des aktualisierten Maschinenlernmodells (ML') an einen zweiten lokalen Standort (LS-2), der sich vom lokalen Standort (LS) unterscheidet.
Modellaggregatorvorrichtung (MAD) für föderales Lernen eines Maschinenlernmodells (ML), wobei die Modellaggregatorvorrichtung (MAD) eine Recheneinheit (CU) und eine Schnittstelleneinheit (IU) umfasst, wobei die Schnittstelleneinheit (IU) ausgelegt ist zum: - Empfangen (S10), von einem lokalen Standort (LS, LS-2), der sich entfernt von der Modellaggregatorvorrichtung (MAD) befindet, einer lokalen Aktualisierung (ML') des Maschinenlernmodells (ML), wobei die lokale Aktualisierung (ML') am lokalen Standort (LS, LS-2) basierend auf lokalen Daten (LTD) erzeugt wurde, und einer Parametrisierung (P) der lokalen Daten (LTD), und wobei die Recheneinheit (CU) ausgelegt ist zum: - Erzeugen (S20) einer synthetischen Repräsentation (SR) der lokalen Daten (LTD) basierend auf der Parametrisierung (P) unter Verwendung einer generativen KI-Funktion (GEN), - Beurteilen (S30) der lokalen Aktualisierung (ML') unter Verwendung der synthetischen Repräsentation (SR), um ein Beurteilungsergebnis zu erhalten, das die Leistung der lokalen Aktualisierung (ML') angibt, und - Aktualisieren (S40) des Maschinenlernmodells (ML) basierend auf dem Beurteilungsergebnis und der lokalen Aktualisierung (ML').
Computerprogrammprodukt, das Programmelemente umfasst, die eine Recheneinheit (CU) einer Modellaggregatorvorrichtung (MAD) für föderales Lernen eines Maschinenlernmodells (ML) veranlassen, Schritte des Verfahrens nach einem der Ansprüche 1 bis 13 durchzuführen, wenn die Programmelemente in einen Speicher der Recheneinheit (CU) geladen werden.
Computerlesbares Medium, in dem Programmelemente gespeichert sind, die durch eine Recheneinheit (CU) einer Modellaggregatorvorrichtung (MAD) für föderales Lernen eines Maschinenlernmodells (ML) lesbar und ausführbar sind, um Schritte des Verfahrens nach einem der Ansprüche 1 bis 13 durchzuführen, wenn die Programmelemente durch die Recheneinheit (CU) ausgeführt werden.