DE102024211449A1

DE102024211449A1 - Control unit for segmenting at least one red blood cell present in a sample in a device

Info

Publication number: DE102024211449A1
Application number: DE102024211449.9A
Authority: DE
Inventors: Sathish Kumar Yogeswarr; Bose Subash Chandra Bose Sree Niranjanaa
Original assignee: Robert Bosch GmbH; Bosch Global Software Technologies Pvt Ltd
Current assignee: Robert Bosch GmbH; Bosch Global Software Technologies Pvt Ltd
Priority date: 2023-11-30
Filing date: 2024-11-29
Publication date: 2025-06-05

Abstract

Die Steuereinheit 10 nimmt ein Bild der Probe 15 von einer Bilderfassungseinheit 13 auf und identifiziert einen interessierenden Bereich im Bild 16 und teilt das Bild 16 mit Hilfe einer Bildverarbeitungstechnik in mehrere Teilbilder auf und detektiert wenigstens ein rotes Blutkörperchen 14 in jedem der Teilbilder. Die Steuereinheit 12 normalisiert die Bildpixelskala auf eine vordefinierte Skala, um verschiedene Abschnitte jeder der detektierten Zellen zu bestimmen, und segmentiert wenigstens eines der roten Blutkörperchen 14 mit Hilfe eines Intelligenzmoduls 18 und basierend auf wenigstens einem extrahierten Merkmal und identifiziert verschiedene Typen der roten Blutkörperchen 14 basierend auf der Segmentierung.

The control unit 10 acquires an image of the sample 15 from an image acquisition unit 13 and identifies a region of interest in the image 16. Divides the image 16 into multiple sub-images using an image processing technique and detects at least one red blood cell 14 in each of the sub-images. The control unit 12 normalizes the image pixel scale to a predefined scale to determine different portions of each of the detected cells and segments at least one of the red blood cells 14 using an intelligence module 18 and based on at least one extracted feature, and identifies different types of the red blood cells 14 based on the segmentation.

Description

Gebiet der ErfindungField of the invention

Die vorliegende Erfindung betrifft eine Steuereinheit zum Segmentieren wenigstens eines in einer Probe vorhandenen roten Blutkörperchens in einer Vorrichtung.The present invention relates to a control unit for segmenting at least one red blood cell present in a sample in a device.

Stand der TechnikState of the art

Es wurden viele Algorithmen zur Segmentierung medizinischer Bilder entwickelt, die für eine zuverlässige Bewertung der RBC (Red Blood Cell, rotes Blutkörperchen) -Morphologie und die Diagnose verschiedener Blutkrankheiten benötigt werden. Der zentrale Blässebereich und die Zielzellen müssen für die Diagnose verschiedener Blutkrankheiten segmentiert werden. Aufgrund der unterschiedlichen Farbe, der verschiedenen RBC-Typen, der Größenausrichtung der Zellen, der Segmentierung des RBC-Zellrandes, der zentralen Blässe und der Zielzellen ist dies häufig schwierig. Für die Segmentierung des RBC-Zellrandes, des zentralen Blässebereichs und des Zielzellenbereichs werden verschiedene Bildverarbeitungsverfahren eingesetzt, darunter Bildschwellenwertbildung, Randdetektion, bereichsbasierte Segmentierung, morphologische Operationen usw. Mit herkömmlichen Bildverarbeitungstechniken gehen verschiedene Probleme einher, da RBC unterschiedliche Formen, Farben, Größen und Texturen aufweisen, was ihre genaue Segmentierung erschwert. Darüber hinaus gibt es Probleme wie Bildrauschen und Artefakte, verklumpte RBC (im Grunde überlappende Zellen), geringer Kontrast zwischen RBC und Hintergrund aus verschiedenen Gründen, eine große Menge an Trainingsdaten ist erforderlich, um genaue Bildverarbeitungsalgorithmen zu erhalten, was sehr viel Zeit in Anspruch nimmt und manuell sehr aufwendig ist, und in verschiedenen Teilen der Welt werden unterschiedliche Färbungen zum Schmieren verwendet.Many medical image segmentation algorithms have been developed for reliable assessment of RBC (red blood cell) morphology and diagnosis of various blood diseases. The central pallor region and target cells need to be segmented for the diagnosis of various blood diseases. This is often difficult due to the different color, different RBC types, size orientation of the cells, segmentation of the RBC cell border, central pallor, and target cells. Various image processing methods are used for segmenting the RBC cell border, central pallor region, and target cell region, including image thresholding, edge detection, region-based segmentation, morphological operations, and more. Conventional image processing techniques face various problems because RBCs have different shapes, colors, sizes, and textures, making their accurate segmentation difficult. In addition, there are problems such as image noise and artifacts, clumped RBC (basically overlapping cells), low contrast between RBC and background due to various reasons, a large amount of training data is required to obtain accurate image processing algorithms, which is very time consuming and manually laborious, and different colorings for smearing are used in different parts of the world.

Ein Patent US20180211380 offenbart ein System zum Abbilden biologischer Proben, und die Analyse von Bildern der biologischen Proben wird bereitgestellt. Das System kann Bilder biologischer Proben automatisch analysieren, um die interessierenden Zellen mithilfe von Maschinenlernverfahren zu klassifizieren. Einige Anwendungen können Krankheiten diagnostizieren, die bestimmten Zelltypen zuzuordnen sind. Vorrichtungen, Verfahren und ein Computerprogrammprodukt zum Abbilden und Analysieren biologischer Proben werden ebenfalls bereitgestellt.A patent US20180211380 discloses a system for imaging biological samples, and analysis of images of the biological samples is provided. The system can automatically analyze images of biological samples to classify cells of interest using machine learning techniques. Some applications can diagnose diseases associated with specific cell types. Devices, methods, and a computer program product for imaging and analyzing biological samples are also provided.

Kurze Beschreibung der beigefügten ZeichnungenBrief description of the attached drawings

1 illustrates a control unit in a digital pathology device according to an embodiment of the invention; and
2 illustrates a flowchart of a method for segmenting at least one red blood cell present in a sample in a device at least according to the present invention.

Ausführliche Beschreibung der AusführungsformenDetailed description of the embodiments

1 veranschaulicht eine Steuereinheit in einer digitalen Pathologievorrichtung gemäß einer Ausführungsform der Erfindung. Die Steuereinheit 12 zum Segmentieren wenigstens eines in einer Probe 15 vorhandenen roten Blutkörperchens 14 in einer Vorrichtung 10. Die Steuereinheit 12 nimmt ein Bild 16 der Probe 15 von einer Bildaufnahmeeinheit 13 auf und identifiziert einen interessierenden Bereich im Bild 16. Die Steuereinheit 12 teilt das Bild 16 mit Hilfe eines Bildverarbeitungsverfahrens in mehrere Teilbilder auf und detektiert wenigstens eines der roten Blutkörperchen 14 in jedem der Teilbilder. Die Steuereinheit 12 normalisiert dann die Bildpixelskala auf eine vordefinierte Skala, um verschiedene Abschnitte jeder detektierten Zelle 14 zu bestimmen. Die Steuereinheit 12 segmentiert wenigstens eines der roten Blutkörperchen 14 mit Hilfe eines Intelligenzmoduls 18 und basierend auf wenigstens einem extrahierten Merkmal. Die Steuereinheit 12 identifiziert verschiedene Typen der roten Blutkörperchen 14 basierend auf der Segmentierung. 1 illustrates a control unit in a digital pathology device according to an embodiment of the invention. The control unit 12 for segmenting at least one red blood cell 14 present in a sample 15 in a device 10. The control unit 12 acquires an image 16 of the sample 15 from an image acquisition unit 13 and identifies a region of interest in the image 16. The control unit 12 divides the image 16 into several sub-images using an image processing method and detects at least one of the red blood cells 14 in each of the sub-images. The control unit 12 then normalizes the image pixel scale to a predefined scale to determine different portions of each detected cell 14. The control unit 12 segments at least one of the red blood cells 14 using an intelligence module 18 and based on at least one extracted feature. The control unit 12 identifies different types of the red blood cells 14 based on the segmentation.

Ferner werden der Aufbau der Steuereinheit 12 und der Komponenten der Steuereinheit 12 wie folgt erläutert. Die Steuereinheit 12 wird aus einer Gruppe von Steuereinheiten ausgewählt, die einen Mikroprozessor, einen Mikrocontroller, eine digitale Schaltung, einen integrierten Chip und dergleichen umfassen. Es versteht sich, dass die Steuereinheit 12 die Daten in Bezug auf die Blutprobe 15 in jeder anderen Form empfängt, die einem Fachmann auf diesem Gebiet der Technik bekannt ist, aber nicht auf die oben genannten Signalformen beschränkt ist. Die Eingabeform der Daten wird aus einer Gruppe von Signalen ausgewählt, die ein Bild, ein Impulssignal und dergleichen umfasst.Furthermore, the structure of the control unit 12 and the components of the control unit 12 are explained as follows. The control unit 12 is selected from a group of control units including a microprocessor, a microcontroller, a digital circuit, an integrated chip, and the like. It is understood that the control unit 12 receives the data relating to the blood sample 15 in any other form known to a person skilled in the art, but is not limited to the above-mentioned signal forms. The input form of the data is selected from a group of signals including an image, a pulse signal, and the like.

Gemäß einer Ausführungsform der Erfindung durchläuft das Bild 16 eine Bildverarbeitungseinheit 17, die eine der im Stand der Technik bekannten Bildverarbeitungstechniken verwendet. Das Blut eines Menschen wird zu Diagnose-/Analysezwecken auf die Probe 15 geschmiert. Die Probe 15 mit der menschlichen Körperflüssigkeit/Probe wie etwa Blut wird in eine der Analysevorrichtungen 10 gegeben, die im Stand der Technik bekannt sind.According to one embodiment of the invention, the image 16 passes through an image processing unit 17 using one of the image processing techniques known in the art. A human's blood is smeared onto the sample 15 for diagnostic/analytical purposes. The sample 15 containing the human body fluid/sample, such as blood, is placed into one of the analysis devices 10 known in the art.

Gemäß einer Ausführungsform der Erfindung wird die Blutprobe 15 in einer digitalen Pathologievorrichtung 10 platziert. Die digitale Pathologievorrichtung 10 wird verwendet, um den Inhalt der Blutprobe 15 zu fokussieren und den Inhalt der Blutprobe 15 zu Diagnose-/Analysezwecken zu analysieren. Gemäß einer Ausführungsform ist die Steuereinheit 12 als integraler Bestandteil der digitalen Fokussiervorrichtung 10 ausgeführt. Die Vorrichtung 10 erfasst das Bild 16 (das zweidimensional ist) des Inhalts der Blutprobe 15 und verarbeitet es weiter, um die roten Blutkörperchen 14 der Blutprobe 15 zu bestimmen und darzustellen.According to one embodiment of the invention, the blood sample 15 is placed in a digital pathology device 10. The digital pathology device 10 is used to focus the contents of the blood sample 15 and analyze the contents of the blood sample 15 for diagnostic/analytical purposes. According to one embodiment, the control unit 12 is embodied as an integral part of the digital focusing device 10. The device 10 acquires the image 16 (which is two-dimensional) of the contents of the blood sample 15 and further processes it to determine and display the red blood cells 14 of the blood sample 15.

In einer anderen Ausführungsform ist die Steuereinheit 12 eine externe Quelle, die mit der Vorrichtung 10 verbunden ist, wobei die Steuereinheit 12 ein Cloud-Datenspeicher ist, der über ein Kommunikationsmittel mit der Vorrichtung verbunden ist. Die Steuereinheit 12 zeigt dem Benutzer das Endergebnis von Typ und Anzahl der roten Blutkörperchen 18 in der gegebenen Blutprobe 15 oder den Schweregrad der identifizierten wenigstens einen medizinischen/Anomaliebedingung basierend auf dem abgerufenen wenigstens einen Intelligenzmodell 18 direkt über das Kommunikationsmittel an. Das Intelligenzmodul 18 wird aus einer Gruppe von Modulen ausgewählt, die ein Modul der künstlichen Intelligenz (Kl), ein Modul des tiefen Lernens (DL, Deep Learning), ein Modul des maschinellen Lernens (ML) und dergleichen umfassen. Das Intelligenzmodul 18 kann auch ein beliebiger anderer Typ sein, der mehrere neuronale Netzwerke verwendet und der mit Hilfe mehrerer vorab trainierter Daten erstellt und entwickelt wird.In another embodiment, the control unit 12 is an external source connected to the device 10, wherein the control unit 12 is a cloud data storage device connected to the device via a communication means. The control unit 12 displays the final result of the type and number of red blood cells 18 in the given blood sample 15 or the severity of the identified at least one medical/abnormal condition based on the retrieved at least one intelligence model 18 directly via the communication means to the user. The intelligence module 18 is selected from a group of modules including an artificial intelligence (AI) module, a deep learning (DL) module, a machine learning (ML) module, and the like. The intelligence module 18 may also be any other type that uses multiple neural networks and is created and developed using multiple pre-trained data.

2 veranschaulicht ein Flussdiagramm eines Verfahrens zur Segmentierung wenigstens eines in einer Probe 15 vorhandenen roten Blutkörperchens in einer Vorrichtung gemäß der vorliegenden Erfindung. In Schritt S1 wird ein Bild 16 der Probe 15 von einer Bildaufnahmeeinheit 13 einer Steuereinheit 12 aufgenommen, und in Schritt S2 wird ein interessierender Bereich im Bild 16 identifiziert. In Schritt S3 wird das Bild 16 mit Hilfe eines Bildverarbeitungsverfahrens in mehrere Teilbilder aufgeteilt und wenigstens eines der roten Blutkörperchen 14 in jedem der Teilbilder detektiert. In Schritt S4 wird die Bildpixelskala auf eine vordefinierte Skala normalisiert, um verschiedene Abschnitte jeder detektierten Zelle zu bestimmen. In Schritt S5 wird wenigstens eines der roten Blutkörperchen 14 mit Hilfe eines Intelligenzmoduls 18 und basierend auf wenigstens einem extrahierten Merkmal segmentiert. In Schritt S6 werden verschiedene Typen der roten Blutkörperchen 14 basierend auf der Segmentierung identifiziert. 2 illustrates a flowchart of a method for segmenting at least one red blood cell present in a sample 15 in a device according to the present invention. In step S1, an image 16 of the sample 15 is acquired by an image acquisition unit 13 of a control unit 12, and in step S2, a region of interest in the image 16 is identified. In step S3, the image 16 is divided into several sub-images using an image processing method, and at least one of the red blood cells 14 is detected in each of the sub-images. In step S4, the image pixel scale is normalized to a predefined scale to determine different portions of each detected cell. In step S5, at least one of the red blood cells 14 is segmented using an intelligence module 18 and based on at least one extracted feature. In step S6, different types of the red blood cells 14 are identified based on the segmentation.

Das Verfahren zum Segmentieren wenigstens eines in einer Probe 15 vorhandenen roten Blutkörperchens 14 wird nun ausführlich erläutert. Das rote Blutkörperchen 14 ist ein Zelltyp, der in Blutzellen vorkommt, die im Knochenmark des menschlichen Körpers gebildet werden. Es ist klinisch unter dem Begriff Erythrozyten bekannt und hat eine runde Form mit einem Normaldurchmesser von 7 µm. Jedes der roten Blutkörperchen besteht aus drei Bereichen: einem zentralen Blässebereich, einem Ziel-Blob/Zielzellenbereich und eines Zellrandes. Der zentrale Blässebereich stellt die Menge an Hämoglobin dar, das an die Zelle gebunden ist. Je niedriger die Hämoglobinmenge, desto größer ist der zentrale Blässebereich und umgekehrt.The method for segmenting at least one red blood cell 14 present in a sample 15 will now be explained in detail. The red blood cell 14 is a cell type found in blood cells produced in the bone marrow of the human body. It is clinically known as an erythrocyte and has a round shape with a normal diameter of 7 µm. Each of the red blood cells consists of three regions: a central pallor region, a target blob/target cell region, and a cell border. The central pallor region represents the amount of hemoglobin bound to the cell. The lower the amount of hemoglobin, the larger the central pallor region, and vice versa.

Die Zielzelle oder der Ziel-Blob ist eine Hämoglobinscheibe, die sich im Zentrum der Zelle befindet, umgeben von einem Blässebereich, und ein äußerer Rand von Hämoglobin in der Nähe der Zellmembran stellt die Zelle wie ein Ochsenauge oder eine Sternschnuppe dar. Der Zellrand ist der äußere Bereich, der bei einem gesunden roten Blutkörperchen die runde Form beibehält. Die in der Vorrichtung 10 vorhandene Bildaufnahmeeinheit 13 nimmt das Bild 16 der Probe 15 des Bluts auf, die verschmiert und in der Vorrichtung 10 platziert wird. Das aufgenommene Bild 16 wird mit Hilfe der Bildverarbeitungseinheit verarbeitet, um mehrere Artefakte und unerwünschte Abschnitte zu entfernen und einen interessierenden Bereich zu identifizieren, auf die die Steuereinheit 12 fokussiert werden muss.The target cell or blob is a hemoglobin disk located at the center of the cell, surrounded by a pale area, and an outer edge of hemoglobin near the cell membrane represents the cell like an ox-eye or a shooting star. The cell edge is the outer region that maintains the round shape in a healthy red blood cell. The image acquisition unit 13 present in the device 10 captures the image 16 of the blood sample 15, which is smeared and placed in the device 10. The captured image 16 is processed by the image processing unit to remove several artifacts and unwanted sections and to identify a region of interest on which the control unit 12 needs to focus.

Das aufgenommene Bild 16 wird einer Vorverarbeitungstechnik unterzogen, die als Normalisierungstechnik bezeichnet wird. Die Vorverarbeitungstechnik beinhaltet das Normalisieren eines Pixelwerts eines Bildes auf eine gemeinsame Skala, um die Auswirkungen variabler Helligkeits- und Kontrastwerte zu beseitigen. Gemäß einer Ausführungsform der Erfindung werden die eRGB (Rot, Grün, Blau) -Werte im Bereich zwischen (0, 255) auf einen Pixelwert normalisiert, der zwischen (0, 1) neu skaliert wird. Die Steuereinheit verwendet vier verschiedene RGB-Werte für diese jeweiligen Bereiche: (0,0,0), d. h. schwarz, kennzeichnet den Hintergrund; (0,255,0), d. h. grün, kennzeichnet die Zellmembran/Zellgrenze; (0,0,255), d. h. blau, kennzeichnet den zentralen Blässebereich und (255,0,0), d. h. rot, kennzeichnet die Zielzelle/den Ziel-Blob.The captured image 16 is subjected to a preprocessing technique called a normalization technique. The preprocessing technique involves normalizing a pixel value of an image to a common scale to eliminate the effects of variable brightness and contrast values. According to one embodiment of the invention, the eRGB (red, green, blue) values in the range between (0, 255) are normalized to a pixel value that is rescaled between (0, 1). The control unit uses four different RGB values for these respective ranges: (0,0,0), i.e., black, denotes the background; (0,255,0), i.e., green, denotes the cell membrane/cell boundary; (0,0,255), i.e., blue, denotes the central pallor area; and (255,0,0), i.e., red, denotes the target cell/blob.

Das normalisierte Bild 16 wird dann über das Intelligenzmodul verarbeitet, wobei gemäß einer Ausführungsform der Erfindung das Intelligenzmodul 18 ein U-Net-Architekturmodul verwendet. U-Net ist ein Deep-Learning (tiefes Lernen) -Modell, das häufig für die semantische Segmentierung von medizinischen Bildern verwendet wird. Es besteht aus einem expandierenden Pfad und einem kontrahierenden Pfad. Der kontrahierende Pfad folgt dem normalen Faltungsnetzwerk-Design, das dabei hilft, die Eigenschaften des Bildes zu erlernen und eine Merkmalskarte zu erstellen. Um die endgültige Segmentierungs-Ausgabemaske zu erstellen, beinhaltet der expandierende Pfad in jeder Phase eine Hochskalierung (Upsampling) der Merkmalskarte. Die in der vorliegenden Erfindung offenbarte Steuereinheit 10 erstellt und entwickelt das Intelligenzmodul 18 (zum Beispiel ein KI-Modul) mit Hilfe der vorab trainierten Daten (Daten der mehreren Blutprobenbilder, die verschiedene Formen von Zellrändern, verschiedene Größen des zentralen Blässebereichs und Ziel-Blobs/Zielzellen umfassen). Das entwickelte Intelligenzmodul 18 verwendet die vorinstallierte U-Net-Architektur zur Segmentierung der in Echtzeit detektierten Blutzellen in der Probe, die in die Vorrichtung geladen wird.The normalized image 16 is then processed via the intelligence module, wherein, according to one embodiment of the invention, the intelligence module 18 uses a U-Net architecture module. U-Net is a deep learning model that is often used for the semantic segmentation of medical images. It consists of an expanding path and a contracting path. The contracting path follows the normal convolutional network design, which helps to learn the properties of the image and generate a feature map. To create the final segmentation output mask, the expanding path includes upsampling of the feature map at each stage. The control unit 10 disclosed in the present invention creates and develops the intelligence module 18 (e.g., an AI module) using the pre-trained data (data of the multiple blood sample images, including different cell border shapes, different central pallor area sizes, and target blobs/target cells). The developed intelligence module 18 uses the pre-installed U-Net architecture to segment the blood cells detected in real time in the sample loaded into the device.

Die U-Net-Architektur besteht aus einem kontrahierenden Pfad (auf der linken Seite) und einem expandierenden Pfad (auf der rechten Seite). Der kontrahierende Pfad ist nach Art eines Faltungsnetzwerks aufgebaut. Er besteht aus zwei 3x3-Faltungen (ungepolsterte Faltungen), die wiederholt angewendet werden, jeweils gefolgt von einer rektifizierten linearen Einheit (ReLU) und einer 2x2-Max-Pooling-Operation mit Schrittweite 2 für die Abwärtsskalierung. Die Steuereinheit verdoppelt die Anzahl der Merkmalskanäle mit jedem Abwärtsskalierungsschritt. Jeder Schritt im expandierenden Pfad beginnt mit einer Hochskalierung der Merkmalskarte, gefolgt von einer 2x2-Faltung („transponierte Faltung“), die die Anzahl der Merkmalskanäle halbiert, einer Verkettung mit der entsprechend beschnittenen Merkmalskarte aus dem kontrahierenden Pfad und zwei 3x3-Faltungen, jeweils gefolgt von einer ReLU. Aufgrund des Verlusts von Randpixeln bei jeder Faltung ist ein Beschneiden erforderlich.The U-Net architecture consists of a contracting path (on the left) and an expanding path (on the right). The contracting path is structured like a convolutional network. It consists of two 3x3 convolutions (unpadded convolutions) applied repeatedly, each followed by a rectified linear unit (ReLU) and a 2x2 max-pooling operation with stride size 2 for downscaling. The control unit doubles the number of feature channels with each downscaling step. Each step in the expanding path begins with an upscaling of the feature map, followed by a 2x2 convolution (“transposed convolution”) that halves the number of feature channels, a concatenation with the appropriately pruned feature map from the contracting path, and two 3x3 convolutions, each followed by a ReLU. Pruning is required due to the loss of edge pixels with each convolution.

Eine 1x1-Faltung wird auf der letzten Schicht verwendet, um jeden 16-Komponenten-Merkmalsvektor auf die gewünschte Anzahl von Klassen abzubilden. Das Netzwerk hat insgesamt 23 Faltungsschichten. Um eine nahtlose Kachelung der Ausgabesegmentierungskarte zu ermöglichen, muss die Eingabekachelgröße so gewählt werden, dass alle 2x2-Max-Pooling-Operationen auf eine Schicht mit einer geraden x- und y-Größe angewendet werden. Das U-Net verwendet ein normalisiertes Bild als Eingabe und gibt die entsprechende Maske mit den vier Klassen aus. Das Intelligenzmodul wird durch die vorstehend offenbarte U-Net-Architektur-Methodik trainiert, wobei die Teilbilder einer semantischen Segmentierung unterzogen werden. Die Segmentierung des wenigstens einen der roten Blutkörperchen beinhaltet das Detektieren eines Zellrandes, eines Blässebereichs und eines Ziel-Blob-Abschnitts.A 1x1 convolution is used in the final layer to map each 16-component feature vector to the desired number of classes. The network has a total of 23 convolutional layers. To enable seamless tiling of the output segmentation map, the input tile size must be chosen so that all 2x2 max-pooling operations are applied to a layer with an even x and y size. The U-Net takes a normalized image as input and outputs the corresponding mask with the four classes. The intelligence module is trained using the U-Net architecture methodology disclosed above, with the sub-images subjected to semantic segmentation. Segmenting at least one of the red blood cells involves detecting a cell border, a pallor area, and a target blob portion.

Jedes Teilbild wird einer Nachbearbeitungsmethodik unterzogen. Darin wird ein Schiebemechanismus eingesetzt. Dieser Mechanismus funktioniert, indem ein Fenster oder Patch („Ausschnitt“) mit fester Größe systematisch über das Bild geschoben wird. Das Patch wird an jeder Position in das Segmentierungsmodul 19 eingespeist, das eine Segmentierungsmaske für dieses Patch vorhersagt. Der Vorgang wird dann für jedes nachfolgende, in jedem der Teilbilder vorhandene Patch wiederholt, wobei das Fenster in einer vorgegebenen Richtung mit einer vorgegebenen Schrittweite verschoben wird, bis das gesamte Bild 14 segmentiert wurde. Dieser Mechanismus sagt die Segmentierungsmaske innerhalb der Grenzen von Teilbildern oder Masken voraus. Nach dem Schiebemechanismus wird jedes Teilbild an das vorhergesagte Modul 20 weitergeleitet. In jedem der Teilbilder detektiert die Steuereinheit 12 verschiedene rote Blutkörperchen basierend auf dem zentralen Blässebereich, dem Zellrand, dem Ziel-Blob-/Zielzellenbereich. Diese Detektion umfasst die Verwendung mehrerer, während der Vorverarbeitung aus dem Hauptbild extrahierter Merkmale.Each sub-image undergoes a post-processing methodology. This method utilizes a sliding mechanism. This mechanism works by systematically sliding a fixed-size window or patch ("crop") across the image. At each position, the patch is fed to the segmentation module 19, which predicts a segmentation mask for that patch. The process is then repeated for each subsequent patch present in each of the sub-images, sliding the window in a predetermined direction with a predetermined step size until the entire image 14 has been segmented. This mechanism predicts the segmentation mask within the boundaries of sub-images or masks. After the sliding mechanism, each sub-image is passed to the prediction module 20. In each of the sub-images, the control unit 12 detects different red blood cells based on the central pallor area, the cell edge, and the target blob/target cell area. This detection involves using several features extracted from the main image during pre-processing.

Die Merkmale umfassen Farbe, Textur, Zellgeometrie, Morphologie, Farbe, Textur, Zellanordnung, Zellgröße/-fläche, Blässegröße/-bereich, Energiewert, Difference Pallor (Differenzblässe), Rectangular Difference Pallor (rechtwinklige Differenzblässe), Axis Percentage Difference Pallor (Achsprozent-Differenzblässe), Feret Major Difference Pallor (Feret-Major-Differenzblässe), Feret Minor Difference Pallor (Feret-Minor-Differenzblässe), Chroma Decider Pallor (Chroma-Entscheider-Blässe), Circular Area Difference Pallor (Kreisflächen-Differenzblässe), Rot-Mittelwert, Blau-Mittelwert, Grün-Mittelwert , Ziel-Blob, Compactness Pallor (Kompaktheitsblässe), Form Factor Pallor (Formfaktorblässe), Fläche, Area Pallor (Flächenblässe), Red Mean Pallor (mittlere Rotblässe), Green Mean Pallor (mittlere Grünblässe), Blue Mean Pallor (mittlere Blaublässe), Compactness Pallor (Kompaktheitsblässe), Rectangularity Pallor (Rechteckigkeitsblässe), Elongation Pallor (Elongationsblässe), Circularity Pallor (Zirkularitätsblässe), Aspect Ratio Pallor (Seitenverhältnisblässe), Rotmittelwert, Moment erster Ordnung, Moment zweiter Ordnung, Varianz, Homogenität, Kernzirkularität, Hemoglobinized Pallor Texture (hämoglobinisierte Blässetextur) und dergleichen. Die extrahierten Merkmale sind jedoch nicht auf die oben genannten Merkmale beschränkt, sondern können auch beliebige andere Merkmale sein, die Informationen über wenigstens eine Zelle der menschlichen Körperflüssigkeit liefern (bei der es sich gemäß einer Ausführungsform der vorliegenden Erfindung um eine Blutprobe handelt).The features include color, texture, cell geometry, morphology, color, texture, cell arrangement, cell size/area, pallor size/area, energy value, Difference Pallor, Rectangular Difference Pallor, Axis Percentage Difference Pallor, Feret Major Difference Pallor, Feret Minor Difference Pallor, Chroma Decider Pallor, Circular Area Difference Pallor, Red Mean, Blue Mean, Green Mean, Target Blob, Compactness Pallor, Form Factor Pallor, Area, Area Pallor, Red Mean Pallor (Mean Red Pallor), Green Mean Pallor (Mean Green Pallor), Blue Mean Pallor (Mean Blue Pallor), Compactness Pallor, Rectangularity Pallor, Elongation Pallor, Circularity Pallor, Aspect Ratio Pallor, Red Mean, First Order Moment, Second Order Moment, Variance, Homogeneity, Nuclear Circularity, Hemoglobinized Pallor Texture, and the like. However, the extracted features are not limited to the above-mentioned features, but may also be any other features that provide information about at least one cell of the human body fluid (which is a blood sample according to one embodiment of the present invention).

Basierend auf einem der vorstehend offenbarten Merkmale werden der zentrale Blässebereich, der Ziel-Blobbereich und die Zellränder effizient identifiziert, was bei der Segmentierung der verschiedenen Typen der roten Blutkörperchen 14 hilft. Die erhaltenen Ausgabebilder werden verbunden, um die gesamte Bildvorhersagemaske/das neue Hauptbild zu bilden, das auch die überlappenden Bereiche enthält.Based on one of the features disclosed above, the central pallor area, the target blob area and the cell edges are efficiently identified, which helps in segmenting the different different types of red blood cells 14. The resulting output images are merged to form the entire image prediction mask/new main image, which also includes the overlapping regions.

Mit der oben erwähnten Methodik konnte das Framework die Maske/das Bild 16 mit einer durchschnittlichen Schnittmenge über Vereinigung (IoU) von 85 % zwischen der/dem Ground-Truth-Maske/-Bild 16 (die/das manuell annotiert wurde) und der/dem vorhergesagten Maske/ Bild 16 genau vorhersagen. Die Verwendung der U-Net-Architektur und ihre Fähigkeit, Probleme zu bewältigen, die bei der Verwendung traditioneller Bildverarbeitungstechniken wie dem Schmieren mit verschiedenen Flecken auftreten, werden effizienter gestaltet. Die U-Net-Architektur konnte diese Probleme erfolgreich lösen und zuverlässige Ergebnisse liefern. Durch die effiziente Analyse der RBC-Morphologie und Klassifizierung verschiedener RBC-Typen 14 wird die Diagnose des Gesundheitszustands der Patienten genauer und effizienter.Using the above-mentioned methodology, the framework was able to accurately predict the mask/image 16 with an average intersection over union (IoU) of 85% between the ground-truth mask/image 16 (which was manually annotated) and the predicted mask/image 16. The use of the U-Net architecture and its ability to address problems encountered when using traditional image processing techniques, such as smearing with various patches, are made more efficient. The U-Net architecture was able to successfully solve these problems and provide reliable results. By efficiently analyzing RBC morphology and classifying different RBC types 14, the diagnosis of patient health status becomes more accurate and efficient.

Es ist einzusehen, dass die in der vorstehenden Beschreibung erläuterten Ausführungsformen lediglich der Veranschaulichung dienen und den Schutzbereich der vorliegenden Erfindung nicht einschränken. Zahlreiche derartige Ausführungsformen und sonstige Modifikationen und Änderungen der in der Beschreibung erläuterten Ausführungsform sind vorgesehen. Der Schutzumfang der Erfindung wird ausschließlich durch den Schutzumfang der Ansprüche eingeschränkt.It should be understood that the embodiments described in the foregoing description are for illustrative purposes only and do not limit the scope of the present invention. Numerous such embodiments and other modifications and variations of the embodiment described in the description are contemplated. The scope of the invention is limited solely by the scope of the claims.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 20180211380 [0003]

Claims

A control unit (12) for segmenting at least one red blood cell (14) present in a sample (15) in a device (10), the control unit (12) being designed to: - acquire an image (16) of the sample (15) from an image acquisition unit (13) and identify a region of interest in the image (16); characterized by : - normalizing the image pixel scale to a predefined scale in order to determine different sections of the cells (14); - dividing the image (16) into several partial images using an image processing method and detecting at least one of the red blood cells in each of the partial images; - segmenting at least one of the red blood cells using an intelligence module (18) and based on at least one extracted feature; - identifying different types of the red blood cells (14) based on the segmentation.

Control unit (12) according to Claim 1 , wherein the intelligence module (18) is trained by a U-Net architecture methodology, wherein the partial images are subjected to semantic segmentation.

Control unit (12) according to Claim 1 wherein segmenting the at least one of the red blood cells includes detecting a cell edge, a pallor area, and a target blob portion.

Control unit (12) according to Claim 1 , wherein the control unit (12) identifies a target cell when a hemoglobin disk is detected in the center of the cell surrounded by a pale area.

Control unit (12) according to Claim 1 , wherein each of the partial images is input into the intelligence module (18) in a predefined position via a sliding mechanism in the control unit (12).

Control unit (12) according to Claim 1 , wherein the control unit (12) is adapted to pass each of the partial images at each position through a segmentation module (19) and to predict a segmentation mask for each of the partial images.

Control unit (12) according to Claim 1 wherein each of the sub-images is passed through a prediction module (20) and all sub-images are combined to produce a new main image.

A method for segmenting at least one red blood cell (14) present in a sample (15) in a device (10), the method comprising: - acquiring an image (16) of the sample (15) by an image acquisition unit (13) of a control unit (12) and identifying a region of interest in the image (16); characterized by : - normalizing the image pixel scale to a predefined scale in order to determine different sections of the cells (14); - dividing the image (16) into several sub-images using an image processing method and detecting at least one of the red blood cells (14) in each of the sub-images; - segmenting at least one of the red blood cells (14) using an intelligence module (18) and based on at least one extracted feature; - identifying different types of the red blood cells (14) based on the segmentation. Dated 30 November 2023 (Digitally signed) Siddharth Karkhanis On behalf of the applicants (IN/PA-1195)