NL9200796A - RESTORATION OF COMPUTER-TOMOGRAPHIC IMAGES WITH NEURAL NETWORKS. - Google Patents
RESTORATION OF COMPUTER-TOMOGRAPHIC IMAGES WITH NEURAL NETWORKS. Download PDFInfo
- Publication number
- NL9200796A NL9200796A NL9200796A NL9200796A NL9200796A NL 9200796 A NL9200796 A NL 9200796A NL 9200796 A NL9200796 A NL 9200796A NL 9200796 A NL9200796 A NL 9200796A NL 9200796 A NL9200796 A NL 9200796A
- Authority
- NL
- Netherlands
- Prior art keywords
- simulated
- data corresponding
- projections
- activity
- trained
- Prior art date
Links
Classifications
-
- G06T12/30—
Landscapes
- Image Processing (AREA)
- Nuclear Medicine (AREA)
- Image Analysis (AREA)
Description
RESTAURATIE VAN COMPUTER—TOMOGRAFISCHE BEELDEN MET NEURALE NETWERKERRESTORATION OF COMPUTER — TOMOGRAPHIC IMAGES WITH NEURAL NETWORKER
De uitvinding heeft betrekking op een werkwijze voor het maken van een twee-dimensionale afbeelding van een bepaalde activiteitenverdeling in een drie-dimensionaal lichaam, bijvoorbeeld een verzameling fotonen emitterende kleine volume-elementen in zo’n lichaam, langs een bepaalde doorsnede door dat lichaam, door het restaureren van een twee-dimensionaal beeld dat werd gereconstrueerd uit met behulp van een activiteitendetector, bijvoorbeeld een fotondetector, verkregen projecties van die activiteitenverdeling, met behulp van een artificieel neuraal netwerk.The invention relates to a method for making a two-dimensional image of a certain distribution of activities in a three-dimensional body, for example a collection of photon-emitting small volume elements in such a body, along a specific section through that body, by restoring a two-dimensional image that was reconstructed from projections of that activity distribution obtained using an activity detector, for example a photon detector, using an artificial neural network.
Een neuraal netwerk is een op zich bekend systeem voor informatieverwerking, dat bestaat uit onderling verbonden eenheden welke soms overdrachtelijk "neuronen" worden genoemd. Een verbinding tussen neuronen in een neuraal netwerk heeft een bepaalde sterkte of weging. Een belangrijke eigenschap van een neuraal netwerk is de zelflerende werking, dat wil zeggen dat het mogelijk is de individuele wegingen van de verbindingen in een netwerk te veranderen door aan het netwerk zowel te transformeren gegevens als de daaruit gewenste getransformeerde gegevens aan te bieden. Door het aanbieden van dergelijke gegevens paren te herhalen stellen de verbindingen in het netwerk zich zodanig in dat het netwerk in staat wordt gebracht de gewenste transformatie na de leerfase zelfstandig uit te voeren.A neural network is an information processing system known per se, which consists of interconnected units, which are sometimes referred to as "neurons". A connection between neurons in a neural network has a certain strength or weight. An important property of a neural network is the self-learning effect, that is, it is possible to change the individual weightings of the connections in a network by providing both transformable data and the transformed data desired therefrom. By repeating the provision of such data pairs, the connections in the network are set up in such a way that the network is enabled to independently carry out the desired transformation after the learning phase.
Volgens de stand van de techniek worden tweedimensionale afbeeldingen van een bepaalde activiteitenverdeling in een drie-dimensionaal lichaam gemaakt door met behulp van een detector, bijvoorbeeld een camera, verkregen beelden (projecties) te reconstrueren. Op bekende wijze worden in de nucleaire geneeskunde bijvoorbeeld twee-dimensionale afbeeldingen van het menselijk lichaam gereconstrueerd uit met een gamma-camera vastgelegde projecties van door dat lichaam uitgezonden fotonen, in het bijzonder gamma-deeltjes. Het op deze wijze met behulp van enkelvoudige fotonen maken van twee-dimensionale afbeeldingen staat bekend als SPECT (single photon emission computed tomography). Bij het reconstrueren van twee-dimensionale beelden uit de met een detector verkregen projecties moet worden gecorrigeerd voor opgetreden beelddegradatie. Oorzaken van beelddegradatie bij het maken van SPECT-afbeeldingen zijn bijvoorbeeld statistische ruis, verstrooiing van gamma-straling aan bijvoorbeeld elektronen in het lichaam en onscherpte van de projectie, bijvoorbeeld ten gevolge van beperkte collimatie. Volgens de stand van de techniek worden twee-dimensionale afbeeldingen uit de met een detector verkregen projecties verkregen door die afbeeldingen te reconstrueren uit die projecties door die laatste terug te projecteren en door de teruggeprojecteerde afbeeldingen te corrigeren (te filteren) of door de projecties te filteren alvorens deze terug te projecteren. De laatste werkwijze voor het reconstrueren staat bekend als gefilterde terugprojectie (filtered back projection, FBP).According to the prior art, two-dimensional images of a certain activity distribution in a three-dimensional body are made by reconstructing images (projections) obtained with the aid of a detector, for instance a camera. In nuclear medicine, for example, two-dimensional images of the human body are reconstructed from projections of photons, in particular gamma particles, captured by a gamma camera. Creating two-dimensional images in this way using single photons is known as SPECT (single photon emission computed tomography). When reconstructing two-dimensional images from the projections obtained with a detector, correction must be made for image degradation that has occurred. Causes of image degradation when making SPECT images are, for example, statistical noise, scattering of gamma radiation from, for example, electrons in the body, and blurring of the projection, for example, due to limited collimation. According to the prior art, two-dimensional images from the projections obtained with a detector are obtained by reconstructing those images from those projections by projecting the latter back and by correcting (filtering) the projected images or filtering the projections before projecting it back. The last method of reconstruction is known as filtered back projection (FBP).
Aan het restaureren van FBP-beelden of terug te projecteren projecties met behulp van de bekende werkwijzen is het bezwaar verbonden dat de hierbij toegepaste correcties slechts ten dele compenseren voor afbeeldingsfouten die bijvoorbeeld een gevolg zijn van verstrooiing en absorptie.Restoring FBP images or projecting back projections using the known methods has the drawback that the corrections applied here only partially compensate for image errors resulting, for example, from scattering and absorption.
Uit een publikatie van C.E. Floyd jr. in IEEE Transactions on Medical Imaging, Vol. 10, No. 3, p. 485 is een werkwijze voor het reconstrueren van SPECT-beelden met behulp van een artificieel neuraal netwerk bekend. Beschreven wordt hoe een neuraal netwerk is ontwikkeld voor tomografische beeldreconstructie van SPECT-projecties. Beschreven wordt hoe het netwerk wordt getraind door daaraan gegevens aan te bieden die met een ideaal projectie-afbeeldingspaar corresponderen. Het aldus getrainde netwerk werd toegepast als filter in een beeldreconstructiemethode volgens de gefilterde terugprojectie.From a publication by C.E. Floyd jr. In IEEE Transactions on Medical Imaging, Vol. 10, no. 3, p. 485, a method of reconstructing SPECT images using an artificial neural network is known. It describes how a neural network has been developed for tomographic image reconstruction of SPECT projections. It describes how the network is trained by providing data corresponding to an ideal projection image pair. The network thus trained was used as a filter in an image reconstruction method according to the filtered back projection.
Aan de bekende werkwijze voor het maken van een tweedimensionale afbeelding met behulp van een neuraal netwerk zijn dezelfde bezwaren verbonden die inherent zijn aan het toepassen van gefilterde terugprojectie. Bovendien kan op fundamentele wijze worden aangetoond dat de bekende toepassing van een neuraal netwerk niet tot een veel betere werkwijze voor het maken van afbeeldingen leidt dan de andere bekende technieken, omdat tussen de aan het netwerk in de trainingsfase aangeboden gegevensparen niet een voldoende eenduidige transformatie bestaat.The known method of making a two-dimensional image using a neural network has the same drawbacks inherent in the use of filtered back projection. In addition, it can be fundamentally demonstrated that the known application of a neural network does not lead to a much better method of imaging than the other known techniques, because there is not a sufficiently clear transformation between the data pairs offered to the network in the training phase .
Doel van de uitvinding is het verschaffen van een in de aanhef genoemde werkwijze, waaraan de hierboven beschreven bezwaren niet zijn verbonden.The object of the invention is to provide a method mentioned in the opening paragraph, to which the above-described drawbacks are not attached.
Dit doel wordt overeenkomstig de uitvinding gerealiseerd met een werkwijze, volgens welke men in een eerste stap het neurale netwerk traint door aan de uitgang daarvan ten minste één set met een bepaalde gesimuleerde activiteitenverdeling corresponderende gegevens aan te bieden en aan de ingang daarvan een set gegevens aan te bieden welke gegevens corresponderen met een twee-dimensionaal beeld dat werd gereconstrueerd uit gesimuleerde projecties van die gesimuleerde activiteitenverdeling, en men in een tweede stap aan de ingang van het aldus getrainde netwerk gegevens aanbiedt welke met de uit de verkregen projecties gereconstrueerde twee-dimensionale beelden corresponderen. Onder met een bepaalde activiteitenverdeling of een bepaald beeld corresponderende gegevens worden telkens gegevens bedoeld die volgens een eenduidige bewerking met die activiteitenverdeling respectievelijk dat beeld zijn verbonden.This object is achieved according to the invention by a method according to which the neural network is trained in a first step by offering at its output at least one set of data corresponding to a certain simulated activity distribution and at its input a set of data. to offer which data correspond to a two-dimensional image that was reconstructed from simulated projections of that simulated activity distribution, and in a second step at the entrance of the network thus trained offer data which corresponds to the two-dimensional images reconstructed from the projections obtained correspond. Data corresponding to a certain activity distribution or a certain image is meant in each case by data which are associated with that activity distribution or image in accordance with an unambiguous operation.
Het volgens de uitvinding maken van een tweedimensionale afbeelding biedt in vergelijking met bekende reconstructietechnieken het voordeel dat neurale netwerken de voor de beeldrestauratie benodigde niet-lineaire beeld- en lichaamsvorm-afhankelijke transformaties kunnen uitvoeren, en dit bovendien in een zeer korte tijd doen. De training in een eerste stap van het neurale netwerk met behulp van gesimuleerde gegevens biedt voordeel boven een training met bijvoorbeeld gegevens die zijn verkregen op basis van fantoonmetingen omdat men bij voorkeur meerdere sets gegevens aan het netwerk aanbiedt. Het werken met meerdere fantomen stuit op bezwaren, bijvoorbeeld omdat men in de praktijk niet over een voldoende groot aantal vrij te kiezen lichaamsvormen met daarin vrij te kiezen activiteitenverdelingen kan beschikken.Making a two-dimensional image according to the invention offers, in comparison with known reconstruction techniques, the advantage that neural networks can perform the non-linear image and body shape-dependent transformations required for the image restoration, and moreover they can do this in a very short time. The training in the first step of the neural network using simulated data offers an advantage over training with, for example, data obtained on the basis of phantom measurements because it is preferable to offer several sets of data to the network. Working with multiple phantoms comes up against objections, for example because in practice it is not possible to have a sufficiently large number of freely selectable body shapes with freely selectable activity distributions.
In een uitvoeringsvoorbeeld van een werkwijze volgens de uitvinding simuleert men in de eerste stap projecties van de gesimuleerde activiteit in elk volume-element van het lichaam.In an exemplary embodiment of a method according to the invention, projections of the simulated activity are simulated in each volume element of the body in the first step.
Overeenkomstig dit uitvoeringsvoorbeeld wordt een lichaam waarvan een afbeelding moet worden gemaakt gesimuleerd door een verzameling gegevens die de ruimtelijke coördinaten van elk volume-element en een waarde voor de aan dat element toegekende activiteit omvatten. Vervolgens worden de projecties van elk van die gesimuleerde activiteiten op een bepaald vlak gesimuleerd.In accordance with this exemplary embodiment, a body to be imaged is simulated by a collection of data comprising the spatial coordinates of each volume element and a value for the activity assigned to that element. Then the projections of each of those simulated activities are simulated on a specific plane.
In praktische situaties waarin een bepaalde activiteit in een drie-dimensionaal lichaam wordt geprojecteerd (bijvoorbeeld bij de afbeelding door middel van een gammacamera van een met een radio-isotoop geïnjecteerd orgaan) wordt de activiteit van elk volume-element van het lichaam met een bepaalde spreiding geprojecteerd. De spreiding is afhankelijk van de positie van het betreffende volume-element ten opzichte van het projectievlak. Met voordeel heeft de werkwijze overeenkomstig de uitvinding het kenmerk dat men in de eerste stap de gesimuleerde projecties van de gesimuleerde activiteit in elk volume-element volgens een door de ruimtelijke coördinaten van dat volume-element bepaalde spreidingsfunctie genereert.In practical situations in which a certain activity is projected into a three-dimensional body (for example, when imaging by means of a gamma camera of an organ injected with a radioisotope), the activity of each volume element of the body becomes with a certain distribution projected. The spread depends on the position of the respective volume element relative to the projection surface. The method according to the invention is advantageously characterized in that in the first step the simulated projections of the simulated activity in each volume element are generated according to a spreading function determined by the spatial coordinates of that volume element.
De gesimuleerde projecties worden bijvoorbeeld gecorrigeerd door de intensiteit van de geprojecteerde activiteit voor elk volume-element in het lichaam op het projectievlak uit te smeren volgens een door de ruimtelijke coördinaten van het betreffende volume-element bepaalde spreidingsfunctie. In de gesimuleerde projecties kan vervolgens met bijvoorbeeld een ruis-generatiealgoritme het effect van in werkelijke situaties optredende ruis worden gesimuleerd.For example, the simulated projections are corrected by smearing the intensity of the projected activity for each volume element in the body onto the projection surface according to a spread function determined by the spatial coordinates of the volume element concerned. In the simulated projections, the effect of noise occurring in real situations can then be simulated with, for example, a noise generation algorithm.
De kwaliteit van een overeenkomstig de uitvinding te maken afbeelding wordt nog verder verbeterd wanneer men in de eerste stap de gesimuleerde projecties van de gesimuleerde activiteitenverdeling volgens een door de contouren van het drie-dimensionale lichaam bepaalde functie, in het bijzonder een spreidingsfunctie, genereert.The quality of an image to be made in accordance with the invention is further improved when in the first step the simulated projections of the simulated activity distribution are generated according to a function, in particular a spreading function, determined by the contours of the three-dimensional body.
Door tijdens het trainen van het neurale netwerk de gesimuleerde projecties van de gesimuleerde activiteitenverdeling volgens een door de contouren van het drie-dimensionale lichaam bepaalde spreidingsfunctie te genereren verkrijgt men een netwerk dat in staat is de in de tweede stap aan de ingang aangeboden gegevens in de situatie dat deze gegevens corresponderen met in de praktijk verkregen, en dus niet gesimuleerde projecties, te corrigeren voor fouten die zijn veroorzaakt door verzwakkings- en verstrooiingsprocessen binnen het grensvlak (de contouren) van het drie-dimensionale lichaam.By generating the simulated projections of the simulated activity distribution during the training of the neural network according to a spreading function determined by the contours of the three-dimensional body, a network is obtained which is able to present the data presented at the input in the second step. situation that these data correspond to projections obtained in practice, and thus not simulated, to correct for errors caused by weakening and scattering processes within the boundary (contours) of the three-dimensional body.
De werkwijze wordt nog verder verbeterd wanneer men in de eerste stap het neurale netwerk traint door aan de ingang daarvan voorts gegevens aan te bieden die corresponderen met de contouren van een de gesimuleerde activiteit omvattend gesimuleerd lichaam, en men in de tweede stap aan de ingang van het aldus getrainde netwerk voorts gegevens aanbiedt die met de contouren van het drie-dimensionale lichaam corresponderen.The method is further improved when the neural network is trained in the first step by further presenting at its entrance data corresponding to the contours of a simulated body comprising the simulated activity, and in the second step at the entrance of the network thus trained also provides data corresponding to the contours of the three-dimensional body.
Een verdere verbetering van de kwaliteit van een overeenkomstig de uitvinding gemaakte twee-dimensionale afbeelding verkrijgt men wanneer men in de eerste stap het neurale netwerk traint door aan de ingang daarvan bij elk gegeven dat correspondeert met een beeldelement van het uit de gesimuleerde projecties gereconstrueerde twee-dimensionale beeld voorts gegevens aanbiedt die corresponderen met een bepaald aantal dat beeldelement omringende beeldelementen en men in de tweede stap aan de ingang van het aldus getrainde netwerk bij elk gegeven dat correspondeert met een beeldelement van het uit de verkregen projecties gereconstrueerde twee-dimensionale beeld voorts gegevens aanbiedt die corresponderen met een bepaald aantal dat beeldelement omringende beeldelementen. Onder omringende beeldelementen worden niet alleen de beeldelementen in het betreffende twee-dimensionale beeld verstaan, maar ook beeldelementen uit twee-dimensionale beelden van vlakken boven en onder het afgeheelde vlak.A further improvement in the quality of a two-dimensional image made according to the invention is obtained when the neural network is trained in the first step by entering at its input any data corresponding to a picture element of the two- reconstructed from the simulated projections. dimensional image further provides data corresponding to a certain number of pixels surrounding that pixel, and in the second step, at the entrance of the network thus trained, each data corresponding to a pixel of the two-dimensional image reconstructed from the projections obtained is further data which correspond to a certain number of picture elements surrounding that picture element. Surrounding picture elements are understood to mean not only the picture elements in the respective two-dimensional image, but also picture elements from two-dimensional images of planes above and below the divided plane.
Volgens deze laatste werkwijze wordt het neurale netwerk getraind om bij de restauratie van een bepaald beeldelement de informatie over omringende beeldelementen mede te verwerken.According to the latter method, the neural network is trained to process the information about surrounding pixels during the restoration of a particular picture element.
Bij voorkeur voert men deze laatste werkwijze zo uit, dat men in de eerste stap het neurale netwerk traint door aan de ingang daarvan voorts gegevens aan te bieden die corresponderen met de gesimuleerde relatieve plaats van de detector ten opzichte van de bepaalde activiteitenverdeling, en men in de tweede stap aan de ingang van het aldus getrainde netwerk voorts gegevens aanbiedt die met de relatieve plaats van de detector ten opzichte van de bepaalde activiteitenverdeling corresponderen.Preferably, the latter method is carried out such that in the first step the neural network is trained by further presenting at its input data corresponding to the simulated relative location of the detector with respect to the determined activity distribution, and the second step at the input of the network thus trained also provides data corresponding to the relative location of the detector relative to the determined activity distribution.
Met een aldus getraind netwerk is men in staat uit de verkregen projecties beelden te reconstrueren waarin is gecorrigeerd voor de hierboven genoemde mogelijke fouten, waarbij bovendien rekening is gehouden met de invloed van de relatieve plaats van de detector ten opzichte van het lichaam op de kwaliteit van de gereconstrueerde beelden.With a network so trained, one is able to reconstruct from the projections obtained images corrected for the above-mentioned possible errors, taking into account in addition the influence of the relative position of the detector relative to the body on the quality of the reconstructed images.
De uitvinding heeft verder betrekking op een inrichting voor het maken van een twee-dimensionale afbeelding van een bepaalde activiteitenverdeling in een drie-dimensionaal lichaam, bijvoorbeeld een verzameling fotonen emitterende kleine volume-elementen in zo'n lichaam, langs een bepaalde doorsnede door dat lichaam, door het restaureren van een twee-diménsionaal beeld dat werd gereconstrueerd uit met behulp van een activiteitendetector, bijvoorbeeld een fotondetector, verkregen projecties van die activiteitenverdeling, met behulp van een zelflerend artificieel neuraal netwerk volgens de hierboven beschreven werkwijze, omvattende een activiteitendetector, bijvoorbeeld een fotondetector, en signaalverwerkingsmiddelen, in het bijzonder een artificieel neuraal netwerk, om uit projecties van de activiteitenverdeling, verkregen met behulp van de detector, een twee-dimensionaal beeld te reconstrueren en te restaureren.The invention further relates to a device for making a two-dimensional image of a certain activity distribution in a three-dimensional body, for instance a collection of photon-emitting small volume elements in such a body, along a specific cross-section through that body. by restoring a two-dimensional image reconstructed from an activity detector, e.g. a photon detector, projections of that activity distribution obtained, using a self-learning artificial neural network according to the method described above, comprising an activity detector, e.g. photon detector, and signal processing means, in particular an artificial neural network, to reconstruct and restore a two-dimensional image from projections of the activity distribution obtained with the aid of the detector.
Overeenkomstig de uitvinding omvat deze inrichting middelen om in een eerste stap het neurale netwerk te trainen door aan de uitgang daarvan ten minste één set met één bepaalde gesimuleerde activiteitenverdeling corresponderende gegevens aan te bieden en aan de ingang daarvan een set gegevens aan te bieden welke gegevens corresponderen met een twee-dimensionaal beeld dat werd gereconstrueerd uit gesimuleerde projecties van die gesimuleerde activiteitenverdeling, en in een tweede stap aan de ingang van een aldus getraind netwerk gegevens aan te bieden, welke met de uit de in de praktijk verkregen (dus niet gesimuleerde) projecties gereconstrueerde twee-dimensionale beelden corresponderen.According to the invention, this device comprises means for training the neural network in a first step by offering at its output at least one set of data corresponding to one specific simulated activity distribution and at its input providing a set of data which data correspond with a two-dimensional image that was reconstructed from simulated projections of that simulated activity distribution, and in a second step to present data at the entrance of a network thus trained, which data with the projections obtained (in practice not simulated) reconstructed two-dimensional images correspond.
Een uitvoeringsvoorbeeld van een dergelijke inrichting wordt gekenmerkt door middelen om in de eerste stap projecties te simuleren van de gesimuleerde activiteit in elk volume-element van het lichaam.An exemplary embodiment of such a device is characterized by means for simulating projections of the simulated activity in each volume element of the body in the first step.
Een volgend uitvoeringsvoorbeeld wordt gekenmerkt door middelen om in de eerste stap de gesimuleerde projecties van de gesimuleerde activiteit in elk volume-element volgens een door de ruimtelijke coördinaten van dat volume-element bepaalde spreidingsfunctie te genereren.A further exemplary embodiment is characterized by means for generating in the first step the simulated projections of the simulated activity in each volume element according to a spreading function determined by the spatial coordinates of that volume element.
Weer een volgend uitvoeringsvoorbeeld wordt gekenmerkt door middelen om in de eerste stap de gesimuleerde projecties van de gesimuleerde activiteitenverdeling volgens een door de contouren van het drie-dimensionale lichaam bepaalde functie, in het bijzonder een spreidingsfunctie, te genereren.Yet another embodiment is characterized by means for generating in the first step the simulated projections of the simulated activity distribution according to a function, in particular a spreading function, determined by the contours of the three-dimensional body.
Een dergelijke inrichting omvat bij voorkeur middelen om in de eerste stap het neurale netwerk te trainen door aan de ingang daarvan voorts gegevens aan te bieden die corresponderen met de contouren van een de gesimuleerde activiteit omvattend gesimuleerd lichaam, en in de tweede stap aan de ingang van het aldus getrainde netwerk voorts gegevens aan te bieden die met de contouren van het drie-dimensionale lichaam corresponderen.Such a device preferably comprises means for training the neural network in the first step by further presenting at its entrance data corresponding to the contours of a simulated body comprising the simulated activity, and in the second step at the entrance of the network thus trained further offers data corresponding to the contours of the three-dimensional body.
Weer een ander uitvoeringsvoorbeeld wordt gekenmerkt door middelen om in de eerste stap het neurale netwerk te trainen door aan de ingang daarvan bij elk gegeven dat correspondeert met een beeldelement van het uit de gesimuleerde projecties gereconstrueerde twee-dimensionale beeld voorts gegevens aan te bieden die corresponderen met een bepaald aantal dat beeldelement omringende beeldelementen en in de tweede stap aan de ingang van het aldus getrainde netwerk bij elk gegeven dat correspondeert met een beeldelement van het uit de verkregen projecties gereconstrueerde twee-dimensionale beeld voorts gegevens aan te bieden die corresponderen met een bepaald aantal dat beeldelement omringende beeldelementen.Yet another exemplary embodiment is characterized by means for training the neural network in the first step by further presenting data corresponding to a pixel of the two-dimensional image reconstructed from the simulated projections at its input, corresponding to a certain number of picture elements surrounding that picture element and, in the second step at the entrance of the network thus trained, to further present data corresponding to a picture number of any picture corresponding to a picture element of the two-dimensional picture reconstructed from the projections obtained that picture element surrounding picture elements.
Een dergelijke inrichting omvat voorts bijvoorbeeld middelen om in de eerste stap het neurale netwerk te trainen door aan de ingang daarvan voorts gegevens aan te bieden die corresponderen met de gesimuleerde relatieve plaats van de detector ten opzichte van de bepaalde activiteitenverdeling, en in de tweede stap aan de ingang van het aldus getrainde netwerk voorts gegevens aan te bieden die met de relatieve plaats van de detector ten opzichte van een bepaalde activiteitenverdeling corresponderen.Such a device further comprises, for example, means for training the neural network in the first step by further presenting at its input data corresponding to the simulated relative position of the detector with respect to the determined activity distribution, and in the second step to further providing the input of the network thus trained with data corresponding to the relative location of the detector relative to a given activity distribution.
Een inrichting overeenkomstig de uitvinding kan, afhankelijk van de in die inrichting gebruikte activiteitendetector, worden toegepast voor het maken van een twee-dimensionale afbeelding van verschillende soorten activiteitenverdelingen in een drie-dimensionaal lichaam. Zo kan de inrichting worden toegepast voor het restaureren van SPECT-afbeeldingen van een lichaam waarin een foton-emitterend materiaal is opgenomen of van PET (positron emission tomography)-afbeeldingen van een lichaam dat positronen bevat. De fotondetector in een SPECT-inrichting is bijvoorbeeld een NaJ-scintillatie-camera waarmee een tweedimensionale projectie van daar binnentredende fotonen wordt geregistreerd. In een PET-scanner worden fotonen, die paarsgewijze ontstaan door annihilatie van positronen met elektronen in de activiteitenverdeling, afgebeeld op bijvoorbeeld een ringvormige detector.A device according to the invention, depending on the activity detector used in that device, can be used to make a two-dimensional image of different types of activity distributions in a three-dimensional body. For example, the device can be used to restore SPECT images of a body incorporating a photon-emitting material or PET (positron emission tomography) images of a body containing positrons. The photon detector in a SPECT device is, for example, a NaJ scintillation camera with which a two-dimensional projection of photons entering there is registered. In a PET scanner, photons, which are created in pairs by annihilation of positrons with electrons in the activity distribution, are imaged on, for example, an annular detector.
De uitvinding zal in het nu volgende nader worden toegelicht aan de hand van de tekening.The invention will be explained in more detail below with reference to the drawing.
In de tekening tonen: figuur 1 een schematische weergave van de eerste stap, te weten het trainen van een neuraal netwerk, in een werkwijze overeenkomstig de uitvinding; figuur 2 een vereenvoudigd blokschema van een inrichting voor het maken van een twee-dimensionale afbeelding van een bepaalde activiteitenverdeling in een bepaald lichaam.In the drawing: figure 1 shows a schematic representation of the first step, i.e. training a neural network, in a method according to the invention; figure 2 shows a simplified block diagram of a device for making a two-dimensional image of a certain activity distribution in a certain body.
Het schema van figuur 1 geeft een werkwijze voor het trainen van een zelflerend artificieel neuraal netwerk 1, waarbij aan een uitgang 2 van dat netwerk 1 een set gegevens wordt aangeboden die corresponderen met een gesimuleerde activiteitenverdeling 3. Een activiteitenverdeling wordt bijvoorbeeld gesimuleerd door een verzameling volume-elementen (voxels), waarbij aan elk volume-element een getalswaarde wordt toegekend die de activiteit simuleert. De gesimuleerde activiteitenverdeling is dan een verzameling van combinaties van telkens vier getallen, te weten drie voor de coördinaten van een voxel en een voor de intensiteit, welke getallen in het geheugen van een computer kunnen worden opgeslagen. Met behulp van een daartoe ontwikkeld projectie-algoritme wordt door een computer een projectie 5 van de activiteitenverdeling 3 gesimuleerd. Een projectie van een activiteitenverdeling is in praktijkomstandigheden bijvoorbeeld een in een computer opgeslagen beeld van een gamma-camera en kan worden gesimuleerd door een verzameling twee-dimensionale beeldelementen (pixels) waaraan een met de intensiteit corresponderende getalswaarde wordt toegekend.The diagram of figure 1 shows a method for training a self-learning artificial neural network 1, in which an output 2 of that network 1 is presented with a set of data corresponding to a simulated activity distribution 3. An activity distribution is simulated, for example, by a collection volume elements (voxels), where each volume element is assigned a number value that simulates the activity. The simulated activity distribution is then a collection of combinations of four numbers each, namely three for the coordinates of a voxel and one for the intensity, which numbers can be stored in the memory of a computer. With the aid of a projection algorithm developed for this purpose, a projection 5 of the activity distribution 3 is simulated by a computer. For example, a projection of an activity distribution is a computer camera image stored in a gamma camera and can be simulated by a set of two-dimensional pixels (pixels) to which a number value corresponding to the intensity is assigned.
Een gesimuleerde projectie omvat dan een verzameling combinaties van telkens drie getallen, waarbij twee getallen de coördinaten van een punt in een projectievlak representeren en het derde getal de intensiteit van de afbeelding in dat punt representeert. In het projectie-algoritme 4 kan het optreden in praktische situaties van afbeeldingsfouten worden gesimuleerd, bijvoorbeeld door de gesimuleerde activiteit in elk volume-element volgens een puntspreidingsfunctie af te beelden die afhangt van de positie van het volume-element ten opzichte van de detector, de detectoreigenschappen, en de lichaamsgeometrie. Nadat alle activiteit geprojecteerd is kan ruis in de pixels worden gegenereerd. Het opnemen van een dergelijke puntspreidingsfunctie in het projectie-algoritme 4 wordt weergegeven door een blokje 6. Uit een of meer gesimuleerde projecties 5 wordt op een op zich bekende wijze, bijvoorbeeld met een algoritme voor gefilterde terugprojectie 7 een bepaald beeld 8, corresponderend met een bepaalde doorsnede door de activiteitenverdeling 3 gereconstrueerd. Met het gesimuleerde twee-dimensionale beeld 8 correspondeert weer een verzameling gegevens die bijvoorbeeld weer combinaties van telkens drie getallen omvatten, waarbij telkens twee getallen de coördinaten van een pixel representeren en een derde getal de waarde van de beeldintensiteit van dat pixel representeert. Deze getallen worden aangeboden aan de ingang 9 van het neurale netwerk 1 waarin deze gegevens worden getransformeerd tot een gerestaureerd beeld 10, dat in een comparator 11 in het neurale netwerk 1 wordt vergeleken met de aan uitgang 2 aangeboden gegevens die met de oorspronkelijke activiteitenverdeling 3 corresponderen. Aan een ingang 18 van het neurale netwerk kunnen voorts additionele gegevens worden aangeboden, zoals bijvoorbeeld gegevens die corresponderen met de contouren van een gesimuleerd lichaam of gegevens die corresponderen met de gesimuleerde relatieve plaats van een detector ten opzichte van een bepaalde activiteitenverdeling. Bij het aanbieden van onderling verschillende gegevens aan comparator 11 zal de weging van de verbindingen tussen de neuronen in netwerk 11 volgens op zich bekende werkingsprincipes van een neuraal netwerk aan dat verschil worden aangepast, waarna een volgende activiteitenverdeling 3 wordt gesimuleerd en de beschreven werkwijze wordt herhaald. Na aanbieden van een voldoende aantal gesimuleerde activiteitenverdelingen is het neurale netwerk getraind in het restaureren van beelden met beeldfouten, en kan het netwerk worden toegepast in een praktische meetopstelling, getoond in figuur 2.A simulated projection then comprises a collection of combinations of three numbers each, two numbers representing the coordinates of a point in a projection plane and the third number representing the intensity of the image at that point. In the projection algorithm 4, the occurrence in practical situations of imaging errors can be simulated, for example, by mapping the simulated activity in each volume element according to a point spread function depending on the position of the volume element with respect to the detector, the detector properties, and body geometry. After all activity has been projected, noise can be generated in the pixels. The inclusion of such a point spread function in the projection algorithm 4 is represented by a block 6. From one or more simulated projections 5, a specific image 8 corresponding to a filtered image 8 is generated in a manner known per se, e.g. reconstructed section through activity division 3. Corresponding to the simulated two-dimensional image 8 is a collection of data which again comprises combinations of three numbers in each case, two numbers in each case representing the coordinates of a pixel and a third number representing the value of the image intensity of that pixel. These numbers are presented at the input 9 of the neural network 1 in which this data is transformed into a restored image 10, which is compared in a comparator 11 in the neural network 1 with the data presented at output 2 corresponding to the original activity distribution 3 . Additional data may also be presented to an input 18 of the neural network, such as, for example, data corresponding to the contours of a simulated body or data corresponding to the simulated relative location of a detector relative to a particular activity distribution. When presenting mutually different data to comparator 11, the weighting of the connections between the neurons in network 11 will be adapted to that difference according to known operating principles of a neural network, after which a subsequent activity distribution 3 is simulated and the described method repeated . After offering a sufficient number of simulated activity distributions, the neural network is trained in restoring images with image errors, and the network can be used in a practical measurement setup, shown in Figure 2.
In de opstelling volgens figuur 2 wordt met behulp van een getraind neuraal netwerk 1 een beeld 10 gemaakt van een activiteitenverdeling 12, bijvoorbeeld het hoofd van een patiënt aan wie een laag-radioactieve, fotonen emitterende stof is toegediend. De activiteitenverdeling 12 wordt met behulp van een detector 13, bijvoorbeeld een gamma-camera afgebeeld op een projectie 14, waaruit met behulp van een op zich bekend beeldreconstructie-algoritme 15 een beeld 16 wordt gereconstrueerd. Door verschillende oorzaken, zoals bijvoorbeeld fotonruis, verstrooiing en verzwakking van gamma-straling en onvolkomenheden aan detector en collimator is het gereconstrueerde beeld 16 van een zeer slechte kwaliteit. Deze foutenbronnen worden in de figuur weergegeven in de vorm van een met de detector 13 verbonden informatieblok 17. De informatie van dit gereconstrueerde beeld 16 wordt in het getrainde neurale netwerk 1 zeer snel getransformeerd tot het gerestaureerde beeld 10, dat een getrouwe afbeelding vormt van een vooraf bepaalde doorsnede van de activiteitenverdeling 12. De kwaliteit van de afbeelding 10 wordt nog verder verhoogd door aan een tweede ingang 18 van het netwerk 1 informatie over de lichaamscontour van de activiteitenverdeling 12 en de geometrie van de detector 13 aan te bieden.In the arrangement according to Figure 2, an image 10 is made of an activity distribution 12, for example the head of a patient to whom a low-radioactive, photon-emitting substance has been administered, using a trained neural network 1. The activity distribution 12 is imaged on a projection 14 with the aid of a detector 13, for example a gamma camera, from which an image 16 is reconstructed with the aid of an image reconstruction algorithm known per se. For various reasons, such as, for example, photon noise, scattering and attenuation of gamma radiation and imperfections on the detector and collimator, the reconstructed image 16 is of a very poor quality. These sources of error are shown in the figure in the form of an information block 17 connected to the detector 13. The information from this reconstructed image 16 is very quickly transformed in the trained neural network 1 into the restored image 10, which forms a faithful image of a predetermined cross-section of the activity distribution 12. The quality of the image 10 is further enhanced by providing information about the body contour of the activity distribution 12 and the geometry of the detector 13 to a second input 18 of the network 1.
Claims (14)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL9200796A NL9200796A (en) | 1991-09-13 | 1992-05-01 | RESTORATION OF COMPUTER-TOMOGRAPHIC IMAGES WITH NEURAL NETWORKS. |
| PCT/NL1992/000154 WO1993006560A1 (en) | 1991-09-13 | 1992-09-08 | Restoration of computer-tomographic images with neural networks |
| AU26459/92A AU2645992A (en) | 1991-09-13 | 1992-09-08 | Restoration of computer-tomographic images with neural networks |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL9101555 | 1991-09-13 | ||
| NL9101555 | 1991-09-13 | ||
| NL9200796A NL9200796A (en) | 1991-09-13 | 1992-05-01 | RESTORATION OF COMPUTER-TOMOGRAPHIC IMAGES WITH NEURAL NETWORKS. |
| NL9200796 | 1992-05-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| NL9200796A true NL9200796A (en) | 1993-04-01 |
Family
ID=26646882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| NL9200796A NL9200796A (en) | 1991-09-13 | 1992-05-01 | RESTORATION OF COMPUTER-TOMOGRAPHIC IMAGES WITH NEURAL NETWORKS. |
Country Status (3)
| Country | Link |
|---|---|
| AU (1) | AU2645992A (en) |
| NL (1) | NL9200796A (en) |
| WO (1) | WO1993006560A1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017106838A1 (en) * | 2015-12-18 | 2017-06-22 | University Of Virginia Patent Foundation | Time-of-flight positron emission tomography (tofpet) assembly and related method thereof |
| US11769277B2 (en) * | 2017-09-28 | 2023-09-26 | Koninklijke Philips N.V. | Deep learning based scatter correction |
| US10803984B2 (en) | 2017-10-06 | 2020-10-13 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing system |
| US11517197B2 (en) * | 2017-10-06 | 2022-12-06 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction |
| CN110599588A (en) * | 2019-08-12 | 2019-12-20 | 北京立方天地科技发展有限责任公司 | Particle reconstruction method and device in three-dimensional flow field, electronic device and storage medium |
| CN110619677B (en) * | 2019-08-12 | 2023-10-31 | 浙江大学 | Particle reconstruction method and device, electronic equipment and storage medium in three-dimensional flow field |
-
1992
- 1992-05-01 NL NL9200796A patent/NL9200796A/en not_active Application Discontinuation
- 1992-09-08 WO PCT/NL1992/000154 patent/WO1993006560A1/en not_active Ceased
- 1992-09-08 AU AU26459/92A patent/AU2645992A/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO1993006560A1 (en) | 1993-04-01 |
| AU2645992A (en) | 1993-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kyriakou et al. | Empirical beam hardening correction (EBHC) for CT | |
| JP7202302B2 (en) | Deep learning-based estimation of data for use in tomographic reconstruction | |
| Nassi et al. | Iterative reconstruction-reprojection: an algorithm for limited data cardiac-computed tomography | |
| Schüller et al. | Segmentation‐free empirical beam hardening correction for CT | |
| Fulton et al. | Use of 3D reconstruction to correct for patient motion in SPECT | |
| CN102982510A (en) | Motion correction of SPECT images | |
| JP2014518133A (en) | Image reconstruction method and system {ITERATEIVEIMAGECONSGTRUCTION} | |
| US8712124B2 (en) | Artifact removal in nuclear images | |
| WO2010063482A1 (en) | Reconstructing a tomographic image reduced artifacts | |
| Hsieh et al. | On methods of three-dimensional reconstruction from a set of radioisotope scintigrams | |
| Ström et al. | Photon-counting CT reconstruction with a learned forward operator | |
| NL9200796A (en) | RESTORATION OF COMPUTER-TOMOGRAPHIC IMAGES WITH NEURAL NETWORKS. | |
| EP3143591A1 (en) | Computerized tomographic image exposure and reconstruction method | |
| CN105631908B (en) | A kind of PET image reconstruction method and device | |
| JP2004529337A (en) | Fast transformation for reconstructing rotating slat data | |
| Agrawal et al. | Metal artifact reduction in cone-beam extremity images using gated convolutions | |
| US12073538B2 (en) | Neural network for improved performance of medical imaging systems | |
| Coakley et al. | Use of cross-validation as a stopping rule in emission tomography image reconstruction | |
| CN105310712A (en) | Method and system for measuring tumor standard uptake value with single photon imaging in nuclear medicine | |
| RU2736160C1 (en) | Method of medical image forming | |
| DE202012012506U1 (en) | Improved SPECT motion correction | |
| KR101958099B1 (en) | Attenuation correction method using time-of-flight information in positron emission tomography | |
| Qiao et al. | Compensating respiratory motion in PET image reconstruction using 4D PET/CT | |
| Heil et al. | Metal artifact reduction in x-ray computed tomography: Inpainting versus missing value | |
| Us | Reduction of Limited Angle Artifacts in Medical Tomography via Image Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A1B | A search report has been drawn up | ||
| BV | The patent application has lapsed |