[go: up one dir, main page]

JP2020060514A - Medical image processing apparatus and medical image processing method - Google Patents

Medical image processing apparatus and medical image processing method Download PDF

Info

Publication number
JP2020060514A
JP2020060514A JP2018193403A JP2018193403A JP2020060514A JP 2020060514 A JP2020060514 A JP 2020060514A JP 2018193403 A JP2018193403 A JP 2018193403A JP 2018193403 A JP2018193403 A JP 2018193403A JP 2020060514 A JP2020060514 A JP 2020060514A
Authority
JP
Japan
Prior art keywords
data
detector
pet
image
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018193403A
Other languages
Japanese (ja)
Other versions
JP7210219B2 (en
Inventor
敬之 山崎
Noriyuki Yamazaki
敬之 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018193403A priority Critical patent/JP7210219B2/en
Publication of JP2020060514A publication Critical patent/JP2020060514A/en
Application granted granted Critical
Publication of JP7210219B2 publication Critical patent/JP7210219B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Nuclear Medicine (AREA)

Abstract

【課題】検出器が故障している状態であっても、正常時に相当する画質の画像データを生成すること。【解決手段】 実施形態に係る医用画像処理装置は、取得部と、処理部とを含む。取得部は、リング形状に配列された複数のPET検出器のうち、第1のPET検出器に関するデータを含まない第1の医用データを取得する。処理部は、前記取得された第1の医用データから、前記第1のPET検出器に関するデータを含む第2の医用データを、機械学習モデルに従い生成する。【選択図】 図1PROBLEM TO BE SOLVED: To generate image data of image quality equivalent to that in a normal state even when a detector is out of order. A medical image processing apparatus according to an embodiment includes an acquisition unit and a processing unit. The acquisition unit acquires first medical data that does not include data regarding the first PET detector among the plurality of PET detectors arranged in a ring shape. The processing unit generates second medical data including data regarding the first PET detector from the acquired first medical data according to a machine learning model. [Selection diagram]

Description

本発明の実施形態は、医用画像処理装置及び医用画像処理方法に関する。   Embodiments of the present invention relate to a medical image processing apparatus and a medical image processing method.

核医学診断装置は、検出器リング内の複数の検出器により、放射性同位体を投与された被検体から放射される放射線を検出する。複数の検出器は、検出器リングにおいて、リング形状に配列されている。この種の装置としては、陽電子放出断層撮影(Positron Emission Tomography:PET)装置やPET−CT(コンピュータ断層撮影)装置が代表的である。核医学診断装置では、検出器リングの複数の検出器のうち、いずれかの検出器が故障したとき、正常時と比較してLine of Response(LOR)の数が減少するため、システムとしてデータ収集ができなかったり、再構成画像に歪みが生じたりする。   The nuclear medicine diagnostic apparatus detects radiation emitted from a subject administered with a radioisotope by a plurality of detectors in a detector ring. The plurality of detectors are arranged in a ring shape in the detector ring. As a device of this type, a positron emission tomography (PET) device and a PET-CT (computer tomography) device are typical. In the nuclear medicine diagnostic device, when any one of the plurality of detectors in the detector ring fails, the number of Lines of Response (LOR) decreases as compared to the normal state, so that the system collects data. Or the reconstructed image is distorted.

米国特許出願公開第2018/0032641号明細書U.S. Patent Application Publication No. 2018/0032641 米国特許出願公開第2017/0372193号明細書U.S. Patent Application Publication No. 2017/0372193 米国特許出願公開第2006/0214110号明細書U.S. Patent Application Publication No. 2006/0214110

発明が解決しようとする課題は、検出器が故障している状態であっても、正常時に相当する画質の画像データを生成することである。   The problem to be solved by the invention is to generate image data having an image quality corresponding to a normal state even in a state where a detector is out of order.

実施形態に係る医用画像処理装置は、取得部と、処理部とを含む。取得部は、リング形状に配列された複数のPET検出器のうち、第1のPET検出器に関するデータを含まない第1の医用データを取得する。処理部は、前記取得された第1の医用データから、前記第1のPET検出器に関するデータを含む第2の医用データを、機械学習モデルに従い生成する。   The medical image processing apparatus according to the embodiment includes an acquisition unit and a processing unit. The acquisition unit acquires first medical data that does not include data regarding the first PET detector among the plurality of PET detectors arranged in a ring shape. The processing unit generates second medical data including data on the first PET detector from the acquired first medical data according to a machine learning model.

図1は、第1の実施形態に係る陽電子放出断層撮影(PET)装置の構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of a positron emission tomography (PET) apparatus according to the first embodiment. 図2は、図1のガントリに搭載される検出器リングの模式的な縦断面図である。FIG. 2 is a schematic vertical sectional view of a detector ring mounted on the gantry of FIG. 図3は、図1のPET装置において実行される学習用データ生成処理の一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of learning data generation processing executed in the PET apparatus of FIG. 図4は、図3の学習用データ生成処理において生成される学習用データセットを用いた機械学習モデルの学習及び/又は強化学習について説明するための図である。FIG. 4 is a diagram for explaining learning and / or reinforcement learning of a machine learning model using a learning data set generated in the learning data generation process of FIG. 図5は、図1のPET装置において実行される縮退運転処理の一例を示すフローチャートである。FIG. 5 is a flowchart showing an example of the degenerate operation process executed in the PET apparatus of FIG. 図6は、図5の縮退運転処理において実行される機械学習モデルを用いた画像補正について説明するための図である。FIG. 6 is a diagram for explaining image correction using a machine learning model executed in the degenerate operation process of FIG. 図7は、第2の実施形態に係る機械学習モデルの学習及び/又は強化学習と、機械学習モデルを用いた画像補正とについて説明するための図である。FIG. 7 is a diagram for explaining learning and / or reinforcement learning of the machine learning model and image correction using the machine learning model according to the second embodiment. 図8は、第3の実施形態に係る機械学習モデルの学習及び/又は強化学習と、機械学習モデルを用いた画像補正とについて説明するための図である。FIG. 8 is a diagram for explaining learning and / or reinforcement learning of the machine learning model and image correction using the machine learning model according to the third embodiment.

[第1の実施形態]
以下、図面を参照しながら本実施形態に係る医用画像処理装置及び医用画像処理方法を説明する。なお、以下の説明において、既出の図に関して前述したものと同一又は略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表されている場合もある。
[First Embodiment]
Hereinafter, a medical image processing apparatus and a medical image processing method according to the present embodiment will be described with reference to the drawings. In the following description, constituent elements having the same or substantially the same functions as those described above with reference to the drawings described above are designated by the same reference numerals, and will be redundantly described only when necessary. Even if the same portion is shown, the dimensions and ratios may be different depending on the drawings.

本実施形態に係る医用画像処理装置は、例えば核医学診断装置に搭載される。核医学診断装置は、検出器リング内の複数の検出器モジュールにより、放射性同位体を投与された被検体から放射される放射線を検出する。複数の検出器モジュールは、検出器リングにおいて、リング形状に配列されている。核医学診断装置は、例えば、陽電子放出断層撮影(Positron Emission Tomography:PET)装置やPET/コンピュータ断層撮影(CT)装置、PET/磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)装置、単光子放射コンピュータ断層撮影(Single Photon Emission CT:SPECT)装置、SPECT/CT装置、SPECT/MRI装置である。なお、医用画像処理装置が搭載された核医学診断装置を医用画像処理装置と表現してもよい。   The medical image processing apparatus according to this embodiment is installed in, for example, a nuclear medicine diagnostic apparatus. A nuclear medicine diagnostic device detects radiation emitted from a subject administered a radioisotope by a plurality of detector modules in a detector ring. The plurality of detector modules are arranged in a ring shape in the detector ring. The nuclear medicine diagnostic apparatus includes, for example, a Positron Emission Tomography (PET) apparatus, a PET / Computer Tomography (CT) apparatus, a PET / Magnetic Resonance Imaging (MRI) apparatus, and a single photon emission computer tomography apparatus. An imaging (single photon emission CT: SPECT) device, a SPECT / CT device, and a SPECT / MRI device. The nuclear medicine diagnostic apparatus equipped with the medical image processing apparatus may be referred to as a medical image processing apparatus.

以下、PET装置に搭載されている医用画像処理装置及びPET装置における医用画像処理方法を一例として説明する。   Hereinafter, a medical image processing apparatus installed in a PET apparatus and a medical image processing method in the PET apparatus will be described as an example.

図1は、本実施形態に係るPET装置1の構成の一例を示す図である。図2は、図1のガントリ10に搭載される検出器リング11の模式的な縦断面図である。   FIG. 1 is a diagram showing an example of the configuration of a PET device 1 according to this embodiment. FIG. 2 is a schematic vertical cross-sectional view of the detector ring 11 mounted on the gantry 10 of FIG.

図1に示すように、PET装置1は、ガントリ10、寝台50及びコンソール70を有する。なお、説明の都合上、図1にはガントリ10が複数描画されている。典型的には、ガントリ10及び寝台50は、共通の検査室に設置され、コンソール70は、検査室に隣接する制御室に設置される。   As shown in FIG. 1, the PET device 1 includes a gantry 10, a bed 50, and a console 70. For convenience of explanation, a plurality of gantry 10 is drawn in FIG. Typically, the gantry 10 and the bed 50 are installed in a common examination room, and the console 70 is installed in a control room adjacent to the examination room.

ガントリ10は、被検体PをPET撮像する撮像装置である。ガントリ10は、図1及び図2に示すように、複数の検出器リング11、複数の信号処理回路13及び同時計数回路15を有する。   The gantry 10 is an imaging device for PET imaging the subject P. As shown in FIGS. 1 and 2, the gantry 10 has a plurality of detector rings 11, a plurality of signal processing circuits 13 and a coincidence counting circuit 15.

複数の検出器リング11は、図2に示すように、ガントリ10において、円周の中心軸Zに沿って配列されている。図2においては、例示のため、3つの検出器リング11が示されている。検出器リング11の開口部には、画像視野(FOV:field of view)が形成される。被検体Pの撮像部位がFOVに入るように、被検体Pが載置された天板53が検出器リング11の開口部に挿入される。被検体Pは、体軸が中心軸Zに一致するように天板53に載置される。被検体Pには、PET撮像のため、放射性同位元素で標識された薬剤が注入される。各検出器リング11は、図2に示すように、中心軸Z周りの円周上に配列される複数の検出器110を有する。ここで、検出器110は、PET検出器の一例である。なお、複数の検出器110の配列は、図1及び図2に示すリング形状に限定されず、例えば、楕円状、三角形状等であってもよい。複数の検出器110の各々は、被検体Pの内部から放出される対消滅ガンマ線を検出し、検出された対消滅ガンマ線の光量に応じたパルス状の電気信号を生成する。具体的には、複数の検出器110は、複数のシンチレータ113と複数の光電子増倍管115とを有する。   As shown in FIG. 2, the plurality of detector rings 11 are arranged in the gantry 10 along the central axis Z of the circumference. In FIG. 2, three detector rings 11 are shown for purposes of illustration. An image field of view (FOV) is formed in the opening of the detector ring 11. The top plate 53 on which the subject P is placed is inserted into the opening of the detector ring 11 so that the imaging region of the subject P enters the FOV. The subject P is placed on the top plate 53 so that the body axis thereof coincides with the central axis Z. A drug labeled with a radioisotope is injected into the subject P for PET imaging. As shown in FIG. 2, each detector ring 11 has a plurality of detectors 110 arranged on the circumference around the central axis Z. Here, the detector 110 is an example of a PET detector. The array of the plurality of detectors 110 is not limited to the ring shape shown in FIGS. 1 and 2, and may be, for example, an elliptical shape, a triangular shape, or the like. Each of the plurality of detectors 110 detects the pair annihilation gamma rays emitted from the inside of the subject P and generates a pulsed electric signal according to the light amount of the detected pair annihilation gamma rays. Specifically, the plurality of detectors 110 have a plurality of scintillators 113 and a plurality of photomultiplier tubes 115.

複数のシンチレータ113の各々は、被検体Pの内部に注入された放射性同位元素に由来する対消滅ガンマ線を受けてシンチレーション光を発生する。複数のシンチレータ113は、検出器110において、例えば2次元状に配列される。各シンチレータ113は、各シンチレータ113の長軸方向が検出器リング11の径方向に略一致するように配置される。本実施形態に係るシンチレータ113は、既存の如何なる種類のシンチレータ材料により形成されてもよい。例えば、シンチレータ113は、NaI(ヨウ化ナトリウム)やBGO(ビスマス酸ジャーマネイト)、LSO(ケイ酸ルテチウムにセリウムを一定量添加したもの)、LaBr3:Ce、LYSO(LSOとケイ酸イットリウムの混晶)等のシンチレータ材料により形成される。シンチレータ113の材料としては、ルテチウム結晶がよく用いられる。上述の材料以外にも、例えば、シンチレータ113は、例えば、ガリウム系結晶やガーネット系結晶により形成されてもよい。   Each of the plurality of scintillators 113 receives pair annihilation gamma rays derived from the radioisotope injected into the subject P and generates scintillation light. In the detector 110, the plurality of scintillators 113 are arranged, for example, two-dimensionally. Each scintillator 113 is arranged such that the long axis direction of each scintillator 113 substantially coincides with the radial direction of the detector ring 11. The scintillator 113 according to this embodiment may be formed of any existing type of scintillator material. For example, the scintillator 113 is NaI (sodium iodide), BGO (bismuth acid germanate), LSO (lutetium silicate with a certain amount of cerium added), LaBr3: Ce, LYSO (mixed crystal of LSO and yttrium silicate). ) Or other scintillator material. A lutetium crystal is often used as the material of the scintillator 113. In addition to the materials described above, the scintillator 113 may be formed of, for example, a gallium-based crystal or a garnet-based crystal.

複数の光電子増倍管115の各々は、中心軸Zに直交する径方向に関する、シンチレータ113の一端部に設けられている。典型的には、シンチレータ113と光電子増倍管115との間には、ライトガイド(図示せず)が設けられている。検出器リング11に含まれる複数のシンチレータ113と複数の光電子増倍管115とは、同心円(同心円筒)状に配列される。シンチレータ113において発生されたシンチレーション光は、シンチレータ113を伝播し光電子増倍管115に向かう。光電子増倍管115は、シンチレーション光の光量に応じたパルス状の電気信号を発生する。発生された電気信号は、図1に示すように、信号処理回路13に供給される。また、光電子増倍管115はシリコン光電子増倍素子(SiPM)であってもよい。   Each of the plurality of photomultiplier tubes 115 is provided at one end of the scintillator 113 in the radial direction orthogonal to the central axis Z. A light guide (not shown) is typically provided between the scintillator 113 and the photomultiplier tube 115. The plurality of scintillators 113 and the plurality of photomultiplier tubes 115 included in the detector ring 11 are arranged in a concentric circle (concentric cylinder) shape. The scintillation light generated in the scintillator 113 propagates in the scintillator 113 and goes to the photomultiplier tube 115. The photomultiplier tube 115 generates a pulsed electric signal according to the amount of scintillation light. The generated electric signal is supplied to the signal processing circuit 13, as shown in FIG. Further, the photomultiplier tube 115 may be a silicon photomultiplier element (SiPM).

なお、検出器リング11の列数や検出器リング11内の検出器110の数、検出器110内のシンチレータ113の数、検出器110内の光電子増倍管115の数は、図1及び図2に示される数に限定されない。   The number of rows of detector rings 11, the number of detectors 110 in the detector ring 11, the number of scintillators 113 in the detector 110, and the number of photomultiplier tubes 115 in the detector 110 are as shown in FIG. It is not limited to the number shown in 2.

複数の信号処理回路13は、それぞれ複数の検出器110の電気信号に基づいてシングルイベントデータを生成する。具体的には、信号処理回路13は、検出時刻計測処理、位置計算処理及びエネルギ計算処理を施す。信号処理回路13は、検出時刻計測処理、位置計算処理及びエネルギ計算処理を実行可能に構成されたApplication Specific Integrated Circuit(ASIC)やフィールド・プログラマブル・ゲート・アレイ(Field Programmable Gate Array:FPGA)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)等により実現される。   The plurality of signal processing circuits 13 generate single event data based on the electric signals of the plurality of detectors 110, respectively. Specifically, the signal processing circuit 13 performs detection time measurement processing, position calculation processing, and energy calculation processing. The signal processing circuit 13 includes an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), and a composite configured so as to be capable of performing detection time measurement processing, position calculation processing, and energy calculation processing. It is realized by a programmable logic device (Complex Programmable Logic Device: CPLD), a simple programmable logic device (Simple Programmable Logic Device: SPLD), and the like.

信号処理回路13は、検出時刻計測処理により、検出器110によるガンマ線の検出時刻を計測する。具体的には、信号処理回路13は、検出器110からの電気信号の波高値をモニタリングし、波高値が予め設定された閾値を超える時刻を検出時刻として計測する。換言すれば、信号処理回路13は、波高値が閾値を超えたことを検知することにより電気的に消滅ガンマ線を検出する。   The signal processing circuit 13 measures the detection time of the gamma ray by the detector 110 by the detection time measurement processing. Specifically, the signal processing circuit 13 monitors the peak value of the electric signal from the detector 110, and measures the time when the peak value exceeds a preset threshold value as the detection time. In other words, the signal processing circuit 13 electrically detects annihilation gamma rays by detecting that the peak value exceeds the threshold value.

信号処理回路13は、位置計算処理により、検出器110からの電気信号に基づいて対消滅ガンマ線の入射位置を計算する。消滅ガンマ線の入射位置は、消滅ガンマ線が入射したシンチレータの位置座標に対応する。   The signal processing circuit 13 calculates the incident position of the pair annihilation gamma ray based on the electric signal from the detector 110 by the position calculation process. The incident position of the annihilation gamma ray corresponds to the position coordinate of the scintillator on which the annihilation gamma ray is incident.

信号処理回路13は、エネルギ計算処理により、検出器110からの電気信号に基づいて、検出した対消滅ガンマ線のエネルギ値を計算する。シングルイベントに関する検出時刻のデータと位置座標のデータとエネルギ値のデータとは関連付けられる。シングルイベントに関するエネルギ値のデータと位置座標のデータと検出時刻のデータとの組合せは、シングルイベントデータと呼ばれている。シングルイベントデータは、消滅ガンマ線が検出される毎に次々に生成される。生成されたシングルイベントデータは、同時計数回路15に供給される。   The signal processing circuit 13 calculates the energy value of the detected pair annihilation gamma ray based on the electric signal from the detector 110 by the energy calculation process. The detection time data, the position coordinate data, and the energy value data regarding a single event are associated with each other. A combination of energy value data, position coordinate data, and detection time data relating to a single event is called single event data. Single event data is generated one after another every time an annihilation gamma ray is detected. The generated single event data is supplied to the coincidence counting circuit 15.

同時計数回路15は、信号処理回路13からのシングルイベントデータに同時計数処理を施す。ハードウェア資源としては、同時計数回路15は、同時計数処理を実行可能に構成されたASICやFPGA、CPLD、SPLD等により実現される。同時計数回路15は、同時計数処理により、繰り返し供給されるシングルイベントデータの中から、予め定められた時間枠内に収まる2つのシングルイベントに関するシングルイベントデータを繰り返し特定する。この対のシングルイベントは、同一の対消滅点から発生された対消滅ガンマ線に由来すると推定される。対のシングルイベントは、まとめて同時計数イベントと呼ばれる。この対消滅ガンマ線を検出した対の検出器110(より詳細にはシンチレータ)を結ぶ線は、Line of Response(LOR)と呼ばれる。LORを構成する対のイベントに関するイベントデータは、同時計数イベントデータと呼ばれる。同時計数イベントデータとシングルイベントデータとは、コンソール70に伝送される。なお、同時計数イベントデータとシングルイベントデータとを特に区別しないときはPETイベントデータと呼ぶことにする。   The coincidence counting circuit 15 performs coincidence counting processing on the single event data from the signal processing circuit 13. As a hardware resource, the coincidence counting circuit 15 is realized by an ASIC, an FPGA, a CPLD, an SPLD, or the like configured to be capable of executing the coincidence counting process. The coincidence counting circuit 15 repeatedly identifies the single event data relating to two single events within a predetermined time frame from the repeatedly supplied single event data by the coincidence counting process. It is presumed that the single event of this pair originates from pair annihilation gamma rays generated from the same pair annihilation point. The paired single events are collectively referred to as a coincidence event. The line connecting the pair of detectors 110 (more specifically, the scintillator) that has detected this pair annihilation gamma ray is called a line of response (LOR). The event data related to the pair of events forming the LOR is called coincidence counting event data. The coincidence counting event data and the single event data are transmitted to the console 70. In addition, when the coincidence counting event data and the single event data are not particularly distinguished, they are referred to as PET event data.

なお、上記構成において信号処理回路13と同時計数回路15とは、ガントリ10に含まれるとしたが、本実施形態はこれに限定されない。例えば、同時計数回路15又は信号処理回路13と同時計数回路15との双方が、ガントリ10とは別体の装置に含まれていてもよい。また、ガントリ10に搭載される複数の信号処理回路13に対して1つの同時計数回路15が設けられていてもよいし、ガントリ10に搭載される複数の信号処理回路13を複数のグループに区分し、各グループに対して1つの同時計数回路15が設けられていてもよい。   In the above configuration, the signal processing circuit 13 and the coincidence counting circuit 15 are included in the gantry 10, but the present embodiment is not limited to this. For example, both the coincidence counting circuit 15 or the signal processing circuit 13 and the coincidence counting circuit 15 may be included in a device separate from the gantry 10. Further, one coincidence counting circuit 15 may be provided for the plurality of signal processing circuits 13 mounted on the gantry 10, or the plurality of signal processing circuits 13 mounted on the gantry 10 may be divided into a plurality of groups. However, one coincidence counting circuit 15 may be provided for each group.

寝台50は、スキャン対象の被検体Pを載置し、載置された被検体Pを移動させる。寝台50は、基台51、支持フレーム52、天板53及び寝台駆動装置54を有する。基台51は、床面に設置される。基台51は、支持フレーム52を、床面に対して垂直方向(Y軸方向)に移動可能に支持する筐体である。支持フレーム52は、基台51の上部に設けられるフレームである。支持フレーム52は、天板53を中心軸Zに沿ってスライド可能に支持する。天板53は、被検体Pが載置される柔軟性を有する板である。寝台駆動装置54は、寝台50の筐体内に収容される。寝台駆動装置54は、被検体Pが載置された支持フレーム52と天板53とを移動させるための動力を発生するモータ又はアクチュエータである。寝台駆動装置54は、コンソール70等による制御に従い作動する。   The bed 50 mounts the subject P to be scanned and moves the mounted subject P. The bed 50 includes a base 51, a support frame 52, a top plate 53, and a bed driving device 54. The base 51 is installed on the floor. The base 51 is a housing that supports the support frame 52 so as to be movable in the vertical direction (Y-axis direction) with respect to the floor surface. The support frame 52 is a frame provided above the base 51. The support frame 52 supports the top plate 53 slidably along the central axis Z. The top plate 53 is a flexible plate on which the subject P is placed. The bed driving device 54 is housed in the housing of the bed 50. The bed driving device 54 is a motor or an actuator that generates power for moving the support frame 52 on which the subject P is placed and the top plate 53. The bed driving device 54 operates under the control of the console 70 or the like.

コンソール70は、ガントリ10及び寝台50を制御するコンピュータを有する。コンソール70は、処理回路71、PETデータメモリ72、入力回路73、表示回路74及びメモリ75を有する。処理回路71、PETデータメモリ72、入力回路73、表示回路74及びメモリ75間のデータ通信は、例えば、有線のバス又は無線を介して行われる。ここで、処理回路71は、医用画像処理装置の一例である。なお、コンソール70が、医用画像処理装置の一例であると表現されてもよい。   The console 70 has a computer that controls the gantry 10 and the bed 50. The console 70 has a processing circuit 71, a PET data memory 72, an input circuit 73, a display circuit 74, and a memory 75. Data communication among the processing circuit 71, the PET data memory 72, the input circuit 73, the display circuit 74, and the memory 75 is performed via, for example, a wired bus or wireless. Here, the processing circuit 71 is an example of a medical image processing apparatus. The console 70 may be expressed as an example of the medical image processing apparatus.

処理回路71は、PET装置1の全体の動作を制御する。処理回路71は、検出器110が故障した状態で得られた故障画像の補正に関するプログラム(以下、故障画像補正プログラムと呼ぶ)を実行して、機械学習モデルの学習及び/又は強化学習に係る処理や機械学習モデルを用いた故障画像の補正に係る処理を実行する。処理回路71は、ハードウェア資源として、Central Processing Unit(CPU)、Micro Processing Unit(MPU)、Graphics Processing Unit(GPU)等のプロセッサと、Read Only Memory(ROM)やRandom Access Memory(RAM)等のメモリとを有する。   The processing circuit 71 controls the overall operation of the PET device 1. The processing circuit 71 executes a program related to correction of a failure image obtained when the detector 110 is in a failure state (hereinafter referred to as a failure image correction program) to perform processing related to machine learning model learning and / or reinforcement learning. And a process related to correction of a failure image using a machine learning model. The processing circuit 71 has, as hardware resources, a processor such as a Central Processing Unit (CPU), a Micro Processing Unit (MPU), and a Graphics Processing Unit (GPU), and a Read Only Memory (ROM) and a Random Access Memory (RAM). And a memory.

本実施形態に係る処理回路71は、故障画像補正プログラムにより、再構成機能711、画像処理機能712、撮像制御機能713、表示制御機能714及び補正処理機能716等を実行する。また、処理回路71は、学習プログラムにより、モデル生成機能715等を実行する。ここで、再構成機能711を実現する処理回路71は、取得部の一例である。また、撮像制御機能713を実現する処理回路71は、特定部の一例である。また、補正処理機能716を実現する処理回路71は、処理部の一例である。   The processing circuit 71 according to the present embodiment executes the reconstruction function 711, the image processing function 712, the imaging control function 713, the display control function 714, the correction processing function 716, and the like by the failure image correction program. Further, the processing circuit 71 executes the model generation function 715 and the like by the learning program. Here, the processing circuit 71 that realizes the reconstruction function 711 is an example of an acquisition unit. The processing circuit 71 that realizes the imaging control function 713 is an example of a specifying unit. The processing circuit 71 that realizes the correction processing function 716 is an example of a processing unit.

再構成機能711において、処理回路71は、PETデータメモリ72から取得した同時計数イベントデータに基づいて、被検体Pに投与された陽電子放出核種の分布を示すPET画像を再構成する。ここで、PET画像は、故障画像及び模擬故障画像を含む。例えば、処理回路71は、PETデータメモリ72から取得した故障データに基づいて、PET画像(以下、故障画像と呼ぶ)を再構成する。故障データは、いずれかの検出器110が故障している状態で得られた同時計数イベントデータである。例えば、処理回路71は、モデル生成機能715の生成する故障データ(以下、模擬故障データと呼ぶ)に基づいて、故障画像(以下、模擬故障画像と呼ぶ)を再構成する。画像再構成アルゴリズムとしては、Filtered Back Projection(FBP)法や逐次近似再構成法等の既存の画像再構成アルゴリズムが用いられれば良い。処理回路71は、生成されたPET画像や模擬故障画像、故障画像をメモリ75及び/又は表示回路74へ出力する。ここで、故障画像は、第1の医用データの一例である。また、故障画像の再構成に用いられた故障データが収集されたPET撮像時に故障していた検出器110は、第1のPET検出器の一例である。   In the reconstruction function 711, the processing circuit 71 reconstructs a PET image showing the distribution of the positron emitting nuclides administered to the subject P, based on the coincidence counting event data acquired from the PET data memory 72. Here, the PET image includes a failure image and a simulated failure image. For example, the processing circuit 71 reconstructs a PET image (hereinafter referred to as a failure image) based on the failure data acquired from the PET data memory 72. The failure data is coincidence counting event data obtained when one of the detectors 110 has a failure. For example, the processing circuit 71 reconstructs a failure image (hereinafter referred to as simulated failure image) based on the failure data (hereinafter referred to as simulated failure data) generated by the model generation function 715. As the image reconstruction algorithm, an existing image reconstruction algorithm such as a Filtered Back Projection (FBP) method or a successive approximation reconstruction method may be used. The processing circuit 71 outputs the generated PET image, simulated failure image, and failure image to the memory 75 and / or the display circuit 74. Here, the failure image is an example of first medical data. Further, the detector 110 that has failed at the time of PET imaging in which the failure data used for reconstructing the failure image is collected is an example of the first PET detector.

画像処理機能712において、処理回路71は、再構成機能711により再構成されたPET画像に種々の画像処理を施す。例えば、処理回路71は、PET画像にボリュームレンダリングや、サーフェスボリュームレンダリング、画素値投影処理、Multi-Planer Reconstruction(MPR)処理、Curved MPR(CPR)処理等の3次元画像処理を施して表示画像を生成する。   In the image processing function 712, the processing circuit 71 performs various image processing on the PET image reconstructed by the reconstruction function 711. For example, the processing circuit 71 performs three-dimensional image processing such as volume rendering, surface volume rendering, pixel value projection processing, Multi-Planer Reconstruction (MPR) processing, Curved MPR (CPR) processing on the PET image to display the display image. To generate.

撮像制御機能713において、処理回路71は、PET撮像を行うためにガントリ10と寝台50とを同期的に制御する。処理回路71は、ガントリ10による位置決めスキャンや撮像範囲の設定を実行可能である。また、処理回路71は、縮退運転時の各部の動作を制御する。処理回路71は、縮退運転時には、故障した検出器110が停止した状態でPET撮像に係る制御を行う。処理回路71は、ガントリ10から出力されたエラーメッセージに基づいて、故障した検出器110を停止させる。   In the imaging control function 713, the processing circuit 71 synchronously controls the gantry 10 and the bed 50 to perform PET imaging. The processing circuit 71 can execute the positioning scan by the gantry 10 and the setting of the imaging range. The processing circuit 71 also controls the operation of each unit during the degenerate operation. During the degenerate operation, the processing circuit 71 performs control related to PET imaging with the failed detector 110 stopped. The processing circuit 71 stops the failed detector 110 based on the error message output from the gantry 10.

表示制御機能714において、処理回路71は、種々の情報を表示回路74に表示する。例えば、処理回路71は、再構成機能711により再構成されたPET画像を表示回路74に表示する。また、処理回路71は、各種設定及び入力のためのGUIを表示回路74に表示する。また、処理回路71は、縮退運転時には、機械学習モデルを用いた画像の補正が行われたことの通知や故障した検出器110の検出器番号等を表示回路74に表示する。   In the display control function 714, the processing circuit 71 displays various information on the display circuit 74. For example, the processing circuit 71 displays the PET image reconstructed by the reconstruction function 711 on the display circuit 74. Further, the processing circuit 71 displays a GUI for various settings and inputs on the display circuit 74. Further, during the degenerate operation, the processing circuit 71 displays, on the display circuit 74, a notification that the image has been corrected using the machine learning model, the detector number of the detector 110 that has failed, and the like.

モデル生成機能715において、処理回路71は、PETデータメモリ72から読み出した収集データを用いて検出器ごとの模擬故障データを生成する。処理回路71は、模擬故障データから再構成された模擬故障画像と、元の収集データから再構成された正常画像と、模擬故障データに対応する検出器番号とを用いて学習用データを生成する。処理回路71は、生成された学習用データを用いて機械学習モデルを学習及び/又は強化学習する。ここで、模擬故障画像は、学習用の第1の医用データの一例である。また、正常画像は、学習用の第2の医用データの一例である。また、模擬故障データに対応する検出器番号が示す検出器110は、第1のPET検出器の一例である。   In the model generation function 715, the processing circuit 71 uses the collected data read from the PET data memory 72 to generate simulated failure data for each detector. The processing circuit 71 generates learning data using the simulated failure image reconstructed from the simulated failure data, the normal image reconstructed from the original collected data, and the detector number corresponding to the simulated failure data. . The processing circuit 71 uses the generated learning data to learn and / or reinforce the machine learning model. Here, the simulated failure image is an example of the first medical data for learning. The normal image is an example of the second medical data for learning. Further, the detector 110 indicated by the detector number corresponding to the simulated failure data is an example of the first PET detector.

補正処理機能716において、処理回路71は、取得した故障検出器番号に従って、メモリ75に記憶された機械学習モデルを選択する。処理回路71は、選択された機械学習モデルに、再構成機能711が生成した故障画像を入力する。処理回路71は、故障画像が入力された学習済みの機械学習モデルの出力を、補正画像として取得する。処理回路71は、生成された補正画像をメモリ75及び/又は表示回路74へ出力する。ここで、補正画像は、第2の医用データの一例である。   In the correction processing function 716, the processing circuit 71 selects the machine learning model stored in the memory 75 according to the acquired failure detector number. The processing circuit 71 inputs the failure image generated by the reconstruction function 711 to the selected machine learning model. The processing circuit 71 acquires, as a corrected image, the output of the learned machine learning model to which the failure image has been input. The processing circuit 71 outputs the generated corrected image to the memory 75 and / or the display circuit 74. Here, the corrected image is an example of second medical data.

なお、処理回路71は、ASICやFPGAにより実現されてもよい。また、処理回路71は、CPLD又はSPLDにより実現されてもよい。   The processing circuit 71 may be realized by an ASIC or FPGA. Further, the processing circuit 71 may be realized by CPLD or SPLD.

なお、各機能711〜716は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能711〜716を実現するものとしても構わない。   The functions 711 to 716 are not limited to being realized by a single processing circuit. A plurality of independent processors may be combined to configure a processing circuit, and each processor may execute a program to realize each of the functions 711 to 716.

PETデータメモリ72は、ガントリ10から伝送されたシングルイベントデータ及び同時計数イベントデータを記憶する記憶装置である。PETデータメモリ72は、Hard Disk Drive(HDD)やSolid State Drive(SSD)、集積回路記憶装置等の記憶装置である。また、PETデータメモリ72は、HDDやSSD等以外にも、Compact Disc(CD)−ROMドライブやDigital Versatile Disc(DVD)ドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。また、PETデータメモリ72の記憶領域は、ネットワークで接続された外部記憶装置内にあってもよい。PETデータメモリ72に記憶されるイベントデータは、リストモードデータやヒストグラムデータ等、いずれのデータ形式であってもよい。本実施形態では、PETデータメモリ72に記憶されたこれらのデータを総称して、収集データと記載する。   The PET data memory 72 is a storage device that stores the single event data and the coincidence counting event data transmitted from the gantry 10. The PET data memory 72 is a storage device such as a hard disk drive (HDD), a solid state drive (SSD), and an integrated circuit storage device. The PET data memory 72 reads / writes various information from / to a portable storage medium such as a Compact Disc (CD) -ROM drive, a Digital Versatile Disc (DVD) drive, and a flash memory, in addition to the HDD and SSD. It may be a driving device or the like. The storage area of the PET data memory 72 may be in an external storage device connected by a network. The event data stored in the PET data memory 72 may be in any data format such as list mode data or histogram data. In the present embodiment, these data stored in the PET data memory 72 are collectively referred to as collected data.

入力回路73は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路71に出力する。入力回路73としては、キーボードやマウス、各種スイッチ等が利用可能である。入力回路73は、入力機器からの出力信号を、バスを介して処理回路71に供給する。具体的には、入力回路73は、被検体Pに対するPET撮像の実施に先立って、操作者の指示に従って検査名等の検査内容や撮像条件等を入力する。なお、検査内容は、放射線情報システム(Radiology Information System:RIS)からネットワークを介して入力された検査のオーダ情報であってもよい。このとき、処理回路71は、オーダ情報から検査内容を抽出する。また、入力回路73は、PET画像の用途又は画質を、操作者の指示により入力してもよい。   The input circuit 73 receives various input operations from the operator, converts the received input operations into electric signals, and outputs the electric signals to the processing circuit 71. A keyboard, a mouse, various switches, or the like can be used as the input circuit 73. The input circuit 73 supplies the output signal from the input device to the processing circuit 71 via the bus. Specifically, the input circuit 73 inputs examination contents such as an examination name and imaging conditions according to an operator's instruction prior to performing PET imaging on the subject P. The examination content may be examination order information input from a radiology information system (RIS) via a network. At this time, the processing circuit 71 extracts the inspection content from the order information. The input circuit 73 may also input the use or image quality of the PET image according to an instruction from the operator.

表示回路74は、表示制御機能714を実現する処理回路71による制御を受けて、種々の情報を表示する。表示回路74は、例えば、検査内容及び撮像条件等の入力に関するGraphical User Interface(GUI)を表示する。表示回路74は、再構成機能711を実現する処理回路71により生成されたPET画像及び画像処理機能712を実現する処理回路71により生成された医用画像を表示する。なお、表示回路74は、例えば、画質又は用途等の入力に関するGUIを表示してもよい。表示回路74は、表示インタフェース回路と表示機器とを有する。表示インタフェース回路は、表示対象を表すデータ(表示情報)を映像信号に変換する。表示信号は、表示機器に供給される。表示機器は、表示対象を表す映像信号を表示する。表示機器としては、種々の任意の1又は2以上のディスプレイが、適宜、使用可能となっている。例えば表示機器として、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ(Liquid Crystal Display:LCD)、有機ELディスプレイ(Organic Electro Luminescence Display:OELD)、Light Emitting Diode(LED)ディスプレイ又はプラズマディスプレイが適宜利用可能である。   The display circuit 74 displays various information under the control of the processing circuit 71 that realizes the display control function 714. The display circuit 74 displays, for example, a Graphical User Interface (GUI) related to input of inspection content and imaging conditions. The display circuit 74 displays the PET image generated by the processing circuit 71 that realizes the reconstruction function 711 and the medical image generated by the processing circuit 71 that realizes the image processing function 712. The display circuit 74 may display, for example, a GUI relating to an input such as image quality or usage. The display circuit 74 has a display interface circuit and a display device. The display interface circuit converts data (display information) representing a display target into a video signal. The display signal is supplied to the display device. The display device displays a video signal representing a display target. As the display device, various arbitrary one or two or more displays can be appropriately used. For example, as a display device, a CRT (Cathode Ray Tube) display, a liquid crystal display (Liquid Crystal Display: LCD), an organic EL display (Organic Electro Luminescence Display: OELD), a light emitting diode (LED) display, or a plasma display can be appropriately used. is there.

なお、表示回路74は、制御室の如何なる場所に設けられてもよい。また、表示回路74は、デスクトップ型でもよいし、無線通信可能なタブレット端末等で構成されることにしても構わない。また、表示回路74の表示機器として、1又は2以上のプロジェクタが用いられてもよい。   The display circuit 74 may be provided at any place in the control room. The display circuit 74 may be a desktop type or a tablet terminal or the like capable of wireless communication. Further, one or more projectors may be used as the display device of the display circuit 74.

メモリ75は、HDDやSSD、集積回路記憶装置等の記憶装置である。また、メモリ75は、HDDやSSD等以外にも、CD−ROMドライブやDVDドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。また、メモリ75の記憶領域は、ネットワークで接続された外部記憶装置内にあってもよい。   The memory 75 is a storage device such as an HDD, SSD, or integrated circuit storage device. Further, the memory 75 may be a drive device that reads and writes various information from and to a portable storage medium such as a CD-ROM drive, a DVD drive, and a flash memory, in addition to the HDD and SSD. The storage area of the memory 75 may be in an external storage device connected by a network.

メモリ75は、入力回路73を介して入力された各種条件や情報、処理回路71において実行される複数の機能各々に対応するプログラム及び処理回路71において各機能が実行されるときの処理中のデータを記憶する。また、メモリ75は、再構成機能711により生成された各種のPET画像、画像処理機能712により生成された表示画像及びモデル生成機能715により生成された模擬故障データや学習用データを記憶する。また、メモリ75は、機械学習モデルを記憶する。本実施形態に係る機械学習モデルは、複数の検出器110に対応する複数のモデルを含む。   The memory 75 stores various conditions and information input via the input circuit 73, a program corresponding to each of a plurality of functions executed in the processing circuit 71, and data being processed when each function is executed in the processing circuit 71. Memorize The memory 75 also stores various PET images generated by the reconstruction function 711, display images generated by the image processing function 712, and simulated failure data and learning data generated by the model generation function 715. The memory 75 also stores a machine learning model. The machine learning model according to the present embodiment includes a plurality of models corresponding to the plurality of detectors 110.

以下、本実施形態に係るPET装置1の各部の動作例について、図面を参照して詳細に説明する。   Hereinafter, an operation example of each unit of the PET device 1 according to the present embodiment will be described in detail with reference to the drawings.

まず、本実施形態に係る学習用データセットの生成について説明する。図3は、図1のPET装置1において実行される学習用データ生成処理の一例を示すフローチャートである。図4は、図3の学習用データ生成処理において生成される学習用データセット810を用いた機械学習モデル820の学習及び/又は強化学習について説明するための図である。   First, generation of the learning data set according to this embodiment will be described. FIG. 3 is a flowchart showing an example of the learning data generation process executed in the PET device 1 of FIG. FIG. 4 is a diagram for explaining learning and / or reinforcement learning of the machine learning model 820 using the learning data set 810 generated in the learning data generation process of FIG.

本処理は、PET装置1においてPET撮像が実施された後に行われるとする。つまり、本処理が開始されるとき、PET撮像により得られた収集データは、PETデータメモリ72に記憶されているとする。ここで、当該収集データは、同時計数後のイベントデータであるとする。また、当該収集データは、全ての検出器110が正常に動作している状態においてPET撮像により得られた、PET撮像の開始から終了までのイベントデータのセットであるとする。   It is assumed that this processing is performed after PET imaging is performed in the PET device 1. That is, it is assumed that the collected data obtained by PET imaging is stored in the PET data memory 72 when this processing is started. Here, it is assumed that the collected data is event data after simultaneous counting. Further, it is assumed that the acquired data is a set of event data from the start to the end of PET imaging, which is obtained by PET imaging in a state where all detectors 110 are operating normally.

以下、説明の簡単のために、本実施形態に係るPET装置1において、複数の検出器リング11の各々は、N個の検出器110を有するとする。N個の検出器110には、それぞれ、検出器番号1〜検出器番号Nが割り当てられているとする。   Hereinafter, for simplicity of explanation, in the PET device 1 according to the present embodiment, each of the plurality of detector rings 11 has N detectors 110. It is assumed that the N detectors 110 are assigned detector numbers 1 to N, respectively.

また、以下の説明は、複数の検出器リング11のうち、任意の検出器リング11に関して行うものとする。このとき、他の検出器リング11も同様に取り扱われるものとする。例えば、任意の1つの検出器110に関する記載は、体軸方向に並ぶ複数の検出器110に関する記載とみなすことができる。   Further, the following description will be made with respect to an arbitrary detector ring 11 among the plurality of detector rings 11. At this time, the other detector rings 11 are also treated in the same manner. For example, the description regarding any one detector 110 can be regarded as the description regarding the plurality of detectors 110 arranged in the body axis direction.

ステップS101において、モデル生成機能715を実現する処理回路71は、PETデータメモリ72から収集データを読み出す。   In step S101, the processing circuit 71 that realizes the model generation function 715 reads the collected data from the PET data memory 72.

ステップS102において、モデル生成機能715を実現する処理回路71は、ステップS101で読み出した収集データを用いて、模擬故障データを生成する。ここで、模擬故障データは、複数の検出器110のうちいずれかの検出器110が故障したときに得られる収集データを模擬したデータである。モデル生成機能715を実現する処理回路71は、N個の検出器110に関して、それぞれの検出器110に係る収集データを除くことにより、N個の模擬故障データを生成する。例えば、処理回路71は、収集データから、模擬的に故障した任意の検出器110に関するLORのイベントデータを除去することにより、当該検出器に関する模擬故障データを生成する。   In step S102, the processing circuit 71 that realizes the model generation function 715 uses the collected data read in step S101 to generate simulated failure data. Here, the simulated failure data is data that simulates the collected data obtained when any one of the plurality of detectors 110 fails. The processing circuit 71, which realizes the model generation function 715, generates N simulated fault data for the N detectors 110 by excluding the collected data of the respective detectors 110. For example, the processing circuit 71 removes the LOR event data regarding the arbitrary detector 110 that has artificially failed from the collected data to generate the simulated failure data regarding the relevant detector.

ステップS103において、再構成機能711を実現する処理回路71は、ステップS101で読み出された収集データに関して画像再構成を行うことにより、正常画像813を生成する。つまり、正常画像813は、元の収集データの再構成により得られた再構成画像である。すなわち、正常画像813は、全ての検出器110が正常に動作している状態において収集されたイベントデータに基づく再構成画像である。   In step S103, the processing circuit 71 that realizes the reconstruction function 711 generates a normal image 813 by performing image reconstruction on the collected data read in step S101. That is, the normal image 813 is a reconstructed image obtained by reconstructing the original collected data. That is, the normal image 813 is a reconstructed image based on the event data collected when all the detectors 110 are operating normally.

ステップS104において、再構成機能711を実現する処理回路71は、ステップS102で生成されたN個の模擬故障データの各々に関して画像再構成を行うことにより、模擬故障画像817を生成する。つまり、模擬故障画像817は、模擬故障データの再構成により得られた再構成画像である。   In step S104, the processing circuit 71 that realizes the reconstruction function 711 generates the simulated failure image 817 by performing image reconstruction on each of the N simulated failure data generated in step S102. That is, the simulated failure image 817 is a reconstructed image obtained by reconstructing the simulated failure data.

ステップS105において、モデル生成機能715を実現する処理回路71は、学習用データセット810を生成する。図4に示すように、モデル生成機能715を実現する処理回路71は、ステップS104で生成されたN個の模擬故障画像817の各々を、各検出器番号815及びステップS103で生成された正常画像813に関連付けて、N個の学習用データ811を生成する。モデル生成機能715を実現する処理回路71は、生成されたN個の学習用データ811を含む学習用データセット810を生成する。   In step S105, the processing circuit 71 that realizes the model generation function 715 generates the learning data set 810. As shown in FIG. 4, the processing circuit 71 that implements the model generation function 715 converts each of the N simulated fault images 817 generated in step S104 into the normal image generated in each detector number 815 and step S103. In association with 813, N pieces of learning data 811 are generated. The processing circuit 71 that realizes the model generation function 715 generates a learning data set 810 including the N pieces of generated learning data 811.

ステップS106において、モデル生成機能715を実現する処理回路71は、ステップS105で生成された学習用データセット810をメモリ75に記憶する。   In step S106, the processing circuit 71 that realizes the model generation function 715 stores the learning data set 810 generated in step S105 in the memory 75.

なお、任意の収集データに関して学習用データ生成処理が行われる場合を例として説明したが、学習用データセット810には、複数セットの収集データから生成された複数セットの学習用データ811が含まれる。複数セットの収集データから生成された複数セットの学習用データ811は、検出器番号815ごとに関連付けられたり、グループ分けされたりして記憶されてもよい。   Although a case has been described as an example where the learning data generation process is performed on arbitrary collected data, the learning data set 810 includes a plurality of sets of learning data 811 generated from a plurality of sets of collected data. . The plurality of sets of learning data 811 generated from the plurality of sets of collected data may be associated with each detector number 815 or may be grouped and stored.

ここで、本実施形態に係る機械学習モデル820の学習及び/又は強化学習について説明する。モデル生成機能715を実現する処理回路71は、メモリ75から、学習用データ生成処理により生成された学習用データセット810を読み出す。モデル生成機能715を実現する処理回路71は、図4に示すように、検出器番号815ごとに、模擬故障画像817と正常画像813とを用いて機械学習モデル820を学習及び/又は強化学習する。具体的には、モデル生成機能715を実現する処理回路71は、検出器番号815ごとに、機械学習モデル821の入力端に模擬故障画像817を入力し、出力端に正常画像813を入力する。このようにして、複数の検出器番号815に対応した複数の機械学習モデル821が生成される。つまり、機械学習モデル821は、検出器番号815ごとの機械学習モデル820であると表現できる。   Here, learning and / or reinforcement learning of the machine learning model 820 according to this embodiment will be described. The processing circuit 71 that realizes the model generation function 715 reads out the learning data set 810 generated by the learning data generation process from the memory 75. As shown in FIG. 4, the processing circuit 71 that implements the model generation function 715 uses the simulated failure image 817 and the normal image 813 to learn and / or reinforce the machine learning model 820 for each detector number 815. . Specifically, the processing circuit 71 that realizes the model generation function 715 inputs the simulated failure image 817 to the input end of the machine learning model 821 and the normal image 813 to the output end for each detector number 815. In this way, a plurality of machine learning models 821 corresponding to a plurality of detector numbers 815 are generated. That is, the machine learning model 821 can be expressed as the machine learning model 820 for each detector number 815.

次に、複数の検出器110のうちいずれかの検出器110の故障が検知されたときに実施される縮退運転における各部の動作例について説明する。図5は、図1のPET装置1において実行される縮退運転処理の一例を示すフローチャートである。図6は、図5の縮退運転処理において実行される機械学習モデル820を用いた画像補正について説明するための図である。   Next, an operation example of each unit in the degenerate operation performed when a failure of any one of the plurality of detectors 110 is detected will be described. FIG. 5 is a flowchart showing an example of the degenerate operation process executed in the PET apparatus 1 of FIG. FIG. 6 is a diagram for explaining image correction using the machine learning model 820 executed in the degenerate operation process of FIG.

ステップS201において、撮像制御機能713を実現する処理回路71は、縮退運転を実施するか否かを判定する。本判定では、例えばガントリ10からエラーメッセージを受信したときに縮退運転を実施すると判定される。エラーメッセージは、例えば、いずれかの検出器110の出力が検知できない等、いずれかの検出器110の出力が所定の閾値以下であるときに出力される。所定の閾値は、ガントリ10の信号処理回路13内の記憶領域やメモリ75等に予め設定されて記憶されているとする。処理は、縮退運転を実施すると判定されるまで、本ステップの処理を繰り返す。このとき、PET装置1では、通常のPET撮像等が実施される。処理は、縮退運転を実施すると判定された場合はステップS202へ進む。   In step S201, the processing circuit 71 that realizes the imaging control function 713 determines whether to perform the degenerate operation. In this determination, for example, when the error message is received from the gantry 10, it is determined that the degenerate operation is performed. The error message is output when the output of any of the detectors 110 is equal to or less than a predetermined threshold, for example, the output of any of the detectors 110 cannot be detected. It is assumed that the predetermined threshold value is preset and stored in the storage area in the signal processing circuit 13 of the gantry 10, the memory 75, or the like. The process repeats the process of this step until it is determined that the degenerate operation is performed. At this time, the PET apparatus 1 performs normal PET imaging and the like. The process proceeds to step S202 when it is determined that the degenerate operation is performed.

なお、本ステップにおいて縮退運転を実施すると判定されたとき、表示制御機能714を実現する処理回路71は、縮退運転が実施されることをユーザへ通知してもよい。このとき、表示制御機能714を実現する処理回路71は、機械学習モデルを用いて画像の補正が行われることをさらにユーザへ通知してもよい。   When it is determined in this step that the degenerate operation is performed, the processing circuit 71 that realizes the display control function 714 may notify the user that the degenerate operation is performed. At this time, the processing circuit 71 that realizes the display control function 714 may further notify the user that the image correction is performed using the machine learning model.

なお、エラーメッセージは、いずれかの検出器110の出力が所定の閾値以下であるときに限らず、いずれかの検出器110の温度が所定の閾値以上であるとき、いずれかの検出器110の出力が所定の閾値以上であるとき等に出力されてもよい。   The error message is not limited to when the output of any of the detectors 110 is equal to or lower than the predetermined threshold value, and when the temperature of any of the detectors 110 is equal to or higher than the predetermined threshold value. It may be output when the output is equal to or more than a predetermined threshold value.

なお、本判定は、エラーメッセージを受信したか否かに限らず、ユーザ操作に応じた入力回路73の出力に基づいて行われてもよい。このとき、表示制御機能714を実現する処理回路71は、縮退運転の実施を案内する通知に先立って、操作用のGUIを表示する。   It should be noted that this determination is not limited to whether or not an error message is received, and may be made based on the output of the input circuit 73 in response to a user operation. At this time, the processing circuit 71 that realizes the display control function 714 displays the GUI for operation prior to the notification that guides the implementation of the degenerate operation.

以下、ステップS201において、検出器番号1〜検出器番号NのN個の検出器110のうち、検出器番号1及び検出器番号3の2つの検出器110に関して故障が検知された場合を例として説明を続ける。   Hereinafter, as an example, in step S201, a failure is detected with respect to the two detectors 110 having the detector number 1 and the detector number 3 among the N detectors 110 having the detector numbers 1 to N. Continue the explanation.

ステップS202において、撮像制御機能713を実現する処理回路71は、検出器番号1及び検出器番号3の検出器110を停止させる。ここで、検出器110の停止は、例えば、信号処理回路13が当該検出器110から検出値の読出しを行わないことにより実現される。   In step S202, the processing circuit 71 that realizes the imaging control function 713 stops the detectors 110 having the detector numbers 1 and 3. Here, the stop of the detector 110 is realized, for example, by the signal processing circuit 13 not reading the detection value from the detector 110.

なお、検出器110の停止は、例えば、当該検出器110に関して、電源の供給を止めることにより実現されてもよいし、同時計数を行わないことにより実現されてもよいし、収集データを画像再構成に使用しないことにより実現されてもよい。   Note that stopping the detector 110 may be realized, for example, by stopping the supply of power to the detector 110, by not performing coincidence counting, or by recollecting the collected data as an image. It may be realized by not using it in the configuration.

ステップS203において、撮像制御機能713を実現する処理回路71は、検出器番号1及び検出器番号3の検出器110が停止した状態で、PET撮像を実行する。PET撮像により、検出器番号1及び検出器番号3の検出器110が停止した状態に関する故障データが収集される。故障データは、PETデータメモリ72に記憶される。なお、機械学習モデル820の学習に用いた模擬故障データは、本ステップで得られる故障データを模擬した収集データであると表現できる。   In step S203, the processing circuit 71 that realizes the imaging control function 713 executes the PET imaging with the detectors 110 having the detector numbers 1 and 3 stopped. The PET imaging collects failure data regarding a state in which the detectors 110 having the detector numbers 1 and 3 are stopped. The failure data is stored in the PET data memory 72. The simulated failure data used for learning the machine learning model 820 can be expressed as collected data that simulates the failure data obtained in this step.

ステップS204において、再構成機能711を実現する処理回路71は、故障画像801を生成する。故障画像801は、PETデータメモリ72から読み出した故障データを再構成して得られた再構成画像である。本実施形態において故障画像801は、検出器番号1及び検出器番号3の検出器110が停止した状態において収集された故障データに基づく再構成画像である。すなわち、故障画像801は、検出器番号1及び検出器番号3の検出器110に関するLORのイベントデータが欠落した収集データのセットに基づく再構成画像である。従って故障画像801は、検出器番号1及び検出器番号3の検出器110に関するLORの欠落に起因するアーチファクト成分を有する。なお、機械学習モデル820の学習に用いた模擬故障画像817は、本ステップで生成される故障画像801を模擬した再構成画像であると表現できる。   In step S204, the processing circuit 71 that realizes the reconstruction function 711 generates the failure image 801. The failure image 801 is a reconstructed image obtained by reconstructing the failure data read from the PET data memory 72. In the present embodiment, the failure image 801 is a reconstructed image based on the failure data collected when the detectors 110 having the detector numbers 1 and 3 are stopped. That is, the failure image 801 is a reconstructed image based on the set of collected data in which the LOR event data regarding the detectors 110 having the detector numbers 1 and 3 is missing. Therefore, the failure image 801 has an artifact component due to the lack of the LOR for the detectors 110 of detector number 1 and detector number 3. The simulated failure image 817 used for learning the machine learning model 820 can be expressed as a reconstructed image that simulates the failure image 801 generated in this step.

ステップS205において、補正処理機能716を実現する処理回路71は、故障検出器番号803を取得する。故障検出器番号803は、ステップS203のPET撮像時に故障していた検出器110の検出器番号である。このことから、補正処理機能716を実現する処理回路71は、特定部の一例であるとも表現できる。   In step S205, the processing circuit 71 that realizes the correction processing function 716 acquires the failure detector number 803. The failure detector number 803 is the detector number of the detector 110 that has failed at the time of PET imaging in step S203. From this, the processing circuit 71 that realizes the correction processing function 716 can also be expressed as an example of the specifying unit.

ステップS206において、補正処理機能716を実現する処理回路71は、故障検出器番号803に応じて機械学習モデル820を選択する。例えば、故障検出器番号803が検出器番号1及び検出器番号3であるとき、故障検出器番号803に応じて選択される機械学習モデル820は、検出器番号1に関する機械学習モデル821及び検出器番号3に関する機械学習モデル821である。図6に示すように、選択された機械学習モデル823において、検出器番号1に関する機械学習モデル821及び検出器番号3に関する機械学習モデル821は、直列に接続される。   In step S206, the processing circuit 71 that realizes the correction processing function 716 selects the machine learning model 820 according to the failure detector number 803. For example, when the failure detector number 803 is the detector number 1 and the detector number 3, the machine learning model 820 selected according to the failure detector number 803 is the machine learning model 821 and the detector related to the detector number 1. It is a machine learning model 821 related to number 3. As shown in FIG. 6, in the selected machine learning model 823, the machine learning model 821 regarding the detector number 1 and the machine learning model 821 regarding the detector number 3 are connected in series.

ステップS207において、補正処理機能716を実現する処理回路71は、選択された機械学習モデル823を用いて、補正画像805を生成する。具体的には、補正処理機能716を実現する処理回路71は、故障画像801を検出器番号1に関する機械学習モデル821へ入力する。検出器番号1に関する機械学習モデル821の出力は、検出器番号3に関する機械学習モデル821へ入力される。補正処理機能716を実現する処理回路71は、検出器番号3に関する機械学習モデル821の出力を、補正画像805として取得する。このように、補正画像805は、故障画像801を入力としたときの、選択された機械学習モデル823の出力であり、機械学習モデル820の学習に用いた正常画像813の画質と同等の画質を有する画像であると表現できる。補正画像805は、検出器番号1及び検出器番号3の検出器110が正常に動作している状態、すなわち、全ての検出器110が正常に動作している状態において収集されたイベントデータに基づく再構成画像と同等の画質を有する。   In step S207, the processing circuit 71 that realizes the correction processing function 716 generates the corrected image 805 by using the selected machine learning model 823. Specifically, the processing circuit 71 that realizes the correction processing function 716 inputs the failure image 801 to the machine learning model 821 regarding the detector number 1. The output of the machine learning model 821 regarding the detector number 1 is input to the machine learning model 821 regarding the detector number 3. The processing circuit 71 that realizes the correction processing function 716 acquires the output of the machine learning model 821 regarding the detector number 3 as the corrected image 805. As described above, the corrected image 805 is the output of the selected machine learning model 823 when the failure image 801 is input, and has an image quality equivalent to that of the normal image 813 used for learning of the machine learning model 820. It can be expressed as a possessed image. The corrected image 805 is based on the event data collected in a state where the detectors 110 having the detector numbers 1 and 3 are operating normally, that is, all the detectors 110 are operating normally. It has the same image quality as the reconstructed image.

ステップS208において、表示制御機能714を実現する処理回路71は、ステップS207で生成された補正画像805を表示回路74に表示する。ここで、表示回路74に表示される表示画像は、補正画像805に限らず、補正画像805が機械学習モデル820を用いて補正された画像であることを示す通知や補正前の故障画像801、故障検出器番号803等を含んでいてもよい。   In step S208, the processing circuit 71 that realizes the display control function 714 displays the corrected image 805 generated in step S207 on the display circuit 74. Here, the display image displayed on the display circuit 74 is not limited to the corrected image 805, but a notification indicating that the corrected image 805 is an image corrected using the machine learning model 820 or a failure image 801 before correction, The failure detector number 803 and the like may be included.

このように、本実施形態に係る医用画像処理装置が搭載された核医学診断装置の一例であるPET装置1において、処理回路71は、いずれかの検出器110が故障している状態を想定した模擬故障画像817と、全検出器110が正常な状態での正常画像813とを用いて機械学習モデル820を検出器番号815ごとに学習及び/又は強化学習する。また、処理回路71は、故障検出器番号803に従って機械学習モデル820を選択する。また、処理回路71は、故障した検出器110に応じて選択された機械学習モデル820を用いて故障画像801を補正する。この構成によれば、検出器110が故障している状態であっても、正常時に相当する画質の画像データを生成することができる。   As described above, in the PET apparatus 1 which is an example of the nuclear medicine diagnostic apparatus in which the medical image processing apparatus according to the present embodiment is installed, the processing circuit 71 assumes a state in which one of the detectors 110 is out of order. The machine failure model 820 is learned and / or the reinforcement learning is performed for each detector number 815 by using the simulated failure image 817 and the normal image 813 in a state where all the detectors 110 are normal. Further, the processing circuit 71 selects the machine learning model 820 according to the failure detector number 803. Further, the processing circuit 71 corrects the failure image 801 using the machine learning model 820 selected according to the failed detector 110. According to this configuration, it is possible to generate image data having an image quality equivalent to that in a normal state even when the detector 110 is out of order.

なお、図6に示す例では、検出器番号1に関する機械学習モデル821の後段に検出器番号3に関する機械学習モデル821が接続されているが、これに限らない。例えば、検出器番号3に関する機械学習モデル821の後段に検出器番号1に関する機械学習モデル821が接続されていてもよい。また、補正処理機能716を実現する処理回路71は、ユーザの入力に応じた入力回路73の出力に基づいて機械学習モデル821の順序を決定してもよい。このような構成であっても、上述と同様の効果が得られる。   Note that, in the example shown in FIG. 6, the machine learning model 821 regarding the detector number 3 is connected to the subsequent stage of the machine learning model 821 regarding the detector number 1, but the invention is not limited to this. For example, the machine learning model 821 related to the detector number 1 may be connected to the subsequent stage of the machine learning model 821 related to the detector number 3. Further, the processing circuit 71 that implements the correction processing function 716 may determine the order of the machine learning model 821 based on the output of the input circuit 73 according to the input of the user. Even with such a configuration, the same effect as described above can be obtained.

なお、補正処理機能716を実現する処理回路71は、複数の順序で接続された機械学習モデル821から複数の補正画像805を取得してもよい。表示制御機能714を実現する処理回路71は、取得された複数の補正画像805を表示回路74に表示する。このような構成によれば、上述の効果に加えて、ユーザは、複数の補正画像805を確認して、より適切な補正画像805を選択することができるという効果がある。   The processing circuit 71 that implements the correction processing function 716 may obtain a plurality of corrected images 805 from the machine learning model 821 connected in a plurality of orders. The processing circuit 71 that realizes the display control function 714 displays the acquired plurality of corrected images 805 on the display circuit 74. According to such a configuration, in addition to the effects described above, the user can confirm the plurality of corrected images 805 and select a more appropriate corrected image 805.

また、メモリ75には、モデル選択のための機械学習モデルが記憶されていてもよい。モデル生成機能715を実現する処理回路71は、故障検出器番号803と、ユーザにより選択された補正画像805の生成に用いられた機械学習モデル821の接続順序とを用いて、モデル選択のための機械学習モデルを学習及び/又は強化学習する。このとき、補正処理機能716を実現する処理回路71は、故障検出器番号803が入力されたモデル選択のための機械学習モデルの出力に従って、選択された機械学習モデル823を決定する。このような構成によれば、上述の効果に加えて、適切な補正画像805を簡易に生成できるという効果がある。   Further, the memory 75 may store a machine learning model for model selection. The processing circuit 71 that implements the model generation function 715 uses the fault detector number 803 and the connection order of the machine learning model 821 used to generate the corrected image 805 selected by the user to select a model. Learn and / or reinforce machine learning models. At this time, the processing circuit 71 that realizes the correction processing function 716 determines the selected machine learning model 823 according to the output of the machine learning model for model selection to which the failure detector number 803 is input. According to such a configuration, in addition to the effects described above, there is an effect that an appropriate corrected image 805 can be easily generated.

また、本実施形態に係る機械学習モデル820は、上述のモデル選択のための機械学習モデルを含んでいてもよい。このとき、モデル生成機能715を実現する処理回路71は、故障画像801と、故障検出器番号803と、ユーザにより選択された補正画像805と、選択された補正画像805の生成に用いられた機械学習モデル821の接続順序とを用いて、機械学習モデル820を学習及び/又は強化学習する。このとき、補正処理機能716を実現する処理回路71は、故障画像801及び故障検出器番号803が入力された機械学習モデル820の出力を、補正画像805として取得する。このような構成によれば、上述の効果に加えて、適切な補正画像805をより簡易に生成できるという効果がある。   Further, the machine learning model 820 according to the present embodiment may include the machine learning model for model selection described above. At this time, the processing circuit 71 that realizes the model generation function 715 uses the failure image 801, the failure detector number 803, the correction image 805 selected by the user, and the machine used to generate the selected correction image 805. The machine learning model 820 is learned and / or reinforcement-learned using the connection order of the learning model 821. At this time, the processing circuit 71 that realizes the correction processing function 716 acquires the output of the machine learning model 820 to which the failure image 801 and the failure detector number 803 are input as the correction image 805. According to such a configuration, in addition to the effects described above, there is an effect that an appropriate corrected image 805 can be generated more easily.

[第2の実施形態]
以下、図面を参照しながら本実施形態に係る医用画像処理装置及び医用画像処理方法を説明する。ここでは、主に第1の実施形態との相違点について説明する。なお、以下の説明において、第1の実施形態と同一又は略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
[Second Embodiment]
Hereinafter, a medical image processing apparatus and a medical image processing method according to the present embodiment will be described with reference to the drawings. Here, differences from the first embodiment will be mainly described. In the following description, constituent elements having the same or substantially the same functions as those in the first embodiment are designated by the same reference numerals and will be redundantly described only when necessary.

第1の実施形態では、故障検出器番号803に応じて、検出器番号815ごとに学習及び/又は強化学習された機械学習モデル820の機械学習モデル821を選択し、選択された機械学習モデル823を用いて故障画像801を補正する場合を例として説明した。一方で、機械学習モデルは、想定される故障パターンに応じた検出器番号の組合せに関して学習及び/又は強化学習されてもよい。   In the first embodiment, the machine learning model 821 of the machine learning model 820 that has been trained and / or reinforced for each detector number 815 is selected according to the failure detector number 803, and the selected machine learning model 823 is selected. The case where the failure image 801 is corrected by using is described as an example. On the other hand, the machine learning model may be trained and / or reinforcement-learned with respect to the combination of the detector numbers according to the assumed failure pattern.

まず、本実施形態に係る学習用データセット830の生成について説明する。図7は、本実施形態に係る機械学習モデル840の学習及び/又は強化学習と、機械学習モデル840を用いた画像補正とについて説明するための図である。なお、以下の説明は、図3の第1の実施形態に係る学習用データ生成処理と比較しながら行う。   First, the generation of the learning data set 830 according to this embodiment will be described. FIG. 7 is a diagram for explaining learning and / or reinforcement learning of the machine learning model 840 and image correction using the machine learning model 840 according to this embodiment. Note that the following description will be given while comparing with the learning data generation processing according to the first embodiment of FIG.

モデル生成機能715を実現する処理回路71は、ステップS101と同様にしてPETデータメモリ72から収集データを読み出す。モデル生成機能715を実現する処理回路71は、読み出した収集データを用いて模擬故障データを生成する。本実施形態では、検出器110ごとの模擬故障データが生成されるステップS102とは異なり、想定される複数の故障パターンに応じた複数の模擬故障データが生成される。想定される故障パターンは、例えば、任意の1つの検出器110が故障している状態と、任意の2つ以上の検出器110が故障している状態とを含む。想定される故障パターンに応じた検出器110又は検出器110の組合せは、予め設定されてメモリ75に記憶されているとする。再構成機能711を実現する処理回路71は、ステップS103及びステップS104と同様にして、正常画像833及び複数の模擬故障画像837を生成する。つまり、正常画像833及び模擬故障画像837は、それぞれ、元の収集データ及び模擬故障データに関する画像再構成により得られた再構成画像である。モデル生成機能715を実現する処理回路71は、ステップS105と同様にして、学習用データセット830を生成する。図7に示すように、学習用データセット830には、複数の故障パターンに応じた複数の学習用データ831が含まれる。各学習用データ831には、学習用データ811と同様に、正常画像833、検出器番号835及び模擬故障画像837が含まれる。生成された学習用データセット830は、メモリ75に記憶される。   The processing circuit 71 that realizes the model generation function 715 reads the collected data from the PET data memory 72 in the same manner as in step S101. The processing circuit 71 that realizes the model generation function 715 generates simulated failure data using the read collected data. In this embodiment, unlike step S102 in which simulated failure data is generated for each detector 110, a plurality of simulated failure data corresponding to a plurality of assumed failure patterns is generated. The assumed failure pattern includes, for example, a state in which any one detector 110 is out of order and a state in which any two or more detectors 110 are out of order. It is assumed that the detector 110 or the combination of the detectors 110 according to the assumed failure pattern is preset and stored in the memory 75. The processing circuit 71 that realizes the reconstruction function 711 generates a normal image 833 and a plurality of simulated failure images 837 in the same manner as in step S103 and step S104. That is, the normal image 833 and the simulated failure image 837 are reconstructed images obtained by image reconstruction of the original collected data and the simulated failure data, respectively. The processing circuit 71 that realizes the model generation function 715 generates the learning data set 830 as in step S105. As shown in FIG. 7, the learning data set 830 includes a plurality of learning data 831 corresponding to a plurality of failure patterns. Similar to the learning data 811, each learning data 831 includes a normal image 833, a detector number 835, and a simulated failure image 837. The generated learning data set 830 is stored in the memory 75.

次に、本実施形態に係る機械学習モデル840の学習及び/又は強化学習について、図7を参照して説明する。モデル生成機能715を実現する処理回路71は、メモリ75から、学習用データ生成処理により生成された学習用データセット830を読み出す。モデル生成機能715を実現する処理回路71は、図7に示すように、各学習用データ831を用いて機械学習モデル840を学習及び/又は強化学習する。具体的には、モデル生成機能715を実現する処理回路71は、各学習用データ831に関して、機械学習モデル840の入力端に検出器番号835及び模擬故障画像837を入力し、出力端に正常画像833を入力する。このようにして、複数の故障パターンに対応した機械学習モデル840が生成される。   Next, learning and / or reinforcement learning of the machine learning model 840 according to this embodiment will be described with reference to FIG. 7. The processing circuit 71 that realizes the model generation function 715 reads out the learning data set 830 generated by the learning data generation process from the memory 75. As shown in FIG. 7, the processing circuit 71 that implements the model generation function 715 uses the learning data 831 to learn and / or reinforce the machine learning model 840. Specifically, the processing circuit 71 that realizes the model generation function 715 inputs the detector number 835 and the simulated failure image 837 to the input end of the machine learning model 840 for each learning data 831 and outputs the normal image to the output end. Enter 833. In this way, the machine learning model 840 corresponding to the plurality of failure patterns is generated.

次に、本実施形態に係る縮退運転における各部の動作例について、図7を参照して説明する。なお、以下の説明は、図5の第1の実施形態に係る縮退運転処理と比較しながら行う。以下、検出器番号1〜検出器番号NのN個の検出器110のうち、検出器番号3及び検出器番号5の2つの検出器110に関して故障が検知される場合を例として説明する。ここで、検出器番号3及び検出器番号5の2つの検出器110は、第1のPET検出器及び第2のPET検出器の一例である。   Next, an operation example of each unit in the degenerate operation according to the present embodiment will be described with reference to FIG. 7. The following description will be given in comparison with the degenerate operation process according to the first embodiment of FIG. Hereinafter, a case where a failure is detected with respect to two detectors 110 having a detector number 3 and a detector number 5 among the N detectors 110 having the detector numbers 1 to N will be described as an example. Here, the two detectors 110 having the detector number 3 and the detector number 5 are examples of the first PET detector and the second PET detector.

撮像制御機能713を実現する処理回路71は、ステップS201と同様にして、縮退運転を実施するか否かを判定する。縮退運転が開始された後、撮像制御機能713を実現する処理回路71は、ステップS202と同様にして、故障が検知された検出器番号3及び検出器番号5の2つの検出器110を停止させる。撮像制御機能713を実現する処理回路71は、ステップS203と同様にして、PET撮像を実行し、故障データを取得する。再構成機能711を実現する処理回路71は、ステップS204と同様にして、取得された故障データに関する画像再構成により、故障画像801を生成する。補正処理機能716を実現する処理回路71は、ステップS205と同様にして、故障検出器番号803を取得する。   The processing circuit 71 that realizes the imaging control function 713 determines whether to perform the degenerate operation, as in step S201. After the degenerate operation is started, the processing circuit 71 that realizes the imaging control function 713 stops the two detectors 110 of the detector number 3 and the detector number 5 in which the failure is detected, as in step S202. . The processing circuit 71 that implements the imaging control function 713 executes PET imaging and acquires failure data, as in step S203. The processing circuit 71 that realizes the reconstruction function 711 generates a failure image 801 by image reconstruction regarding the acquired failure data in the same manner as in step S204. The processing circuit 71 that realizes the correction processing function 716 acquires the failure detector number 803 in the same manner as in step S205.

なお、本実施形態に係る機械学習モデル840は、第1の実施形態に係る機械学習モデル820とは異なり、検出器番号ごとに学習されていない。このため、本実施形態に係る縮退運転処理では、ステップS206に相当する処理は実行されない。   The machine learning model 840 according to the present embodiment is not learned for each detector number, unlike the machine learning model 820 according to the first embodiment. Therefore, in the degenerate operation process according to the present embodiment, the process corresponding to step S206 is not executed.

その後、補正処理機能716を実現する処理回路71は、機械学習モデル840を用いて補正画像805を生成する。具体的には、補正処理機能716を実現する処理回路71は、故障画像801及び故障検出器番号803が入力された機械学習モデル840の出力を、補正画像805として取得する。表示制御機能714を実現する処理回路71は、ステップS208と同様にして、生成された補正画像805等を表示回路74に表示する。   After that, the processing circuit 71 that realizes the correction processing function 716 generates the corrected image 805 using the machine learning model 840. Specifically, the processing circuit 71 that realizes the correction processing function 716 acquires the output of the machine learning model 840 to which the failure image 801 and the failure detector number 803 are input as the correction image 805. The processing circuit 71 that realizes the display control function 714 displays the generated corrected image 805 and the like on the display circuit 74, as in step S208.

このように、本実施形態に係る医用画像処理装置が搭載された核医学診断装置の一例であるPET装置1において、処理回路71は、複数の故障パターンを想定した模擬故障画像837と、検出器番号835と、全検出器110が正常な状態での正常画像833とを用いて機械学習モデル840を学習及び/又は強化学習する。また、処理回路71は、故障パターンに応じて学習された機械学習モデル840を用いて故障画像801を補正する。この構成によれば、故障した検出器110の組合せに対応する学習用データ831を用いて機械学習モデル840が学習されているため、正常時に相当する画質の画像データを、より精度良く生成することができる。   As described above, in the PET apparatus 1 which is an example of the nuclear medicine diagnostic apparatus equipped with the medical image processing apparatus according to the present embodiment, the processing circuit 71 includes the simulated failure image 837 assuming a plurality of failure patterns and the detector. The machine learning model 840 is trained and / or reinforcement-learned using the number 835 and the normal image 833 in a state where all the detectors 110 are normal. Further, the processing circuit 71 corrects the failure image 801 by using the machine learning model 840 learned according to the failure pattern. According to this configuration, since the machine learning model 840 is learned using the learning data 831 corresponding to the combination of the failed detectors 110, it is possible to more accurately generate the image data of the image quality corresponding to the normal time. You can

[第3の実施形態]
以下、図面を参照しながら本実施形態に係る医用画像処理装置及び医用画像処理方法を説明する。ここでは、主に第1の実施形態との相違点について説明する。なお、以下の説明において、第1の実施形態と同一又は略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
[Third Embodiment]
Hereinafter, a medical image processing apparatus and a medical image processing method according to the present embodiment will be described with reference to the drawings. Here, differences from the first embodiment will be mainly described. In the following description, constituent elements having the same or substantially the same functions as those in the first embodiment are designated by the same reference numerals and will be redundantly described only when necessary.

第1の実施形態では、検出器番号815ごとに機械学習モデル820が学習及び/又は強化学習される場合を例として説明した。一方で、機械学習モデルは、任意の1つの検出器110に関して学習及び/又は強化学習されてもよい。   In the first embodiment, the case where the machine learning model 820 is learned and / or the reinforcement learning is performed for each detector number 815 has been described as an example. On the other hand, the machine learning model may be trained and / or reinforcement learned for any one detector 110.

まず、本実施形態に係る学習用データセット850の生成について説明する。図8は、本実施形態に係る機械学習モデル860の学習及び/又は強化学習と、機械学習モデル860を用いた画像補正とについて説明するための図である。なお、以下の説明は、図3の第1の実施形態に係る学習用データ生成処理と比較しながら行う。以下、検出器番号3の検出器110の故障を想定して機械学習モデルが学習及び/又は強化学習される場合を例として説明する。   First, the generation of the learning data set 850 according to this embodiment will be described. FIG. 8 is a diagram for explaining learning and / or reinforcement learning of the machine learning model 860 according to this embodiment and image correction using the machine learning model 860. Note that the following description will be given while comparing with the learning data generation processing according to the first embodiment of FIG. Hereinafter, a case where the machine learning model is learned and / or the reinforcement learning is assumed assuming a failure of the detector 110 having the detector number 3 will be described as an example.

モデル生成機能715を実現する処理回路71は、ステップS101と同様にしてPETデータメモリ72から収集データを読み出す。モデル生成機能715を実現する処理回路71は、読み出した収集データを用いて模擬故障データを生成する。本実施形態では、検出器110ごとの模擬故障データが生成されるステップS102とは異なり、検出器番号3の検出器110に関する収集データを除くことにより、検出器番号3に関する模擬故障データが生成される。再構成機能711を実現する処理回路71は、ステップS103及びステップS104と同様にして、正常画像853及び模擬故障画像857を生成する。つまり、正常画像853及び模擬故障画像857は、それぞれ、元の収集データ及び検出器番号3に関する模擬故障データに関する画像再構成により得られた再構成画像である。モデル生成機能715を実現する処理回路71は、検出器番号3に関する学習用データ851を生成する。本実施形態に係る学習用データセット850には、複数の収集データに関して同一の検出器110の故障を想定して生成された複数の学習用データ851が含まれ得る。学習用データ851は、正常画像853及び模擬故障画像857を含む。本実施形態に係る学習用データ851は、任意の1つの検出器110の故障を想定して生成されている。このため、学習用データ851には、ステップS105で生成された学習用データ811とは異なり、検出器番号は含まれていない。ただし、図8に示す例では、学習用データ851の生成時に故障を想定した検出器110を示すために、学習用データ851内に検出器番号855が示されている。生成された学習用データセット850は、メモリ75に記憶される。   The processing circuit 71 that realizes the model generation function 715 reads the collected data from the PET data memory 72 in the same manner as in step S101. The processing circuit 71 that realizes the model generation function 715 generates simulated failure data using the read collected data. In this embodiment, unlike step S102 in which simulated fault data for each detector 110 is generated, simulated fault data for detector number 3 is generated by excluding the collected data for detector 110 having detector number 3. It The processing circuit 71 that realizes the reconstruction function 711 generates the normal image 853 and the simulated failure image 857 in the same manner as in step S103 and step S104. That is, the normal image 853 and the simulated failure image 857 are reconstructed images obtained by image reconstruction of the original collected data and the simulated failure data regarding the detector number 3, respectively. The processing circuit 71 that realizes the model generation function 715 generates the learning data 851 regarding the detector number 3. The learning data set 850 according to the present embodiment may include a plurality of learning data 851 generated assuming a failure of the same detector 110 with respect to a plurality of collected data. The learning data 851 includes a normal image 853 and a simulated failure image 857. The learning data 851 according to the present embodiment is generated assuming a failure of any one detector 110. Therefore, the learning data 851 does not include the detector number, unlike the learning data 811 generated in step S105. However, in the example shown in FIG. 8, the detector number 855 is shown in the learning data 851 in order to show the detector 110 that is assumed to have a failure when the learning data 851 is generated. The generated learning data set 850 is stored in the memory 75.

次に、本実施形態に係る機械学習モデル860の学習及び/又は強化学習について、図8を参照して説明する。モデル生成機能715を実現する処理回路71は、メモリ75から、学習用データ生成処理により生成された学習用データセット850を読み出す。モデル生成機能715を実現する処理回路71は、図8に示すように、学習用データ851を用いて機械学習モデル860を学習及び/又は強化学習する。具体的には、モデル生成機能715を実現する処理回路71は、学習用データ851に関して、機械学習モデル860の入力端に模擬故障画像857を入力し、出力端に正常画像853を入力する。このようにして、任意の1つの検出器110の故障を想定した機械学習モデル840が生成される。   Next, learning and / or reinforcement learning of the machine learning model 860 according to this embodiment will be described with reference to FIG. The processing circuit 71 that realizes the model generation function 715 reads out the learning data set 850 generated by the learning data generation process from the memory 75. As shown in FIG. 8, the processing circuit 71 that realizes the model generation function 715 uses the learning data 851 to learn and / or reinforce the machine learning model 860. Specifically, the processing circuit 71 that realizes the model generation function 715 inputs the simulated failure image 857 to the input end of the machine learning model 860 and the normal image 853 to the output end of the learning data 851. In this way, the machine learning model 840 assuming a failure of any one detector 110 is generated.

次に、本実施形態に係る縮退運転における各部の動作例について、図8を参照して説明する。なお、以下の説明は、図5の第1の実施形態に係る縮退運転処理と比較しながら行う。以下、検出器番号1〜検出器番号NのN個の検出器110のうち、検出器番号5の検出器110に関して故障が検知される場合を例として説明する。   Next, an operation example of each unit in the degenerate operation according to the present embodiment will be described with reference to FIG. The following description will be given in comparison with the degenerate operation process according to the first embodiment of FIG. Hereinafter, a case where a failure is detected with respect to the detector 110 having the detector number 5 out of the N detectors 110 having the detector numbers 1 to N will be described as an example.

撮像制御機能713を実現する処理回路71は、ステップS201と同様にして、縮退運転を実施するか否かを判定する。縮退運転が開始された後、撮像制御機能713を実現する処理回路71は、ステップS202と同様にして、故障が検知された検出器番号5の検出器110を停止させる。撮像制御機能713を実現する処理回路71は、ステップS203と同様にして、PET撮像を実行し、故障データを取得する。再構成機能711を実現する処理回路71は、ステップS204と同様にして、取得された故障データに関する画像再構成により、故障画像801を生成する。補正処理機能716を実現する処理回路71は、ステップS205と同様にして、故障検出器番号803を取得する。   The processing circuit 71 that realizes the imaging control function 713 determines whether to perform the degenerate operation, as in step S201. After the degenerate operation is started, the processing circuit 71 that realizes the imaging control function 713 stops the detector 110 of the detector number 5 in which the failure is detected, as in step S202. The processing circuit 71 that implements the imaging control function 713 executes PET imaging and acquires failure data, as in step S203. The processing circuit 71 that realizes the reconstruction function 711 generates a failure image 801 by image reconstruction regarding the acquired failure data in the same manner as in step S204. The processing circuit 71 that realizes the correction processing function 716 acquires the failure detector number 803 in the same manner as in step S205.

なお、本実施形態に係る機械学習モデル860は、第1の実施形態に係る機械学習モデル820とは異なり、検出器番号ごとに学習されていない。このため、本実施形態に係る縮退運転処理では、ステップS206に相当する処理は実行されない。一方で、本実施形態に係る縮退運転処理では、学習用データ851の生成時に故障を想定した検出器110と、故障検出器番号803の示す実際に故障した検出器110とが異なり得る。   Note that the machine learning model 860 according to the present embodiment is not learned for each detector number, unlike the machine learning model 820 according to the first embodiment. Therefore, in the degenerate operation process according to the present embodiment, the process corresponding to step S206 is not executed. On the other hand, in the degenerate operation process according to the present embodiment, the detector 110 that is assumed to have a failure when the learning data 851 is generated may be different from the actually failed detector 110 indicated by the failure detector number 803.

そこで、本実施形態に係る補正処理機能716を実現する処理回路71は、故障画像801を、学習用データ851の生成時に故障を想定した検出器110の検出器番号855に相当する故障画像802に変換する。ここで、本実施形態に係る補正処理機能716を実現する処理回路71は、補正部の一例である。具体的には、補正処理機能716を実現する処理回路71は、検出器番号5に関する故障画像801に対して座標系を回転する回転処理を施すことにより、検出器番号3に相当する故障画像802を生成する。故障画像801全体が回転されてもよいし、故障画像801に含まれる、検出器番号5の検出器110に関するLORの欠落に起因するアーチファクト成分のみが回転されてもよい。ここで、回転処理は、検出器番号3の検出器110と、検出器番号5の検出器110との間の検出器リング11における取り付けの角度(検出器リング11の中心軸回りの角度)の差に基づいて行われる。検出器110の検出器リング11における取り付けの角度は、例えば、各検出器110から検出器リング11の中心に向かう方向により規定することができる。学習用データ851の生成時に故障を想定した検出器110の検出器番号855及び各検出器110の取り付けの角度は、例えばメモリ75に記憶されている。   Therefore, the processing circuit 71 that realizes the correction processing function 716 according to the present embodiment converts the failure image 801 into a failure image 802 corresponding to the detector number 855 of the detector 110 that is assumed to have a failure when the learning data 851 is generated. Convert. Here, the processing circuit 71 that realizes the correction processing function 716 according to the present embodiment is an example of a correction unit. Specifically, the processing circuit 71, which realizes the correction processing function 716, performs a rotation process for rotating the coordinate system on the failure image 801 relating to the detector number 5, so that the failure image 802 corresponding to the detector number 3 is obtained. To generate. The entire failure image 801 may be rotated, or only the artifact component included in the failure image 801 due to the lack of the LOR regarding the detector 110 having the detector number 5 may be rotated. Here, the rotation process is performed with respect to the attachment angle (angle around the central axis of the detector ring 11) in the detector ring 11 between the detector 110 having the detector number 3 and the detector 110 having the detector number 5. It is based on the difference. The mounting angle of the detector 110 on the detector ring 11 can be defined by, for example, the direction from each detector 110 toward the center of the detector ring 11. The detector number 855 of the detector 110 and the attachment angle of each detector 110, which is assumed to have a failure when the learning data 851 is generated, are stored in the memory 75, for example.

なお、各検出器110の取り付けの角度に限らず、学習用データ851の生成時に故障を想定した検出器110に対する各検出器110の取り付けの角度の差が記憶されていてもよい。また、隣接する2つの検出器110に関する相対角度が検出器リング11の全周に亘って一定であるときには、隣接する2つの検出器110に関する相対角度が記憶されていてもよい。また、取り付けの角度(検出器リング11の中心軸回りの角度)は、故障を想定した検出器110の位置と相関がある。このため、取り付けの角度に代えて、取り付けの位置(検出器リング11内の位置)に関する情報が記憶されていてもよい。取り付けの角度や取り付けの位置に関する情報は、位置情報の一例である。   The angle of attachment of each detector 110 is not limited to the angle of attachment of each detector 110, and the difference in the angle of attachment of each detector 110 to the detector 110 that is assumed to have a failure when the learning data 851 is generated may be stored. Further, when the relative angles of the two adjacent detectors 110 are constant over the entire circumference of the detector ring 11, the relative angles of the two adjacent detectors 110 may be stored. Further, the mounting angle (angle around the central axis of the detector ring 11) is correlated with the position of the detector 110 assuming a failure. Therefore, instead of the attachment angle, information about the attachment position (position within the detector ring 11) may be stored. The information about the mounting angle and the mounting position is an example of the position information.

その後、補正処理機能716を実現する処理回路71は、機械学習モデル860を用いて検出器番号3に相当する補正画像804を生成する。具体的には、補正処理機能716を実現する処理回路71は、検出器番号3に相当する故障画像802が入力された機械学習モデル860の出力を、検出器番号3に相当する補正画像804として取得する。補正処理機能716を実現する処理回路71は、検出器番号3に相当する補正画像804に対して回転処理を施すことにより、検出器番号5に関する補正画像805を生成する。補正画像804に対して施される回転処理では、故障画像801に対して施された回転処理に応じて、補正画像804全体が回転されてもよいし、補正画像804に含まれる、検出器番号3に関する検出器110の欠落に起因するアーチファクト成分のみが回転されてもよい。表示制御機能714を実現する処理回路71は、ステップS208と同様にして、生成された補正画像805等を表示回路74に表示する。   After that, the processing circuit 71 that realizes the correction processing function 716 generates the corrected image 804 corresponding to the detector number 3 by using the machine learning model 860. Specifically, the processing circuit 71 that realizes the correction processing function 716 outputs the output of the machine learning model 860 to which the failure image 802 corresponding to the detector number 3 is input as the corrected image 804 corresponding to the detector number 3. get. The processing circuit 71 that realizes the correction processing function 716 performs a rotation process on the correction image 804 corresponding to the detector number 3 to generate the correction image 805 for the detector number 5. In the rotation process performed on the correction image 804, the entire correction image 804 may be rotated according to the rotation process performed on the failure image 801, or the detector number included in the correction image 804 Only the artifact component due to the lack of detector 110 for 3 may be rotated. The processing circuit 71 that realizes the display control function 714 displays the generated corrected image 805 and the like on the display circuit 74, as in step S208.

なお、本実施形態では、故障した検出器110が検出器番号5の1つの検出器110である場合を例として説明したが、本技術は、2つ以上の検出器が故障した場合であっても適用可能である。例えば、故障検出器番号803に、検出器番号5に加えて検出器番号7が含まれるとする。このとき、補正画像805は、上述したように検出器番号5に関しては補正されているが、検出器番号7に関しては補正されていない。そこで、補正処理機能716を実現する処理回路71は、補正画像805を、検出器番号7に関する故障画像801として、機械学習モデル860を用いた補正処理をさらに実行する。このとき、補正画像805には、検出器番号3及び検出器番号7の2つの検出器110の間の相対角度に基づいて回転処理が施される。なお、検出器番号7に関する故障画像801として、検出器番号3に相当する補正画像804が用いられてもよい。このとき、回転処理は、検出器番号3に対する検出器番号5及び検出器番号7の相対角度の差に基づいて施されればよい。   In the present embodiment, the case where the failed detector 110 is the one detector 110 with the detector number 5 has been described as an example, but the present technology is not limited to the case where two or more detectors have failed. Is also applicable. For example, assume that the fault detector number 803 includes the detector number 7 in addition to the detector number 5. At this time, the corrected image 805 is corrected with respect to the detector number 5 as described above, but is not corrected with respect to the detector number 7. Therefore, the processing circuit 71 that implements the correction processing function 716 further executes the correction processing using the machine learning model 860, using the corrected image 805 as the failure image 801 related to the detector number 7. At this time, the corrected image 805 is subjected to rotation processing based on the relative angle between the two detectors 110 having the detector number 3 and the detector number 7. The corrected image 804 corresponding to the detector number 3 may be used as the failure image 801 related to the detector number 7. At this time, the rotation process may be performed based on the difference between the relative angles of the detector number 5 and the detector number 7 with respect to the detector number 3.

なお、複数の検出器110のうち、任意の1つの検出器110に関して学習用データ851が生成される場合を例として説明したが、これに限らない。例えば、検出器番号9に関する模擬故障データを再構成して得られた模擬故障画像を変換することにより、検出器番号3に相当する模擬故障画像が生成されてもよい。この構成によれば、1つの収集データから、検出器110の数だけ学習用データ851を生成することができる。つまり、学習用データセット850の生成が容易になるという効果がある。   Note that the case has been described as an example where the learning data 851 is generated for any one of the plurality of detectors 110, but the present invention is not limited to this. For example, the simulated failure image corresponding to the detector number 3 may be generated by converting the simulated failure image obtained by reconstructing the simulated failure data regarding the detector number 9. According to this configuration, it is possible to generate the learning data 851 for the number of the detectors 110 from one collected data. That is, there is an effect that the learning data set 850 can be easily generated.

なお、本実施形態では、検出器番号5に関する故障画像801を回転させることにより、検出器番号3に相当する故障画像802が生成される場合を例として説明したが、これに限らない。例えば、検出器番号3に相当する故障画像802は、検出器番号3に相当するように回転された検出器番号5に関する模擬故障データの画像再構成により生成されてもよい。   In the present embodiment, the case where the failure image 802 corresponding to the detector number 3 is generated by rotating the failure image 801 related to the detector number 5 has been described as an example, but the present invention is not limited to this. For example, the failure image 802 corresponding to detector number 3 may be generated by image reconstruction of simulated failure data for detector number 5 rotated to correspond to detector number 3.

このように、本実施形態に係る医用画像処理装置が搭載された核医学診断装置の一例であるPET装置1において、処理回路71は、任意の1つの検出器110の故障を模擬した模擬故障画像857と、全検出器110が正常な状態での正常画像853とを用いて機械学習モデル860を学習及び/又は強化学習する。また、処理回路71は、任意の1つの検出器110の故障に関して学習された機械学習モデル840を用いて、学習用データ851の生成時に故障を想定した検出器番号855に相当する故障画像802を補正する。また、処理回路71は、補正後の故障画像804を変換して補正画像805を生成する。この構成によれば、より簡易に機械学習モデル860を学習及び/又は強化学習することができる。   As described above, in the PET apparatus 1 which is an example of the nuclear medicine diagnostic apparatus in which the medical image processing apparatus according to the present embodiment is installed, the processing circuit 71 includes the simulated failure image simulating the failure of any one detector 110. The machine learning model 860 is trained and / or the reinforcement learning is performed using 857 and the normal image 853 in the state where all the detectors 110 are normal. Further, the processing circuit 71 uses the machine learning model 840 learned about the failure of any one detector 110 to generate the failure image 802 corresponding to the detector number 855 that assumed the failure when the learning data 851 was generated. to correct. Further, the processing circuit 71 converts the corrected failure image 804 to generate a corrected image 805. With this configuration, the machine learning model 860 can be more easily learned and / or the reinforcement learning can be performed.

上記の各実施形態に係る医用画像処理装置及び医用画像処理方法において、図5に示すように、ステップS203でPET撮像が行われた後、ステップS205で故障検出器番号803が取得される。このため、PET撮像中に新たに検出器110が故障した場合であっても、正常時に相当する画質の画像データを生成することができる。なお、上記の各実施形態では、機械学習モデルを用いた画像補正が縮退運転中に実行される場合を例として説明しているが、これに限らない。通常のPET撮像中に検出器110が故障した場合であっても、PET撮像の後に故障検出器番号803が取得されるため、正常時に相当する画質の画像データを生成することができる。   In the medical image processing apparatus and the medical image processing method according to each of the above embodiments, as shown in FIG. 5, after PET imaging is performed in step S203, the failure detector number 803 is acquired in step S205. For this reason, even if the detector 110 newly fails during PET imaging, it is possible to generate image data having an image quality equivalent to that in a normal state. In each of the above embodiments, the case where the image correction using the machine learning model is executed during the degenerate operation has been described as an example, but the present invention is not limited to this. Even if the detector 110 fails during normal PET imaging, since the failure detector number 803 is acquired after PET imaging, it is possible to generate image data of image quality corresponding to normal times.

上記の各実施形態に係る医用画像処理装置及び医用画像処理方法において、補正画像805とともに通知や補正前の故障画像801、故障検出器番号803が表示される。この構成によれば、ユーザは、正常時に相当する画質の画像データであっても、機械学習モデルを用いて補正された画像であることを認識できる。また、ユーザは、故障した検出器110を修理した後に、再度PET撮像を実施するかを判断することもできる。   In the medical image processing apparatus and the medical image processing method according to each of the above-described embodiments, the notification image, the failure image 801 before correction, and the failure detector number 803 are displayed together with the correction image 805. According to this configuration, the user can recognize that the image data having the image quality corresponding to the normal time is the image corrected by using the machine learning model. The user can also determine whether to perform PET imaging again after repairing the failed detector 110.

なお、上記の各実施形態に係る医用画像処理装置及び医用画像処理方法において、各機械学習モデルは、縮退運転時等に得られた故障画像801と、故障画像801が入力された機械学習モデルが出力する補正画像805とを用いて強化学習されてもよい。   In the medical image processing device and the medical image processing method according to each of the above-described embodiments, each machine learning model is a failure image 801 obtained during degenerate operation or the like, and a machine learning model to which the failure image 801 is input. Reinforcement learning may be performed using the output corrected image 805.

なお、上記の各実施形態では、任意の検出器番号に関する収集データを除外することにより生成された模擬故障データを用いて学習用データを生成する医用画像処理装置及び医用画像処理方法を例として説明したが、これに限らない。模擬故障データは、任意の検出器番号の検出器110を停止させた状態でPET撮像を行うことにより収集されてもよい。この構成によれば、故障時と同様の状態で模擬故障データを得ることができるため、より故障時に得られる故障データに近似した模擬故障データを生成できる。   In each of the above-described embodiments, a medical image processing apparatus and a medical image processing method for generating learning data using simulated failure data generated by excluding collected data relating to an arbitrary detector number will be described as an example. However, it is not limited to this. The simulated failure data may be collected by performing PET imaging with the detector 110 having an arbitrary detector number stopped. According to this configuration, since the simulated failure data can be obtained in the same state as that at the time of the failure, the simulated failure data closer to the failure data obtained at the time of the failure can be generated.

なお、上記の各実施形態では、複数の検出器リング11に亘って体軸方向に並ぶ複数の検出器110が同様に取り扱われる医用画像処理装置及び医用画像処理方法を例として説明したが、これに限らない。上記の各実施形態に係る技術は、複数の検出器リング11の全検出器110に対して適用されてもよい。例えば、第1の実施形態に係るPET装置1では、複数の検出器リング11の全検出器110に関する学習用データ811が生成される。例えば、第2の実施形態に係るPET装置1では、複数の検出器リング11の全検出器110に関して故障パターンが設定される。   In each of the above embodiments, the medical image processing apparatus and the medical image processing method in which the plurality of detectors 110 arranged in the body axis direction across the plurality of detector rings 11 are handled in the same manner have been described as examples. Not limited to The technique according to each of the above embodiments may be applied to all the detectors 110 of the plurality of detector rings 11. For example, in the PET apparatus 1 according to the first embodiment, learning data 811 regarding all the detectors 110 of the plurality of detector rings 11 is generated. For example, in the PET device 1 according to the second embodiment, a failure pattern is set for all the detectors 110 of the plurality of detector rings 11.

なお、上記の各実施形態では、機械学習モデルを用いて故障時に得られた故障画像801を補正する医用画像処理装置及び医用画像処理方法を例として説明したが、これに限らない。故障画像801の補正は、例えば、確率的にLORの数を補間することにより行われてもよい。確率的なLORの数の補間は、例えば、同時計数時間幅(Time Window)や放射性同位体の投与量、放射性同位体の投与位置等に基づいて行われる。   In each of the above embodiments, the medical image processing apparatus and the medical image processing method for correcting the failure image 801 obtained at the time of failure using the machine learning model have been described as examples, but the invention is not limited to this. The failure image 801 may be corrected, for example, by probabilistically interpolating the number of LORs. The stochastic interpolation of the number of LORs is performed based on, for example, the coincidence counting time width (Time Window), the dose of the radioactive isotope, the administration position of the radioactive isotope, and the like.

なお、上記の各実施形態では、機械学習モデルの入力及び出力として再構成画像が用いられる医用画像処理装置及び医用画像処理方法を例として説明したが、これに限らない。機械学習モデルの入力及び/又は出力は、収集データや模擬故障データ、故障データ等の生データであってもよい。この構成であっても、上述の実施形態と同様の効果が得られる。また、生データは、同時計数前のデータであってもよい。この構成の場合データ数が多くなるが、故障検出器の対向データが含まれるため、より精度の高い補正が可能となる。   In each of the above embodiments, the medical image processing apparatus and the medical image processing method in which the reconstructed image is used as the input and output of the machine learning model have been described as examples, but the present invention is not limited to this. The input and / or output of the machine learning model may be raw data such as collected data, simulated failure data, failure data and the like. Even with this configuration, the same effect as that of the above-described embodiment can be obtained. Further, the raw data may be data before simultaneous counting. In the case of this configuration, the number of data is large, but since the counter data of the failure detector is included, more accurate correction can be performed.

なお、上記の各実施形態に係る医用画像処理装置及び医用画像処理方法において、収集データ及びPET画像は、それぞれ、各実施形態に係る医用画像処理装置を搭載したPET装置1の外部において収集及び再構成されていてもよい。   In the medical image processing apparatus and the medical image processing method according to each of the above embodiments, the collected data and the PET image are collected and re-collected outside the PET apparatus 1 equipped with the medical image processing apparatus according to each of the embodiments. It may be configured.

なお、上記の各実施形態では、医用画像処理装置がPET装置1に搭載される場合を例として説明したが、これに限らない。各実施形態に係る医用画像処理装置は、例えば、PET装置以外の核医学診断装置や核医学診断装置の外部に設けられた画像処理サーバ等に搭載されていてもよい。また、各実施形態に係る医用画像処理装置は、単体の独立した装置として構成されていてもよい。医用画像処理装置としては、少なくとも、PETデータメモリ72及びメモリ75に相当する記憶回路と、モデル生成機能715及び補正処理機能716を実現する処理回路71に相当する処理回路とを有していればよい。ユーザ操作を伴う場合には、医用画像処理装置は、入力回路73及び表示回路74にそれぞれ相当する入力回路及び表示回路をさらに有する。   In each of the above embodiments, the case where the medical image processing apparatus is installed in the PET apparatus 1 has been described as an example, but the present invention is not limited to this. The medical image processing apparatus according to each embodiment may be installed in, for example, a nuclear medicine diagnosis apparatus other than a PET apparatus, an image processing server provided outside the nuclear medicine diagnosis apparatus, or the like. Further, the medical image processing apparatus according to each embodiment may be configured as a single independent apparatus. As long as the medical image processing apparatus has at least a storage circuit corresponding to the PET data memory 72 and the memory 75 and a processing circuit corresponding to the processing circuit 71 that implements the model generation function 715 and the correction processing function 716. Good. When accompanied by a user operation, the medical image processing apparatus further includes an input circuit and a display circuit corresponding to the input circuit 73 and the display circuit 74, respectively.

以上説明した少なくとも1つの実施形態によれば、検出器が故障している状態であっても、正常時に相当する画質の画像データを生成することができる。   According to at least one embodiment described above, it is possible to generate image data having an image quality corresponding to a normal state even in a state where the detector is out of order.

上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、ASIC、プログラマブル論理デバイス(Programmable Logic Device:PLD)等の回路を意味する。PLDは、SPLD、CPLD、FPGAを含む。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。プログラムが保存された記憶回路は、コンピュータ読取可能な非一時的記録媒体である。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現してもよい。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。   The term "processor" used in the above description means, for example, a circuit such as a CPU, GPU, ASIC, programmable logic device (PLD), or the like. PLD includes SPLD, CPLD, and FPGA. The processor realizes the function by reading and executing the program stored in the memory circuit. The storage circuit in which the program is stored is a computer-readable non-transitory recording medium. Instead of storing the program in the memory circuit, the program may be directly incorporated in the circuit of the processor. In this case, the processor realizes the function by reading and executing the program incorporated in the circuit. Further, instead of executing the program, a function corresponding to the program may be realized by a combination of logic circuits. It should be noted that each processor of the present embodiment is not limited to the case where each processor is configured as a single circuit, and a plurality of independent circuits may be combined and configured as one processor to realize its function. Good. Furthermore, a plurality of constituent elements in FIG. 1 may be integrated into one processor to realize its function.

なお、処理回路71は、故障画像801を入力して補正画像805を出力するようにパラメータが学習された各実施形態に係る機械学習モデルと同様の機能を実現する回路構成を有していてもよい。当該回路構成は、例えば、ASICやPLD等の集積回路により実現される。   Note that the processing circuit 71 may have a circuit configuration that realizes the same function as the machine learning model according to each embodiment in which the parameters are learned so that the failure image 801 is input and the corrected image 805 is output. Good. The circuit configuration is realized by, for example, an integrated circuit such as an ASIC or PLD.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the invention described in the claims and the equivalents thereof as well as included in the scope and the gist of the invention.

1…PET装置(医用画像処理装置)、
10…ガントリ、
11…検出器リング、
13…信号処理回路、
15…同時計数回路、
50…寝台、
51…基台、
52…支持フレーム、
53…天板、
54…寝台駆動装置、
70…コンソール(医用画像処理装置)、
71…処理回路(医用画像処理装置)、
72…PETデータメモリ、
73…入力回路、
74…表示回路、
75…メモリ、
110…検出器(PET検出器、第1のPET検出器、第2のPET検出器)、
113…シンチレータ、
115…光電子増倍管、
711…再構成機能(取得部)、
712…画像処理機能、
713…撮像制御機能(特定部)、
714…表示制御機能、
715…モデル生成機能、
716…補正処理機能(処理部、特定部、補正部)、
801、802…故障画像(第1の医用データ)、
803…故障検出器番号、
804、805…補正画像(第2の医用データ)、
810、830、850…学習用データセット、
811、831、851…学習用データ、
813、833、853…正常画像(学習用の第2の医用データ)、
815、835、855…検出器番号、
817、837、857…模擬故障画像(学習用の第1の医用データ)、
820、821、823、840、860…機械学習モデル。
1 ... PET device (medical image processing device),
10 ... Gantry,
11 ... Detector ring,
13 ... Signal processing circuit,
15 ... Simultaneous counting circuit,
50 ... sleeper,
51 ... base,
52 ... Support frame,
53 ... Top plate,
54 ... Bed driving device,
70 ... Console (medical image processing apparatus),
71 ... Processing circuit (medical image processing apparatus),
72 ... PET data memory,
73 ... Input circuit,
74 ... Display circuit,
75 ... memory,
110 ... Detector (PET detector, first PET detector, second PET detector),
113 ... Scintillator,
115 ... Photomultiplier tube,
711 ... Reconstruction function (acquisition unit),
712 ... Image processing function,
713 ... Imaging control function (specification unit),
714 ... Display control function,
715 ... Model generation function,
716 ... Correction processing function (processing unit, specifying unit, correction unit),
801, 802 ... Failure image (first medical data),
803 ... Failure detector number,
804, 805 ... Corrected image (second medical data),
810, 830, 850 ... Learning data set,
811, 831, 851 ... Learning data,
813, 833, 853 ... Normal image (second medical data for learning),
815, 835, 855 ... Detector number,
817, 837, 857 ... Simulated failure image (first medical data for learning),
820, 821, 823, 840, 860 ... Machine learning model.

Claims (15)

リング形状に配列された複数のPET検出器のうち、第1のPET検出器に関するデータを含まない第1の医用データを取得する取得部と、
前記取得された第1の医用データから、前記第1のPET検出器に関するデータを含む第2の医用データを、機械学習モデルに従い生成する処理部と
を具備する医用画像処理装置。
Of a plurality of PET detectors arranged in a ring shape, an acquisition unit that acquires first medical data that does not include data relating to the first PET detector,
A medical image processing apparatus comprising: a processing unit that generates second medical data including data related to the first PET detector from the acquired first medical data according to a machine learning model.
前記機械学習モデルは、リング形状に配列された複数のPET検出器ごとに学習される、請求項1に記載の医用画像処理装置。   The medical image processing apparatus according to claim 1, wherein the machine learning model is learned for each of a plurality of PET detectors arranged in a ring shape. 前記複数のPET検出器のうち故障したPET検出器を特定する特定部をさらに備え、
前記処理部は、前記故障したPET検出器に関する機械学習モデルを選択する、
請求項2に記載の医用画像処理装置。
Further comprising a specifying unit for specifying a defective PET detector among the plurality of PET detectors,
The processor selects a machine learning model for the failed PET detector,
The medical image processing apparatus according to claim 2.
前記処理部は、前記故障したPET検出器として複数のPET検出器が特定されたとき、前記特定された複数のPET検出器に関する複数の機械学習モデルを直列に接続する、請求項3に記載の医用画像処理装置。   The processing unit, when a plurality of PET detectors are specified as the failed PET detectors, connects a plurality of machine learning models related to the specified plurality of PET detectors in series. Medical image processing device. 前記取得された第1の医用データは、前記第1のPET検出器とは異なる第2のPET検出器に基づくデータをさらに含まない、請求項1に記載の医用画像処理装置。   The medical image processing apparatus according to claim 1, wherein the acquired first medical data does not further include data based on a second PET detector different from the first PET detector. 前記機械学習モデルは、前記第1の医用データとともに前記第1及び第2のPET検出器の検出器番号に基づいて、前記第2の医用データを出力するように学習されている、請求項5に記載の医用画像処理装置。   6. The machine learning model is learned to output the second medical data based on the detector numbers of the first and second PET detectors together with the first medical data. The medical image processing apparatus according to item 1. 前記複数のPET検出器のうち故障したPET検出器を特定する特定部をさらに備え、
前記処理部は、前記機械学習モデルに従い、前記第1の医用データとともに前記特定されたPET検出器の検出器番号から前記第2の医用データを生成する、
請求項5に記載の医用画像処理装置。
Further comprising a specifying unit for specifying a defective PET detector among the plurality of PET detectors,
The processing unit generates the second medical data from the detector number of the identified PET detector together with the first medical data according to the machine learning model.
The medical image processing apparatus according to claim 5.
前記複数のPET検出器のうち故障したPET検出器を特定する特定部と、
前記第1のPET検出器及び前記故障したPET検出器の位置情報に基づいて、前記機械学習モデルが出力する前記第2の医用データを補正する補正部と
をさらに備える、請求項1に記載の医用画像処理装置。
A specifying unit for specifying a defective PET detector among the plurality of PET detectors;
The correction unit that corrects the second medical data output by the machine learning model based on position information of the first PET detector and the defective PET detector. Medical image processing device.
前記補正部は、前記第1のPET検出器及び前記故障したPET検出器の位置情報に基づいて、前記第1の医用データを補正し、
前記処理部は、前記機械学習モデルに従い、前記補正された第1の医用データから前記第2の医用データを生成する、
請求項8に記載の医用画像処理装置。
The correction unit corrects the first medical data based on the position information of the first PET detector and the defective PET detector,
The processing unit generates the second medical data from the corrected first medical data according to the machine learning model,
The medical image processing apparatus according to claim 8.
前記補正部は、前記故障したPET検出器として複数のPET検出器が特定されたとき、前記第1のPET検出器及び前記複数の故障したPET検出器の位置情報に基づいて、前記第2の医用データ又は前記補正された第2の医用データを補正し、
前記処理部は、前記機械学習モデルに従い、前記補正された第2の医用データから第2の医用データを生成する、
請求項8に記載の医用画像処理装置。
When a plurality of PET detectors are specified as the defective PET detectors, the correction unit is configured to detect the second PET detectors based on position information of the first PET detectors and the plurality of defective PET detectors. Correcting the medical data or the corrected second medical data,
The processing unit generates second medical data from the corrected second medical data according to the machine learning model,
The medical image processing apparatus according to claim 8.
学習用の第1の医用データは、学習用の第2の医用データから、前記第1のPET検出器で取得されたデータを除外して生成される、請求項1に記載の医用画像処理装置。   The medical image processing apparatus according to claim 1, wherein the first medical data for learning is generated by excluding the data acquired by the first PET detector from the second medical data for learning. . 学習用の第1の医用データは、前記第1のPET検出器に関するデータ収集を停止した状態で取得される、請求項1に記載の医用画像処理装置。   The medical image processing apparatus according to claim 1, wherein the first medical data for learning is acquired in a state in which data collection regarding the first PET detector is stopped. 前記第1及び/又は第2の医用データは、リストモードデータ、ヒストグラムデータ又は再構成画像である、請求項1に記載の医用画像処理装置。   The medical image processing apparatus according to claim 1, wherein the first and / or second medical data is list mode data, histogram data, or a reconstructed image. 前記第1の医用データは、前記第1のPET検出器に関するデータを含まず、かつ、前記複数のPET検出器のうち、前記第1のPET検出器以外のPET検出器に関するデータを含み、前記第2の医用データは、前記第1のPET検出器に関するデータを含み、かつ、前記複数のPET検出器のうち、前記第1のPET検出器以外のPET検出器に関するデータを含む、請求項1に記載の医用画像処理装置。   The first medical data does not include data regarding the first PET detector, and includes data regarding PET detectors other than the first PET detector among the plurality of PET detectors, The second medical data includes data regarding the first PET detector, and includes data regarding PET detectors other than the first PET detector among the plurality of PET detectors. The medical image processing apparatus according to item 1. リング形状に配列された複数のPET検出器のうち、第1のPET検出器に関するデータを含まない第1の医用データを取得し、前記取得された第1の医用データから、前記第1のPET検出器に関するデータを含む第2の医用データを、機械学習モデルに従い生成することを含む医用画像処理方法。   Of the plurality of PET detectors arranged in a ring shape, first medical data that does not include data relating to the first PET detector is acquired, and the first PET is acquired from the acquired first medical data. A medical image processing method including generating second medical data including data on a detector according to a machine learning model.
JP2018193403A 2018-10-12 2018-10-12 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD Active JP7210219B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018193403A JP7210219B2 (en) 2018-10-12 2018-10-12 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018193403A JP7210219B2 (en) 2018-10-12 2018-10-12 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD

Publications (2)

Publication Number Publication Date
JP2020060514A true JP2020060514A (en) 2020-04-16
JP7210219B2 JP7210219B2 (en) 2023-01-23

Family

ID=70218950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018193403A Active JP7210219B2 (en) 2018-10-12 2018-10-12 MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD

Country Status (1)

Country Link
JP (1) JP7210219B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022135054A (en) * 2021-03-04 2022-09-15 キヤノンメディカルシステムズ株式会社 Pet device, method, and program
WO2024150791A1 (en) * 2023-01-11 2024-07-18 国立大学法人九州大学 Image conversion device, image conversion method, and image conversion program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229161A (en) * 2007-03-22 2008-10-02 Fujifilm Corp Image component separation device, method, and program, and normal image generation device, method, and program
JP2013104828A (en) * 2011-11-15 2013-05-30 Toshiba Corp Nuclear medicine diagnostic device
JP2017225688A (en) * 2016-06-23 2017-12-28 株式会社日立製作所 Magnetic resonance imaging apparatus, image processing apparatus, and diffusion weighted image calculation method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229161A (en) * 2007-03-22 2008-10-02 Fujifilm Corp Image component separation device, method, and program, and normal image generation device, method, and program
JP2013104828A (en) * 2011-11-15 2013-05-30 Toshiba Corp Nuclear medicine diagnostic device
JP2017225688A (en) * 2016-06-23 2017-12-28 株式会社日立製作所 Magnetic resonance imaging apparatus, image processing apparatus, and diffusion weighted image calculation method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022135054A (en) * 2021-03-04 2022-09-15 キヤノンメディカルシステムズ株式会社 Pet device, method, and program
JP7768682B2 (en) 2021-03-04 2025-11-12 キヤノンメディカルシステムズ株式会社 PET device, method and program
WO2024150791A1 (en) * 2023-01-11 2024-07-18 国立大学法人九州大学 Image conversion device, image conversion method, and image conversion program

Also Published As

Publication number Publication date
JP7210219B2 (en) 2023-01-23

Similar Documents

Publication Publication Date Title
US11244480B2 (en) Medical information processing apparatus
JP5174813B2 (en) Method and system for improving TOFPET reconstruction
US7991450B2 (en) Methods and systems for volume fusion in diagnostic imaging
JP6298451B2 (en) Image processing system and image processing method
CN109480883B (en) Medical Image Diagnosis Device
CN102727237B (en) Medical image diagnostic apparatus and control method
US20160073976A1 (en) Nuclear medicine diagnostic apparatus and nuclear medicine image generating method
JP6670643B2 (en) PET equipment
JP2017512997A (en) Compensation for missing pixels in positron emission tomography (PET)
JP7210219B2 (en) MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD
US9947116B2 (en) Methods and systems for detector gap corrections
JP6556460B2 (en) Medical image processing apparatus and medical image processing method
CN103126701B (en) Positron emission tomography device and image processing apparatus
US10070840B2 (en) X-ray computed tomography apparatus and radiation medical imaging diagnostic apparatus
JP6184075B2 (en) PET-CT apparatus and image processing apparatus
US20240041414A1 (en) Nuclear Medicine Diagnostic Apparatus, Nuclear Medicine Imaging Method and Computer Readable Non-Volatile Storage Medium Storing Nuclear Medicine Imaging Program
US20190380667A1 (en) Medical image diagnosis apparatus and control method
JP5657925B2 (en) Nuclear medicine imaging apparatus and control program thereof
US12471857B2 (en) Pet apparatus, method, and storage medium
JP7321798B2 (en) Reconstruction device and radiological diagnosis device
JP7214355B2 (en) Positron emission tomography system
JP2024016336A (en) Radiation detector and nuclear medicine diagnostic equipment
JP2015001386A (en) Nuclear medicine diagnosis system and image processing apparatus
JP2023130843A (en) PET device, PET-CT device, information generation and display method, and information generation and display program
WO2022043143A1 (en) System and method for providing near real-time two dimensional projection images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230111

R150 Certificate of patent or registration of utility model

Ref document number: 7210219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150