[go: up one dir, main page]

WO2024090050A1 - 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム - Google Patents

画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム Download PDF

Info

Publication number
WO2024090050A1
WO2024090050A1 PCT/JP2023/032691 JP2023032691W WO2024090050A1 WO 2024090050 A1 WO2024090050 A1 WO 2024090050A1 JP 2023032691 W JP2023032691 W JP 2023032691W WO 2024090050 A1 WO2024090050 A1 WO 2024090050A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
radiation
bone
reference position
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/032691
Other languages
English (en)
French (fr)
Inventor
隆浩 川村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2024552866A priority Critical patent/JPWO2024090050A1/ja
Priority to EP23882263.9A priority patent/EP4609791A4/en
Publication of WO2024090050A1 publication Critical patent/WO2024090050A1/ja
Priority to US19/184,353 priority patent/US20250248646A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/482Diagnostic techniques involving multiple energy imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504Bones
    • A61B5/4509Bone density determination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5282Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to scatter
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Definitions

  • the present invention relates to an image processing device, method, and program, as well as a learning device, method, and program.
  • energy subtraction processing uses two radiation images obtained by irradiating a subject with two types of radiation with different energy distributions, taking advantage of the fact that the attenuation of transmitted radiation differs depending on the material that constitutes the subject.
  • various methods have been proposed for deriving composition information of the human body, such as bone density, soft tissue thickness, fat thickness, and muscle thickness, by energy subtraction processing (see, for example, International Publication No. WO 2020/166561).
  • the relationship of the subject's positioning in relation to the radiation transmission path during imaging is important. For example, when irradiating radiation from the front of the subject, if the subject's position changes due to the subject rotating, the angle of incidence of the radiation on the subject will deviate from the reference angle of incidence, and as a result, the thickness of the subject on the radiation transmission path will change. If the subject's thickness changes in this way, it is not possible to accurately compare composition information between radiation images taken at different positions. Furthermore, if one tries to accurately position the subject during imaging, it takes time to capture the image.
  • the present disclosure has been made in consideration of the above circumstances, and aims to make it possible to accurately derive composition regardless of the subject's positioning.
  • the image processing device includes at least one processor, The processor obtains a structure image representing at least one structure within the object based on at least one radiation image of the object; By inputting a structure image, a trained model is used to output estimated results of the radiation deviation angle from a reference position for a structure included in the structure image and composition information at the reference position of the structure, and the deviation angle from a reference position of the structure included in the structure image and composition information at the reference position of the structure are derived.
  • the processor acquires a first radiographic image and a second radiographic image obtained by capturing an image of a subject including a bone and a soft tissue using radiation having different energy distributions;
  • the structure image may be derived by performing a weighted subtraction between the first radiographic image and the second radiographic image.
  • the processor removes scattered radiation components from the first radiation image and the second radiation image to derive a first primary radiation image and a second primary radiation image;
  • a structure image may be derived based on the first primary line image and the second primary line image.
  • the structure is a bone portion included in the subject
  • the compositional information may be bone density.
  • the bone may be the femur or a vertebra, particularly a lumbar vertebra.
  • the structure is a soft part included in the subject
  • the compositional information may be the thickness of the soft part.
  • a learning device includes at least one processor, The processor trains the neural network using training data including a training structure image including at least one structure within the subject, a deviation angle of radiation from a reference position for the structure included in the training structure image, and composition information at the reference position for the structure included in the training structure image; Through learning, a trained model is constructed that, when a structure image including at least one structure within a subject is input, outputs estimated results of the radiation deviation angle relative to a reference position for the structure included in the structure image and composition information at the reference position of the structure.
  • the processor derives a learning structure image by projecting a structure included in a three-dimensional image of a subject based on a deviation angle with respect to a reference position;
  • the training data may be derived by deriving composition information of a structure when the structure contained in a three-dimensional image is projected in a reference direction in which the structure is at the reference position, as composition information at the reference position of the structure.
  • the structure is a bone portion
  • the processor derives a three-dimensional bone density of the bone portion included in the three-dimensional image
  • the two-dimensional bone density of the bone may be derived as composition information at the reference position of the structure by multiplying the three-dimensional bone density by the thickness of the bone in the reference direction.
  • the image processing method includes obtaining a structure image representing at least one structure within the subject based on at least one radiation image of the subject; By inputting a structure image, a trained model is used to output estimated results of the radiation deviation angle from a reference position for a structure included in the structure image and composition information at the reference position of the structure, and the deviation angle from a reference position of the structure included in the structure image and composition information at the reference position of the structure are derived.
  • the learning method includes: learning a neural network using training data including a training structure image including at least one structure within a subject, a deviation angle of a radiation beam from a reference position for the structure included in the training structure image, and composition information at the reference position for the structure included in the training structure image; Through learning, a trained model is constructed that, when a structure image including at least one structure within a subject is input, outputs estimated results of the radiation deviation angle relative to a reference position for the structure included in the structure image and composition information at the reference position of the structure.
  • the image processing program includes a step of acquiring a structure image representing at least one structure within a subject based on at least one radiation image of the subject;
  • the computer is caused to execute a procedure for deriving the deviation angle of a structure included in the structure image from a reference position and the composition information of the structure at the reference position by inputting an image of the structure and using a trained model to output estimated results of the deviation angle of radiation from a reference position for the structure included in the structure image and the composition information of the structure at the reference position.
  • the learning program includes a procedure for learning a neural network using training data including a training structure image including at least one structure within a subject, a deviation angle of radiation from a reference position for the structure included in the training structure image, and composition information at the reference position for the structure included in the training structure image;
  • the computer is caused to execute a procedure for constructing a trained model that, when a structure image including at least one structure within a subject is input, outputs an estimated result of the deviation angle of radiation from a reference position for the structure included in the structure image and composition information at the reference position of the structure.
  • the composition can be derived with high accuracy regardless of the subject's positioning.
  • FIG. 1 is a schematic block diagram showing a configuration of a radiographic image capturing system to which an image processing device and a learning device according to an embodiment of the present disclosure are applied.
  • FIG. 1 is a diagram showing a schematic configuration of an image processing device and a learning device according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing the functional configuration of an image processing device and a learning device according to an embodiment of the present disclosure.
  • Figure showing bone images Diagram for explaining the deviation angle of the radiation beam relative to the femur A diagram showing the relationship between the contrast between bones and soft tissues and the body thickness of the subject
  • FIG. 1 is a diagram showing an example of a lookup table.
  • FIG. 1 is a table showing a conversion between CT values and volumetric bone density.
  • Diagram for explaining projection plane settings Diagram showing the display screen 1 is a flowchart of a learning process performed in this embodiment.
  • 1 is a flowchart of image processing performed in this embodiment.
  • FIG. 2 is a diagram showing a schematic diagram of a process performed in a first embodiment of deriving a structure image;
  • FIG. 11 is a diagram showing a schematic diagram of a process for deriving a structural image performed in a radiation image processing apparatus according to a second embodiment
  • FIG. 13 is a diagram showing a schematic diagram of a process for deriving a structural image performed in a radiation image processing apparatus according to a third embodiment
  • FIG. 13 is a diagram showing the amount of attenuation depending on the thickness of bone and soft tissue in high-energy and low-energy images.
  • FIG. 13 is a diagram showing a schematic diagram of a process for deriving a structural image performed in a radiation image processing apparatus according to a fourth embodiment;
  • FIG. 1 is a schematic block diagram showing the configuration of a radiographic imaging system to which an image processing device and a learning device according to an embodiment of the present disclosure are applied.
  • the radiographic imaging system according to this embodiment includes an imaging device 1, and an image processing device and learning device (hereinafter, sometimes referred to as the image processing device) 10 according to this embodiment.
  • the imaging device 1 is an imaging device for performing energy subtraction by the so-called one-shot method, in which radiation such as X-rays emitted from a radiation source 3 and transmitted through a subject H is irradiated to a first radiation detector 5 and a second radiation detector 6 with different energies.
  • the first radiation detector 5, a radiation energy conversion filter 7 made of a copper plate or the like, and the second radiation detector 6 are arranged in that order from the side closest to the radiation source 3, and the radiation source 3 is driven.
  • the first and second radiation detectors 5 and 6 are in close contact with the radiation energy conversion filter 7.
  • the first radiation detector 5 acquires a first radiation image G1 of the subject H using low-energy radiation including so-called soft rays.
  • the second radiation detector 6 acquires a second radiation image G2 of the subject H using high-energy radiation from which the soft rays have been removed.
  • the first and second radiation images G1, G2 are both two-dimensional images that are transmission images of the subject acquired by simple photography in which radiation is irradiated once to the subject H. For this reason, the first and second radiation images G1, G2 are both simple radiation images.
  • the first and second radiation images are input to the image processing device 10.
  • the first and second radiation detectors 5, 6 are capable of repeatedly recording and reading out radiation images, and may be so-called direct type radiation detectors that generate electric charges by directly receiving radiation, or so-called indirect type radiation detectors that first convert radiation into visible light and then convert the visible light into an electric charge signal.
  • a method for reading out the radiation image signal it is preferable to use a so-called TFT readout method in which the radiation image signal is read out by turning a TFT (thin film transistor) switch on and off, or a so-called optical readout method in which the radiation image signal is read out by irradiating it with readout light, but this is not limiting and other methods may also be used.
  • the image processing device 10 is connected to the image storage system 9 via a network (not shown).
  • the image storage system 9 is a system that stores image data of radiographic images captured by the imaging device 1.
  • the image storage system 9 extracts images from the stored radiographic images in response to a request from the image processing device 10 and transmits the images to the device that issued the request.
  • a specific example of the image storage system 9 is a PACS (Picture Archiving and Communication Systems).
  • the image storage system 9 stores a three-dimensional image V0 of a subject for deriving training data as described below.
  • the three-dimensional image V0 can be acquired by a CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, or the like. In this embodiment, it is assumed that a CT image is stored as the three-dimensional image V0.
  • the image storage system 9 may also store derived training data as described below.
  • the image processing device 10 is a computer such as a workstation, a server computer, or a personal computer, and includes a CPU (Central Processing Unit) 11, non-volatile storage 13, and memory 16 as a temporary storage area.
  • the image processing device 10 also includes a display 14 such as an LCD display, input devices 15 such as a keyboard and a mouse, and a network I/F (InterFace) 17 connected to a network (not shown).
  • the CPU 11, storage 13, display 14, input devices 15, memory 16, and network I/F 17 are connected to a bus 18.
  • the CPU 11 is an example of a processor in this disclosure.
  • Storage 13 is realized by a hard disk drive (HDD), a solid state drive (SSD), flash memory, etc.
  • Image processing program 12A and learning program 12B installed in image processing device 10 are stored in storage 13 as a storage medium.
  • CPU 11 reads image processing program 12A and learning program 12B from storage 13, expands them in memory 16, and executes the expanded image processing program 12A and learning program 12B.
  • the image processing program 12A and the learning program 12B are stored in a state accessible from the outside in the storage device of a server computer connected to the network or in network storage, and are downloaded and installed in the computer that constitutes the image processing device 10 upon request. Alternatively, they are recorded on a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) and distributed, and are installed from the recording medium in the computer that constitutes the image processing device 10.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) and distributed, and are installed from the recording medium in the computer that constitutes the image processing device 10.
  • FIG. 3 is a diagram showing the functional configuration of the image processing device and learning device according to this embodiment.
  • the image processing device 10 includes an information acquisition unit 21, a scattered radiation removal unit 22, an image derivation unit 23, an information derivation unit 24, a learning unit 25, a teacher data derivation unit 26, and a display control unit 27.
  • the CPU 11 executes the image processing program 12A to function as the information acquisition unit 21, the scattered radiation removal unit 22, the image derivation unit 23, the information derivation unit 24, and the display control unit 27.
  • the CPU 11 executes the learning program 12B to function as the learning unit 25 and the teacher data derivation unit 26.
  • the information acquisition unit 21 causes the imaging device 1 to image the subject H, thereby acquiring a first radiation image G1 and a second radiation image G2, which are, for example, front images of the crotch area of the subject H, from the first and second radiation detectors 5, 6.
  • imaging conditions such as the imaging dose, tube voltage, SID (Source Image Receptor Distance) which is the distance between the radiation source 3 and the surfaces of the first and second radiation detectors 5, 6, SOD (Source Object Distance) which is the distance between the radiation source 3 and the surface of the subject H, and the presence or absence of a scatter reduction grid are set.
  • the SOD and SID are used to calculate the body thickness distribution, as described below.
  • the SOD is preferably obtained, for example, by a Time Of Flight (TOF) camera.
  • the SID is preferably obtained, for example, by a potentiometer, ultrasonic range finder, or laser range finder.
  • the imaging conditions can be set by the operator through input device 15.
  • the set imaging conditions are stored in storage 13.
  • the first and second radiographic images G1, G2 may be acquired and stored in the storage 13 by a program separate from the image processing program 12A.
  • the information acquisition unit 21 acquires the first and second radiographic images G1, G2 stored in the storage 13 by reading them from the storage 13 for processing.
  • the information acquisition unit 21 acquires training data for training a neural network, which will be described later, from the image storage system 9 via the network I/F 17. It also acquires a three-dimensional image V0 for deriving training data, which will be described later.
  • each of the first radiographic image G1 and the second radiographic image G2 contains scattered radiation components based on radiation scattered within the subject H in addition to the primary radiation components of the radiation that has passed through the subject H.
  • the scattered radiation removal unit 22 removes the scattered radiation components from the first radiographic image G1 and the second radiographic image G2.
  • the scattered radiation removal unit 22 may remove the scattered radiation components from the first radiographic image G1 and the second radiographic image G2 by applying the method described in JP 2015-043959 A.
  • the body thickness distribution of the subject H and the scattered radiation components for removing the scattered radiation components are derived simultaneously.
  • the scattered radiation removal unit 22 acquires a virtual model K of the subject H having an initial body thickness distribution T0(x,y).
  • the virtual model K is data virtually representing the subject H, in which the body thickness according to the initial body thickness distribution T0(x,y) is associated with the coordinate position of each pixel of the first radiographic image G1.
  • the virtual model K of the subject H having the initial body thickness distribution T0(x,y) may be stored in advance in the storage 13.
  • the initial body thickness distribution T0(x,y) of the subject H may be calculated based on the SID and SOD included in the imaging conditions. In this case, the body thickness distribution can be obtained by subtracting the SOD from the SID.
  • the scattered radiation removal unit 22 generates an image by combining an estimated primary radiation image, which is an estimate of a primary radiation image obtained by photographing the virtual model K, and an estimated scattered radiation image, which is an estimate of a scattered radiation image obtained by photographing the virtual model K, based on the virtual model K, as an estimated image that is an estimate of the first radiation image G1 obtained by photographing the subject H.
  • the scattered radiation removal unit 22 corrects the initial body thickness distribution T0(x,y) of the virtual model K so that the difference between the estimated image and the first radiographic image G1 becomes smaller.
  • the scattered radiation removal unit 22 repeatedly generates the estimated image and corrects the body thickness distribution until the difference between the estimated image and the first radiographic image G1 satisfies a predetermined end condition.
  • the scattered radiation removal unit 22 derives the body thickness distribution when the end condition is satisfied as the body thickness distribution T(x,y) of the subject H.
  • the scattered radiation removal unit 22 removes the scattered radiation components contained in the first radiographic image G1 by subtracting the scattered radiation components when the end condition is satisfied from the first radiographic image G1. Note that the first and second radiographic images G1 and G2 in the subsequent processing have the scattered radiation components removed.
  • the image derivation unit 23 performs energy subtraction processing to derive a bone image in which the bones of the subject H are extracted from the first and second radiographic images G1, G2.
  • the bones are an example of a structure in the present disclosure
  • the bone images are an example of a structure image in the present disclosure.
  • the image derivation unit 23 performs weighted subtraction between corresponding pixels on the first and second radiographic images G1, G2 as shown in the following equation (1), thereby deriving a bone image Gb in which the bones of the subject H included in each of the radiographic images G1, G2 are extracted, as shown in FIG. 4.
  • ⁇ 1 is a weighting coefficient.
  • Gb(x,y) G1(x,y)- ⁇ 1 ⁇ G2(x,y) (1)
  • the information derivation unit 24 uses the trained model 24A to derive the deviation angle of the bone from the reference position contained in the bone image Gb and composition information at the reference position of the bone.
  • the bone is the femur
  • the composition information is the bone density of the femur.
  • the reference position is a positioning that is generally considered to be preferable when imaging one of the femurs in a frontal supine position.
  • the reference position is a positioning in which the frontal plane of the pelvis is horizontal, the hip joint on the imaging side is aligned with the center of the image receiving surface of the radiation detectors 5 and 6, and the lower limbs are in an extended position with slight internal rotation.
  • the angle of incidence of radiation incident on the subject H is set as the reference angle of incidence.
  • the reference angle of incidence is 0 degrees.
  • the deviation angle from the reference position refers to the angle deviation of the incident angle of the radiation that actually enters the subject H when photographing the subject H from the reference incident angle.
  • the deviation angle is expressed in two directions, the zenith angle and the azimuth angle, but in this embodiment, the deviation angle refers to the angular deviation around the long axis of the femur.
  • the bone will be included in the radiographic image in a state where it has been rotated from the reference position.
  • the femur the lower leg will be rotated, and the femur will be included in the radiographic image in a state where it has been internally or externally rotated from the reference position.
  • FIG. 5 is a diagram for explaining the deviation angle of radiation with respect to the femur.
  • the incident angle of radiation with respect to the femur 30 of the subject H positioned at the reference position is the reference incident angle.
  • the deviation angle is 0 degrees.
  • the femur 30 when the incident angle of the radiation with respect to the femur 30 deviates from the reference incident angle, the femur 30 is shown in an internally rotated state in the radiographic image. In this state, a negative value is used as the deviation angle. For example, the deviation angle shown in FIG. 5(A) is -20 degrees. Also, when the incident angle of the radiation deviates from the reference incident angle in the direction opposite to that shown in FIG. 5(A), the femur 30 is shown in an externally rotated state in the radiographic image. A positive value is used as the deviation angle in this state. For example, the deviation angle shown in FIG. 5(C) is +20 degrees.
  • Bone density is the same as bone mineral content, and its unit is g/ cm2 .
  • low-energy components of the radiation are absorbed by the subject H, causing beam hardening in which the radiation becomes more energetic.
  • the increase in the energy of the radiation due to beam hardening becomes greater as the body thickness of the subject H increases.
  • Figure 6 shows the relationship between the contrast between bones and soft tissues and the body thickness of subject H.
  • Figure 6 shows the relationship between the contrast between bones and soft tissues and the body thickness of subject H at three tube voltages of 80 kV, 90 kV, and 100 kV.
  • the higher the tube voltage the lower the contrast.
  • the greater the body thickness the lower the contrast.
  • the greater the pixel value of the bone region in bone image Gb the greater the contrast between bones and soft tissues. For this reason, the relationship shown in Figure 6 shifts toward higher contrast as the pixel value of the bone region in bone image Gb increases.
  • Bone density can be derived by correcting the pixel values of the bone image Gb using a correction coefficient.
  • the correction coefficient is a coefficient for correcting the difference in contrast in the bone image Gb depending on the tube voltage at the time of shooting, and the decrease in contrast due to the effects of beam hardening.
  • FIG. 7 is a diagram showing a lookup table that specifies the relationship between body thickness and correction coefficients.
  • FIG. 7 shows an example of lookup table LUT1 in which the standard imaging condition is set to a tube voltage of 90 kV. As shown in FIG. 7, in lookup table LUT1, the higher the tube voltage and the greater the body thickness of subject H, the larger the correction coefficient is set. In the example shown in FIG. 7, since the standard imaging condition is a tube voltage of 90 kV, when the tube voltage is 90 kV and the body thickness is 0, the correction coefficient is 1. Note that, although FIG. 7 shows lookup table LUT1 in two dimensions, the correction coefficient differs depending on the pixel value of the bone region. For this reason, lookup table LUT1 is actually a three-dimensional table with an axis representing the pixel value of the bone region added.
  • a correction coefficient K0(x, y) for each pixel according to the imaging conditions including the body thickness distribution T(x, y) of the subject H and the tube voltage setting value during imaging is extracted from a lookup table LUT1. Then, as shown in the following formula (2), the bone density D(x, y) (g/ cm2 ) is derived by multiplying each pixel (x, y) of the bone in the bone image Gb by the correction coefficient K0(x, y).
  • the bone density D(x, y) derived in this way is represents the pixel values of the bone region included in a radiographic image obtained by imaging the subject H with a tube voltage of 90 kV, which is the standard imaging condition, and from which the effects of beam hardening have been removed.
  • D(x,y) K0(x,y) ⁇ Gb(x,y) (2)
  • the subject When photographing subject H, the subject is positioned so that the femur is in a reference position, but there are cases where subject H moves after positioning.
  • subject H moves, the incidence angle of the radiation with respect to subject H varies from the reference incidence angle, and the deviation angle of the radiation irradiated to the femur from the reference position deviates from 0 degrees and becomes a positive or negative value.
  • the thickness of the femur on the transmission path of the radiation changes.
  • the thickness of the femur changes in this way, the bone density derived from the bone image Gb changes.
  • FIG. 8 is a graph showing the relationship between the deviation angle and bone density.
  • Graph 35 in FIG. 8 shows the relationship between the deviation angle and bone density measured using radiation images.
  • bone density is derived by converting each pixel based on the pixel value for each of multiple bone images Gb acquired for the same femur under the same conditions except that the deviation angle is changed to multiple predetermined values.
  • the vertical axis is bone density and the horizontal axis is deviation angle. Note that in graph 35, negative values are deviation angles in the direction included in the radiation image when the femur is internally rotated, and positive values are deviation angles in the direction included in the radiation image when the femur is externally rotated. As shown in FIG. 8, bone density changes when the deviation angle changes.
  • the bone density will change, which may make it difficult to accurately compare bone density between radiological images.
  • the subject is to be positioned accurately during imaging, it will take a long time to perform the imaging.
  • the information derivation unit 24 uses the trained model 24A to derive the deviation angle of the radiation irradiated during imaging of the bone contained in the bone image Gb from the reference position and composition information, i.e., bone density, at the reference position of the bone.
  • FIG. 9 is a diagram showing a schematic diagram of the processing performed by the trained model 24A.
  • a bone image Gb is input to the trained model 24A.
  • the trained model 24A outputs the deviation angle ⁇ 0 and the bone density D0.
  • the trained model 24A is constructed by the learning unit 25 learning the neural network using training data.
  • FIG. 10 is a diagram showing the training data used to construct the trained model 24A.
  • the training data 40 includes a training bone image 41 and correct answer data 42.
  • the correct answer data 42 includes, for the femur included in the training bone image 41, a deviation angle 43 from a reference position of the radiation irradiated during imaging, and bone density 44 at the reference position of the bone included in the training bone image 41.
  • the training bone image 41 is an example of a training structure image.
  • the learning unit 25 uses a large number of teacher data 40 to train the neural network.
  • FIG. 11 is a diagram for explaining the training of the neural network 50.
  • the neural network 50 includes, for example, an input layer 51, an intermediate layer 52, and an output layer 53.
  • the intermediate layer 52 may have a multi-layer structure.
  • the learning unit 25 inputs the training bone image 41 to the input layer 51 of the neural network 50.
  • the learning unit 25 causes the output layer 53 of the neural network 50 to output the deviation angle 55A and the bone density 55B as the output data 55.
  • the learning unit 25 derives the difference between the deviation angle 55A and the bone density 55B included in the output data 55 and the deviation angle 43 and the bone density 44 included in the correct answer data 42 as the losses L1 and L2, respectively.
  • the learning unit 25 learns the neural network 50 based on the losses L1 and L2. Specifically, the learning unit 25 adjusts the kernel coefficients included in the intermediate layer 52, the weights of the connections between each layer, and the like (hereinafter referred to as parameters 56) so as to reduce the losses L1 and L2. As a method for adjusting the parameters 56, for example, the backpropagation method can be used. The learning unit 25 repeats the adjustment of the parameters 56 until the losses L1 and L2 become equal to or less than a predetermined threshold value. As a result, when the bone image Gb is input, the parameters 56 are adjusted so as to output a more accurate deviation angle and bone density, and the learned model 24A is constructed.
  • the parameters 56 are adjusted so as to output a more accurate deviation angle and bone density, and the learned model 24A is constructed.
  • the trained model 24A When the bone image Gb of the subject H is input to the trained model 24A constructed in this manner, the trained model 24A outputs the deviation angle ⁇ 0 and bone density D0, as shown in FIG. 10.
  • the teacher data 40 for constructing the trained model 24A is derived by the teacher data derivation unit 26 using the three-dimensional image V0.
  • the derivation of the teacher data 40 will be described below.
  • FIG. 12 is a diagram for explaining the derivation of the teacher data.
  • the three-dimensional image V0 includes only the femur 60.
  • the long axis y0 of the femur 60 is included in the three-dimensional image V0 so as to extend in the y-axis direction.
  • the three-dimensional image V0 is arranged so that when the three-dimensional image V0 is projected in the z-axis direction, that is, when the three-dimensional image V0 is projected onto the xy plane to derive a projected image of the femur, the femur is positioned at a reference position.
  • the projection direction in the z-axis direction is indicated by z0.
  • the deviation angle in this case is 0 degrees.
  • the teacher data derivation unit 26 segments the three-dimensional image V0 into bones and soft tissues.
  • the three-dimensional image V0 is a CT image, and since the CT values of bones and soft tissues differ significantly, the bones and soft tissues can be segmented by threshold processing or the like.
  • the thickness td(x, y) of the femur is given by the following formula (3).
  • s is the size of the voxel in the three-dimensional image V0.
  • the teacher data derivation unit 26 derives the thickness of the femur 60 at each pixel of a projection image (hereinafter referred to as a reference projection image Pb) in which the bone, i.e., the femur 60, is projected onto the xy plane, using the above formula (3).
  • the teacher data derivation unit 26 derives the volumetric bone density (unit: g/ cm3 ) from the average CT value CTm in the projection direction of the femur 60.
  • Average CT value CTm(x,y) in the projection direction can be derived from the lower equation (4).
  • CTi is the CT value of the voxel aligned in the projection direction.
  • (x, y) representing the pixel position of the projection image is omitted.
  • the CT value is a relative value to the radiation attenuation coefficient of water, and bone density can be derived from the attenuation of radiation by bone. Since the CT image is a three-dimensional image, the bone density obtained from the CT image is volumetric bone density. Moreover, the volumetric bone density is approximately proportional to the CT value. For this reason, a conversion table shown in FIG. 13 is created using a bone sample whose volumetric bone density is known in advance, and the average CT value (unit: H.U.) is converted to volumetric bone density Dt (g/cm 3 ).
  • the derived areal bone density Ds becomes the bone density 44 included in the correct answer data 42 of the teacher data 40.
  • the teacher data derivation unit 26 sets a projection plane 62 by rotating the projection plane (reference projection plane 61, i.e., the xy plane) from which the reference projection image was derived by an angle ⁇ around the y axis, as shown in FIG. 14. Then, the training bone image 41 is derived by projecting the femur 60 contained in the three-dimensional image V0 onto the projection plane 62. In this case, the projection direction of the three-dimensional image V0 is the z1 direction shown in FIG. 12. The angle ⁇ becomes the deviation angle 43 contained in the correct answer data 42.
  • the teacher data derivation unit 26 derives the learning bone image 41, the deviation angle 43, and the bone density 44. Note that it is possible to derive a large number of teacher data 40 by using three-dimensional images V0 of subjects of different ages, sexes, builds, and bone densities, and by varying the angle ⁇ in various ways.
  • the teacher data derivation unit 26 may measure the rotation angle of the femur as a deviation angle for the bone image Gb derived from the first and second radiographic images G1 and G2, and derive the bone density using the above-mentioned formula (2) to derive the teacher data 40.
  • Fig. 15 is a diagram showing a display screen for the deviation angle and bone density.
  • the display screen 70 includes an image display area 71.
  • a bone image Gb is displayed in the image display area.
  • the display screen 70 displays the deviation angle 72 (A degrees) and bone density 73 (Bg/ cm2 ) to the right of the image display area 71.
  • FIG. 16 is a flowchart showing the learning processing performed in this embodiment.
  • the information acquisition unit 21 acquires the three-dimensional image V0 from the image storage system 9 (step ST1), and the teacher data derivation unit 26 derives the teacher data 40 from the three-dimensional image V0 (step ST2).
  • the learning unit 25 inputs the learning bone image 41 included in the teacher data 40 to the neural network 50 to output the deviation angle and bone density, and learns the neural network 50 using the losses L1 and L2 based on the difference from the correct answer data 42 (step ST3), and returns to step ST1.
  • the learning unit 25 further repeats the processing of steps ST1 to ST3 until the losses L1 and L2 become the predetermined threshold value, and ends the learning.
  • the learning unit 25 may end the learning by repeating the learning a predetermined number of times. In this way, the learning unit 25 constructs the learned model 24A.
  • FIG. 17 is a flowchart showing image processing in this embodiment. It is assumed that the first and second radiographic images G1, G2 have been acquired by imaging and stored in the storage 13.
  • the information acquisition unit 21 acquires the first and second radiographic images G1, G2 from the storage 13 (radiographic image acquisition; step ST11).
  • the scattered radiation removal unit 22 removes scattered radiation components from the first and second radiographic images G1, G2 (step ST12).
  • the image derivation unit 23 derives a bone image Gb in which the bones of the subject H have been extracted from the first and second radiographic images G1, G2 (step ST13).
  • the information derivation unit 24 derives the deviation angle and the bone density at the reference position from the bone image Gb (step ST14).
  • the display control unit 27 displays the derived deviation angle and bone density (step ST15), and the process ends.
  • the trained model 24A is used to output an estimate of the deviation angle of the radiation irradiated from a reference position during imaging of the bone contained in the bone image Gb, and the bone density at the reference position of the bone, thereby deriving the deviation angle of the bone contained in the bone image Gb from a reference position and the bone density at the reference position of the bone. Therefore, the deviation angle and bone density can be derived with high accuracy regardless of the positioning of the subject.
  • the femur is used as the bone, but this is not limited to this.
  • the vertebrae or lumbar vertebrae of the vertebrae may be used as the target to derive the deviation angle of the vertebrae or lumbar vertebrae from a reference position and the bone density at the reference position.
  • the deviation angle with respect to the reference position and composition information are derived for bones as structures, but this is not limited to this. It is also possible to derive the deviation angle with respect to the reference position and composition information at the reference position for various structures contained in the human body, such as soft parts within the subject, fat contained in the soft parts, muscles contained in the soft parts, and metals such as titanium embedded in the human body. Note that in addition to the density of the structure, the thickness may also be derived as composition information. It is also possible to derive both density and thickness as composition information.
  • the deviation angle of radiation relative to soft tissue is equal to the deviation angle of radiation relative to bone tissue. Therefore, in order to obtain the deviation angle and composition information (thickness) of the soft tissue, both the soft tissue image Gs and the bone image Gb are derived, and a trained model is constructed to derive the deviation angle derived from the bone image Gb as the deviation angle for the soft tissue.
  • Figure 18 is a diagram showing a trained model constructed to derive the deviation angle and thickness for the soft tissue from the soft tissue image and the bone image. As shown in Figure 18, when the soft tissue image Gs and the bone image Gb are input, the trained model 24B derives the deviation angle ⁇ 1 for the soft tissue and the thickness D1 of the soft tissue.
  • the scattered radiation components are removed from the first and second radiographic images G1, G2 by the scattered radiation removal unit 22, but this is not limited to the above.
  • the bone image Gb may be derived without removing the scattered radiation components. In this case, the scattered radiation removal unit 22 is not required.
  • the image processing device includes a learning device, but this is not limited to this.
  • the image processing device and the learning device may be provided separately, and a trained model constructed by the learning device may be applied to the image processing device.
  • the first and second radiographic images G1, G2 are acquired by a one-shot method when performing the energy subtraction process, but this is not limited to this.
  • the first and second radiographic images G1, G2 may be acquired by a so-called two-shot method, in which imaging is performed twice using only one radiation detector.
  • the position of the subject H contained in the first radiographic image G1 and the second radiographic image G2 may be shifted due to the body movement of the subject H. For this reason, it is preferable to align the position of the subject in the first radiographic image G1 and the second radiographic image G2 before performing the process of this embodiment.
  • image processing is performed using radiation images acquired in a system that captures the first and second radiation images G1, G2 of the subject H using the first and second radiation detectors 5, 6.
  • the technology disclosed herein can of course also be applied to a case where the first and second radiation images G1, G2 are acquired using stimulable phosphor sheets instead of radiation detectors.
  • two stimulable phosphor sheets are stacked and irradiated with radiation that has passed through the subject H, and the radiation image information of the subject H is stored and recorded on each stimulable phosphor sheet, and the radiation image information is photoelectrically read from each stimulable phosphor sheet to acquire the first and second radiation images G1, G2.
  • the two-shot method may also be used when acquiring the first and second radiation images G1, G2 using stimulable phosphor sheets.
  • the bone image Gb and the soft tissue image Gs are derived by energy subtraction processing, but this is not limited to this.
  • the bone image Gb may be derived by emphasizing the bones in one radiological image acquired using only one radiation detector.
  • the bone image Gb and soft tissue image Gs may also be derived by the following method. Other embodiments of structure image derivation are described below.
  • the first and second radiation images G1, G2 acquired by the image acquisition unit 21 include the region of the subject H and a direct radiation region obtained by directly irradiating the radiation detectors 5, 6 with radiation.
  • the region of the subject H includes a soft tissue region and a bone region.
  • Soft tissue components of the human body include muscle, fat, blood, and water.
  • non-fatty tissue, including blood and water is treated as muscle.
  • the soft tissue regions of the first and second radiographic images G1, G2 contain only the soft tissue components of the subject H.
  • the bone regions of the first and second radiographic images G1, G2 are actually regions where bone components and soft tissue components are mixed.
  • Figure 19 is a diagram that shows a schematic diagram of the processing performed in a radiation image processing device according to the first embodiment of structure image derivation. Note that in Figure 19, for the sake of simplicity, the first radiation image G1 and the second radiation image G2 do not include a direct radiation region, and a rectangular bone region is included in the soft tissue region.
  • the image derivation unit 23 identifies bone regions and soft tissue regions in the first radiographic image G1 or the second radiographic image G2. To this end, the image derivation unit 23 derives attenuation characteristics related to radiation attenuation in at least the region of the subject H in the first radiographic image G1 or the second radiographic image G2, and identifies soft tissue regions and bone regions based on the attenuation characteristics in the region of the subject H.
  • the image derivation unit 23 derives a first attenuation image CL and a second attenuation image CH representing the amount of attenuation of radiation by the subject H from the first radiographic image G1 and the second radiographic image G2, respectively, and derives an attenuation ratio, which is the ratio between corresponding pixels of the first attenuation image CL and the second attenuation image CH, as the attenuation characteristics.
  • the pixel values of the first attenuated image CL represent the amount of attenuation of low-energy radiation caused by the subject H
  • the pixel values of the second attenuated image CH represent the amount of attenuation of high-energy radiation caused by the subject H.
  • the first attenuated image CL and the second attenuated image CH are derived from the first radiographic image G1 and the second radiographic image G2 by the following formulas (5) and (6).
  • Gd1 is the pixel value of the direct radiation region in the first radiographic image G1
  • Gd2 is the pixel value of the direct radiation region in the second radiographic image G2.
  • the image derivation unit 23 derives an attenuation ratio map that indicates the attenuation ratio of radiation between the first radiographic image G1 and the second radiographic image G2.
  • the attenuation ratio map M1 is derived by deriving the ratio between corresponding pixels in the first attenuation image CL and the second attenuation image CH using the following formula (7).
  • M1(x,y) CL(x,y)/CH(x,y) (7)
  • the image derivation unit 23 compares the attenuation ratio of each pixel in the attenuation ratio map M1, and identifies the region consisting of pixels whose attenuation ratio is larger than a predetermined threshold as a bone region, and identifies the region other than the bone region as a soft tissue region.
  • the image derivation unit 23 may also compare the attenuation ratio of each pixel in the attenuation ratio map M1 with its surrounding pixels, and identify the pixel with a larger attenuation ratio than the surrounding pixels as a pixel of the bone region.
  • the image derivation unit 23 derives the first component characteristics related to the attenuation of radiation based on the first radiographic image G1 and the second radiographic image G2 in the first component region, i.e., the soft tissue region, which includes only the first component of the first radiographic image G1 or the second radiographic image G2.
  • the image derivation unit 23 also derives the first component characteristics in the second component region, i.e., the bone region, based on the characteristics of the first component derived in the soft tissue region surrounding the bone region.
  • the image derivation unit 23 derives the attenuation ratio between the first radiographic image G1 and the second radiographic image G2 as the first component characteristics.
  • the attenuation ratio of the first component is derived for the bone region by interpolating the attenuation ratios of the soft tissue regions surrounding the bone region.
  • the attenuation ratio for the bone region may be derived as the median or average value of the attenuation ratios of the soft tissue regions in the attenuation ratio map M1, or a value that is a predetermined percentage from the side with the smaller attenuation ratio.
  • the image derivation unit 23 derives the first component characteristic for the region of the subject H in the first radiographic image G1 or the second radiographic image G2.
  • the characteristic of the first component is the attenuation ratio of the soft tissue region.
  • the derived characteristic of the first component is used as a soft tissue erasure coefficient K1 that erases soft tissue when deriving a bone image.
  • the image derivation unit 23 derives a first component image in which the first component is emphasized and a second component image in which the second component is emphasized based on the characteristics of the first component in the region of the subject H in the first radiological image G1 or the second radiological image G2. Specifically, the image derivation unit 23 derives a soft tissue image Gs in which the soft tissue component is emphasized and a bone image Gb in which the bone component is emphasized.
  • the image derivation unit 23 first derives an initial second component attenuation image in which the second component is emphasized, that is, an initial bone attenuation image in which the bone is emphasized, based on the first attenuation image CL, the second attenuation image CH, and the soft part elimination coefficient K1 which is a characteristic of the first component. Specifically, the image derivation unit 23 derives an initial bone attenuation image Cb0 by the following formula (8).
  • Cb0(x,y) CL(x,y)-CH(x,y) ⁇ K1(x,y) (8)
  • the pixel values of the bone region of the initial bone attenuation image Cb0 derived as described above represent the difference between the amount of attenuation in the bone region, which is obtained by replacing the amount of attenuation in the bone region with the amount of attenuation in the soft region by assuming the presence of soft region equivalent to the thickness of the bone region, and the actual amount of attenuation in the bone region.
  • the image has a lower contrast than the bone attenuation image that is originally desired to be derived.
  • the image derivation unit 23 derives the bone attenuation image Cb1 by matching the contrast of the initial bone attenuation image Cb0 with the contrast of the first attenuation image CL or the second attenuation image CH.
  • the contrast of the initial bone attenuation image Cb0 is matched with the contrast of the first attenuation image CL.
  • the image derivation unit 23 converts the contrast of the initial bone attenuation image Cb0 by multiplying the initial bone attenuation image Cb0 by a contrast conversion coefficient.
  • the image derivation unit 23 derives the correlation between the initial bone attenuation image Cb0 and the difference value ⁇ CL derived by subtracting the initial bone attenuation image Cb0 after the contrast conversion from the first attenuation image CL. Then, the contrast conversion coefficient is determined so that the correlation is minimized, and the bone attenuation image Cb1 is derived by multiplying the initial bone attenuation image Cb0 by the determined contrast conversion coefficient.
  • the body thickness of the subject H may be derived by measuring it
  • the contrast conversion coefficient may be derived from the contrast and body thickness of the initial bone attenuation image Cb0 by referring to the table
  • the initial bone attenuation image Cb0 may be converted by the derived contrast conversion coefficient to derive the bone attenuation image Cb1.
  • the image derivation unit 23 derives the soft tissue attenuation image Cs1 by subtracting the bone attenuation image Cb1 from the first attenuation image CL using the following equation (9).
  • Cs1(x,y) CL(x,y) ⁇ Cb1(x,y) (9)
  • the image derivation unit 23 derives a bone image Gb and a soft tissue image Gs by the following equations (10) and (11).
  • Gb(x,y) Gd1(x,y) ⁇ Cb1(x,y) (10)
  • Gs(x,y) Gd2(x,y) ⁇ Cs1(x,y) (11)
  • FIG. 20 is a flowchart showing the process performed in the first embodiment of the structure image derivation. It is assumed that the first and second radiographic images are acquired by the information acquisition unit 21, and the scattered radiation components are removed by the scattered radiation removal unit 22.
  • the image derivation unit 23 derives the first attenuated image CL and the second attenuated image CH from the first radiographic image G1 and the second radiographic image G2 (attenuated image derivation: step ST21), and identifies a soft tissue region containing only soft tissue components and a bone region containing bone in the first attenuated image CL or the second attenuated image CH (step ST22).
  • the image derivation unit 23 derives the characteristics of the soft tissue components related to the attenuation of the radiographic image in the soft tissue region (attenuation ratio) (step ST23). Next, the image derivation unit 23 derives the characteristics of the soft tissue components in the bone region (step ST24).
  • the image derivation unit 23 derives an initial bone attenuation image Cb0 (step ST25), and converts the contrast of the initial bone attenuation image Cb0 to derive a bone attenuation image Cb1 (step ST26). Furthermore, the image derivation unit 23 subtracts the bone attenuation image Cb1 from the first attenuation image CL to derive a soft tissue attenuation image Cs1 (step ST27). Next, the image derivation unit 23 derives a bone image Gb and a soft tissue image Gs using the above-mentioned equations (10) and (11) (step ST28), and ends the process.
  • the attenuation ratio in the bone region containing the bone components of the first radiographic image G1 or the second radiographic image G2 is derived based on the attenuation ratio of the soft tissue components derived in the soft tissue region surrounding the bone region. Then, a soft tissue image Gs in which the soft tissue components are enhanced and a bone image Gb in which the bone components are enhanced are derived based on the attenuation ratio in at least the region of the subject H of the first radiographic image G1 or the second radiographic image G2.
  • the attenuation ratio of the soft tissue components in the bone region can be derived with high accuracy, and as a result, a soft tissue image Gs and a bone image Gb in which the soft tissue components and the bone components are separated with high accuracy can be derived.
  • a first attenuation image CL and a second attenuation image CH representing the amount of attenuation of radiation are derived from the first radiographic image G1 and the second radiographic image G2, and a soft tissue image Gs and a bone image Gb are derived using the first attenuation image CL and the second attenuation image CH. Therefore, when the derived amount of attenuation is used as the soft tissue erasure coefficient K1 for erasing the soft tissue components, the soft tissue components can be effectively erased using the above formula (8). Therefore, it is possible to derive a soft tissue image Gs and a bone image Gb in which the soft tissue components and the bone components are accurately separated.
  • FIG. 21 is a diagram showing a schematic diagram of processing performed in the second embodiment of structure image derivation.
  • the image derivation unit 23 detects a bone region from the first attenuated image CL or the second attenuated image CH. Note that the bone region may be detected from the first radiographic image G1 or the second radiographic image G2.
  • the image derivation unit 23 uses a trained model constructed by machine learning a neural network to detect a bone region from a radiographic image or an attenuated image.
  • the trained model is constructed to detect a bone region by learning the bone region based on the pixel values of the radiographic image or the attenuated image.
  • the pixel values of the bone region are significantly different from the pixel values of the soft tissue region that contains only soft tissue components.
  • the bone region may be detected from the radiographic image or attenuation image by subjecting the radiographic image or attenuation image to threshold processing.
  • the shape of the bone region is specified by the difference between the pixel values of the bone region and the pixel values of the soft tissue region that contains only soft tissue components. For this reason, the bone region may be detected from the radiographic image or attenuation image by template matching using the shape of the bone region that corresponds to the part of the subject H contained in the radiographic image or attenuation image.
  • the image derivation unit 23 derives the attenuation ratio of the soft tissue components in the bone region identified based on the pixel values of the radiographic image or attenuation image as described above.
  • the processing subsequent to the derivation of the attenuation ratio of the soft tissue components in the bone region is the same as in the first embodiment of the structure image derivation described above, and therefore a detailed description thereof will be omitted here.
  • the initial bone attenuated image Cb0, the bone attenuated image Cb1, and the soft tissue attenuated image Cs1 are derived using the first attenuated image CL, the second attenuated image CH, and the soft tissue erasure coefficient K1, and then the bone image Gb and the soft tissue image Gs are derived, but this is not limited to this.
  • the bone image Gb and the soft tissue image Gs may be derived by the following formulas (12) and (13) using the first radiographic image G1, the second radiographic image G2, and the soft tissue erasure coefficient K1.
  • Gb(x,y) G1(x,y) ⁇ K1(x,y) ⁇ G2(x,y) (12)
  • Gs(x,y) G1(x,y) ⁇ Gb(x,y) (13)
  • the attenuation ratio of the soft part component is derived as a characteristic of the first component, but the third embodiment differs from the first embodiment in that the soft part attenuation coefficient, which is the attenuation coefficient due to the soft part components of low-energy radiation and high-energy radiation, is derived as a characteristic of the first component.
  • FIG. 22 is a diagram showing a schematic diagram of the process performed in the third embodiment of structure image derivation.
  • the process up to the point where the image derivation unit 23 derives the first attenuated image CL and the second attenuated image CH is the same as in the first and second embodiments, so a detailed description is omitted here.
  • the image derivation unit 23 derives the fat percentage at each pixel position of the first and second radiographic images G1, G2 using the attenuation coefficients of fat and muscle for high-energy radiation and low-energy radiation, respectively. Then, the image derivation unit 23 identifies the bone region and the soft tissue region based on the derived fat percentage.
  • the amount of attenuation of radiation by subject H is determined depending on the thickness and radiation quality (high energy or low energy) of soft tissue and bone. For this reason, if the attenuation coefficient representing the attenuation rate per unit thickness is ⁇ , the amounts of attenuation CL0, CH0 of radiation at each pixel position in the low-energy image and the high-energy image, respectively, can be expressed by the following formulas (14) and (15).
  • ts is the thickness of the soft tissue
  • tb is the thickness of the bone
  • ⁇ Ls is the soft-tissue attenuation coefficient of low-energy radiation
  • ⁇ Lb is the bone attenuation coefficient of low-energy radiation
  • ⁇ HS is the soft-tissue attenuation coefficient of high-energy radiation
  • ⁇ HB is the bone attenuation coefficient of high-energy radiation.
  • formulas (14) and (15) the amount of attenuation CL0 of the low-energy image corresponds to the pixel value of the first attenuation image CL, and the amount of attenuation CH0 of the high-energy image corresponds to the pixel value of the second attenuation image CH. Therefore, formulas (14) and (15) are expressed by the following formulas (16) and (17). Note that formulas (14) to (17) all express the relationship between the pixels of the first attenuation image CL and the second attenuation image CH, but omit (x, y) representing the pixel position.
  • the soft tissue thickness ts and the bone thickness tb can be derived.
  • the soft tissue attenuation coefficients ⁇ Ls, ⁇ Hs and the bone attenuation coefficients ⁇ Lb, ⁇ Hb for low-energy radiation and high-energy radiation, respectively are required.
  • the bone attenuation coefficients ⁇ Lb, ⁇ Hb depending on the soft tissue thickness ts and the bone thickness tb can be prepared in advance.
  • the image derivation unit 23 uses the first attenuation image CL and the second attenuation image CH to derive the soft tissue attenuation coefficient ⁇ Ls for low-energy radiation and the soft tissue attenuation coefficient ⁇ Hs for high-energy radiation.
  • the derivation of the soft tissue attenuation coefficients ⁇ Ls and ⁇ Hs is explained below.
  • the soft part attenuation coefficient is derived on the premise that the highest density composition of the soft part is muscle and the lowest density composition is fat, and that the mixed composition of fat and muscle has an intermediate value between the attenuation coefficients of the two.
  • the image derivation unit 23 calculates the provisional soft part attenuation coefficients ⁇ 0Ls and ⁇ 0Hs for low-energy radiation and high-energy radiation, respectively, by setting the fat ratio at each pixel position to N%, and weighting and adding the fat attenuation coefficient and the muscle attenuation coefficient in a ratio of N:100-N while sequentially increasing N from 0.
  • the attenuation coefficient changes due to the influence of the radiation hardening of the component (usually fat) present on the side of the radiation source 3, but in this embodiment, the influence of the radiation hardening is not taken into consideration. For this reason, the fat ratio N% used in this embodiment does not match the actual body fat percentage of the subject H.
  • the processing is based on the assumption that the actual soft tissue attenuation coefficient is a value between the fat attenuation coefficient and the muscle attenuation coefficient shown in Figure 23.
  • the image derivation unit 23 calculates the attenuation amount CHN1 of the high-energy radiation using the body thickness TN calculated using formula (18) and the provisional soft tissue attenuation coefficient ⁇ Hs for the high-energy radiation using the following formula (19). Then, the image derivation unit 23 calculates a difference value ⁇ CH by subtracting the second attenuation image CH from the attenuation amount CHN1 using the following formula (20).
  • CHN1(x,y) TN(x,y) ⁇ 0Hs(x,y) (19)
  • ⁇ CH(x,y) CHN1(x,y) ⁇ CH(x,y) (20)
  • the image derivation unit 23 calculates the provisional soft part attenuation coefficients ⁇ 0Ls, ⁇ 0Hs for all pixels of the first attenuation image CL and the second attenuation image CH while changing N so that the difference value ⁇ CH approaches 0.
  • N is determined as the fat percentage for that pixel.
  • the image derivation unit 23 also determines the provisional soft part attenuation coefficients ⁇ 0Ls, ⁇ 0Hs when calculating the determined fat percentage N as the soft part attenuation coefficients ⁇ Ls, ⁇ Hs. If the difference value ⁇ CH is negative, the fat percentage N is increased, and if the difference value ⁇ CH is positive, the fat percentage N is decreased.
  • the fat percentage is a value close to 0 or a negative value. If the subject H is a human, the fat percentage cannot be 0 or a negative value. For this reason, the image derivation unit 23 identifies regions consisting of pixels in which the fat percentage N in the first radiographic image G1 and the second radiographic image G2 is a value close to 0 (for example, a value less than a predetermined threshold value) or a negative value as bone regions in the first radiographic image G1 and the second radiographic image G2. The image derivation unit 23 also identifies regions other than bone regions in the first radiographic image G1 and the second radiographic image G2 as soft tissue regions.
  • the image derivation unit 23 derives the soft tissue attenuation coefficients ⁇ Ls, ⁇ Hs as the characteristics of the first component.
  • the image derivation unit 23 derives the soft tissue attenuation coefficients ⁇ Ls, ⁇ Hs in the bone region by interpolating the soft tissue attenuation coefficients of the soft tissue regions surrounding the bone region.
  • the soft tissue attenuation coefficients ⁇ Ls, ⁇ Hs in the soft tissue region may be derived as the median or average value or a value that is a predetermined percentage from the side with the smaller attenuation coefficient as the soft tissue attenuation coefficients ⁇ Ls, ⁇ Hs for the bone region. In this way, the image derivation unit 23 derives the characteristics of the first component for at least the region of the subject H in the first radiographic image G1 or the second radiographic image G2.
  • the image derivation unit 23 derives a soft tissue image Gs in which the soft tissue components are enhanced and a bone image Gb in which the bone components are enhanced.
  • the image derivation unit 23 derives the soft tissue thickness ts and the bone thickness tb based on the soft tissue attenuation coefficients ⁇ Ls, ⁇ Hs derived and the bone attenuation coefficients ⁇ Lb, ⁇ Hb derived in advance, and derives the soft tissue image Gs and the bone image Gb based on the derived soft tissue thickness ts and bone thickness tb.
  • the above equations (16) and (17) are used to derive the soft tissue thickness ts and the bone thickness tb.
  • the image derivation unit 23 derives the soft tissue thickness ts and the bone thickness tb by solving equations (16) and (17) using the soft tissue thickness ts and the bone thickness tb as variables. Note that the derived soft tissue thickness ts and bone thickness tb are derived for each pixel of the first attenuation image CL and the second attenuation image CH, but in the following explanation, (x, y) representing the pixel position is omitted.
  • Figure 24 is a diagram showing the relationship of the amount of attenuation depending on the thickness of the bone and the thickness of the soft tissue.
  • the amount of attenuation 83 shows the amount of attenuation that is the pixel value of the low-energy image and the amount of attenuation that is the pixel value of the high-energy image derived by actually photographing a subject.
  • the amount of attenuation 83 the amount of attenuation that is the pixel value of the low-energy image and the amount of attenuation that is the pixel value of the high-energy image are given the same symbols CL and CH as the first attenuation image and the second attenuation image, respectively.
  • the pixel value, i.e., the amount of attenuation, of the first attenuation image (here, assumed to be a provisional first attenuation image CL') derived by equation (16) is smaller than the pixel value of the first attenuation image CL derived from the actual thickness of the bone and the thickness of the soft tissue, as shown by the amount of attenuation 84 in FIG. 24 (i.e., CL>CL').
  • the image derivation unit 23 derives the bone thickness tb and the soft tissue thickness ts as follows.
  • a provisional soft tissue thickness tsk is calculated using the pixel value of the second attenuation image CH and the soft tissue attenuation coefficient ⁇ Hs derived for each pixel. Note that 0 is used as the initial value of the provisional bone thickness tbk.
  • Step 2 a provisional first attenuation image CL' is calculated according to the above formula (16) using the calculated provisional soft tissue thickness tsk, provisional bone thickness tbk, soft tissue attenuation coefficient ⁇ Ls and bone attenuation coefficient ⁇ Lb for low-energy radiation.
  • Step 3 a difference value ⁇ CL between the provisional first attenuation image CL′ and the first attenuation image CL is calculated.
  • the difference value ⁇ CL is assumed to be a pixel value of the radiation attenuated by the bone, and the provisional thickness tbk of the bone is updated.
  • a provisional second attenuation image CH' is calculated by the above formula (17) using the updated provisional bone thickness tsk and provisional soft tissue thickness tbk.
  • Step 5 a difference value ⁇ CH between the provisional second attenuation image CH' and the provisional second attenuation image CH is calculated.
  • the difference value ⁇ CH is assumed to be a pixel value of the amount of radiation attenuated by the soft tissue, and the provisional thickness tsk of the soft tissue is updated.
  • steps 1 to 5 is repeated until the absolute values of the difference values ⁇ CL and ⁇ CH become less than a predetermined threshold value, thereby deriving the thickness ts of the soft part and the thickness tb of the bone part.
  • the process of steps 1 to 5 may be repeated a predetermined number of times to derive the thickness ts of the soft part and the thickness tb of the bone part.
  • the image derivation unit 23 derives a soft tissue image Gs based on the derived soft tissue thickness ts, and derives a bone image Gb based on the derived bone thickness tb.
  • the soft tissue image Gs has pixel values whose size corresponds to the soft tissue thickness ts
  • the bone image Gb has pixel values whose size corresponds to the bone thickness tb.
  • FIG. 25 is a flowchart showing the process performed in the third embodiment of the structure image derivation. It is assumed that the first and second radiographic images are acquired by the information acquisition unit 21, and the scattered radiation components are removed by the scattered radiation removal unit 22.
  • the image derivation unit 23 derives the first attenuated image CL and the second attenuated image CH from the first radiographic image G1 and the second radiographic image G2 (attenuated image derivation: step ST31), and identifies a soft tissue region containing only soft tissue components and a bone region containing bone in the first attenuated image CL or the second attenuated image CH (step ST32).
  • the image derivation unit 23 derives the characteristics of the soft tissue components related to the attenuation of the radiographic image in the soft tissue region (soft tissue attenuation coefficient) (step ST33). Next, the image derivation unit 23 derives the characteristics of the soft tissue components in the bone region (step ST34).
  • the image derivation unit 23 derives the soft tissue thickness ts and the bone thickness tb (step ST35), derives the bone image Gb and the soft tissue image Gs from the soft tissue thickness ts and the bone thickness tb (step ST36), and ends the process.
  • a soft tissue attenuation coefficient is derived based on the characteristics of the soft tissue components derived in the soft tissue region surrounding the bone region, i.e., the soft tissue attenuation coefficient.
  • a soft tissue image Gs in which the soft tissue components are enhanced and a bone image Gb in which the bone components are enhanced are derived based on the soft tissue attenuation coefficient in at least the region of the subject H in the first radiographic image G1 or the second radiographic image G2.
  • FIG. 26 is a diagram showing a schematic diagram of processing performed in the fourth embodiment of structure image derivation.
  • the image derivation unit 23 detects a bone region from the first attenuation image CL or the second attenuation image CH. Note that the bone region may be detected from the first radiographic image G1 or the second radiographic image G2.
  • the image derivation unit 23 uses a trained model constructed by machine learning a neural network to detect a bone region from a radiographic image or an attenuation image, as in the second embodiment.
  • the trained model is constructed to detect a bone region by learning the bone region based on the pixel values of the radiographic image or the attenuation image.
  • the bone region may be detected from the radiographic image or attenuation image by subjecting the radiographic image or attenuation image to threshold processing.
  • the shape of the bone region is specified by the difference between the pixel values of the bone region and the pixel values of the soft tissue region containing only soft tissue components. For this reason, the bone region may be detected from the radiographic image or attenuation image by template matching using the shape of the bone region corresponding to the part of the subject H contained in the radiographic image or attenuation image.
  • the image derivation unit 23 derives the soft tissue attenuation coefficient in the bone region identified based on the pixel values of the radiographic image or attenuation image as described above.
  • the process after deriving the soft tissue attenuation coefficient in the bone region is the same as in the third embodiment of the structure image derivation, and therefore a detailed description is omitted here.
  • the first attenuation image CL and the second attenuation image CH are used to derive the soft tissue attenuation coefficient to derive the bone image Gb and the soft tissue image Gs, but this is not limited to this.
  • the soft tissue attenuation coefficient may be derived from the first radiographic image G1 and the second radiographic image G2, and the bone thickness and soft tissue thickness may be derived to derive the bone image Gb and the soft tissue image Gs.
  • the radiation in the above embodiment is not particularly limited, and in addition to X-rays, alpha rays, gamma rays, etc. can be used.
  • the various processors shown below can be used as the hardware structure of the processing unit that executes various processes, such as the information acquisition unit 21, scattered radiation removal unit 22, image derivation unit 23, information derivation unit 24, learning unit 25, teacher data derivation unit 26, and display control unit 27.
  • the various processors include a CPU, which is a general-purpose processor that executes software (programs) and functions as various processing units, as well as programmable logic devices (PLDs), which are processors whose circuit configuration can be changed after manufacture, such as FPGAs (Field Programmable Gate Arrays), and dedicated electrical circuits, such as ASICs (Application Specific Integrated Circuits), which are processors with a circuit configuration designed specifically to execute specific processes.
  • a CPU which is a general-purpose processor that executes software (programs) and functions as various processing units, as well as programmable logic devices (PLDs), which are processors whose circuit configuration can be changed after manufacture, such as FPGAs (Field Programmable Gate Arrays), and dedicated electrical circuits,
  • a single processing unit may be configured with one of these various processors, or may be configured with a combination of two or more processors of the same or different types (e.g., a combination of multiple FPGAs or a combination of a CPU and an FPGA). Also, multiple processing units may be configured with a single processor.
  • Examples of configuring multiple processing units with a single processor include, first, a form in which one processor is configured with a combination of one or more CPUs and software, as typified by client and server computers, and this processor functions as multiple processing units. Secondly, a form in which a processor is used to realize the functions of the entire system, including multiple processing units, with a single IC (Integrated Circuit) chip, as typified by System On Chip (SoC). In this way, the various processing units are configured as a hardware structure using one or more of the various processors listed above.
  • SoC System On Chip
  • the hardware structure of these various processors can be an electrical circuit that combines circuit elements such as semiconductor elements.
  • At least one processor At least one processor; The processor, obtaining a structure image representing at least one structure within a subject based on at least one radiation image of the subject; An image processing device that derives the deviation angle of the structure included in the structure image from a reference position and the composition information of the structure at the reference position by using a trained model that outputs estimated results of the deviation angle of the radiation from a reference position for the structure included in the structure image and the composition information of the structure at the reference position when the structure image is input.
  • the processor acquires a first radiographic image and a second radiographic image obtained by imaging a subject including a bone and a soft tissue with radiation having different energy distributions; 2.
  • the image processing device according to claim 1, wherein the structure image is derived by performing weighted subtraction between the first radiographic image and the second radiographic image.
  • the processor removes scattered radiation components from the first radiation image and the second radiation image to derive a first primary radiation image and a second primary radiation image;
  • the image processing device which derives the structure image based on the first primary line image and the second primary line image.
  • the structure is a bone portion included in the subject, 4.
  • the image processing device according to claim 1, wherein the composition information is bone density.
  • the image processing device is a femur. (Additional Note 6) 5.
  • the image processing device wherein the bone portion is a vertebra.
  • the structure is a soft part included in the subject, 7.
  • the image processing device according to claim 1, wherein the composition information is a thickness of the soft portion.
  • At least one processor The processor, training a neural network using training data including a learning structure image including at least one structure within a subject, a deviation angle of radiation from a reference position for the structure included in the learning structure image, and composition information at the reference position for the structure included in the learning structure image;
  • the learning device constructs a trained model that, when a structure image including at least one structure within a subject is input, outputs an estimated result of the deviation angle of radiation from a reference position for the structure included in the structure image and composition information of the structure at the reference position.
  • the processor derives the learning structure image by projecting the structure included in the three-dimensional image of the subject based on a deviation angle with respect to the reference position;
  • the learning device described in appendix 8 derives the teacher data by deriving composition information of the structure when the structure included in the three-dimensional image is projected in a reference direction in which the structure is at a reference position, as composition information of the structure at the reference position.
  • the structure is a bone portion
  • the processor derives a three-dimensional bone density of the bone portion included in the three-dimensional image, Multiplying the three-dimensional bone density by the thickness of the bone portion in the reference direction,
  • the learning device which derives two-dimensional bone density of the bone portion as composition information at the reference position of the structure.
  • Additional Item 11 obtaining a structure image representing at least one structure within a subject based on at least one radiation image of the subject; An image processing method for deriving a deviation angle of the structure contained in the structure image from a reference position and composition information of the structure at the reference position by using a trained model that outputs estimated results of a deviation angle of radiation from a reference position for the structure contained in the structure image and composition information of the structure at the reference position when the structure image is input.
  • Additional Item 12 training a neural network using training data including a learning structure image including at least one structure within a subject, a deviation angle of radiation from a reference position for the structure included in the learning structure image, and composition information at the reference position for the structure included in the learning structure image;
  • a learning method in which, by inputting a structure image including at least one structure within a subject, a trained model is constructed which outputs an estimated result of the deviation angle of radiation from a reference position for the structure included in the structure image and composition information of the structure at the reference position.
  • Additional Item 13 acquiring a structure image representing at least one structure within a subject based on at least one radiation image of the subject; and a procedure for deriving a deviation angle of the structure included in the structure image from a reference position and composition information of the structure at the reference position by using a trained model that outputs estimated results of a deviation angle of radiation from a reference position for the structure included in the structure image and composition information of the structure at the reference position, the procedure being based on an input of the structure image.
  • (Additional Item 14) a step of training a neural network using training data including a training structure image including at least one structure within a subject, a deviation angle of radiation from a reference position for the structure included in the training structure image, and composition information at the reference position for the structure included in the training structure image; and constructing a trained model that, when a structure image including at least one structure within a subject is input, outputs an estimated result of the deviation angle of radiation from a reference position for the structure included in the structure image and composition information of the structure at the reference position.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Rheumatology (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

プロセッサは、被写体の少なくとも1つの放射線画像に基づいて、被写体内の少なくとも1つの構造物を表す構造物画像を取得し、構造物画像の入力により、構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角および構造物の基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、構造物画像に含まれる構造物の基準位置に対するずれ角および構造物の基準位置における組成情報を導出する。

Description

画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム
 本発明は、画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム
 従来より、被写体を構成する物質によって透過した放射線の減衰量が異なることを利用して、エネルギー分布が異なる2種類の放射線を被写体に照射して得られた2枚の放射線画像を用いたエネルギーサブトラクション処理が知られている。また、エネルギーサブトラクション処理により、骨密度、軟部の厚さ、脂肪の厚さおよび筋肉の厚さ等の人体の組成情報を導出するための各種手法も提案されている(例えば、国際公開第2020/166561号参照)。
 このような組成情報を用いた被写体の診断を有効に行うためには、撮影時における放射線の透過経路に対する被写体のポジショニングの関係が重要となる。例えば、被写体の正面から放射線を照射する場合において、被写体が旋回することにより被写体のポジションが変化すると、被写体に対する放射線の入射角が基準となる入射角からずれ、その結果、放射線の透過経路上における被写体の厚さが変化する。このように被写体の厚さが変化すると、異なったポジションで撮影された放射線画像同士で組成情報の比較を正確に行うことができない。また、撮影時において被写体のポジショニングを正確に行おうとすると、撮影に時間を要する。
 本開示は上記事情に鑑みなされたものであり、被写体のポジショニングに拘わらず組成を精度よく導出できるようにすることを目的とする。
 本開示による画像処理装置は、少なくとも1つのプロセッサを備え、
 プロセッサは、被写体の少なくとも1つの放射線画像に基づいて、被写体内の少なくとも1つの構造物を表す構造物画像を取得し、
 構造物画像の入力により、構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角および構造物の基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、構造物画像に含まれる構造物の基準位置に対するずれ角および構造物の基準位置における組成情報を導出する。
 なお、本開示による画像処理装置においては、プロセッサは、エネルギー分布が異なる放射線により骨部および軟部を含む被写体を撮影することにより取得された第1の放射線画像および第2の放射線画像を取得し、
 第1の放射線画像および第2の放射線画像を重み付け減算することにより、構造物画像を導出するものであってもよい。
 また、本開示による画像処理装置においては、プロセッサは、第1の放射線画像および第2の放射線画像の散乱線成分を除去して第1の一次線画像および第2の一次線画像を導
出し、
 第1の一次線画像および第2の一次線画像に基づいて、構造物画像を導出するものであってもよい。
 また、本開示による画像処理装置においては、構造物は被写体に含まれる骨部であり、
 組成情報は骨密度であってもよい。
 この場合、骨部は大腿骨であってもよく、椎骨、とくに腰椎であってもよい。
 また、本開示による画像処理装置においては、構造物は、被写体に含まれる軟部であり、
 組成情報は軟部の厚さであってもよい。
 本開示による学習装置は、少なくとも1つのプロセッサを備え、
 プロセッサは、被写体内の少なくとも1つの構造物を含む学習用構造物画像、学習用構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角、学習用構造物画像に含まれる構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習し、
 学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角および構造物の基準位置における組成情報の推定結果を出力する学習済みモデルを構築する。
 なお、本開示による学習装置においては、プロセッサは、被写体の3次元画像に含まれる構造物を基準位置に対するずれ角に基づいて投影することにより学習用構造物画像を導出し、
 3次元画像に含まれる構造物を構造物が基準位置となる基準方向に投影した場合における構造物の組成情報を、構造物の基準位置における組成情報として導出することにより、教師データを導出するものであってもよい。
 また、本開示による学習装置においては、構造物は骨部であり、
 プロセッサは、3次元画像に含まれる骨部の3次元的な骨密度を導出し、
 3次元的な骨密度に骨部の基準方向における厚さを乗算することにより、骨部の2次元的な骨密度を構造物の基準位置における組成情報として導出するものであってもよい。
 本開示による画像処理方法は、被写体の少なくとも1つの放射線画像に基づいて、被写体内の少なくとも1つの構造物を表す構造物画像を取得し、
 構造物画像の入力により、構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角および構造物の基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、構造物画像に含まれる構造物の基準位置に対するずれ角および構造物の基準位置における組成情報を導出する。
 本開示による学習方法は、被写体内の少なくとも1つの構造物を含む学習用構造物画像、学習用構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角、学習用構造物画像に含まれる構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習し、
 学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角および構造物の基準位置における組成情報の推定結果を出力する学習済みモデルを構築する。
 本開示による画像処理プログラムは、被写体の少なくとも1つの放射線画像に基づいて、被写体内の少なくとも1つの構造物を表す構造物画像を取得する手順と、
 構造物画像の入力により、構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角および構造物の基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、構造物画像に含まれる構造物の基準位置に対するずれ角および構造物の基準位置における組成情報を導出する手順とをコンピュータに実行させる。
 本開示による学習プログラムは、被写体内の少なくとも1つの構造物を含む学習用構造物画像、学習用構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角、学習用構造物画像に含まれる構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習する手順と、
 学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、構造物画像に含まれる構造物についての基準位置に対する放射線のずれ角および構造物の基準位置における組成情報の推定結果を出力する学習済みモデルを構築する手順とをコンピュータに実行させる。
 本開示によれば、被写体のポジショニングに拘わらず組成を精度よく導出できる。
本開示の実施形態による画像処理装置および学習装置を適用した放射線画像撮影システムの構成を示す概略ブロック図 本開示の実施形態による画像処理装置および学習装置の概略構成を示す図 本開示の実施形態による画像処理装置および学習装置の機能的な構成を示す図 骨部画像を示す図 大腿骨に対する放射線のずれ角を説明するための図 被写体の体厚に対する骨部と軟部とのコントラストの関係を示す図 ルックアップテーブルの一例を示す図 大腿骨に対する放射線のずれ角Tと骨密度との関係を示すグラフ 学習済みモデルの例を示す図 教師データを示す図 ニューラルネットワークの学習を説明するための図 教師データの導出を説明するための図 CT値と体積骨密度との換算テーブルを示す図 投影面の設定を説明するための図 表示画面を示す図 本実施形態において行われる学習処理のフローチャート 本実施形態において行われる画像処理のフローチャート 学習済みモデルの他の例を示す図 構造物画像導出の第1の実施形態において行われる処理を模式的に示す図 構造物画像導出の第1の実施形態において行われる処理を示すフローチャート 構造物画像導出の第2の実施形態による放射線画像処理装置において行われる処理を模式的に示す図 構造物画像導出の第3の実施形態による放射線画像処理装置において行われる処理を模式的に示す図 脂肪および筋肉の減弱係数を示す図 高エネルギー画像および低エネルギー画像における骨部の厚さおよび軟部の厚さに応じた減弱量を示す図 構造物画像導出の第3の実施形態において行われる処理を示すフローチャート 構造物画像導出の第4の実施形態による放射線画像処理装置において行われる処理を模式的に示す図
 以下、図面を参照して本開示の実施形態について説明する。図1は本開示の実施形態による画像処理装置および学習装置を適用した放射線画像撮影システムの構成を示す概略ブロック図である。図1に示すように、本実施形態による放射線画像撮影システムは、撮影装置1と、本実施形態による画像処理装置および学習装置(以下、画像処理装置で代表させる場合があるものとする)10とを備える。
 撮影装置1は、第1の放射線検出器5および第2の放射線検出器6に、放射線源3から発せられ、被写体Hを透過したX線等の放射線を、それぞれエネルギーを変えて照射するいわゆる1ショット法によるエネルギーサブトラクションを行うための撮影装置である。撮影時においては、図1に示すように、放射線源3に近い側から順に、第1の放射線検出器5、銅板等からなる放射線エネルギー変換フィルタ7、および第2の放射線検出器6を配置して、放射線源3を駆動させる。なお、第1および第2の放射線検出器5,6と放射線エネルギー変換フィルタ7とは密着されている。
 これにより、第1の放射線検出器5においては、いわゆる軟線も含む低エネルギーの放射線による被写体Hの第1の放射線画像G1が取得される。また、第2の放射線検出器6においては、軟線が除かれた高エネルギーの放射線による被写体Hの第2の放射線画像G2が取得される。なお、第1および第2の放射線画像G1,G2は、いずれも被写体Hに1回放射線を照射する単純撮影により取得された被写体の透過像である2次元画像である。このため、第1および第2の放射線画像G1,G2はいずれも単純放射線画像である。第1および第2の放射線画像は、画像処理装置10に入力される。
 第1および第2の放射線検出器5,6は、放射線画像の記録および読み出しを繰り返して行うことができるものであり、放射線の照射を直接受けて電荷を発生する、いわゆる直接型の放射線検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、TFT(thin film transistor)スイッチをオン・オフさせることによって放射線画像信号が読み出される、いわゆるTFT読出方式のもの、または読取り光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。
 なお、画像処理装置10は、不図示のネットワークを介して画像保存システム9と接続されている。
 画像保存システム9は、撮影装置1により撮影された放射線画像の画像データを保存するシステムである。画像保存システム9は、保存している放射線画像から、画像処理装置10からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム9の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。本実施形態においては、画像保存システム9には、後述するように教師データを導出するための被写体の3次元画像V0が保存されている。3次元画像V0は、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等により取得することができる。本実施形態においては、3次元画像V0としてCT画像が保存されているものとする。なお、画像保存システム9は、後述するように導出された教師データを保存するものであってもよい。
 次いで、本実施形態に係る画像処理装置について説明する。まず、図2を参照して、本実施形態に係る画像処理装置のハードウェア構成を説明する。図2に示すように、画像処理装置10は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を備える。また、画像処理装置10は、液晶ディスプレイ等のディスプレイ14、キーボードおよびマウス等の入力デバイス15、並びに不図示のネットワークに接続されるネットワークI/F(InterFace)17を備える。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
 ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、画像処理装置10にインストールされた画像処理プログラム12Aおよび学習プログラム12Bが記憶される。CPU11は、ストレージ13から画像処理プログラム12Aおよび学習プログラム12Bを読み出してメモリ16に展開し、展開した画像処理プログラム12Aおよび学習プログラム12Bを実行する。
 なお、画像処理プログラム12Aおよび学習プログラム12Bは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置10を構成するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体から画像処理装置10を構成するコンピュータにインストールされる。
 次いで、本実施形態による画像処理装置および学習装置の機能的な構成を説明する。図3は、本実施形態による画像処理装置および学習装置の機能的な構成を示す図である。図3に示すように、画像処理装置10は、情報取得部21、散乱線除去部22、画像導出部23、情報導出部24、学習部25、教師データ導出部26および表示制御部27を備える。そして、CPU11は、画像処理プログラム12Aを実行することにより、情報取得部21、散乱線除去部22、画像導出部23、情報導出部24および表示制御部27として機能する。また、CPU11は、学習プログラム12Bを実行することにより、学習部25および教師データ導出部26として機能する。
 情報取得部21は、撮影装置1に被写体Hの撮影を行わせることにより、第1および第2の放射線検出器5,6から、例えば被写体Hの股間付近の正面像である第1の放射線画像G1および第2の放射線画像G2を取得する。第1の放射線画像G1および第2の放射線画像G2の取得に際しては、撮影線量、菅電圧、放射線源3と第1および第2の放射線検出器5,6の表面との距離であるSID(Source Image receptor Distance)、放射線源3と被写体Hの表面との距離であるSOD(Source Object Distance)、並びに散乱線除去グリッドの有無などの撮影条件が設定される。
 SODおよびSIDについては、後述するように体厚分布の算出に用いられる。SODについては、例えば、TOF(Time Of Flight)カメラで取得することが好ましい。SIDについては、例えば、ポテンショメーター、超音波距離計およびレーザー距離計等で取得することが好ましい。
 撮影条件は、操作者による入力デバイス15からの入力により設定すればよい。設定された撮影条件は、ストレージ13に保存される。
 なお、本実施形態においては、画像処理プログラム12Aとは別個のプログラムにより第1および第2の放射線画像G1,G2を取得してストレージ13に保存するようにしてもよい。この場合、情報取得部21は、ストレージ13に保存された第1および第2の放射線画像G1,G2を処理のためにストレージ13から読み出すことにより取得する。
 また、情報取得部21は、画像保存システム9からネットワークI/F17を介して、後述するニューラルネットワークを学習するための教師データを取得する。また、後述するように教師データを導出するための3次元画像V0を取得する。
 ここで、第1の放射線画像G1および第2の放射線画像G2の各々には、被写体Hを透過した放射線の一次線成分以外に、被写体H内において散乱された放射線に基づく散乱線成分が含まれる。散乱線除去部22は、第1の放射線画像G1および第2の放射線画像G2から散乱線成分を除去する。例えば、散乱線除去部22は、特開2015-043959号公報に記載された手法を適用して、第1の放射線画像G1および第2の放射線画像G2から散乱線成分を除去してもよい。特開2015-043959号公報に記載された手法等を用いる場合、被写体Hの体厚分布の導出および散乱線成分を除去するための散乱線成分の導出が同時に行われる。
 以下、第1の放射線画像G1からの散乱線成分の除去について説明するが、第2の放射線画像G2からの散乱線成分の除去も同様に行うことができる。まず、散乱線除去部22は、初期体厚分布T0(x,y)を有する被写体Hの仮想モデルKを取得する。仮想モデルKは、初期体厚分布T0(x,y)に従った体厚が、第1の放射線画像G1の各画素の座標位置に対応付けられた、被写体Hを仮想的に表すデータである。なお、初期体厚分布T0(x,y)を有する被写体Hの仮想モデルKは、ストレージ13に予め記憶されていてもよい。また、撮影条件に含まれるSIDとSODに基づいて、被写体Hの初期体厚分布T0(x、y)を算出してもよい。この場合、体厚分布は、SIDからSODを減算することにより求めることができる。
 次に、散乱線除去部22は、仮想モデルKに基づいて、仮想モデルKの撮影により得られる一次線画像を推定した推定一次線画像と、仮想モデルKの撮影により得られる散乱線画像を推定した推定散乱線画像とを合成した画像を、被写体Hの撮影により得られた第1の放射線画像G1を推定した推定画像として生成する。
 次に、散乱線除去部22は、推定画像と第1の放射線画像G1との違いが小さくなるように仮想モデルKの初期体厚分布T0(x,y)を修正する。散乱線除去部22は、推定画像と第1の放射線画像G1との違いが予め定められた終了条件を満たすまで推定画像の生成および体厚分布の修正を繰り返し行う。散乱線除去部22は、終了条件を満たした際の体厚分布を、被写体Hの体厚分布T(x,y)として導出する。また、散乱線除去部22は、終了条件を満たした際の散乱線成分を第1の放射線画像G1から減算することにより、第1の放射線画像G1に含まれる散乱線成分を除去する。なお、以降の処理における第1および第2の放射線画像G1,G2は散乱線成分が除去されたものである。
 画像導出部23は、エネルギーサブトラクション処理を行うことにより、第1および第2の放射線画像G1,G2から、被写体Hの骨部が抽出された骨部画像を導出する。骨部が本開示の構造物の一例であり、骨部画像が本開示の構造物画像の一例である。骨部画像Gbを導出する場合には、画像導出部23は、第1および第2の放射線画像G1,G2に対して、下記の式(1)に示すように、それぞれ対応する画素間での重み付け減算を行うことにより、図4に示すように、各放射線画像G1,G2に含まれる被写体Hの骨部が抽出された骨部画像Gbを導出する。式(1)においてβ1は重み付け係数である。
 Gb(x、y)=G1(x、y)-β1×G2(x、y)  (1)
 情報導出部24は、学習済みモデル24Aを用いて骨部画像Gbに含まれる骨部の基準位置に対するずれ角および骨部の基準位置における組成情報を導出する。本実施形態においては、骨部は大腿骨であり、組成情報は大腿骨の骨密度とする。また、本実施形態において、左右どちらか片側の大腿骨を正面仰臥位前後で撮影する場合に、一般的に好ましいとされるポジショニングを基準位置とする。例えば、骨盤前額面を水平にし、撮影する側の股関節部を放射線検出器5,6の受像面中心に合わせ、下肢は伸展位で軽度内旋位にしたポジショニングを基準位置とする。そして基準位置にポジショニングされた被写体Hを撮影した際、被写体Hに入射する放射線の入射角を基準入射角とする。本実施形態において、基準入射角は0度とする。
 基準位置に対するずれ角とは、被写体Hの撮影時に実際に被写体Hに入射した放射線の入射角の基準入射角に対する角度のずれをいう。ずれ角は、天頂角および方位角の2方向により表されるが、本実施形態においては、ずれ角とは、大腿骨の長軸周りの角度のずれを意味するものとする。
 ここで、骨部に対する放射線の入射角が基準入射角からずれると、骨部が基準位置から回旋した状態で放射線画像に含まれることとなる。例えば、大腿骨の場合、下肢が回旋して、大腿骨が基準位置よりも内旋または外旋した状態で放射線画像に含まれることとなる。
 図5は大腿骨に対する放射線のずれ角を説明するための図である。本実施形態においては、図5(B)に示すように、基準位置にポジショニングされた被写体Hの大腿骨30に対する放射線の入射角が基準入射角である。この場合、ずれ角は0度である。
 図5(A)に示すように、大腿骨30に対する放射線の入射角が基準入射角からずれると、放射線画像においては大腿骨30が内旋した状態で含まれる。この状態においてはずれ角として負の値を用いる。例えば、図5(A)に示すずれ角は-20度である。また、図5(A)に示す方向とは逆の方向に放射線の入射角が基準入射角からずれると、放射線画像においては大腿骨30が外旋した状態で含まれる。この状態においてはずれ角として正の値を用いる。例えば、図5(C)に示すずれ角は+20度である。
 骨密度は骨塩量と同じものを意味し、単位はg/cm2である。骨密度は骨部画像Gb
の画素値に基づいて導出される。ここで、放射線源3における管電圧が高く、放射線源3から放射される放射線が高エネルギーであるほど、放射線画像における軟部と骨部とのコントラストが小さくなる。また、放射線が被写体Hを透過する過程において、放射線の低エネルギー成分が被写体Hに吸収され、放射線が高エネルギー化するビームハードニングが生じる。ビームハードニングによる放射線の高エネルギー化は、被写体Hの体厚が大きいほど大きくなる。
 図6は被写体Hの体厚に対する骨部と軟部とのコントラストの関係を示す図である。なお、図6においては、80kV、90kVおよび100kVの3つの管電圧における、被写体Hの体厚に対する骨部と軟部とのコントラストの関係を示している。図6に示すように、管電圧が高いほどコントラストは低くなる。また、被写体Hの体厚がある値を超えると、体厚が大きいほどコントラストは低くなる。なお、骨部画像Gbにおける骨部領域の画素値が大きいほど、骨部と軟部とのコントラストは大きくなる。このため、図6に示す関係は、骨部画像Gbにおける骨部領域の画素値が大きいほど、高コントラスト側にシフトすることとなる。
 骨密度は、骨部画像Gbの画素値を補正係数を用いて補正することにより導出することができる。補正係数は、骨部画像Gbにおける、撮影時の管電圧に応じたコントラストの相違、およびビームハードニングの影響によるコントラストの低下を補正するための係数である。
 図7は、体厚と補正係数との関係を規定したルックアップテーブルを示す図である。図7において、基準撮影条件を、管電圧90kVに設定したルックアップテーブルLUT1が例示されている。図7に示すようにルックアップテーブルLUT1において、管電圧が大きいほど、かつ被写体Hの体厚が大きいほど、大きい補正係数が設定されている。図7に示す例において、基準撮影条件が管電圧90kVであるため、管電圧が90kVで体厚が0の場合に、補正係数が1となっている。なお、図7において、ルックアップテーブルLUT1を2次元で示しているが、補正係数は骨部領域の画素値に応じて異なる。このため、ルックアップテーブルLUT1は、実際には骨部領域の画素値を表す軸が加わった3次元のテーブルとなる。
 骨密度を導出する際には、被写体Hの体厚分布T(x,y)および撮影時の管電圧の設定値を含む撮影条件に応じた画素毎の補正係数K0(x,y)を、ルックアップテーブルLUT1から抽出する。そして、下記の式(2)に示すように、骨部画像Gbにおける骨部の各画素(x,y)に対して、補正係数K0(x,y)を乗算することにより、骨密度D(x,y)(g/cm2)を導出する。このようにして導出された骨密度D(x,y)
は、基準撮影条件である90kVの管電圧により被写体Hを撮影することにより取得され、かつビームハードニングの影響が除去された放射線画像に含まれる骨部領域の画素値を表すものとなる。
 D(x,y)=K0(x,y)×Gb(x,y) (2)
 ここで、被写体Hを撮影する際には、大腿骨が基準位置となるようにポジショニングするが、ポジショニング後に被写体Hが移動してしまう場合がある。被写体Hが移動すると被写体Hに対する放射線の入射角が基準入射角から変動し、大腿骨に照射される放射線の基準位置からのずれ角が0度から外れて正または負の値となる。その結果、放射線の透過経路上における大腿骨の厚さが変化する。このように大腿骨の厚さが変化すると、骨部画像Gbから導出される骨密度が変化する。
 図8は、ずれ角と骨密度との関係を示すグラフである。図8に示すグラフ35は、放射線画像を用いて実測したずれ角と骨密度との関係を示している。実測に際しては、同じ大腿骨について、ずれ角を所定の複数の値に変える以外は同じ条件にて取得した複数の骨部画像Gbについて、それぞれ画素毎に画素値に基づいて変換した骨密度を導出している。グラフ35において、縦軸は骨密度であり、横軸はずれ角である。なお、グラフ35において、マイナスは大腿骨が内旋した状態で放射線画像に含まれる方向のずれ角、プラスは大腿骨が外旋した状態で放射線画像に含まれる方向のずれ角である。図8に示すように、ずれ角が変化すると骨密度が変化する。
 このように基準位置に対するずれ角が放射線画像の撮影毎に変化すると、骨密度が変化するため、放射線画像同士で骨密度の比較が正確にできなくなるおそれがある。また、撮影時において被写体のポジショニングを正確に行おうとすると、撮影に時間を要することとなる。
 このため、本実施形態においては、情報導出部24が、学習済みモデル24Aを用いて骨部画像Gbに含まれる骨部についての撮影時に照射された放射線の基準位置に対するずれ角および骨部の基準位置における組成情報すなわち骨密度を導出する。
 図9は学習済みモデル24Aが行う処理を模式的に示す図である。学習済みモデル24Aには、骨部画像Gbが入力される。学習済みモデル24Aは骨部画像Gbが入力されると、ずれ角α0および骨密度D0を出力する。
 学習済みモデル24Aは、学習部25が教師データを用いてニューラルネットワークを学習することにより構築される。図10は学習済みモデル24Aの構築に使用される教師データを示す図である。図10に示すように教師データ40は、学習用骨部画像41および正解データ42を含む、正解データ42は、学習用骨部画像41に含まれる大腿骨について、撮影時に照射された放射線の基準位置に対するずれ角43、および学習用骨部画像41に含まれる骨部の基準位置における骨密度44を含む。学習用骨部画像41が学習用構造物画像の一例である。
 学習部25は、多数の教師データ40を用いてニューラルネットワークを学習する。図11は、ニューラルネットワーク50の学習を説明するための図である。図11に示すようにニューラルネットワーク50は、例えば入力層51、中間層52および出力層53を含む。中間層52は複数の層構造を有するものであってもよい。ニューラルネットワーク50の学習を行うに際し、学習部25は、ニューラルネットワーク50の入力層51に学習用骨部画像41を入力する。そして、学習部25は、ニューラルネットワーク50の出力層53から、ずれ角55Aおよび骨密度55Bを出力データ55として出力させる。そして、学習部25は、出力データ55に含まれるずれ角55Aおよび骨密度55Bと、正解データ42に含まれるずれ角43および骨密度44との相違をそれぞれ損失L1,L2として導出する。
 学習部25は、損失L1,L2に基づいてニューラルネットワーク50を学習する。具体的には、学習部25は、損失L1,L2を小さくするように、中間層52に含まれるカーネルの係数、各層間の結合の重み等(以下パラメータ56とする)を調整する。パラメータ56の調整方法としては、例えば、誤差逆伝播法を用いることができる。学習部25は、損失L1,L2が予め定められたしきい値以下となるまでパラメータ56の調整を繰り返す。これにより、骨部画像Gbが入力された場合に、より正確なずれ角および骨密度を出力するようにパラメータ56が調整されて、学習済みモデル24Aが構築される。
 このようにして構築された学習済みモデル24Aに、被写体Hの骨部画像Gbが入力されると、図10に示すように、学習済みモデル24Aはずれ角α0および骨密度D0を出力するようになる。
 ここで、本実施形態においては、学習済みモデル24Aを構築するための教師データ40は、教師データ導出部26が3次元画像V0を用いて導出する。以下、教師データ40の導出について説明する。図12は、教師データの導出を説明するための図である。なお、図12においては説明のために3次元画像V0には大腿骨60のみが含まれている。また、図12においては、大腿骨60の長軸y0がy軸方向に延びるように3次元画像V0に含まれている。また、z軸方向に3次元画像V0を投影して、すなわちxy平面に3次元画像V0を投影して大腿骨の投影画像を導出した際に、大腿骨が基準位置にポジショニングされたものとなるように3次元画像V0を配置している。図12においてz軸方向となる投影方向をz0で示している。この場合のずれ角は0度である。
 教師データ導出部26は、3次元画像V0を骨部および軟部にセグメンテーションする。本実施形態においては3次元画像V0はCT画像であり、骨部と軟部とではCT値が大きく異なることから、しきい値処理等により骨部および軟部をセグメンテーションすることができる。
 ここで、3次元画像V0に含まれる大腿骨60を、ある投影方向に垂直な平面に投影することを考える。投影方向にN個のボクセルが並んでいる場合、大腿骨の厚さtd(x,y)は、以下の式(3)となる。式(3)において、sは3次元画像V0のボクセルのサイズである。
 教師データ導出部26は、骨部すなわち大腿骨60がxy平面に投影された投影画像(以下、基準投影画像Pbとする)の各画素において大腿骨60の厚さを上記式(3)により導出する。次に教師データ導出部26は、大腿骨60の投影方向の平均CT値CTmから体積骨密度(単位はg/cm3)を導出する。投影方向の平均CT値CTm(x,y)
は下位の式(4)により導出できる。式(4)においてCTiは投影方向に並ぶボクセルのCT値である。また、式(4)において投影画像の画素位置を表す(x,y)は省略している。
 ここで、CT値は水の放射線減弱係数に対する相対値であり、骨による放射線の減弱から骨密度を導出することができる。CT画像は3次元画像であるため、CT画像から求められる骨密度は体積骨密度となる。また、体積骨密度はCT値とほぼ比例関係にある。このため、予め体積骨密度が既知の骨試料を用いて、図13に示す換算テーブルを作成しておき、平均CT値(単位はH.U.)を体積骨密度Dt(g/cm3)に変換する。そし
て、教師データ導出部26は、導出した体積骨密度Dtに厚さtdを乗算することにより、基準投影画像における面積骨密度Ds(=Dt×td、単位はg/cm2)を導出する。導出した面積骨密度Dsが教師データ40の正解データ42に含まれる骨密度44となる。
 一方、教師データ導出部26は、図14に示すように、基準投影画像を導出した投影面(基準投影面61、すなわちxy平面)をy軸の回りに角度β回転した投影面62を設定する。そして、投影面62に3次元画像V0に含まれる大腿骨60を投影することにより学習用骨部画像41を導出する。この場合の3次元画像V0の投影方向は図12に示すz1方向となる。また、角度βが正解データ42に含まれるずれ角43となる。
 このように教師データ導出部26は、学習用骨部画像41、ずれ角43および骨密度44を導出する。なお、異なる年齢、性別、体格および骨密度となる被写体の3次元画像V0を使用し、かつ角度βを種々変更することにより、多数の教師データ40を導出すること可能である。
 なお、教師データ導出部26は、第1および第2の放射線画像G1,G2から導出した骨部画像Gbについて、大腿骨の回旋角度をずれ角として計測し、かつ上述した式(2)により骨密度を導出することにより教師データ40を導出するようにしてもよい。
 表示制御部27は、情報導出部24が導出したずれ角α0および骨密度D0をディスプレイ14に表示する。図15はずれ角および骨密度の表示画面を示す図である。図15に示すように、表示画面70は画像表示領域71を含む。画像表示領域には骨部画像Gbが表示される。また、表示画面70には、画像表示領域71の右側に、ずれ角72(A度)および骨密度73(Bg/cm2)が表示される。
 次いで、本実施形態において行われる処理について説明する。図16は本実施形態において行われる学習処理を示すフローチャートである。まず、情報取得部21が画像保存システム9から3次元画像V0を取得し(ステップST1)、教師データ導出部26が3次元画像V0から教師データ40を導出する(ステップST2)。そして学習部25が、教師データ40に含まれる学習用骨部画像41をニューラルネットワーク50に入力してずれ角および骨密度を出力させ、正解データ42との相違に基づく損失L1,L2を用いてニューラルネットワーク50を学習し(ステップST3)、ステップST1にリターンする。学習部25は、さらに損失L1,L2が予め定められたしきい値となるまで、ステップST1~ST3の処理を繰り返し、学習を終了する。なお、学習部25は、予め定められた回数の学習を繰り返すことにより、学習を終了するものであってもよい。これにより、学習部25は、学習済みモデル24Aを構築する。
 次いで、本実施形態における画像処理について説明する。図17は本実施形態における画像処理を示すフローチャートである。なお、第1および第2の放射線画像G1,G2は、撮影により取得されてストレージ13に保存されているものとする。処理を開始する指示が入力デバイス15から入力されると、情報取得部21が、第1および第2の放射線画像G1,G2をストレージ13から取得する(放射線画像取得;ステップST11)。次いで、散乱線除去部22が、第1および第2の放射線画像G1,G2から散乱線成分を除去する(ステップST12)。また、画像導出部23が、第1および第2の放射線画像G1,G2から、被写体Hの骨部が抽出された骨部画像Gbを導出する(ステップST13)。
 続いて、情報導出部24が骨部画像Gbからずれ角および基準位置における骨密度を導出する(ステップST14)。そして表示制御部27が導出されたずれ角および骨密度を表示し(ステップST15)、処理を終了する。
 このように、本実施形態においては、骨部画像Gbの入力により、骨部画像Gbに含まれる骨部についての撮影時に照射された放射線の基準位置に対するずれ角および骨部の基準位置における骨密度の推定結果を出力する学習済みモデル24Aを用いることにより、骨部画像Gbに含まれる骨部の基準位置に対するずれ角および骨部の基準位置における骨密度を導出するようにした。このため、被写体のポジショニングに拘わらずずれ角および骨密度を精度よく導出できる。
 なお、上記実施形態においては、骨部として大腿骨を用いているが、これに限定されるものではない。例えば椎骨あるいは椎骨の家の腰椎を対象として椎骨あるいは腰椎の基準位置に対するずれ角および基準位置における骨密度を導出するようにしてもよい。
 また、上記実施形態においては構造物として骨部を対象として基準位置に対するずれ角および組成情報を導出しているが、これに限定されるものではない。被写体内の軟部、軟部に含まれる脂肪、軟部に含まれる筋肉、および人体内に埋め込まれたチタン等の金属のような人体に含まれる様々な構造物について、基準位置に対するずれ角および基準位置における組成情報を導出するようにしてもよい。なお、組成情報としては、構造物の密度の他、厚さを導出するようにしてもよい。また、密度および厚さの双方を組成情報として導出するようにしてもよい。
 とくに軟部を構造物とする場合の処理について以下に説明する。軟部を構造物とする場合、軟部画像から軟部の基準位置に対するずれ角および軟部の厚さを組成情報として出力するように学習済みモデルを構築すればよい。しかしながら、人体の軟部組織は剛体ではないため、骨部とは異なり、ずれ角を精度よく求めることは困難である。
 一方で、軟部に対する放射線のずれ角は骨部に対する放射線のずれ角と等しい。このため、軟部のずれ角および組成情報(厚さ)を求めるためには、軟部画像Gsおよび骨部画像Gbの双方を導出し、骨部画像Gbから導出されるずれ角を軟部についてのずれ角として導出するように学習済みモデルを構築する。図18は軟部画像および骨部画像から軟部についてのずれ角および厚さを導出するように構築された学習済みモデルを示す図である。図18に示すように、学習済みモデル24Bは、軟部画像Gsおよび骨部画像Gbが入力されると、軟部についてのずれ角α1および軟部の厚さD1を導出するものとなる。
 また、上記実施形態においては、散乱線除去部22により第1および第2の放射線画像G1,G2から散乱線成分を除去しているが、これに限定されるものではない。散乱線成分を除去することなく、骨部画像Gbを導出するようにしてもよい。この場合、散乱線除去部22は不用となる。
 また、上記実施形態においては、画像処理装置を学習装置を含むものとしているが、これに限定されるものではない。画像処理装置と学習装置とを別個に設け、学習装置により構築された学習済みモデルを画像処理装置に適用するようにしてもよい。
 また、上記実施形態においては、エネルギーサブトラクション処理を行うに際し、1ショット法により第1および第2の放射線画像G1,G2を取得しているが、これに限定されるものではない。1つの放射線検出器のみ用いて撮影を2回行う、いわゆる2ショット法により第1および第2の放射線画像G1,G2を取得してもよい。2ショット法の場合、被写体Hの体動により、第1の放射線画像G1および第2の放射線画像G2に含まれる被写体Hの位置がずれる可能性がある。このため、第1の放射線画像G1および第2の放射線画像G2において、被写体の位置合わせを行った上で、本実施形態の処理を行うことが好ましい。
 また、上記実施形態においては、第1および第2の放射線検出器5,6を用いて被写体Hの第1および第2の放射線画像G1,G2を撮影するシステムにおいて取得した放射線画像を用いて画像処理を行っているが、放射線検出器に代えて、蓄積性蛍光体シートを用いて第1および第2の放射線画像G1,G2を取得する場合にも、本開示の技術を適用できることはもちろんである。この場合、2枚の蓄積性蛍光体シートを重ねて被写体Hを透過した放射線を照射して、被写体Hの放射線画像情報を各蓄積性蛍光体シートに蓄積記録し、各蓄積性蛍光体シートから放射線画像情報を光電的に読み取ることにより第1および第2の放射線画像G1,G2を取得すればよい。なお、蓄積性蛍光体シートを用いて第1および第2の放射線画像G1,G2を取得する場合にも、2ショット法を用いるようにしてもよい。
 また、上記実施形態においては、エネルギーサブトラクション処理により骨部画像Gbおよび軟部画像Gsを導出しているが、これに限定されるものではない。例えば、1つの放射線検出器のみを用いて取得した1つの放射線画像において骨部を強調することにより骨部画像Gbを導出するようにしてもよい。
 また、以下の手法により骨部画像Gbおよび軟部画像Gsを導出してもよい。以下、構造物画像導出の他の実施形態について説明する。画像取得部21が取得する第1および第2放射線画像G1,G2には、被写体Hの領域と、放射線が放射線検出器5,6に直接照射することにより得られる直接放射線領域とが含まれる。被写体Hの領域には、軟部領域および骨部領域が含まれる。人体の軟部成分は筋肉、脂肪、血液、および水分を含む。ここでは、血液および水分も含めた非脂肪組織を筋肉として扱うものとする。
 第1および第2放射線画像G1,G2の軟部領域は、被写体Hの軟部成分のみを含む。第1および第2放射線画像G1,G2の骨部領域は、実際には骨部成分と軟部成分とが混ざり合った領域である。
 以下、構造物画像導出の第1の他の実施形態について説明する。以下、構造物画像導出の4つの他の実施形態について説明するが、それぞれ第1から第4の実施形態と称するものとする。図19は構造物画像導出の第1の実施形態による放射線画像処理装置において行われる処理を模式的に示す図である。なお、図19においては、説明を簡単なものとするために、第1放射線画像G1および第2放射線画像G2は、直接放射線領域を含まず、軟部領域に矩形の骨部領域が含まれるものとしている。
 構造物画像導出の第1の実施形態において、画像導出部23は、第1放射線画像G1または第2放射線画像G2における骨部領域および軟部領域を特定する。このために、画像導出部23は、第1放射線画像G1または第2放射線画像G2の少なくとも被写体Hの領域において放射線の減弱に関する減弱特性を導出し、被写体Hの領域における減弱特性に基づいて、軟部領域および骨部領域を特定する。構造物画像導出の第1の実施形態においては、画像導出部23は、第1放射線画像G1および第2放射線画像G2のそれぞれから被写体Hによる放射線の減弱量を表す第1減弱画像CLおよび第2減弱画像CHを導出し、第1減弱画像CLおよび第2減弱画像CHの対応する画素間での比率である減弱比を減弱特性として導出する。
 ここで、第1減弱画像CLの画素値は、被写体Hによる低エネルギーの放射線の減弱量を表し、第2減弱画像CHの画素値は、被写体Hによる高エネルギーの放射線の減弱量を表す。第1減弱画像CLおよび第2減弱画像CHは、第1の放射線画像G1および第2の放射線画像G2から下記の式(5)、(6)により導出される。式(5)においてGd1は第1放射線画像G1における直接放射線領域の画素値、式(6)においてGd2は第2放射線画像G2における直接放射線領域の画素値である。
 CL(x,y)=Gd1-G1(x,y)   (5)
 CH(x,y)=Gd2-G2(x,y)   (6)
 次に画像導出部23は、第1放射線画像G1と第2放射線画像G2との放射線の減弱比を表す減弱比マップを導出する。具体的には、第1減弱画像CLと第2減弱画像CHとの対応する画素間での比率を、下記の式(7)により導出することにより減弱比マップM1を導出する。
 M1(x,y)=CL(x,y)/CH(x,y)   (7)
 ここで、第1放射線画像G1および第2の放射線画像G2において、軟部成分のみを含む領域の減弱比は骨部成分を含む領域の減弱比よりも小さい。このため、画像導出部23は、減弱比マップM1の各画素の減弱比を比較し、減弱比が予め定められたしきい値よりも大きい画素からなる領域を骨部領域に特定し、骨部領域以外の領域を軟部領域に特定する。なお、画像導出部23は、減弱比マップM1の各画素とその周囲の画素との減弱比を比較し、周囲の画素と比較して減弱比が大きい画素を骨部領域の画素に特定するようにしてもよい。
 画像導出部23は、第1放射線画像G1または第2放射線画像G2の第1成分のみを含む第1成分領域、すなわち軟部領域において、第1放射線画像G1および第2放射線画像G2に基づいて、放射線の減弱に関する第1成分の特性を導出する。また、画像導出部23は、第2成分領域すなわち骨部領域における第1成分の特性を、骨部領域の周囲にある軟部領域において導出した第1成分の特性に基づいて導出する。本実施形態においては、画像導出部23は、第1放射線画像G1と第2放射線画像G2との減弱比を第1の成分の特性として導出する。
 一方、骨部領域については、骨部領域の周囲にある軟部領域の減弱比を補間することにより、骨部領域についての第1成分の特性、すなわち減弱比を導出する。なお、補間に代えて、減弱比マップM1における軟部領域の減弱比の中央値、平均値あるいは減弱比が小さい側から予め定められた割合となる値を、骨部領域についての減弱比として導出するようにしてもよい。
 これにより、画像導出部23は、第1放射線画像G1または第2放射線画像G2の被写体Hの領域についての第1成分の特性を導出する。第1の実施形態においては、第1成分の特性は軟部領域の減弱比である。第1の実施形態においては、導出した第1成分の特性を、骨部画像を導出する際に軟部を消去する軟部消去係数K1として用いる。
 画像導出部23は、第1放射線画像G1または第2放射線画像G2の被写体Hの領域における第1成分の特性に基づいて、第1成分が強調された第1成分画像および第2成分が強調された第2成分画像を導出する。具体的には、画像導出部23は、軟部成分が強調された軟部画像Gsおよび骨部成分が強調された骨部画像Gbを導出する。
 構造物画像導出の第1の実施形態においては、画像導出部23は、まず第1減弱画像CL、第2減弱画像CHおよび第1成分の特性である軟部消去係数K1に基づいて、第2成分が強調された初期第2成分減弱画像、すなわち骨部が強調された初期骨部減弱画像を導出する。具体的には、画像導出部23は、下記の式(8)により、初期骨部減弱画像Cb0を導出する。
 Cb0(x,y)=CL(x,y)-CH(x,y)×K1(x,y)   (8)
 ここで、上述したように導出された初期骨部減弱画像Cb0の骨部領域の画素値は、骨部の厚さに相当する軟部が存在すると仮定することによって骨部の減弱量を軟部の減弱量に置き換えたものと、実際の骨部の減弱量との差分を表すものとなっている。このため、本来導出したい骨部減弱画像に対してコントラストが低い画像となっている。このようにコントラストが低い骨部減弱画像を用いると、後述するように第1減弱画像CLまたは第2減弱画像CHから骨部減弱画像を減算して軟部減弱画像を導出した場合に、骨部成分を良好に除去することができない。
 このため、第1の実施形態においては、画像導出部23は、初期骨部減弱画像Cb0のコントラストを、第1減弱画像CLまたは第2減弱画像CHのコントラストと一致させることにより、骨部減弱画像Cb1を導出する。第1の実施形態においては、初期骨部減弱画像Cb0のコントラストを、第1減弱画像CLのコントラストと一致させるものとする。このため、画像導出部23は、初期骨部減弱画像Cb0にコントラスト変換係数を乗算して初期骨部減弱画像Cb0のコントラストを変換する。そして、コントラスト変換後の初期骨部減弱画像Cb0を第1減弱画像CLから減算することにより導出される差分値ΔCLと、初期骨部減弱画像Cb0との相関を導出する。そして相関が最小となるように、コントラスト変換係数を決定し、決定したコントラスト変換係数を初期骨部減弱画像Cb0に乗算することにより、骨部減弱画像Cb1を導出する。
 なお、初期骨部減弱画像Cb0のコントラストと体厚とを関連付けたコントラスト変換係数を表すテーブルを予め作成しておくようにしてもよい。この場合、被写体Hの体厚を計測する等によって導出し、初期骨部減弱画像Cb0のコントラストと体厚とからテーブルを参照してコントラスト変換係数を導出し、導出したコントラスト変換係数により初期骨部減弱画像Cb0を変換することにより、骨部減弱画像Cb1を導出するようにしてもよい。
 そして、画像導出部23は、下記の式(9)により、第1減弱画像CLから骨部減弱画像Cb1を減算することにより軟部減弱画像Cs1を導出する。
 Cs1(x,y)=CL(x,y)-Cb1(x,y)   (9)
 さらに、画像導出部23は、下記の式(10)、(11)により骨部画像Gbおよび軟部画像Gsを導出する。
 Gb(x,y)=Gd1(x,y)-Cb1(x,y)   (10)
 Gs(x,y)=Gd2(x,y)-Cs1(x,y)   (11)
 次いで、構造物画像導出の第1の実施形態において行われる処理について説明する。図20は構造物画像導出の第1の実施形態において行われる処理を示すフローチャートである。なお、第1および第2の放射線画像は情報取得部21により取得され、散乱線除去部22により散乱線成分が除去されているものとする。まず、画像導出部23は、第1放射線画像G1および第2放射線画像G2から第1減弱画像CLおよび第2減弱画像CHを導出し(減弱画像導出:ステップST21)、第1減弱画像CLまたは第2減弱画像CHにおける軟部成分のみを含む軟部領域および骨部を含む骨部領域を特定する(ステップST22)。次に、画像導出部23は、軟部領域において放射線画像の減弱に関する軟部成分の特性(減弱比)を導出する(ステップST23)。続いて、画像導出部23は、骨部領域において軟部成分の特性を導出する(ステップST24)。
 次いで、画像導出部23は初期骨部減弱画像Cb0を導出し(ステップST25)、初期骨部減弱画像Cb0のコントラストを変換することにより骨部減弱画像Cb1を導出する(ステップST26)。さらに、画像導出部23は、第1減弱画像CLから骨部減弱画像Cb1を減算することにより軟部減弱画像Cs1を導出する(ステップST27)。続いて、画像導出部23は、上述した式(10)、(11)により骨部画像Gbおよび軟部画像Gsを導出し(ステップST28)、処理を終了する。
 このように、構造物画像導出の第1の実施形態においては、第1放射線画像G1または第2放射線画像G2の骨部成分を含む骨部領域における減弱比を、骨部領域の周囲にある軟部領域において導出した軟部成分の減弱比に基づいて導出するようにした。そして、第1放射線画像G1または第2放射線画像G2の少なくとも被写体Hの領域における減弱比に基づいて、軟部成分が強調された軟部画像Gsおよび骨部成分が強調された骨部画像Gbを導出するようにした。このため、骨部領域において軟部成分の減弱比を精度よく導出することができ、その結果、軟部成分および骨部成分が精度よく分離された軟部画像Gsおよび骨部画像Gbを導出することができる。
 また、構造物画像導出の第1の実施形態においては、第1放射線画像G1および第2放射線画像G2から放射線の減弱量を表す第1減弱画像CLおよび第2減弱画像CHを導出し、第1減弱画像CLおよび第2減弱画像CHを用いて軟部画像Gsおよび骨部画像Gbを導出するようにしている。このため、導出した減弱量を軟部成分を消去するための軟部消去係数K1として用いた場合において、上記式(8)により軟部成分を良好に消去することができる。したがって、軟部成分および骨部成分が精度よく分離された軟部画像Gsおよび骨部画像Gbを導出することができる。
 次いで、構造物画像導出の第2の実施形態について説明する。図21は構造物画像導出の第2の実施形態において行われる処理を模式的に示す図である。図21に示すように、画像導出部23は、第1減弱画像CLまたは第2減弱画像CHから骨部領域を検出する。なお、第1放射線画像G1または第2放射線画像G2から骨部領域を検出するようにしてもよい。このために、第2の実施形態においては、画像導出部23は、放射線画像または減弱画像から骨部領域を検出するようにニューラルネットワークを機械学習することにより構築された学習済みモデルを用いる。この場合、学習済みモデルは、放射線画像または減弱画像の画素値に基づいて骨部領域を学習することにより、骨部領域を検出するように構築される。
 一方、放射線画像または減弱画像においては、骨部領域の画素値と軟部成分のみを含む軟部領域の画素値とは大きく異なる。このため、放射線画像または減弱画像をしきい値処理することにより放射線画像または減弱画像から骨部領域を検出するようにしてもよい。また、放射線画像または減弱画像においては、骨部領域の画素値と軟部成分のみを含む軟部領域の画素値との相違により骨部領域の形状が特定されている。このため、放射線画像または減弱画像に含まれる被写体Hの部位に応じた骨部領域の形状を用いたテンプレートマッチングにより、放射線画像または減弱画像から骨部領域を検出するようにしてもよい。
 そして、第2の実施形態においては、画像導出部23が、上述したように放射線画像または減弱画像の画素値に基づいて特定した骨部領域における軟部成分の減弱比を導出する。骨部領域における軟部成分の減弱比を導出した以降の処理は上記構造物画像導出の第1の実施形態と同様であるため、ここでは詳細な説明は省略する。
 なお、上記構造物画像導出の第1および第2の実施形態においては、第1減弱画像CL、第2減弱画像CHおよび軟部消去係数K1を用いて、初期骨部減弱画像Cb0、骨部減弱画像Cb1および軟部減弱画像Cs1を導出した上で、骨部画像Gbおよび軟部画像Gsを導出しているが、これに限定されるものではない。第1放射線画像G1、第2放射線画像G2および軟部消去係数K1を用いて下記の式(12)、(13)により骨部画像Gbおよび軟部画像Gsを導出するようにしてもよい。
 Gb(x,y)=G1(x,y)-K1(x,y)×G2(x,y)  (12)
 Gs(x,y)=G1(x,y)-Gb(x,y)          (13)
 次いで、構造物画像導出の第3の実施形態について説明する。上記構造物画像導出の第1の実施形態においては、軟部成分の減弱比を第1成分の特性として導出しているが、第3の実施形態においては、低エネルギー放射線および高エネルギー放射線の軟部成分による減弱係数である軟部減弱係数を第1成分の特性として導出するようにした点が第1の実施形態と異なる。
 図22は構造物画像導出の第3の実施形態において行われる処理を模式的に示す図である。第3の実施形態においては、画像導出部23が第1減弱画像CLおよび第2減弱画像CHを導出するまでの処理は上記第1および第2の実施形態と同一であるため、ここでは詳細な説明は省略する。
 第3の実施形態においては、画像導出部23は、高エネルギーの放射線および低エネルギーの放射線のそれぞれについての脂肪および筋肉の減弱係数を使用して、第1および第2放射線画像G1,G2の各画素位置における脂肪の割合を導出する。そして、画像導出部23は、導出した脂肪の割合に基づいて骨部領域および軟部領域を特定する。
 ここで、被写体Hによる放射線の減弱量は、軟部および骨部の厚さおよび線質(高エネルギーか低エネルギーか)に依存して決まる。このため、単位厚さあたりの減弱率を表す減弱係数をμとすると、低エネルギー画像および高エネルギー画像のそれぞれにおける各画素位置の放射線の減弱量CL0,CH0は、下記の式(14)、(15)により表すことができる。式(14)、(15)において、tsは軟部の厚さ、tbは骨部の厚さ、μLsは低エネルギー放射線の軟部減弱係数、μLbは低エネルギー放射線の骨部減弱係数、μHSは高エネルギー放射線の軟部減弱係数、μHBは高エネルギー放射線の骨部減弱係数である。
 CL0=μLs(ts,tb)×ts+μLb(ts,tb)×tb  (14)
 CH0=μHs(ts,tb)×ts+μHb(ts,tb)×tb  (15)
 式(14)、(15)における低エネルギー画像の減弱量CL0は第1減弱画像CLの画素値に相当し、高エネルギー画像の減弱量CH0は第2減弱画像CHの画素値に相当する。したがって、式(14)、(15)は下記の式(16)、(17)により表される。なお、式(14)~(17)はいずれも第1減弱画像CLおよび第2減弱画像CHの各画素における関係を表しているが、画素位置を表す(x,y)を省略している。
 CL=μLs(ts,tb)×ts+μLb(ts,tb)×tb  (16)
 CH=μHs(ts,tb)×ts+μHb(ts,tb)×tb  (17)
 軟部の厚さtsおよび骨部の厚さtbを変数として式(16)、(17)を解くことにより、軟部の厚さtsおよび骨部の厚さtbを導出することができる。式(16)、(17)を解くためには、低エネルギー放射線および高エネルギー放射線のそれぞれについての軟部減弱係数μLs,μHsおよび骨部減弱係数μLb,μHbが必要である。ここで、骨部は被写体Hに応じた組成の差がないため、軟部の厚さtsおよび骨部の厚さtbに応じた骨部減弱係数μLb,μHbは予め用意することができる。
 一方、軟部は筋肉および脂肪が複雑に混じり合っており、かつ被写体Hに応じて筋肉および脂肪の割合が異なるため、予め用意することができない。このため、構造物画像導出の第3の実施形態においては、画像導出部23は、第1減弱画像CLおよび第2減弱画像CHを用いて、低エネルギー放射線についての軟部減弱係数μLsおよび高エネルギー放射線についての軟部減弱係数μHsを導出する。以下、軟部減弱係数μLs,μHsの導出について説明する。
 構造物画像導出の第3実施形態においては、軟部を構成する組成のうち、最も高密度の組成を筋肉、低密度の組成を脂肪とし、脂肪と筋肉とが混じり合った混合組成は、両者の減弱係数の中間の値となるという前提で軟部減弱係数を導出する。まず、画像導出部23は、各画素位置における脂肪の割合をN%とし、Nを0から順次増加させつつ、脂肪の減弱係数と筋肉の減弱係数とをN:100-Nの割合で重み付け加算することにより、低エネルギー放射線および高エネルギー放射線のそれぞれについての仮の軟部減弱係数μ0Ls,μ0Hsを算出する。なお、脂肪と筋肉とが重なっている場合、放射線源3の側に存在する成分(通常は脂肪)の線質硬化の影響を受けて減弱係数が変化するが、本実施形態においては、線質硬化の影響は考慮しないものとする。このため、本実施形態において使用する脂肪の割合であるN%は被写体Hの実際の体脂肪率とは一致しない。実際の軟部減弱係数は、図23に示す脂肪の減弱係数と筋肉の減弱係数との間の値となるとの仮定に基づく処理となる。
 次に画像導出部23は、第1減弱画像CLの画素値と低エネルギー画像についての仮の軟部減弱係数μ0Lsとから下記の式(18)により、脂肪の割合がN%の場合の体厚TNを算出する。この際、骨部を含む画素も軟部のみで構成されていると仮定して体厚TNを算出する。
 TN(x,y)=CL(x,y)/μ0Ls(x,y)   (18)
 次いで画像導出部23は、式(18)により算出した体厚TNと、高エネルギー放射線についての仮の軟部減弱係数μ0Hsとから、下記の式(19)により高エネルギー放射線の減弱量CHN1を算出する。そして、下記の式(20)により減弱量CHN1から第2減弱画像CHを減算して差分値ΔCHを算出する。
 CHN1(x,y)=TN(x,y)×μ0Hs(x,y)  (19)
 ΔCH(x,y)=CHN1(x,y)-CH(x,y)   (20)
 差分値ΔCHが負である場合は、仮の軟部減弱係数μ0Ls,μ0Hsが正解の軟部減弱係数より小さい、すなわち、より脂肪に近いことを表す。差分値ΔCHが正である場合は、仮の軟部減弱係数μ0Ls,μ0Hsがより筋肉に近いことを表す。画像導出部23は、第1減弱画像CLおよび第2減弱画像CHの全画素について、上記差分値ΔCHが0に近づくようにNを変更しつつ仮の軟部減弱係数μ0Ls,μ0Hsを算出する。そして、差分値ΔCHが0あるいは予め定められたしきい値以下となったときのNを、その画素についての脂肪の割合に決定する。また、画像導出部23は、決定された脂肪の割合Nを算出した際の仮の軟部減弱係数μ0Ls,μ0Hsを軟部減弱係数μLs,μHsに決定する。なお、差分値ΔCHが負の場合には脂肪の割合Nを大きくし、差分値ΔCHが正の場合には脂肪の割合Nを小さくするように変更すればよい。
 ここで、第1放射線画像G1および第2放射線画像G2における、骨部成分を含む領域の画素においては、脂肪の割合が0に近い値、または負の値となる。被写体Hが人間である場合、脂肪の割合が0となったり負となったりすることはあり得ない。このため、画像導出部23は、第1放射線画像G1および第2放射線画像G2における脂肪の割合Nが0に近い値(例えば、予め定められたしきい値未満の値)、または負の値となる画素からなる領域を第1放射線画像G1および第2放射線画像G2における骨部領域に特定する。また、画像導出部23は、第1放射線画像G1および第2放射線画像G2における骨部領域以外の領域を軟部領域に特定する。
 第3の実施形態において、画像導出部23は、軟部減弱係数μLs,μHsを第1の成分の特性として導出する。一方、画像導出部23は、骨部領域における軟部減弱係数μLs,μHsを、骨部領域の周囲にある軟部領域の軟部減弱係数を補間することにより導出する。なお、補間に代えて、軟部領域における軟部減弱係数μLs,μHsの中央値、平均値あるいは減弱係数が小さい側から予め定められた割合となる値を,骨部領域についての軟部減弱係数μLs,μHsとして導出するようにしてもよい。これにより、画像導出部23は、第1放射線画像G1または第2放射線画像G2の少なくとも被写体Hの領域についての第1成分の特性を導出する。
 第3の実施形態において、画像導出部23は、軟部成分が強調された軟部画像Gsおよび骨部成分が強調された骨部画像Gbを導出する。第3の実施形態においては、画像導出部23が導出した軟部減弱係数μLs,μHsと、予め導出された骨部減弱係数μLb,μHbとに基づいて、軟部の厚さtsおよび骨部の厚さtbを導出し、導出した軟部の厚さtsおよび骨部の厚さtbに基づいて、軟部画像Gsおよび骨部画像Gbを導出する。
 軟部の厚さtsおよび骨部の厚さtbの導出には、上記式(16)、(17)を用いる。画像導出部23は、上述したように、軟部の厚さtsおよび骨部の厚さtbを変数として式(16)、(17)を解くことにより、軟部の厚さtsおよび骨部の厚さtbを導出する。なお、導出される軟部の厚さtsおよび骨部の厚さtbは、第1減弱画像CLおよび第2減弱画像CHの各画素において導出されるが、以降の説明においては画素位置を表す(x,y)を省略している。
 画像導出部23は、まず式(17)により、骨部の厚さtb=0とした場合の軟部の厚さts0を算出する。tb=0、ts=ts0の場合、CH=μHs(ts,0)×ts0+μHb(ts0,0)×0=μHs(ts0,0)×ts0であるから、ts0は下記の式(21)により算出される。また、画像導出部23は、式(17)により、軟部の厚さts=0とした場合の骨部の厚さtb
0を算出する。ts=0、tb=tb0の場合、CH=μHs(0,tb0)×0+μHb(0,tb0)×tb0であるから、tsbは下記の式(22)により算出される。なお、式(21)、(22)においては画素位置を表す(x,y)は省略している。
 ts0=CH/μHS(ts0,0)   (21)
 tb0=CH/μHb(tb0,0)   (22)
 図24は骨部の厚さおよび軟部の厚さに応じた減弱量の関係を示す図である。図24において減弱量83は、実際に被写体を撮影することにより導出される低エネルギー画像の画素値である減弱量および高エネルギー画像の画素値である減弱量を示す。説明のために、減弱量83において、低エネルギー画像の画素値である減弱量および高エネルギー画像の画素値である減弱量には、それぞれ第1減弱画像および第2減弱画像と同一の符号CL、CHを付与している。ここで、低エネルギー画像の減弱量および高エネルギー画像との減弱量は、組成が高密度であるほど大きくなる。このため、tb=0、ts=ts0とした場合の組成は、実際の骨部の厚さおよび軟部の厚さに基づく組成よりも密度が低くなる。したがって、tb=0、ts=ts0とした場合式(16)により導出される第1減弱画像(ここでは仮の第1減弱画像CL′とする)の画素値すなわち減弱量は、図24の減弱量84に示すように、実際の骨部の厚さおよび軟部の厚さにより導出される第1減弱画像CLの画素値よりも小さくなる(すなわちCL>CL′)。
 一方、tb=tb0、ts=0とした場合の組成は、実際の骨部の厚さおよび軟部の厚さに基づく組成よりも密度が高くなる。このため、tb=tb0、ts=0とした場合式(16)により導出される仮の第1減弱画像CL′の画素値すなわち減弱量は、図24の減弱量85に示すように、実際の骨部の厚さおよび軟部の厚さにより導出される第1減弱画像CLの画素値よりも小さくなる(すなわちCL<CL′)。
 なお、実際の骨部の厚さおよび軟部の厚さを用いて式(16)により導出される仮の第1減弱画像CL′の画素値すなわち減弱量は,図24の減弱量86に示すように第1減弱画像CLの画素値と同一となる。このことを利用して、画像導出部23は、以下のようにして骨部の厚さtbおよび軟部の厚さtsを導出する。
 (ステップ1)
 まず、式(17)において、第2減弱画像CHの画素値および各画素において導出された軟部減弱係数μHsを用いて、仮の軟部の厚さtskを算出する。なお、仮の骨部の厚さtbkの初期値としては0を用いる。
 (ステップ2)
 次いで、算出した仮の軟部の厚さtsk、仮の骨部の厚さtbk、低エネルギー放射線についての軟部減弱係数μLsおよび骨部減弱係数μLbを用いて上記式(16)により、仮の第1減弱画像CL′を算出する。
 (ステップ3)
 次いで、仮の第1減弱画像CL′と第1減弱画像CLとの差分値ΔCLを算出する。差分値ΔCLを、放射線が骨により減弱された分の画素値と仮定して、仮の骨部の厚さtbkを更新する。
 (ステップ4)
 次いで、更新された仮の骨部の厚さtskおよび仮の軟部の厚さtbkを用いて上記式(17)により、仮の第2減弱画像CH′を算出する。
 (ステップ5)
 次いで、仮の第2減弱画像CH′と第2減弱画像CHとの差分値ΔCHを算出する。差分値ΔCHを、放射線が軟部により減弱された分の画素値と仮定して、仮の軟部の厚さtskを更新する。
 そして、差分値ΔCL,ΔCHの絶対値が予め定められたしきい値未満となるまでステップ1~5の処理を繰り返すことにより、軟部の厚さtsおよび骨部の厚さtbを導出する。なお、ステップ1~5の処理を予め定められた回数繰り返すことにより、軟部の厚さtsおよび骨部の厚さtbを導出するようにしてもよい。
 そして、画像導出部23は、導出された軟部の厚さtsに基づいて軟部画像Gsを導出し、導出された骨部の厚さtbに基づいて骨部画像Gbを導出する。ここで、軟部画像Gsは軟部の厚さtsに応じた大きさの画素値を有し、骨部画像Gbは骨部の厚さtbに応じた大きさの画素値を有するものとなる。
 次いで、構造物画像導出の第3の実施形態において行われる処理について説明する。図25は構造物画像導出の第3の実施形態において行われる処理を示すフローチャートである。なお、第1および第2の放射線画像は情報取得部21により取得され、散乱線除去部22により散乱線成分が除去されているものとする。まず、画像導出部23は、第1放射線画像G1および第2放射線画像G2から第1減弱画像CLおよび第2減弱画像CHを導出し(減弱画像導出:ステップST31)、第1減弱画像CLまたは第2減弱画像CHにおける軟部成分のみを含む軟部領域および骨部を含む骨部領域を特定する(ステップST32)。次に、画像導出部23は、軟部領域において放射線画像の減弱に関する軟部成分の特性(軟部減弱係数)を導出する(ステップST33)。続いて、画像導出部23は、骨部領域において軟部成分の特性を導出する(ステップST34)。
 次いで、画像導出部23は、軟部の厚さtsおよび骨部の厚さtbを導出し(ステップST35)、軟部の厚さtsおよび骨部の厚さtbから骨部画像Gbおよび軟部画像Gsを導出し(ステップST36)、処理を終了する。
 このように、構造物画像導出の第3の実施形態においては、第1放射線画像G1または第2放射線画像G2の骨部成分を含む骨部領域において、骨部領域の周囲にある軟部領域において導出した軟部成分の特性、すなわち軟部減弱係数に基づいて軟部減弱係数を導出するようにした。そして、第1放射線画像G1または第2放射線画像G2の少なくとも被写体Hの領域における軟部減弱係数に基づいて、軟部成分が強調された軟部画像Gsおよび骨部成分が強調された骨部画像Gbを導出するようにした。このため、骨部領域において軟部減弱係数を精度よく導出することができ、その結果、軟部成分および骨部成分が精度よく分離された軟部画像Gsおよび骨部画像Gbを導出することができる。
 次いで、構造物画像導出の第4の実施形態について説明する。図26は構造物画像導出の第4の実施形態において行われる処理を模式的に示す図である。図26に示すように、画像導出部23は、第1減弱画像CLまたは第2減弱画像CHから骨部領域を検出する。なお、第1放射線画像G1または第2放射線画像G2から骨部領域を検出するようにしてもよい。このために、第4の実施形態においては、画像導出部23は、第2の実施形態と同様に、放射線画像または減弱画像から骨部領域を検出するようにニューラルネットワークを機械学習することにより構築された学習済みモデルを用いる。この場合、学習済みモデルは、放射線画像または減弱画像の画素値に基づいて骨部領域を学習することにより、骨部領域を検出するように構築される。
 一方、放射線画像または減弱画像においては、骨部領域の画素値と軟部成分のみを含む軟部領域との画素値は大きく異なる。このため、放射線画像または減弱画像をしきい値処理することにより放射線画像または減弱画像から骨部領域を検出するようにしてもよい。また、放射線画像または減弱画像においては、骨部領域の画素値と軟部成分のみを含む軟部領域の画素値との相違により骨部領域の形状が特定されている。このため、放射線画像または減弱画像に含まれる被写体Hの部位に応じた骨部領域の形状を用いたテンプレートマッチングにより、放射線画像または減弱画像から骨部領域を検出するようにしてもよい。
 そして、構造物画像導出の第4の実施形態においては、画像導出部23が、上述したように放射線画像または減弱画像の画素値に基づいて特定した骨部領域における軟部減弱係数を導出する。骨部領域における軟部減弱係数を導出した以降の処理は上記構造物画像導出の第3の実施形態と同様であるため、ここでは詳細な説明は省略する。
 なお、上記構造物画像導出の第3および第4の実施形態においては、第1減弱画像CL、第2減弱画像CHを用いて軟部減弱係数を導出して骨部画像Gbおよび軟部画像Gsを導出しているが、これに限定されるものではない。第1放射線画像G1および第2放射線画像G2から軟部減弱係数を導出し、骨部の厚さおよび軟部の厚さを導出して骨部画像Gbおよび軟部画像Gsを導出するようにしてもよい。
 また、上記実施形態における放射線は、とくに限定されるものではなく、X線の他、α線またはγ線等を用いることができる。
 また、上記実施形態において、例えば、情報取得部21、散乱線除去部22、画像導出部23、情報導出部24、学習部25、教師データ導出部26、および表示制御部27といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
 複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
 以下、本開示の付記項を記載する。
(付記項1)
 少なくとも1つのプロセッサを備え、
 前記プロセッサは、
 被写体の少なくとも1つの放射線画像に基づいて、前記被写体内の少なくとも1つの構造物を表す構造物画像を取得し、
 前記構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、前記構造物画像に含まれる前記構造物の基準位置に対するずれ角および前記構造物の前記基準位置における組成情報を導出する画像処理装置。
(付記項2)
 前記プロセッサは、エネルギー分布が異なる放射線により骨部および軟部を含む被写体を撮影することにより取得された第1の放射線画像および第2の放射線画像を取得し、
 前記第1の放射線画像および前記第2の放射線画像を重み付け減算することにより、前記構造物画像を導出する付記項1に記載の画像処理装置。
(付記項3)
 前記プロセッサは、前記第1の放射線画像および前記第2の放射線画像の散乱線成分を除去して第1の一次線画像および第2の一次線画像を導出し、
 前記第1の一次線画像および前記第2の一次線画像に基づいて、前記構造物画像を導出する付記項2に記載の画像処理装置。
(付記項4)
 前記構造物は前記被写体に含まれる骨部であり、
 前記組成情報は骨密度である付記項1から3のいずれか1項に記載の画像処理装置。
(付記項5)
 前記骨部は大腿骨である付記項4に記載の画像処理装置。
(付記項6)
 前記骨部は椎骨である付記項4に記載の画像処理装置。
(付記項7)
 前記構造物は、前記被写体に含まれる軟部であり、
 前記組成情報は前記軟部の厚さである付記項1から6のいずれか1項に記載の画像処理装置。
(付記項8)
 少なくとも1つのプロセッサを備え、
 前記プロセッサは、
 被写体内の少なくとも1つの構造物を含む学習用構造物画像、前記学習用構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角、前記学習用構造物画像に含まれる前記構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習し、
 前記学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを構築する学習装置。
(付記項9)
 前記プロセッサは、前記被写体の3次元画像に含まれる前記構造物を前記基準位置に対するずれ角に基づいて投影することにより前記学習用構造物画像を導出し、
 前記3次元画像に含まれる前記構造物を前記構造物が基準位置となる基準方向に投影した場合における前記構造物の組成情報を、前記構造物の前記基準位置における組成情報として導出することにより、前記教師データを導出する付記項8に記載の学習装置。
(付記項10)
 前記構造物は骨部であり、
 前記プロセッサは、前記3次元画像に含まれる前記骨部の3次元的な骨密度を導出し、
 前記3次元的な骨密度に前記骨部の前記基準方向における厚さを乗算することにより、
前記骨部の2次元的な骨密度を前記構造物の前記基準位置における組成情報として導出する付記項9に記載の学習装置。
(付記項11)
 被写体の少なくとも1つの放射線画像に基づいて、前記被写体内の少なくとも1つの構造物を表す構造物画像を取得し、
 前記構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、前記構造物画像に含まれる前記構造物の基準位置に対するずれ角および前記構造物の前記基準位置における組成情報を導出する画像処理方法。
(付記項12)
 被写体内の少なくとも1つの構造物を含む学習用構造物画像、前記学習用構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角、前記学習用構造物画像に含まれる前記構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習し、
 前記学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを構築する学習方法。
(付記項13)
 被写体の少なくとも1つの放射線画像に基づいて、前記被写体内の少なくとも1つの構造物を表す構造物画像を取得する手順と、
 前記構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、前記構造物画像に含まれる前記構造物の基準位置に対するずれ角および前記構造物の前記基準位置における組成情報を導出する手順とをコンピュータに実行させる画像処理プログラム。
(付記項14)
 被写体内の少なくとも1つの構造物を含む学習用構造物画像、前記学習用構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角、前記学習用構造物画像に含まれる前記構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習する手順と、
 前記学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを構築する手順とをコンピュータに実行させる学習プログラム。
   1  撮影装置
   3  放射線源
   5,6 放射線検出器
   7  放射線エネルギー変換フィルタ
   9  画像保存システム
   10  画像処理装置
   11  CPU
   12A  画像処理プログラム
   12B  学習プログラム
   13  ストレージ
   14  ディスプレイ
   15  入力デバイス
   16  メモリ
   17  ネットワークI/F
   18  バス
   21  情報取得部
   22  散乱線除去部
   23  画像導出部
   24  情報導出部
   24A,24B  学習済みモデル
   25  学習部
   26  教師データ導出部
   27  表示制御部
   30  大腿骨
   35  グラフ
   40  教師データ
   41  学習用骨部画像
   42  正解データ
   43  ずれ角
   44  骨密度
   50  ニューラルネットワーク
   51  入力層
   52  中間層
   53  出力層
   55  出力データ
   55A  ずれ角
   55B  骨密度
   56  パラメータ
   60  大腿骨
   61  基準投影面
   62  投影面
   70  表示画面
   71  画像表示領域
   72  ずれ角
   73  骨密度
   83~86  減弱量
   D0,D1  骨密度
   Gb  骨部画像
   Gs  軟部画像
   L1,L2  損失
   LUT1  ルックアップテーブル
   α0,α1  ずれ角

Claims (14)

  1.  少なくとも1つのプロセッサを備え、
     前記プロセッサは、
     被写体の少なくとも1つの放射線画像に基づいて、前記被写体内の少なくとも1つの構造物を表す構造物画像を取得し、
     前記構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、前記構造物画像に含まれる前記構造物の基準位置に対するずれ角および前記構造物の前記基準位置における組成情報を導出する画像処理装置。
  2.  前記プロセッサは、エネルギー分布が異なる放射線により骨部および軟部を含む被写体を撮影することにより取得された第1の放射線画像および第2の放射線画像を取得し、
     前記第1の放射線画像および前記第2の放射線画像を重み付け減算することにより、前記構造物画像を導出する請求項1に記載の画像処理装置。
  3.  前記プロセッサは、前記第1の放射線画像および前記第2の放射線画像の散乱線成分を除去して第1の一次線画像および第2の一次線画像を導出し、
     前記第1の一次線画像および前記第2の一次線画像に基づいて、前記構造物画像を導出する請求項2に記載の画像処理装置。
  4.  前記構造物は前記被写体に含まれる骨部であり、
     前記組成情報は骨密度である請求項1から3のいずれか1項に記載の画像処理装置。
  5.  前記骨部は大腿骨である請求項4に記載の画像処理装置。
  6.  前記骨部は椎骨である請求項4に記載の画像処理装置。
  7.  前記構造物は、前記被写体に含まれる軟部であり、
     前記組成情報は前記軟部の厚さである請求項1に記載の画像処理装置。
  8.  少なくとも1つのプロセッサを備え、
     前記プロセッサは、
     被写体内の少なくとも1つの構造物を含む学習用構造物画像、前記学習用構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角、前記学習用構造物画像に含まれる前記構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習し、
     前記学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを構築する学習装置。
  9.  前記プロセッサは、前記被写体の3次元画像に含まれる前記構造物を前記基準位置に対するずれ角に基づいて投影することにより前記学習用構造物画像を導出し、
     前記3次元画像に含まれる前記構造物を前記構造物が基準位置となる基準方向に投影した場合における前記構造物の組成情報を、前記構造物の前記基準位置における組成情報として導出することにより、前記教師データを導出する請求項8に記載の学習装置。
  10.  前記構造物は骨部であり、
     前記プロセッサは、前記3次元画像に含まれる前記骨部の3次元的な骨密度を導出し、
     前記3次元的な骨密度に前記骨部の前記基準方向における厚さを乗算することにより、前記骨部の2次元的な骨密度を前記構造物の前記基準位置における組成情報として導出する請求項9に記載の学習装置。
  11.  被写体の少なくとも1つの放射線画像に基づいて、前記被写体内の少なくとも1つの構造物を表す構造物画像を取得し、
     前記構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、前記構造物画像に含まれる前記構造物の基準位置に対するずれ角および前記構造物の前記基準位置における組成情報を導出する画像処理方法。
  12.  被写体内の少なくとも1つの構造物を含む学習用構造物画像、前記学習用構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角、前記学習用構造物画像に含まれる前記構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習し、
     前記学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを構築する学習方法。
  13.  被写体の少なくとも1つの放射線画像に基づいて、前記被写体内の少なくとも1つの構造物を表す構造物画像を取得する手順と、
     前記構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを用いることにより、前記構造物画像に含まれる前記構造物の基準位置に対するずれ角および前記構造物の前記基準位置における組成情報を導出する手順とをコンピュータに実行させる画像処理プログラム。
  14.  被写体内の少なくとも1つの構造物を含む学習用構造物画像、前記学習用構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角、前記学習用構造物画像に含まれる前記構造物の基準位置における組成情報を含む教師データを用いてニューラルネットワークを学習する手順と、
     前記学習により、被写体内の少なくとも1つの構造物を含む構造物画像の入力により、前記構造物画像に含まれる前記構造物についての基準位置に対する放射線のずれ角および前記構造物の前記基準位置における組成情報の推定結果を出力する学習済みモデルを構築する手順とをコンピュータに実行させる学習プログラム。
PCT/JP2023/032691 2022-10-27 2023-09-07 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム Ceased WO2024090050A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024552866A JPWO2024090050A1 (ja) 2022-10-27 2023-09-07
EP23882263.9A EP4609791A4 (en) 2022-10-27 2023-09-07 IMAGE PROCESSING DEVICE, METHOD AND PROGRAM, AND LEARNING DEVICE, METHOD AND PROGRAM
US19/184,353 US20250248646A1 (en) 2022-10-27 2025-04-21 Image processing device, image processing method, image processing program, learning device, learning method, and learning program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-172746 2022-10-27
JP2022172746 2022-10-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/184,353 Continuation US20250248646A1 (en) 2022-10-27 2025-04-21 Image processing device, image processing method, image processing program, learning device, learning method, and learning program

Publications (1)

Publication Number Publication Date
WO2024090050A1 true WO2024090050A1 (ja) 2024-05-02

Family

ID=90830604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032691 Ceased WO2024090050A1 (ja) 2022-10-27 2023-09-07 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20250248646A1 (ja)
EP (1) EP4609791A4 (ja)
JP (1) JPWO2024090050A1 (ja)
WO (1) WO2024090050A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043959A (ja) 2013-07-31 2015-03-12 富士フイルム株式会社 放射線画像解析装置および方法並びにプログラム
JP2019115558A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 放射線撮影装置、画像処理装置及び画像判定方法
US20200082526A1 (en) * 2018-08-08 2020-03-12 Loyola University Chicago Methods of classifying and/or determining orientations of objects using two-dimensional images
WO2020166561A1 (ja) 2019-02-14 2020-08-20 富士フイルム株式会社 骨折リスク評価値取得装置及びその作動方法並びに骨折リスク評価値取得プログラム
WO2021100513A1 (ja) * 2019-11-18 2021-05-27 キヤノン株式会社 放射線撮影システム、放射線撮影方法、画像処理装置およびプログラム
JP2022106894A (ja) * 2018-09-10 2022-07-20 京セラ株式会社 推定装置、システム及び推定方法
JP2022140050A (ja) * 2021-03-12 2022-09-26 富士フイルム株式会社 推定装置、方法およびプログラム
KR20220134375A (ko) * 2021-03-26 2022-10-05 전주대학교 산학협력단 머신러닝에 기반한 x-선 상 척추 회전각도 측정시스템
JP2022158574A (ja) * 2021-04-02 2022-10-17 富士フイルム株式会社 学習装置、方法およびプログラム、並びに放射線画像処理装置、方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016210131B4 (de) * 2016-06-08 2023-03-09 Siemens Healthcare Gmbh Positionieren eines Untersuchungsobjekts für ein Bildgebungsverfahren
JP7684076B2 (ja) * 2021-04-02 2025-05-27 富士フイルム株式会社 位置決め装置、方法およびプログラム、並びに放射線画像処理装置、方法およびプログラム
JP7686430B2 (ja) * 2021-04-14 2025-06-02 富士フイルム株式会社 推定装置、方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043959A (ja) 2013-07-31 2015-03-12 富士フイルム株式会社 放射線画像解析装置および方法並びにプログラム
JP2019115558A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 放射線撮影装置、画像処理装置及び画像判定方法
US20200082526A1 (en) * 2018-08-08 2020-03-12 Loyola University Chicago Methods of classifying and/or determining orientations of objects using two-dimensional images
JP2022106894A (ja) * 2018-09-10 2022-07-20 京セラ株式会社 推定装置、システム及び推定方法
WO2020166561A1 (ja) 2019-02-14 2020-08-20 富士フイルム株式会社 骨折リスク評価値取得装置及びその作動方法並びに骨折リスク評価値取得プログラム
WO2021100513A1 (ja) * 2019-11-18 2021-05-27 キヤノン株式会社 放射線撮影システム、放射線撮影方法、画像処理装置およびプログラム
JP2022140050A (ja) * 2021-03-12 2022-09-26 富士フイルム株式会社 推定装置、方法およびプログラム
KR20220134375A (ko) * 2021-03-26 2022-10-05 전주대학교 산학협력단 머신러닝에 기반한 x-선 상 척추 회전각도 측정시스템
JP2022158574A (ja) * 2021-04-02 2022-10-17 富士フイルム株式会社 学習装置、方法およびプログラム、並びに放射線画像処理装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4609791A4

Also Published As

Publication number Publication date
US20250248646A1 (en) 2025-08-07
EP4609791A1 (en) 2025-09-03
EP4609791A4 (en) 2025-10-22
JPWO2024090050A1 (ja) 2024-05-02

Similar Documents

Publication Publication Date Title
JP7802457B2 (ja) 推定装置、方法およびプログラム
JP7546497B2 (ja) 運動器疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク
US20230096694A1 (en) Image processing device, image processing method, and image processing program
JP7662442B2 (ja) 推定装置、方法およびプログラム
JP7686430B2 (ja) 推定装置、方法およびプログラム
CN115120253A (zh) 推定装置、方法及计算机可读存储介质
JP7628031B2 (ja) 推定装置、方法およびプログラム
WO2023054287A1 (ja) 骨疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク
CN117710284A (zh) 图像处理装置、方法及记录介质
JP7758830B2 (ja) 推定装置、方法およびプログラム
JP2024000885A (ja) 放射線画像処理装置、方法およびプログラム
JP7607496B2 (ja) 学習装置、方法およびプログラム、並びに放射線画像処理装置、方法およびプログラム
WO2024090050A1 (ja) 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム
JP2025045867A (ja) 画像処理装置、方法およびプログラム
US20240104729A1 (en) Radiation image processing device, radiation image processing method, and radiation image processing program
WO2024189963A1 (ja) 画像処理装置、方法およびプログラム
JP7690362B2 (ja) 脂肪量導出装置、方法およびプログラム
JP2024010991A (ja) 放射線画像処理装置、方法およびプログラム
US12478344B2 (en) Radiation image processing apparatus, operation method of radiation image processing apparatus, and non-transitory computer readable medium
US20250095153A1 (en) Radiation image processing device, radiation image processing method, and radiation image processing program
US12533098B2 (en) Radiation image processing device, radiation image processing method, and radiation image processing program
JP2023177980A (ja) 放射線画像処理装置、方法およびプログラム
US20250292402A1 (en) Radiation image processing device, radiation image processing method, and radiation image processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882263

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024552866

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2023882263

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023882263

Country of ref document: EP

Effective date: 20250527

WWP Wipo information: published in national office

Ref document number: 2023882263

Country of ref document: EP