CN120826191A - 图像处理装置、方法及程序 - Google Patents
图像处理装置、方法及程序Info
- Publication number
- CN120826191A CN120826191A CN202380095016.2A CN202380095016A CN120826191A CN 120826191 A CN120826191 A CN 120826191A CN 202380095016 A CN202380095016 A CN 202380095016A CN 120826191 A CN120826191 A CN 120826191A
- Authority
- CN
- China
- Prior art keywords
- image
- bone
- radiation
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/482—Diagnostic techniques involving multiple energy imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pulmonology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种处理器,其进行如下处理:获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;基于两个放射线图像来推导包括骨骼内部的微细结构的骨骼图像;及基于骨骼图像或骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
Description
技术领域
本发明涉及一种图像处理装置、方法及程序。
背景技术
作为骨质疏松症的并发症,股骨及椎骨的骨折很有可能导致患者卧床不起。已知,卧床不起时的5年生存率低于癌症的5年生存率。随着全球骨质疏松症患者的增加,若能够早期发现骨质疏松症和早期治疗,则有望能够降低医疗费用及护理费用。因此,提出了用于评价骨质疏松症的各种方法。
例如,中国公开专利公报第113129286号说明书中提出了一种方法,其通过从利用DXA法(Dual X-ray Absorptiometry:双能X射线吸收法)或CT(Computed Tomography:计算机断层扫描)图像的定量CT法获取的骨密度图像获取统一尺寸的骨密度图像,并对统一尺寸的骨密度图像进行特征识别来检测骨质疏松症。
发明内容
发明要解决的技术课题
另-方面,骨骼在其内部包含松质骨的骨小梁结构。骨小梁是微细的结构,健康人的骨小梁密集排列,而骨质疏松症患者的骨小梁的密度会降低。因此,准确地掌握骨小梁的微细结构的疏密状况,有助于高精度地检测骨质疏松症。然而,通过上述的DXA法或定量CT法获取的骨密度图像的空间分辨率大。例如,通过DXA法获得的骨密度图像的空间分辨率为0.6~2.0mm/像素左右,而通过定量CT法获得的骨密度图像的空间分辨率为0.5~1.Omm/像素左右。在通过具有这种空间分辨率的DXA法或定量CT法获取的骨密度图像中,骨小梁的微细结构并未在图像内充分被描绘,因此无法高精度地进行骨质疏松症的判定。
本发明是鉴于上述情况而完成的,其目的在于能够简单且高精度地判别骨质疏松症。
用于解决技术课题的手段
根据本发明的图像处理装置至少具备一个处理器,
处理器进行如下处理:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于两个放射线图像来推导包括骨骼内部的微细结构的骨骼图像;及
基于骨骼图像或骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
“包括目标骨骼的部分图像”可以是仅有目标骨骼的图像,也可以是包括目标骨骼及其周边区域的图像。
另外,在根据本发明的图像处理装置中,骨骼图像可以包括骨骼中所包含的松质骨的骨小梁结构。
并且,在根据本发明的图像处理装置中,骨骼图像中可以描绘出松质骨的骨小梁结构。
“描绘出”是指在骨骼图像中能够视觉辨认松质骨的骨小梁结构。为了描绘松质骨的骨小梁结构,骨骼图像的每像素空间分辨率必须为松质骨的骨小梁结构的空间分辨率以下,例如,作为骨骼图像的空间分辨率为0.2mm/像素以下,优选为0.15mm/像素以下,更优选为0.1mm/像素以下。
并且,在根据本发明的图像处理装置中,处理器可以从两个放射线图像及骨骼图像中的至少一个图像中提取部分图像。
并且,在根据本发明的图像处理装置中,处理器可以从两个放射线图像及骨骼图像中的至少一个图像中提取至少一个目标骨骼,并基于目标骨骼的重心提取部分图像。
并且,在根据本发明的图像处理装置中,处理器可以作为已训练模型发挥作用,该已训练模型已进行机器学习,使得通过骨骼图像或部分图像的输入来输出骨质疏松症的可能性。
并且,在根据本发明的图像处理装置中,处理器可以作为已训练模型发挥作用,该已训练模型已进行机器学习,使得除了所述骨骼图像或所述部分图像以外,还通过所述两个放射线图像的摄影条件的输入来输出所述骨质疏松症的可能性。
并且,在根据本发明的图像处理装置中,处理器可以基于骨骼图像或部分图像中所包含的目标骨骼的像素值的统计值来推导骨质疏松症的可能性。
并且,在根据本发明的图像处理装置中,统计值可以是目标骨骼及目标骨骼的各个周边区域中的像素值的平均值、标准偏差、最大值及最小值中的至少一个。
并且,在根据本发明的图像处理装置中,处理器可以通过对目标骨骼及目标骨骼的各个周边区域中的像素值的平均值、标准偏差、最大值及最小值中的多个统计值进行加权运算来推导可能性。
并且,在根据本发明的图像处理装置中,加权运算的权重可以通过机器学习来推导。
并且,在根据本发明的图像处理装置中,处理器也可以通知可能性。
并且,在根据本发明的图像处理装置中,当可能性为预先设定的阈值以上时,处理器可以发出警告。
并且,在根据本发明的图像处理装置中,处理器也可以基于可能性来确定骨质疏松症的治疗优先级,并通知优先级。
并且,在根据本发明的图像处理装置中,处理器可以去除两个放射线图像中所包含的散射线成分,从而推导骨骼图像。
并且,在根据本发明的图像处理装置中,处理器可以进行如下处理:
在两个放射线图像的仅包括软组织的软组织区域中,基于两个放射线图像来推导与放射线的衰减相关的软组织的特性;
基于位于骨骼区域周围的软组织区域中所推导的软组织的特性来推导两个放射线图像中包括骨骼的骨骼区域中的软组织的特性;及
基于两个放射线图像中至少被摄体的区域中的软组织的特性来推导骨骼被强调的图像作为骨骼图像。
并且,在根据本发明的图像处理装置中,目标骨骼可以是股骨或椎骨。
在根据本发明的图像处理方法中,计算机进行如下处理:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于两个放射线图像来推导包括骨骼内部的微细结构的骨骼图像;及
基于骨骼图像或骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
根据本发明的图像处理程序使计算机执行如下步骤:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于两个放射线图像来推导包括骨骼内部的微细结构的骨骼图像;及
基于骨骼图像或骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
发明效果
根据本发明,能够简单且高精度地判别骨质疏松症。
附图说明
图1是示出应用了根据本发明的第1实施方式的图像处理装置的放射线图像摄影系统的结构的概略框图。
图2是示出根据第1实施方式的图像处理装置的概略结构的图。
图3是示出根据第1实施方式的图像处理装置的功能结构的图。
图4是示出骨骼图像的图。
图5是示出分割结果的图。
图6是示出在本实施方式中使用的神经网络的概略结构的图。
图7是示出在第1实施方式中用于构建已训练模型的训练数据的图。
图8是示出在第1实施方式中使用的已训练模型的例子的图。
图9是示出显示画面的例子的图。
图10是在第1实施方式中进行的学习处理的流程图。
图11是示出在本实施方式中获取的放射线图像的分布的图表。
图12是示出从在本实施方式中获取的两个放射线图像中所推导的骨骼图像的分布的图表。
图13是示出通过定量CT法获取的骨骼图像(相当于骨密度图像)的分布的图表。
图14是示出通过DXA法获取的骨骼图像(相当于的骨密度图像)的分布的图表。
图15是用于说明图11~图14所示的图表的横轴所表示的区间的图。
图16是示出根据第2实施方式的图像处理装置的功能结构的图。
图17是示出在第2实施方式中用于构建已训练模型的训练数据的图。
图18是示出在第2实施方式中使用的已训练模型的例子的图。
图19是示出根据第3实施方式的图像处理装置的功能结构的图。
图20是示出包括警告的显示画面的例子的图。
图21是示出包括治疗优先级的显示画面的例子的图。
图22是示出根据第4实施方式的图像处理装置的骨骼图像推导部的功能结构的图。
图23是示意地示出在根据第4实施方式的图像处理装置的骨骼图像推导部中进行的处理的图。
图24是示出在第4实施方式中进行的处理的流程图。
具体实施方式
以下,参考附图对本发明的实施方式进行说明。图1是示出应用了根据本发明的第1实施方式的图像处理装置的放射线图像摄影系统的结构的概略框图。如图1所示,根据本实施方式的放射线图像摄影系统具备摄影装置1和根据本实施方式的图像处理装置10。
摄影装置1是通过所谓的单次曝光法(one-shot method)来进行能量减影的摄影装置,该摄影装置将从放射线源3发射并透射了被摄体H的X射线等放射线,分别改变能量后照射到第1放射线检测器5及第2放射线检测器6上。在拍摄时,如图1所示,从靠近放射线源3的一侧依次配置第1放射线检测器5、由铜板等制成的放射线能量转换滤波器7及第2放射线检测器6,从而驱动放射线源3。另外,第1放射线检测器5及第2放射线检测器6与放射线能量转换滤波器7紧贴。
由此,在第1放射线检测器5中,利用还包括所谓的软射线的低能量放射线来获取被摄体H的第1放射线图像G1。并且,在第2放射线检测器6中,利用去除了软射线的高能量放射线来获取被摄体H的第2放射线图像G2。另外,第1放射线图像G1及第2放射线图像G2均为二维图像,它们是通过对被摄体H照射1次放射线的简单摄影所获取的被摄体的透射像。因此,第1放射线图像G1及第2放射线图像G2均为简单放射线图像。并且,在第1放射线图像G1及第2放射线图像G2中,亮度(即,低浓度)越高,像素值越大。
第1放射线检测器5及第2放射线检测器6能够反复进行放射线图像的记录及读出,并且可以使用直接接受放射线的照射而产生电荷的所谓的直接型放射线检测器,也可以使用首先将放射线转换为可见光,然后将该可见光转换为电荷信号的所谓的间接型放射线检测器。并且,作为放射线图像信号的读出方式,优选使用通过导通或断开TFT(thin filmtransistor:薄膜晶体管)开关来读出放射线图像信号的所谓的TFT读出方式;或者通过照射读取光来读出放射线图像信号的所谓的光读出方式,但并不限于此,也可以使用其他方式。
另外,放射线图像处理装置10经由未图示的网络与图像存储系统9连接。
图像存储系统9是存储由摄影装置1拍摄到的放射线图像的图像数据的系统。图像存储系统9从所存储的放射线图像中取出与来自图像处理装置10的请求对应的图像,并将其发送到发出请求的装置。作为图像存储系统9的具体例,可以举出PACS(PictureArchiving and Communication Systems:医学影像存档与通信系统)。
接着,对第1实施方式所涉及的图像处理装置进行说明。首先,参考图2对本实施方式所涉及的图像处理装置的硬件结构进行说明。如图2所示,图像处理装置10是工作站、服务器计算机及个人电脑等计算机,具备CPU(Central Processing Unit:中央处理单元)11、非易失性存储设备13及作为临时存储区域的内存16。并且,图像装置装置10具备液晶显示器等显示器14、键盘及鼠标等输入设备15以及连接于未图示的网络的网络I/F(InterFace:接口)17。CPU11、存储设备13、显示器14、输入设备15、内存16及网络I/F17连接于总线18。另外,CPU11是本发明中的处理器的一例。
存储设备13由HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态驱动器)及闪存等实现。作为存储介质的存储设备13中存储有安装于图像处理装置10中的图像处理程序12。CPU11从存储设备13中读出图像处理程序12并将其展开到内存16中,并执行已展开的图像处理程序12。
另外,图像处理程序12以能够从外部访问的状态存储于与网络连接的服务器计算机的存储装置中或者网络存储设备中,并根据请求下载并安装于构成图像处理装置10的计算机中。或者,也可以记录于DVD(Digital Versatile Disc:数字多功能光盘)、CD-ROM(Compact Disc Read Only Memory:光盘只读存储器)等记录介质中而被分发,并从该记录介质安装到构成图像处理装置10的计算机中。
接着,对根据第1实施方式的图像处理装置的功能结构进行说明。图3是示出根据第1实施方式的图像处理装置的功能结构的图。如图3所示,图像处理装置10具备:图像获取部21、散射线去除部22、骨骼图像推导部23、分割部24、可能性推导部25及显示控制部26。而且,CPU11通过执行图像处理程序12,作为图像获取部21、散射线去除部22、骨骼图像推导部23、分割部24、可能性推导部25及显示控制部26发挥作用,此外,作为后述的已训练模型25A发挥作用。
图像获取部21通过使摄影装置1对被摄体H进行拍摄,从而从第1放射线检测器5及第2放射线检测器6获取例如被摄体H的胯部附近的正面图像即第1放射线图像G1及第2放射线图像G2。在获取第1放射线图像G1及第2放射线图像G2时,对摄影剂量、管电压、放射线源3与第1放射线检测器5及第2放射线检测器6的表面之间的距离即SID(Source Imagereceptor Distance:源与影像接收器距离)、放射线源3与被摄体H的表面之间的距离即SOD(Source Object Distance:源与物体距离)、以及散射线去除栅格的有无等摄影条件进行设定。
如后述,SOD及SID用于计算体厚分布。关于SOD,例如优选通过TOF(Time OfFlight:飞行时间)相机来获取。关于SID,例如优选通过电位计、超声波测距仪及激光测距仪等来获取。
摄影条件可以通过由操作者从输入设备15进行输入来设定。所设定的摄影条件存储于存储设备13中。
另外,在本实施方式中,也可以通过与图像处理程序12不同的程序获取第1放射线图像G1及第2放射线图像G2,并将其存储于存储设备13中。此时,图像获取部21通过从存储设备13读出已存储于存储设备13中的第1放射线图像G1及第2放射线图像G2来获取这些用于处理的图像。
在此,在人体骨骼中存在松质骨,该松质骨位于覆盖骨骼外侧的皮质骨的内部,并且具有致密结构。松质骨具有由粗细为150μm左右的骨小梁立体连接形成的结构(以下,称为骨小梁结构)。在本实施方式中获取的第1放射线图像G1及第2放射线图像G2包括骨骼内部中所包含的松质骨的骨小梁结构。即,第1放射线图像G1及第2放射线图像G2是高清图像,其中描绘出松质骨的骨小梁结构,使得能够视觉辨认松质骨的骨小梁结构。为了能够描绘出这种松质骨的骨小梁结构,第1放射线图像G1及第2放射线图像G2的空间分辨率为0.2mm/像素以下,优选为0.15mm/像素,更优选为0.1mm/像素以下。
在此,第1放射线图像G1及第2放射线图像G2各自中,除了包括透射了被摄体H的放射线的一次射线成分(primary radiation)以外,还包括基于在被摄体H内被散射的放射线的散射线成分。因此,散射线去除部22从第1放射线图像G1及第2放射线图像G2中去除散射线成分。例如,散射线去除部22可以应用日本特开2015-043959号公报中所记载的方法,从第1放射线图像G1及第2放射线图像G2中去除散射线成分。当使用日本特开2015-043959号公报中所记载的方法等时,同时进行被摄体H的体厚分布的推导及用于去除散射线成分的散射线成分的推导。
以下,对从第1放射线图像G1中去除散射线成分的方法进行说明,但从第2放射线图像G2中去除散射线成分时也能够同样地进行。首先,散射线去除部22获取具有初始体厚分布T0(x,y)的被摄体H的虚拟模型K。虚拟模型K是根据初始体厚分布T0(x,y)的体厚与第1放射线图像G1的各像素的坐标位置建立有对应关联的、虚拟地表示被摄体H的数据。另外,具有初始体厚分布T0(x,y)的被摄体H的虚拟模型K可以预先存储于存储设备13中。并且,也可以基于摄影条件中所包含的SID及SOD来计算被摄体H的体厚分布T(x,y)。此时,通过从SID中减去SOD能够求出体厚分布。
接着,散射线去除部22基于虚拟模型K,将估计一次射线图像与估计散射线图像进行合成而得的图像,作为通过被摄体H的拍摄而获得的第1放射线图像G1进行估计的估计图像来生成,其中,该估计一次射线图像是对通过虚拟模型K的拍摄而获得的一次射线图像进行估计而得的图像,该估计散射线图像是对通过虚拟模型K的拍摄而获得的散射线图像进行估计而得的图像。
接着,散射线去除部22修正虚拟模型K的初始体厚分布T0(x,y),以减小估计图像与第1放射线图像G1之间的差异。散射线去除部22反复进行估计图像的生成及体厚分布的修正,直到估计图像与第1放射线图像G1之间的差异满足预先设定的结束条件。散射线去除部22推导满足结束条件时的体厚分布作为被摄体H的体厚分布T(x,y)。并且,散射线去除部22通过从第1放射线图像G1中减去满足结束条件时的散射线成分来去除第1放射线图像G1中所包含的散射线成分。另外,在以下说明中,设为第1放射线图像G1及第2放射线图像G2的散射线成分被去除。
骨骼图像推导部23通过进行能量减影处理,从而从第1放射线图像G1及第2放射线图像G2中推导已提取被摄体H的骨骼的骨骼图像Gb。在推导骨骼图像Gb时,骨骼图像推导部23对第1放射线图像G1及第2放射线图像G2如下述式(1)所示分别进行对应的像素之间的加权减法运算,由此,如图4所示,推导已提取各放射线图像G1、G2中所包含的被摄体H的骨骼的骨骼图像Gb。式(1)中,β1是加权系数。另外,在图4中示出了后述的部分图像B。
Gb(x,y)=G1(x,y)-β1×G2(x,y) (1)
分割部24将骨骼图像Gb分割为股骨的区域、骨盆的区域及椎骨的区域。分割可以使用提取模型进行,该提取模型已进行机器学习,使得从骨骼图像Gb中分别提取股骨、骨盆及椎骨。并且,也可以将分别表示股骨、骨盆及椎骨的模板预先存储于存储设备13中,并且可以通过在这些模板与骨骼图像Gb之间进行模板匹配来进行分割。
图5是示出由分割部24进行分割的结果的图。如图5所示,骨骼图像Gb中的骨骼区域被分割为股骨区域A1、骨盆区域A2及椎骨区域A3。另外,在图5中,通过对股骨区域A1、骨盆区域A2及椎骨区域A3分别施加不同的阴影线来示出分割结果。
另一方面,关于椎骨,在骨骼图像Gb中仅包括骶骨及腰椎。腰椎在解剖学上从骨盆侧朝向颈部分为第五腰椎L5、第四腰椎L4、第三腰椎L3、第二腰椎L2、第一腰椎L1。因此,分割部24优选将骶骨及5个腰椎分割为分别不同的区域。
另外,分割部24可以仅对骨骼图像Gb中的目标骨骼进行分割。例如,在本实施方式中,由于将股骨作为目标骨骼,因此可以仅对股骨区域A1进行分割。并且,分割部24也可以代替骨骼图像Gb而对第1放射线图像G1或第2放射线图像G2进行分割。
可能性推导部25基于骨骼图像Gb或骨骼图像Gb中包括目标骨骼的部分图像来推导骨质疏松症的可能性。在基于部分图像来推导可能性时,可能性推导部25从骨骼图像Gb中提取部分图像。例如,如图4所示,在骨骼图像Gb中,部分图像B是包括由分割部24所提取的目标骨骼即股骨及其周边区域的图像。另外,作为部分图像,可以仅为作为目标骨骼的股骨区域的图像。并且,可能性推导部25可以推导股骨的重心,并提取将股骨的重心作为重心的预先设定的范围作为部分图像。
另外,目标骨骼可能是椎骨。此时,可能性推导部25基于包括椎骨的部分图像来推导骨质疏松症的可能性。因此,可能性推导部25提取包括椎骨的部分图像作为目标骨骼。此时,可以推导椎骨的重心,并且可以推导部分图像,使得将重心作为部分图像的重心。并且,可以推导多个椎骨(例如,第二腰椎、第三腰椎及第四腰椎)各自的重心位置,并且可以推导部分图像,使得所推导的重心位置的重心位置成为部分图像的重心。
在本实施方式中,可能性推导部25使用已训练模型25A推导骨质疏松症的可能性,在已训练模型25A中,若输入部分图像B,则输出骨质疏松症的可能性P0。
已训练模型25A通过使用骨骼图像Gb中包括目标骨骼的部分图像、及与骨骼图像Gb相关的表示骨质疏松症的有无的正确数据作为训练数据,对神经网络进行机器学习来构建。在此,若发生骨质疏松症,则骨骼中所包含的松质骨的骨小梁结构的密度变低。因此,训练数据的正确数据是医生通过读取骨骼图像Gb的基础上判断骨小梁结构的状况之后,进而判断是否发生骨质疏松症来求出。
作为神经网络,可以举出简单感知器、多层感知器、深度神经网络、卷积神经网络、深度信念网络、递归神经网络及概率神经网络等。在本实施方式中,作为神经网络使用卷积神经网络。
图6是示出在本实施方式中使用的神经网络的图。如图6所示,神经网络60具备输入层61、中间层62及输出层63。中间层62例如具备多个卷积层65、多个池化层66及全连接层67。在神经网络60中,全连接层67存在于输出层63的前段。而且,在神经网络60中,卷积层65和池化层66交替地配置于输入层61与全连接层67之间。
另外,神经网络60的结构并不限定于图6的例子。例如,神经网络60也可以在输入层61与全连接层67之间具备1个卷积层65和1个池化层66。
图7是示出在第1实施方式中用于神经网络的学习的训练数据的例子的图。如图7所示,训练数据40由学习用数据41和正确数据42构成。学习用数据41由骨骼图像中包括目标骨骼的部分图像43构成。另外,在图7中,部分图像包括作为目标骨骼的股骨及其周边区域。部分图像43从健康人的骨骼图像及患有骨质疏松症的患者的骨骼图像中推导。
成为正确数据42的骨质疏松症的有无,可以根据部分图像43是从健康人的骨骼图像中推导的图像,还是从骨质疏松症患者的骨骼图像中推导的图像来设定。
正确数据42由骨质疏松症的有无组成。在本实施方式中,可能性P0取0~1的值。因此,患有骨质疏松症的情况下的正确数据42的值为1,没有骨质疏松症的情况下的正确数据42的值为0。
另外,作为学习用数据41的部分图像43可以通过根据骨质疏松症的有无来处理健康人的骨骼图像来推导。由此,能够增加训练数据的数量,从而能够有效地进行学习。
若将作为患者的被摄体H的骨骼图像Gb中包括目标骨骼的部分图像B的每个像素的像素值B(x,y)输入到使用大量这种训练数据40对神经网络进行机器学习而构建的已训练模型25A中,则如图8所示,已训练模型25A输出关于该被摄体H患骨质疏松症的可能性P0。
另外,当可能性推导部25代替部分图像而基于骨骼图像Gb来推导骨质疏松症的可能性P0时,已训练模型25A构建为,若输入骨骼图像Gb,则输出骨质疏松症的可能性P0。此时使用的训练数据40的学习用数据41成为健康人及骨质疏松症患者的骨骼图像。
为了通知由可能性推导部25所推导的骨质疏松症的可能性P0,显示控制部26将可能性P0显示于显示器14上。图9是示出骨质疏松症的可能性的显示画面的图。如图9所示,在显示画面50上显示被摄体H的骨骼图像Gb及骨质疏松症的可能性51。另外,可能性取0~1的值,但在图9所示的显示画面50中,以百分比来表示可能性。
接着,对在第1实施方式中进行的处理进行说明。图10是示出在第1实施方式中进行的处理的流程图。另外,通过拍摄来获取第1放射线图像G1及第2放射线图像G2,并将其存储于存储设备13中。若从输入设备15输入开始处理的指示,则图像获取部21从存储设备13获取第1放射线图像G1及第2放射线图像G2(获取放射线图像;步骤ST1)。
接着,散射线去除部22从第1放射线图像G1及第2放射线图像G2中去除散射线成分(步骤ST2)。并且,骨骼图像推导部23从第1放射线图像G1及第2放射线图像G2中推导包括被摄体H的骨骼内部的微细结构的骨骼图像Gb(步骤ST3)。此外,分割部24在骨骼图像Gb中分割作为目标骨骼的股骨的区域(步骤ST4)。
接着,可能性推导部25提取骨骼图像Gb中包括目标骨骼的部分图像B,并基于部分图像B来推导骨质疏松症的可能性P0(步骤ST5)。然后,显示控制部26将由可能性推导部25所推导的骨质疏松症的可能性P0显示于显示器14上(步骤ST6),并结束处理。
图11~图14是用于说明与图像的种类对应的空间分辨率的图。图11是示出在本实施方式中获取的放射线图像的分布的图表,图12是示出从在本实施方式中获取的两个放射线图像中所推导的骨骼图像的分布的图表,图13是示出通过定量CT法获取的骨骼图像(相当于骨密度图像)的分布的图表,图14是示出通过DXA法获取的骨骼图像(相当于骨密度图像)的分布的图表。
另外,如图15所示,图11~图14所示的图表的横轴表示股骨的颈部的区间70内的位置,纵轴表示区间70的像素值。并且,纵线的间隔为10mm。并且,放射线图像及骨骼图像的空间分辨率为0.15mm/像素,相当于在定量CT法中获取的骨密度图像的骨骼图像的空间分辨率为1.0mm/像素,相当于在DXA法中获取的骨密度图像的骨骼图像的空间分辨率为2.0mm/像素。
如图11的图表所示,在本实施方式中获取的放射线图像中,在区间70的骨骼内部,像素值细微变动,因此可知描绘出松质骨的骨小梁结构。并且,如图12的图表所示,在本实施方式中获取的骨骼图像中,在区间70的骨骼内部,像素值细微变动,并且与图11相比其变动的幅度大。因此,可知,在本实施方式中获取的骨骼图像中,与放射线图像相比,更清晰地描绘出松质骨的骨小梁结构。
另一方面,如图13的图表所示,在相当于通过定量CT法获取的骨密度图像的骨骼图像中,在区间70的骨骼内部,几乎没有像素值的细微变动,因此可知几乎没有描绘出松质骨的骨小梁结构。并且,如图14的图表所示,在相当于通过DXA法获取的骨密度图像的骨骼图像中,在区间70的骨骼内部,未观察到像素值的细微变动,因此可知完全未描绘出松质骨的骨小梁结构。
在第1实施方式中,推导包括骨骼内部的微细结构的骨骼图像Gb,并基于骨骼图像Gb中包括目标骨骼的部分图像B来推导骨质疏松症的可能性P0。即,如图12的图表所示,设为如下方式:从清晰地描绘出骨骼内部的松质骨的微细的骨小梁结构的骨骼图像Gb中,推导骨质疏松症的可能性P0。在此,用于获取骨骼图像Gb的第1放射线图像G1及第2放射线图像G2通过简单的放射线图像的摄影来获取。因此,根据本实施方式,能够简单且高精度地判定骨质疏松症。
并且,由于从第1放射线图像G1及第2放射线图像G2中去除了散射线成分,因此能够推导由散射线引起的图像模糊少的骨骼图像Gb。因此,能够更高精度地推导骨质疏松症的可能性性P0。
此时,不需要散射线去除部22。
接着,对本发明的第2实施方式进行说明。图16是示出根据第2实施方式的图像处理装置的功能结构的图。在上述第1实施方式中,在可能性推导部25中,使用了已训练模型25A,该已训练模型25A已进行机器学习,使得若输入骨骼图像Gb或骨骼图像Gb中包括目标骨骼的部分图像,则输出骨质疏松症的可能性P0。根据第2实施方式的图像处理装置10A与第1实施方式的不同之处在于,除了骨骼图像Gb或骨骼图像Gb中包括目标骨骼的部分图像B以外,还使用已训练模型25B,该已训练模型25B已进行机器学习,使得若输入在获取第1放射线图像G1及第2放射线图像G2时的摄影条件,则输出骨质疏松症的可能性P0。
图17是示出在第2实施方式中用于神经网络的学习的训练数据的例子的图。如图17所示,在第2实施方式中用于神经网络的学习的训练数据40A,除了包括图7所示的训练数据40以外,还包括获取学习用数据41时的摄影条件44。
若将作为患者的被摄体H的骨骼图像Gb或骨骼图像Gb中包括目标骨骼的部分图像的每个像素的像素值B(x,y)、及获取用于生成骨骼图像Gb的第1放射线图像G1、第2放射线图像G2时的摄影条件S0,输入到使用大量这种训练数据40A对神经网络进行机器学习而构建的已训练模型25B中,则如图18所示,已训练模型25B输出关于该被摄体H患骨质疏松症的可能性P0。
接着,对本发明的第3实施方式进行说明。图19是示出根据第3实施方式的图像处理装置的功能结构的图。在上述第1实施方式及第2实施方式中,在可能性推导部25中,使用已训练模型25A、25B推导骨质疏松症的可能性P0。根据第3实施方式的图像处理装置10B与第1实施方式及第2实施方式的不同之处在于,在可能性推导部25中,基于骨骼图像Gb中包括目标骨骼的部分图像的统计值来推导骨质疏松症的可能性性P0。
在第3实施方式中,可能性推导部25推导骨骼图像Gb或骨骼图像Gb中包括目标骨骼的部分图像B的统计值。例如,可能性推导部25推导以下值中的至少一个作为统计值:包括目标骨骼的区域及其周边区域的部分图像B中所包含的仅目标骨骼的区域的像素值的平均值μA、方差值σA、最大值MaxA及最小值MinA、以及仅目标骨骼的周围区域的平均值μB、方差值σB、最大值MaxB及最小值MinB。
在此,若发生骨质疏松症,则松质骨的骨小梁结构的密度变小,因此高亮度(低浓度)的成分变少,因此平均值μA、μB变小。并且,若松质骨的骨小梁结构的密度变小,则骨小梁的疏密差异即像素值的差异变大,因此方差值σA、σB变小。并且,若松质骨的骨小梁结构的密度变小,则高亮度(低浓度)的成分变少,因此最大值MaxA、MaxB及最小值MinA、MinB变小。
可能性推导部25可以通过将这些8个统计值中的任一个归一化为0~1来推导骨质疏松症的可能性P0,但在第3实施方式中,通过下述式(2)对这些8个统计值进行加权运算来推导可能性P0。式(2)中,C1~C8是8个统计值各自的权重系数。另外,在权重系数C1~C8中,将相对于仅目标骨骼区域的像素值的平均值μA、方差值σA的权重系数C1、C2,设为大于其他权重系数C3~C8的值。
[数式1]
另外,式(2)中的权重系数C1~C8能够通过对AdaBoost算法或SVM等分类器进行机器学习来求出。或者,能够使用利用了马氏距离(Mahalanobis distance)的判别分析的方法。例如,当使用AdaBoost算法时,针对大量的骨质疏松症的图像及大量的正常的图像,分别推导上述的统计值,并优化与各统计值相乘的权重系数,以使骨质疏松症的判别精度针对所推导的统计值达到最高(即,使错误率最小化)。
在第3实施方式中,如图12的图表所示,清晰地描绘出骨骼内部的海绵骨的微细的骨小梁结构,并且从骨骼图像Gb中推导骨质疏松症的可能性P0,该骨骼图像Gb是从通过简单摄影获取的第1放射线图像G1及第2放射线图像G2中所推导的图像。因此,与第1实施方式同样地,根据第3实施方式,能够简单且高精度地判定骨质疏松症。
另外,在上述各实施方式中,如图9所示,将包括骨骼图像Gb及骨质疏松症的可能性51的显示画面50显示于显示器14上,但并不限定于此。若可能性推导部25所推导的可能性P0为预先设定的阈值以上,则表明骨质疏松症正在进展,因此可以发出警告。可能性P0与阈值的比较可以由可能性推导部25进行,也可以由显示控制部26进行,或者也可以在图像处理装置10中设置比较专用功能。
图20是示出包括警告的显示画面的图。如图20所示,显示画面50A除了骨骼图像Gb及骨质疏松症的可能性51以外,还包括警告显示52。警告显示52包括“骨质疏松症的可能性高”的文本。
如此,通过当可能性P0为预先设定的阈值以上时发出该警告,医生能够容易地识别出推导了骨骼图像Gb的患者患有骨质疏松症的可能性高。
并且,也可以基于由可能性推导部25所推导的骨质疏松症的可能性P0来确定骨质疏松症的治疗优先级,并且除了骨骼图像Gb及骨质疏松症的可能性51以外,还显示治疗优先级。治疗优先级的确定可以由可能性推导部25进行,也可以由显示控制部26进行,或者也可以在图像处理装置10中设置治疗优先级的确定专用功能。
在此,在本实施方式中,骨质疏松症的可能性P0为0~1的值。因此,当可能性P0为0.7~1.0时,将优先级确定为“高”,当可能性P0为0.3~0.7时,将优先级确定为“中”,当可能性P0为0.0~0.3时,将优先级确定为“低”即可。
图21是示出包括治疗优先级的显示画面的图。如图21所示,显示画面50B除了骨骼图像Gb及骨质疏松症的可能性51以外,还包括治疗优先级53。在图21中,治疗优先级53为“高”。
如此,基于骨质疏松症的可能性P0来确定治疗的优先级,并通知所确定的优先级,由此能够将其用于患者的分诊。
并且,在上述各实施方式中,骨骼图像推导部23利用上述式(1)对第1放射线图像G1及第2放射线图像G2进行加权减法运算,从而推导骨骼图像Gb,但并不限定于此。也可以使用与被摄体H的骨骼及软组织中的放射线的衰减相关的特性来推导骨骼图像Gb。以下,将其作为第4实施方式来进行说明。
图22是示出第4实施方式中的骨骼图像推导部的功能结构的图。如图22所示,在第4实施方式中,骨骼图像推导部23具备区域确定部31、特性推导部32及图像推导部33。
在此,图像获取部21所获取的第1放射线图像G1及第2放射线图像G2中包括被摄体H的区域、及通过放射线直接照射到放射线检测器5、放射线检测器6而获得的直接放射线区域。被摄体H的区域中包括软组织区域及骨骼区域。人体的软组织成分包括肌肉、脂肪、血液及水分。在本实施方式中,将还包括血液及水分的非脂肪组织作为肌肉来处理。
第1放射线图像G1及第2放射线图像G2的软组织区域仅包括被摄体H的软组织成分。第1放射线图像G1及第2放射线图像G2的骨骼区域实际上是骨骼成分及软组织成分混合在一起的区域。
以下,对由区域确定部31、特性推导部32及图像推导部33进行的处理进行说明。图23是示意地示出根据第4实施方式的骨骼图像推导的处理的图。另外,在图23中,为了便于说明,设为如下结构:第1放射线图像G1及第2放射线图像G2不包括直接放射线区域,而在软组织区域中包括矩形骨骼区域。
区域确定部31确定第1放射线图像G1或第2放射线图像G2中的骨骼区域及软组织区域。因此,区域确定部31在第1放射线图像G1或第2放射线图像G2的至少被摄体H的区域中推导与放射线的衰减相关的衰减特性,并基于被摄体H的区域中的衰减特性来确定软组织区域及骨骼区域。区域确定部31从第1放射线图像G1及第2放射线图像G2中分别推导表示被摄体H对放射线的衰减量的第1衰减图像CL及第2衰减图像CH,并推导衰减比(即,第1衰减图像CL及第2衰减图像CH的对应像素之间的比率)作为衰减特性。
在此,第1衰减图像CL的像素值表示被摄体H对低能量放射线的衰减量,第2衰减图像CH的像素值表示被摄体H对高能量放射线的衰减量。从第1放射线图像G1及第2放射线图像G2,利用下述式(3)、(4)推导第1衰减图像CL及第2衰减图像CH。式(3)中的Gd1为第1放射线图像G1中的直接放射线区域的像素值,式(4)中的Gd2为第2放射线图像G2中的直接放射线区域的像素值。
CL(x,y)=Gd1-G1(x,y) (3)
CH(x,y)=Gd2-G2(x,y) (4)
接着,区域确定部31推导表示第1放射线图像G1与第2放射线图像G2之间的放射线的衰减比的衰减比图。具体而言,通过利用下述式(5)推导第1衰减图像CL与第2衰减图像CH的对应像素之间的比率,以推导衰减比图M1。衰减比是与放射线的衰减相关的特性的一例。
M1(x,y)=CL(x,y)/CH(x,y) (5)
在此,在第1放射线图像G1及第2放射线图像G2中,仅包括软组织成分的区域的衰减比小于包括骨骼成分的区域的衰减比。因此,区域确定部31对衰减比图M1中的各像素的衰减比进行比较,并将由衰减比大于预先设定的阈值的像素构成的区域确定为骨骼区域,并将除了骨骼区域以外的区域确定为软组织区域。另外,区域确定部31可以对衰减比图M1中的各像素与其周围的像素的衰减比进行比较,并将与周围的像素相比衰减比大的像素确定为骨骼区域的像素。
特性推导部32在仅包括第1放射线图像G1或第2放射线图像G2的软组织的软组织区域中,基于第1放射线图像G2及第2放射线图像G2来推导与放射线的衰减相关的软组织的特性。并且,特性推导部32基于位于骨骼区域周围的软组织区域中所推导的软组织的特性来推导骨骼区域中的软组织的特性。在本实施方式中,特性推导部32推导第1放射线图像G1与第2放射线图像G2的衰减比作为软组织的特性。
在此,在第4实施方式中,区域确定部31在第1放射线图像G1或第2放射线图像G2的被摄体H的区域中推导与放射线的衰减相关的特性即衰减比。因此,特性推导部32将由区域确定部31所推导的衰减比图M1中的软组织区域的衰减比用作软组织区域中的软组织的特性。即,区域确定部31还具有作为特性推导部32的功能。
另一方面,关于骨骼区域,通过对位于骨骼区域周围的软组织区域的衰减比进行插值,从而推导针对骨骼区域的软组织的特性即衰减比。另外,可以代替插值,将衰减比图M1中软组织区域的衰减比的中位数、平均值或者(从衰减比较小的一侧起成为预先设定的比例的)值,作为针对骨骼区域的衰减比来推导。
由此,特性推导部32从第1放射线图像G1或第2放射线图像G2中针对被摄体H的区域推导软组织的特性。软组织的特性是软组织区域的衰减比。在第4实施方式中,在由后述的图像推导部33推导骨骼图像时,将所推导的软组织的特性用作用于消除软组织的软组织消除系数K1。
图像推导部33基于第1放射线图像G1或第2放射线图像G2中被摄体H的区域内的软组织的特性来推导骨骼成分被强调的骨骼图像Gb。
在第4实施方式中,图像推导部33首先基于第1衰减图像CL、第2衰减图像CH及作为软组织的特性的软组织消除系数K1来推导骨骼被强调的初始骨骼衰减图像。具体而言,图像推导部33利用下述式(6)推导初始骨骼衰减图像Cb0。
Cb0(x,y)=CL(x,y)-CH(x,y)×K1(x,y) (6)
在此,如上所述推导的初始骨骼衰减图像Cb0中骨骼区域的像素值表示以下两者的差值:假设存在与骨骼的厚度对应的软组织时,将骨骼的衰减量替换为软组织的衰减量而得的值;及实际骨骼的衰减量。因此,与原本想要推导的骨骼衰减图像相比,该图像的对比度较低。若使用这种对比度较低的骨骼衰减图像,则如后述,当通过从第1衰减图像CL或第2衰减图像CH中减去骨骼衰减图像而推导软组织衰减图像时,无法良好地去除骨骼成分。
因此,图像推导部33通过使初始骨骼衰减图像Cb0的对比度与第1衰减图像CL或第2衰减图像CH的对比度一致,从而推导骨骼衰减图像Cb1。在第4实施方式中,将初始骨骼衰减图像Cb0的对比度设为与第1衰减图像CL的对比度一致。因此,图像推导部33通过将对比度转换系数乘以初始骨骼衰减图像Cb0,以转换初始骨骼衰减图像Cb0的对比度。然后,推导通过从第1衰减图像CL中减去对比度转换后的初始骨骼衰减图像Cb0而推导的差图像ΔCL与初始骨骼衰减图像Cb0之间的相关性。然后,确定对比度转换系数以最小化相关性,并将所确定的对比度转换系数乘以初始骨骼衰减图像Cb0,由此推导骨骼衰减图像Cb1。
另外,可以预先制作表示将初始骨骼衰减图像Cb0的对比度与体厚建立关联的对比度转换系数的表格。此时,可以通过测量等方式推导被摄体H的体厚,并根据初始骨骼衰减图像Cb0的对比度及该体厚,参考表格推导对比度转换系数,并且利用该推导的对比度转换系数转换初始骨骼衰减图像Cb0,从而推导骨骼衰减图像Cb1。
然后,图像推导部33利用下述式(7)从第1衰减图像CL中减去骨骼衰减图像Cb1,从而推导软组织衰减图像Cs1。
Cs1(x,y)=CL(x,y)-Cb1(x,y) (7)
此外,图像推导部33利用下述式(8)推导骨骼图像Gb。另外,当推导软组织图像Gs时,图像推导部33利用下述式(9)推导软组织图像Gs。
Gb(x,y)=Gd1(x,y)-Cb1(x,y) (8)
Gs(x,y)=Gd2(x,y)-Cs1(x,y) (9)
接着,对在第4实施方式中进行的骨骼图像的推导处理进行说明。图24是示出在第4实施方式中进行的骨骼图像推导处理的流程图。另外,设为由图像获取部21进行的第1放射线图像G1及第2放射线图像G2的获取、以及由散射线去除部22进行的从第1放射线图像G1及第2放射线图像G2中去除散射线成分的处理已结束。因此,在以下说明中,设为散射线成分已从第1放射线图像G1及第2放射线图像G2中去除。
首先,区域确定部31从第1放射线图像G1及第2放射线图像G2中推导第1衰减图像CL及第2衰减图像CH(推导衰减图像:步骤ST11),并确定第1衰减图像CL或第2衰减图像CH中仅包括软组织成分的软组织区域及包括骨骼的骨骼区域(步骤ST12)。接着,特性推导部32在软组织区域中推导与放射线图像的衰减相关的软组织成分的特性(衰减比)(步骤ST13)。接下来,特性推导部32在骨骼区域中推导软组织成分的特性(步骤ST14)。
接着,图像推导部33推导初始骨骼衰减图像Cb0(步骤ST15),转换初始骨骼衰减图像Cb0的对比度,由此推导骨骼衰减图像Cb1(步骤ST16)。此外,图像推导部33通过从第1衰减图像CL中减去骨骼衰减图像Cb1来推导软组织衰减图像Cs1(步骤ST17)。接下来,图像推导部33利用上述式(8)推导骨骼图像Gb(步骤ST18)。推导骨骼图像Gb之后,进入上述的图10所示的流程图的步骤ST4的处理。
另外,在上述各实施方式中,作为目标骨骼使用股骨,但并不限定于此。也可以将椎骨设为目标骨骼。
特别是椎骨,若因骨质疏松症的发生而导致骨矿物质含量变少,从而骨质疏松症恶化,则椎骨在人体的上下方向上被压缩而发生变形,甚至可能会发生压缩性骨折。因此,即使将目标骨骼设为椎骨,根据本实施方式,也能够推导骨质疏松症的可能性P0。
并且,在本实施方式中,除了股骨及椎骨以外,也能够将膝关节周边的股骨及胫骨等任意的骨骼作为目标骨。
并且,在上述各实施方式中,从第1放射线图像G1及第2放射线图像G2中去除了散射线成分,但并不限定于此。也可以在不从第1放射线图像G1及第2放射线图像G2中去除散射线成分的情况下推导骨骼图像Gb。
并且,在上述各实施方式中,在进行能量减影处理时,通过单次曝光法获取了第1放射线图像G1及第2放射线图像G2,但并不限定于此。也可以通过仅使用1个放射线检测器进行两次拍摄的所谓的两次曝光法来获取第1放射线图像G1及第2放射线图像G2。在两次曝光法的情况下,由于被摄体H的身体移动,第1放射线图像G1及第2放射线图像G2中所包含的被摄体H的位置可能会而发生偏移。因此,在第1放射线图像G1及第2放射线图像G2中,优选在进行被摄体的对位之后进行本实施方式的处理。
并且,在上述各实施方式中,使用(在利用第1放射线检测器5及第2放射线检测器6拍摄被摄体H的第1放射线图像G1及第2放射线图像G2的系统中所获取的)放射线图像进行了图像处理,但本发明的技术当然也能够应用于代替放射线检测器而使用存储荧光片来获取第1放射线图像G1及第2放射线图像G2的情况。此时,可以通过以下方式获取第1放射线图像G1及第2放射线图像G2:将两张存储荧光片重叠,并照射透射了被摄体H的放射线,从而将被摄体H的放射线图像信息存储并记录于各存储荧光片上,并且从各存储荧光片光电读取放射线图像信息。另外,当使用存储荧光片获取第1放射线图像G1及第2放射线图像G2时,也可以使用两次曝光法。
并且,上述实施方式中的放射线并不受特别限定,除了能够使用X射线以外,还能够使用α射线或γ射线等。
并且,在上述实施方式中,作为执行各种处理的处理部(Processing Unit)的硬件结构(例如,图像获取部21、散射线去除部22、骨骼图像推导部23、分割部24、可能性推导部25、显示控制部26、区域确定部31、特性推导部32及图像推导部33),能够使用以下所示的各种处理器(Processor)。如上所述,在上述各种处理器中,除了包括执行软件(程序)并作为各种处理部发挥作用的通用处理器即CPU以外,还包括:制造后能够变更电路结构的处理器,例如FPGA(Field Programmable Gate Array:现场可编程门阵列)等可编程逻辑器件(Programmable Logic Device:PLD);及为了执行特定处理而专门设计的具有电路结构的处理器,例如ASIC(Application Specific IntegratedCircuit:专用集成电路)等专用电气电路。
1个处理部可以由这些各种处理器中的1个构成,也可以由相同种类或不同种类的2个以上的处理器的组合(例如,多个FPGA的组合或CPU与FPGA的组合)构成。并且,也可以由1个处理器构成多个处理部。
作为由1个处理器构成多个处理部的例子,第一,有如下方式:如以客户端及服务器等计算机为代表,由1个以上的CPU与软件的组合构成1个处理器,并且该处理器作为多个处理部发挥作用。第二,有如下方式:如以片上系统(System On Chip:SoC)等为代表,使用在单个IC(Integrated Circuit:集成电路)芯片上实现包括多个处理部的整个系统的功能的处理器。如此,各种处理部作为硬件结构使用上述各种处理器中的一个以上来构成。
此外,作为这些各种处理器的硬件结构,更具体而言,能够使用将半导体元件等电路元件组合而成的电路(Circuitry)。
以下,记载本发明的附记项。
(附记项1)
一种图像处理装置,其具备至少一个处理器,
所述处理器进行如下处理:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于所述两个放射线图像来推导包括所述骨骼内部的微细结构的骨骼图像;及
基于所述骨骼图像或所述骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
(附记项2)
根据附记项1所述的图像处理装置,其中,
所述骨骼图像包括所述骨骼中所包含的松质骨的骨小梁结构。
(附记项3)
根据附记项2所述的图像处理装置,其中,
所述骨骼图像中描绘出所述松质骨的骨小梁结构。
(附记项4)
根据附记项3所述的图像处理装置,其中,
所述骨骼图像具有0.2mm/像素以下的空间分辨率。
(附记项5)
根据附记项1至4中任一项所述的图像处理装置,其中,
所述处理器从所述两个放射线图像及所述骨骼图像中的至少一个图像中提取所述部分图像。
(附记项6)
根据附记项5所述的图像处理装置,其中,
所述处理器从所述两个放射线图像及所述骨骼图像中的至少一个图像中提取至少一个所述目标骨骼,并基于所述目标骨骼的重心,提取所述部分图像。
(附记项7)
根据附记项1至6中任一项所述的图像处理装置,其中,
所述处理器作为已训练模型发挥作用,该已训练模型己进行机器学习,使得通过所述骨骼图像或所述部分图像的输入来输出所述骨质疏松症的可能性。
(附记项8)
根据附记项1至6中任一项所述的图像处理装置,其中,
所述处理器作为已训练模型发挥作用,该已训练模型已进行机器学习,使得除了所述骨骼图像或所述部分图像以外,还通过所述两个放射线图像的摄影条件的输入来输出所述骨质疏松症的可能性。
(附记项9)
根据附记项1至6中任一项所述的图像处理装置,其中,
所述处理器基于所述骨骼图像或所述部分图像中所包含的所述目标骨骼的像素值的统计值来推导所述骨质疏松症的可能性。
(附记项10)
根据附记项9所述的图像处理装置,其中,
所述统计值是所述目标骨骼及所述目标骨骼的各个周边区域中的像素值的平均值、标准偏差、最大值及最小值中的至少一个。
(附记项11)
根据附记项10所述的图像处理装置,其中,
所述处理器通过对所述目标骨骼及所述目标骨骼的各个周边区域中的像素值的平均值、标准偏差、最大值及最小值中的多个统计值进行加权运算来推导所述可能性。
(附记项12)
根据附记项11所述的图像处理装置,其中,
所述加权运算的权重通过机器学习来推导。
(附记项13)
根据附记项1至12中任一项所述的图像处理装置,其中,
所述处理器通知所述可能性。
(附记项14)
根据附记项1至13中任一项所述的图像处理装置,其中,
当所述可能性为预先设定的阈值以上时,所述处理器发出警告。
(附记项15)
根据附记项1至14中任一项所述的图像处理装置,其中,
所述处理器基于所述可能性来确定骨质疏松症的治疗优先级,并通知所述优先级。
(附记项16)
根据附记项1至14中任一项所述的图像处理装置,其中,
所述处理器去除所述两个放射线图像中所包含的散射线成分,从而推导所述骨骼图像。
(附记项17)
根据附记项1至16中任一项所述的图像处理装置,其中,
所述处理器进行如下处理:
在所述两个放射线图像的仅包括所述软组织的软组织区域中,基于所述两个放射线图像来推导与所述放射线的衰减相关的所述软组织的特性;
基于位于骨骼区域周围的所述软组织区域中所推导的所述软组织的特性来推导所述两个放射线图像中包括所述骨骼的所述骨骼区域中的所述软组织的特性;及
基于所述两个放射线图像中至少所述被摄体的区域中的所述软组织的特性来推导所述骨骼被强调的图像作为所述骨骼图像。
(附记项18)
根据附记项1至17中任一项所述的图像处理装置,其中,
所述目标骨骼是股骨或椎骨。
(附记项19)
一种图像处理方法,其中,
计算机进行如下处理:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于所述两个放射线图像来推导包括所述骨骼内部的微细结构的骨骼图像;及
基于所述骨骼图像或所述骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
(附记项20)
一种图像处理程序,其使计算机执行如下步骤:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于所述两个放射线图像来推导包括所述骨骼内部的微细结构的骨骼图像;及
基于所述骨骼图像或所述骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
符号说明
1-摄影装置,3-放射线源,5、6-放射线检测器,7-放射线能量转换滤波器,9-图像存储系统,10、10A、10B-图像处理装置,11-CPU,12A-图像处理程序,13-存储设备,14-显示器,15-输入设备,16-内存,17-网络I/F,18-总线,21-图像获取部,22-散射线去除部,23-骨骼图像推导部,24-分割部,25A、25B-已训练模型,26-显示控制部,31-区域确定部,32-特性推导部,33-图像推导部,40、40A-训练数据,41-学习用数据,42-正确数据,43-包括目标骨骼的部分图像的像素值,44-摄影条件,50、50A、50B-显示画面,51-骨质疏松症的可能性,52-警告,53-治疗优先级,60-神经网络,61-输入层,62-中间层,63-输出层,65-卷积层,66-池化层,67-全连接层,A1-股骨区域,A2-骨盆区域,A3-椎骨区域,B(x,y)-每个像素的骨矿物质含量,G1-第1放射线图像,G2-第2放射线图像,Gb-骨骼图像。
Claims (20)
1.一种图像处理装置,其具备至少一个处理器,
所述处理器进行如下处理:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于所述两个放射线图像来推导包括所述骨骼内部的微细结构的骨骼图像;及
基于所述骨骼图像或所述骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
2.根据权利要求1所述的图像处理装置,其中,
所述骨骼图像包括所述骨骼中所包含的松质骨的骨小梁结构。
3.根据权利要求2所述的图像处理装置,其中,
所述骨骼图像中描绘出所述松质骨的骨小梁结构。
4.根据权利要求3所述的图像处理装置,其中,
所述骨骼图像具有0.2mm/像素以下的空间分辨率。
5.根据权利要求1所述的图像处理装置,其中,
所述处理器从所述两个放射线图像及所述骨骼图像中的至少一个图像中提取所述部分图像。
6.根据权利要求5所述的图像处理装置,其中,
所述处理器从所述两个放射线图像及所述骨骼图像中的至少一个图像中提取至少一个所述目标骨骼,并基于所述目标骨骼的重心,提取所述部分图像。
7.根据权利要求1所述的图像处理装置,其中,
所述处理器作为已训练模型发挥作用,该已训练模型已进行机器学习,使得通过所述骨骼图像或所述部分图像的输入来输出所述骨质疏松症的可能性。
8.根据权利要求1所述的图像处理装置,其中,
所述处理器作为已训练模型发挥作用,该已训练模型已进行机器学习,使得除了所述骨骼图像或所述部分图像以外,还通过所述两个放射线图像的摄影条件的输入来输出所述骨质疏松症的可能性。
9.根据权利要求1所述的图像处理装置,其中,
所述处理器基于所述骨骼图像或所述部分图像中所包含的所述目标骨骼的像素值的统计值来推导所述骨质疏松症的可能性。
10.根据权利要求9所述的图像处理装置,其中,
所述统计值是所述目标骨骼及所述目标骨骼的各个周边区域中的像素值的平均值、标准偏差、最大值及最小值中的至少一个。
11.根据权利要求10所述的图像处理装置,其中,
所述处理器通过对所述目标骨骼及所述目标骨骼的各个周边区域中的像素值的平均值、标准偏差、最大值及最小值中的多个统计值进行加权运算来推导所述可能性。
12.根据权利要求11所述的图像处理装置,其中,
所述加权运算的权重通过机器学习来推导。
13.根据权利要求1所述的图像处理装置,其中,
所述处理器通知所述可能性。
14.根据权利要求1所述的图像处理装置,其中,
当所述可能性为预先设定的阈值以上时,所述处理器发出警告。
15.根据权利要求1所述的图像处理装置,其中,
所述处理器基于所述可能性来确定骨质疏松症的治疗优先级,并通知所述优先级。
16.根据权利要求1所述的图像处理装置,其中,
所述处理器去除所述两个放射线图像中所包含的散射线成分,从而推导所述骨骼图像。
17.根据权利要求1所述的图像处理装置,其中,
所述处理器进行如下处理:
在所述两个放射线图像的仅包括所述软组织的软组织区域中,基于所述两个放射线图像来推导与所述放射线的衰减相关的所述软组织的特性;
基于位于骨骼区域周围的所述软组织区域中所推导的所述软组织的特性来推导所述两个放射线图像中包括所述骨骼的所述骨骼区域中的所述软组织的特性;及
基于所述两个放射线图像中至少所述被摄体的区域中的所述软组织的特性来推导所述骨骼被强调的图像作为所述骨骼图像。
18.根据权利要求1所述的图像处理装置,其中,
所述目标骨骼是股骨或椎骨。
19.一种图像处理方法,其中,
计算机进行如下处理:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于所述两个放射线图像来推导包括所述骨骼内部的微细结构的骨骼图像;及
基于所述骨骼图像或所述骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
20.一种图像处理程序,其使计算机执行如下步骤:
获取通过利用放射线对被摄体进行拍摄而获取的两个放射线图像,其中该放射线的能量分布不同,并且该被摄体包括骨骼及软组织;
基于所述两个放射线图像来推导包括所述骨骼内部的微细结构的骨骼图像;及
基于所述骨骼图像或所述骨骼图像中包括目标骨骼的部分图像来推导骨质疏松症的可能性。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023-038539 | 2023-03-13 | ||
| JP2023038539 | 2023-03-13 | ||
| PCT/JP2023/039909 WO2024189963A1 (ja) | 2023-03-13 | 2023-11-06 | 画像処理装置、方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN120826191A true CN120826191A (zh) | 2025-10-21 |
Family
ID=92754465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202380095016.2A Pending CN120826191A (zh) | 2023-03-13 | 2023-11-06 | 图像处理装置、方法及程序 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20260000376A1 (zh) |
| EP (1) | EP4681645A1 (zh) |
| JP (1) | JPWO2024189963A1 (zh) |
| CN (1) | CN120826191A (zh) |
| WO (1) | WO2024189963A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2025045866A (ja) * | 2023-09-20 | 2025-04-02 | 富士フイルム株式会社 | 放射線画像処理装置、方法およびプログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06133223A (ja) * | 1992-10-16 | 1994-05-13 | Fuji Photo Film Co Ltd | 骨部画像解析方法 |
| JPH08164129A (ja) * | 1994-12-16 | 1996-06-25 | Asahi Chem Ind Co Ltd | 骨粗しょう症診断装置およびその骨粗しょう症診断方法 |
| JPH09248293A (ja) * | 1996-03-15 | 1997-09-22 | Asahi Chem Ind Co Ltd | 骨粗しょう症診断装置 |
| US6740041B2 (en) * | 2002-09-19 | 2004-05-25 | Ge Medical Systems Global Technology Company, Llc | Bone densitometer providing assessment of absolute fracture risk |
| US20080119719A1 (en) * | 2006-08-21 | 2008-05-22 | The Regents Of The University Of California | Templates for assessing bone quality and methods of use thereof |
| JP5486197B2 (ja) * | 2008-02-07 | 2014-05-07 | 富士フイルム株式会社 | 椎骨中心検出装置および方法並びにプログラム |
| JP5604639B2 (ja) * | 2009-06-02 | 2014-10-08 | 学校法人 岩手医科大学 | エンボスx線画像処理方法及びプログラム並びにシステム |
| JP6071144B2 (ja) | 2013-07-31 | 2017-02-01 | 富士フイルム株式会社 | 放射線画像解析装置および方法並びにプログラム |
| JP7187421B2 (ja) * | 2019-10-31 | 2022-12-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP7546497B2 (ja) * | 2021-02-09 | 2024-09-06 | 富士フイルム株式会社 | 運動器疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク |
| CN113129286B (zh) | 2021-04-21 | 2024-03-08 | 中国人民解放军空军特色医学中心 | 一种检测骨质疏松的方法、装置、设备及存储介质 |
-
2023
- 2023-11-06 WO PCT/JP2023/039909 patent/WO2024189963A1/ja not_active Ceased
- 2023-11-06 CN CN202380095016.2A patent/CN120826191A/zh active Pending
- 2023-11-06 JP JP2025506468A patent/JPWO2024189963A1/ja active Pending
- 2023-11-06 EP EP23927577.9A patent/EP4681645A1/en active Pending
-
2025
- 2025-09-04 US US19/319,687 patent/US20260000376A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2024189963A1 (zh) | 2024-09-19 |
| US20260000376A1 (en) | 2026-01-01 |
| EP4681645A1 (en) | 2026-01-21 |
| WO2024189963A1 (ja) | 2024-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4056120B1 (en) | Estimation device, estimation method, and estimation program | |
| JP6906479B2 (ja) | 骨塩情報取得装置、方法およびプログラム | |
| US11096645B2 (en) | Bone mineral information acquisition apparatus, bone mineral information acquisition method, and bone mineral information acquisition program | |
| JP7546497B2 (ja) | 運動器疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク | |
| Bagheri et al. | Reliability of three-dimensional spinal modeling of patients with idiopathic scoliosis using EOS system | |
| US20240260891A1 (en) | Bone disease prediction device, method, program, learning device, method, program, and trained neural network | |
| JP7728680B2 (ja) | 画像処理装置、方法およびプログラム | |
| US10973482B2 (en) | Bone mineral information acquisition apparatus, bone mineral information acquisition method, and bone mineral information acquisition program | |
| US20260000376A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| US12471867B2 (en) | Image processing device, image processing method, and image processing program | |
| US12268546B2 (en) | Information processing apparatus, information processing method, and program | |
| EP4527297A1 (en) | Image processing device, image processing method, and image processing program | |
| US11497458B2 (en) | Radiographic image processing device, radiographic image processing method, and radiographic image processing program | |
| US10089728B2 (en) | Radiation-image processing device and method | |
| WO2024157202A1 (en) | System and method for analysis of medical images | |
| CN118043908A (zh) | 骨疾病预测装置、方法及程序、学习装置、方法及程序、以及学习完成神经网络 | |
| Laiwala | Development of an X-ray Based Rigidity Analysis Method to Quantify Distraction-Osteogenesis Fracture Healing | |
| Pradhan et al. | Role of Artificial Intelligence in 3-D Bone Image Reconstruction: A Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |