[go: up one dir, main page]

CN111563967B - 一种人标准牙列虚拟平面投影图像的实时渲染方法 - Google Patents

一种人标准牙列虚拟平面投影图像的实时渲染方法 Download PDF

Info

Publication number
CN111563967B
CN111563967B CN202010439992.3A CN202010439992A CN111563967B CN 111563967 B CN111563967 B CN 111563967B CN 202010439992 A CN202010439992 A CN 202010439992A CN 111563967 B CN111563967 B CN 111563967B
Authority
CN
China
Prior art keywords
model
dentition
image
virtual
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010439992.3A
Other languages
English (en)
Other versions
CN111563967A (zh
Inventor
孙卫斌
廖倬逸
张艺迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING STOMATOLOGICAL HOSPITAL
Original Assignee
Suzhou Zhihui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhihui Intelligent Technology Co ltd filed Critical Suzhou Zhihui Intelligent Technology Co ltd
Priority to CN202010439992.3A priority Critical patent/CN111563967B/zh
Publication of CN111563967A publication Critical patent/CN111563967A/zh
Application granted granted Critical
Publication of CN111563967B publication Critical patent/CN111563967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Pathology (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种人标准牙列虚拟平面投影图像的实时渲染方法，包括以下步骤；步骤一、虚拟平面牙投影图像的数学模型建立；在口腔颌面影像学中，X射线影像的特征可以作为一种“纹理”进行处理，这样的话我们就能将三维模型的某一个截面处理为添加了“X射线纹理”的二维影像，这也是我们模拟根尖片的最核心思路。通过利用CBCT扫描后重建三维牙列模型，将三维空间模型通过计算机渲染成二维的根尖片图像，并利用VR设备组件中的定位仪和基站等硬件设备，实现虚拟根尖片的定位和渲染，并与真实牙科X光机图像进行对比，以评估该种影像模拟方式的可行性。

Description

一种人标准牙列虚拟平面投影图像的实时渲染方法
技术领域
本发明涉及根尖片技术领域，具体涉及一种人标准牙列虚拟平面投影图像的实时渲染方法。
背景技术
根尖片是牙科最常用的X线片，可以有效地帮助牙科医生诊断牙科病症，包括牙齿龋坏，根尖周炎，牙周炎等疾病都在根尖片上有对应的影像学表现。因此，掌握根尖片技术对每位牙科医生都很重要。根尖片拍摄主要有两种方法，一种是分角线投照，另一种是平行投照。由于设备和技术的限制，目前大部分牙科医院和诊所仍然使用分角线投照的方式拍摄根尖片。因为胶片与牙齿无法一直保持平行状态，而是呈一个夹角，因此当X射线球管的中心线垂直于这个夹角的角平分线时，构成了一个等腰三角形，牙齿实际长度就和胶片上牙齿的投影长度相等，这就是分角线投照的原理。实际应用中，对每颗牙齿，球管中心线在体表的投影位置和相应的水平角(球管从近中向远中的转动)、垂直角(球管从上到下的转动)都是不同的。口腔颌面放射学的教材中，书本给出了各个牙位所需的垂直角，但临床上难以精确做到。
因为每位牙科医生都必须掌握分角线投照技术，所以根尖片拍摄教学和考核就非常重要。但是由于X线放射对人体健康存在放射性，目前根尖片拍摄教学和考核都停留在“纸上谈兵”的阶段。以考核为例，两名学生中，一人扮演患者，另外一人进行考试。此时的根尖片仪器中的X射线放射源已被拆除，考生进行的操作为放置胶片，摆好球管相应位置和角度，然后考官即对操作过程进行评分。考官评分标准是基于个人经验，缺乏客观性和准确性，考生也难以真正评判自己是否掌握分角线技术。
发明内容
本发明的目的是为了克服现有技术存在的考官评分标准是基于个人经验，缺乏客观性和准确性，考生也难以真正评判自己是否掌握分角线技术的问题，提供一种人标准牙列虚拟平面投影图像的实时渲染方法，该人标准牙列虚拟平面投影图像的实时渲染方法具有通过利用CBCT扫描后重建三维牙列模型，将三维空间模型通过计算机渲染成二维的根尖片图像，并利用VR设备组件中的定位仪和基站等硬件设备，实现虚拟根尖片的定位和渲染，并与真实牙科X光机图像进行对比，以评估该种影像模拟方式的可行性的效果。
为实现上述目的，本发明提供如下技术方案：一种人标准牙列虚拟平面投影图像的实时渲染方法，包括以下步骤；
步骤一、虚拟平面牙投影图像的数学模型建立；
在口腔颌面影像学中，X射线影像的特征可以作为一种“纹理”进行处理，这样的话我们就能将三维模型的某一个截面处理为添加了“X射线纹理”的二维影像，这也是我们模拟根尖片的最核心思路，其主要包括为三个过程：
S1：重建三维模型；
S2：渲染各个角度下的二维图片；
S3：进行相应的纹理处理；
在二维渲染中一个困难的问题是如何确定虚拟成像所在的平面，使其与实际X射线影像完全一致。在Blender等三维动画制作软件中，图像渲染往往是通过计算光源对物体的影响而实现的，而这与X射线的成像效果有一些差异，X射线透过牙齿得到的图像(称为a)与软件中相机视角下渲染的图像(称为b)是不同的，它们的成像平面分别在牙齿前和后，且a的成像平面(胶片)与牙齿的相对位置始终不变，而b的成像平面与牙齿的相对位置是改变的，始终与射线入射方向垂直；
步骤二、虚拟现实技术用以渲染特定虚拟平面牙投影图像；
S1：使用VR硬件搭建空间定位系统，定位系统包括基站和跟踪器，牙片机置于定位系统可见范围内，跟踪器固定在牙片机的球管上，跟踪器在无头显情况下可实现追踪功能；获取跟踪器的姿态矩阵和位置数据；
S2：扫描多个牙齿，重建出牙列的3D数字化模型；将3D数字化模型进行分割处理，分别获取牙齿外壳模型和髓腔模型，之后将这两个模型制作为预制体，并根据实际牙齿结构特征分别为两个模型设置对应的半透明材质；
S3：搭建牙齿根尖片拍摄的虚拟成像环境，在牙齿周围添加多个平面和柱体模拟牙齿X光片中的背景，并测量牙列的3D数字化模型的包围盒尺寸和真实世界的牙列模型包围盒尺寸，计算二者比例；调整虚拟成像环境中牙齿外壳模型和髓腔模型的大小，并为灯光和虚拟摄像机设置合理的位置与朝向；
S4：对于步骤S1中获取的跟踪器的姿态矩阵和位置数据，先将姿态矩阵转换为欧拉角后，与位置数据一起通过网络通信模块实时分发给虚拟摄像机，以跟踪器替代虚拟摄像机；
S5：将球管摆放至牙齿正前方，对准牙齿，测量牙列的中间牙齿与跟踪器的物理距离，根据此时跟踪器位置标定牙列的3D数字化模型在虚拟环境中的位置，与真实世界对齐；
S6：调整球管的位置和朝向，渲染对应的虚拟牙齿X光根尖片；
步骤三、不同牙位虚拟投影图像一致性评价；
在评价根尖片图像质量时，国际上一般采用以下几个标准，如1)图像是否拉伸或缩短2)患牙图像是否在根尖片中央3)患牙是否与邻牙发生重叠4)胶片是否曝光完全等，同样地，我们对不同牙位的虚拟根尖片也需要进行质量评价，为了模拟学生在练习时出现的各种情况，比如垂直角过大/过小造成的图像变形，牙齿图像重叠等，我们必须确保虚拟牙片机可以完全模拟与现实牙片机一致的情况，在实际使用此机器进行根尖片训练之前，本研究的重点是确定这种模拟是否可以与真正的牙科X射线机完全相同地工作，如果和X射线机之间存在明显的偏差，则对于牙科X射线训练将是无效的，或者由于重复错误的操作而变得更糟，为了将修改后的机器与原始机器进行全面比较，我们需要确保在相同条件下，渲染图像和X射线图像之间不会有差异，因此，我们需要为两台机器设置完全相同的环境，这意味着两台机器必须设置为相同的位置，相同的位置和相同的姿势，此过程中最具挑战性的部分将是同时控制x，y和z轴上的角度，而验证我们的研究是否能用于现实训练中，最重要的一点就是在控制角度前提下，对比真实X光片和虚拟根尖片的差异；
步骤四、虚拟牙片机的功能模块集成；
虚拟牙片机的模块化和功能集成：为了使得我们改造的牙片机更方便使用和进行流水线生产，将现有的模块：网络通信模块，定位系统等整合到一起，使得结构更加集成化；同时再对牙片机各个关节臂进行改造和升级，以进一步控制关节臂各向的自由度，方便操作者控制变量及进行联系。
优选的，灌制牙列模型：将带有牙髓空腔的树脂牙齿放置在牙列阴模中对应位置(17-27,37-47)，将超硬石膏粉、水混合后加入到阴模中，震动，赶出多余气泡，静置25-30分钟，得到按照标准模型排列的上下牙列模型一副。
优选的，CBCT扫描：使用CBCT机器(NewTom VGI evo)扫描上下牙列模型，导出相应的DICOM文件。
优选的，三维重建：使用Mimics Medical 21.0对得到的dcm文件进行三维重建，去除石膏模型中的气泡并提取其中的牙列(包括牙髓腔)。提取后牙列模型储存为stl格式，使用Meshmixer软件进行分离壳体等处理，得到包含牙髓腔的牙列模型(可3D打印)。
优选的，图像预渲染：在blender软件中，将牙齿模型按照一定方式摆放，相机朝向为射线入射方向，相机设置为正交投影(即没有近大远小的效果)，参考实际根尖片图像，为模型手动绘制纹理，并设置模型的材质透明度，牙髓腔和外壳的材质反射光颜色不同，牙髓腔部分反射深色，外壳反射白色，使用python脚本控制渲染过程，变换角度，根据角度值和上面的原理图，计算出牙齿模型需要缩放的比例，然后进行渲染，将所有角度的图片渲染后保存到本地，写exe程序根据输入的角度找到对应图片并显示并将图片连成视频。
优选的，平台搭建：仔细拆除球管X射线放射源，将定位器固定于球管内部，对内部电路进行改造，使得其通过USB实时传输定位器的姿态和空间坐标。
优选的，空间定位：使用定位器(HTC vive tracker)和基站(base station)对牙列模型进行空间位置的标定和定位，移动球管时定位器可给出此时相对于牙列模型空间零点的空间坐标，将空间坐标转换输入到python脚本，可调取此刻对应的渲染根尖片。
优选的，环境设置：将初始的牙列模型安装在头模(日立)上，头模固定在一不锈钢支架上，保持上颌平面与地面平行，基站标定上中切牙切端邻接点为空间零点。设备调试完成后即可供牙科根尖片考核使用。
优选的，图像对比：在使用此机器之前，本研究的重点是确定这种模拟是否可以与真正的牙科X射线机完全相同地工作，如果模拟器和X射线机之间存在明显的偏差，则对于牙科X射线训练将是无效的，或者由于重复错误的操作而变得更糟；
为了将修改后的机器与原始机器进行全面比较，我们需要确保在相同条件下，渲染图像和X射线图像之间不会有差异。因此，我们需要为两台机器设置完全相同的环境，这意味着两台机器必须设置为相同的位置，相同的角度和相同的姿势，此过程中最具挑战性的部分将是同时控制x，y和z轴上的角度，基于这些考虑，需要双轴角度测量器，双轴角度计可以测量两个轴上的角度，并且还具有陀螺仪功能，当用于口腔放射照相时，操作员可以从角度计的屏幕读取其角度数据的实时参数；
在这项研究中，以下所有设备和相关实验均在标准的辐射防护室中进行。在进行根尖周射线照相时，操作人员必须使用辐射防护装置；
此步骤的基本要素是每个轴的角度必须尽可能精确(误差必须小于1度)，完成这些步骤后，操作员将关闭防辐射室的门，并将控制器用于两台机器，并同时按下曝光按钮。一秒钟之内，我们可以从计算机上获得渲染的图像，然后，操作员将放置在牙科X光机上的IP板放入图像读取机中。因此，我们现在可以比较这两个图像，为了进行科学比较，我们决定应考虑以下两个参数，包括牙根长度和总体轮廓偏移程度。总样本包括12个不同的牙齿，分为以下几组：中切牙，后切牙，切牙，前磨牙和磨牙，口内射线照相由一名研究生完成，他/她已经完成了口腔放射学的临床课程，平行技术的曝光是用胶片保持器进行的，使用的机器是工作电压为70kV，工作电流为7mA的MAYO M机器，磨牙和前磨牙的曝光时间为0.20s，而前牙的逛逛时间为0.14s，
使用开源图像查看器Horos软件对牙齿长度进行了测量，最小单位为0.1mm，使用Horos中的长度测量工具测量从颊尖到影像学根尖的距离，如果是双根和三根牙，则测量到最长根的顶点，记录通过平行技术测得的参考齿长后，将两台机器测得的齿长进行成对比较，将测得的牙根长度小于1.0mm的差异视为两台机器之间的偏差。
优选的，虚拟牙片机的模块化和功能集成：为了使得我们改造的牙片机更方便使用和进行流水线，将现有的模块：网络通信模块，定位系统等整合到一起，使得结构更加集成化；同时再对牙片机各个关节臂进行改造和升级，以进一步控制关节臂各向的自由度，方便操作者控制变量及进行联系。
与现有技术相比，本发明提供了一种人标准牙列虚拟平面投影图像的实时渲染方法，具备以下有益效果：
本发明通过CBCT扫描后重建三维牙列模型，并利用VR设备组件中的定位仪和基站等硬件设备，实现虚拟根尖片的定位和渲染，其特征在于不需要X射线的参与即可实时渲染出对应牙位的根尖片图像，同时可根据定位仪与实体模型的相对位置，渲染出各个空间角度下的根尖片图像，该方法利用的是将三维空间模型通过计算机渲染成二维的根尖片图像，成功地避免了传统牙科影像学考试所面临的一大问题：传统牙科根尖片考试中，为避免多次放射对考生及考官的健康造成危害，根尖片机器中的X线放射源被拆除，考官只能通过主观观察考生的操作及X射线球管的角度来给出考生成绩，评分结果单纯基于考官的个人经验，严重缺乏客观性和可信性，而本方法利用定位仪可实时将考生操作中的球管角度，转化为数字信号输入计算机，并在考生操作完成后实时渲染出该状态下应有的根尖片图像，得到了一个准确性高，客观性好的供评分结果。
附图说明
图1是本发明提出的一种人标准牙列虚拟平面投影图像的实时渲染方法原理图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体式连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1，本发明提供一种技术方案：一种人标准牙列虚拟平面投影图像的实时渲染方法，包括以下步骤；
步骤一、虚拟平面牙投影图像的数学模型建立；
在口腔颌面影像学中，X射线影像的特征可以作为一种“纹理”进行处理，这样的话我们就能将三维模型的某一个截面处理为添加了“X射线纹理”的二维影像，这也是我们模拟根尖片的最核心思路，其主要包括为三个过程：
S1：重建三维模型；
S2：渲染各个角度下的二维图片；
S3：进行相应的纹理处理；
在二维渲染中一个困难的问题是如何确定虚拟成像所在的平面，使其与实际X射线影像完全一致。在Blender等三维动画制作软件中，图像渲染往往是通过计算光源对物体的影响而实现的，而这与X射线的成像效果有一些差异，X射线透过牙齿得到的图像(称为a)与软件中相机视角下渲染的图像(称为b)是不同的，它们的成像平面分别在牙齿前和后，且a的成像平面(胶片)与牙齿的相对位置始终不变，而b的成像平面与牙齿的相对位置是改变的，始终与射线入射方向垂直；
步骤二、虚拟现实技术用以渲染特定虚拟平面牙投影图像；
S1：使用VR硬件搭建空间定位系统，定位系统包括基站和跟踪器，牙片机置于定位系统可见范围内，跟踪器固定在牙片机的球管上，跟踪器在无头显情况下可实现追踪功能；获取跟踪器的姿态矩阵和位置数据；
S2：扫描多个牙齿，重建出牙列的3D数字化模型；将3D数字化模型进行分割处理，分别获取牙齿外壳模型和髓腔模型，之后将这两个模型制作为预制体，并根据实际牙齿结构特征分别为两个模型设置对应的半透明材质；
S3：搭建牙齿根尖片拍摄的虚拟成像环境，在牙齿周围添加多个平面和柱体模拟牙齿X光片中的背景，并测量牙列的3D数字化模型的包围盒尺寸和真实世界的牙列模型包围盒尺寸，计算二者比例；调整虚拟成像环境中牙齿外壳模型和髓腔模型的大小，并为灯光和虚拟摄像机设置合理的位置与朝向；
S4：对于步骤S1中获取的跟踪器的姿态矩阵和位置数据，先将姿态矩阵转换为欧拉角后，与位置数据一起通过网络通信模块实时分发给虚拟摄像机，以跟踪器替代虚拟摄像机；
S5：将球管摆放至牙齿正前方，对准牙齿，测量牙列的中间牙齿与跟踪器的物理距离，根据此时跟踪器位置标定牙列的3D数字化模型在虚拟环境中的位置，与真实世界对齐；
S6：调整球管的位置和朝向，渲染对应的虚拟牙齿X光根尖片；
步骤三、不同牙位虚拟投影图像一致性评价；
在评价根尖片图像质量时，国际上一般采用以下几个标准，如1)图像是否拉伸或缩短2)患牙图像是否在根尖片中央3)患牙是否与邻牙发生重叠4)胶片是否曝光完全等，同样地，我们对不同牙位的虚拟根尖片也需要进行质量评价，为了模拟学生在练习时出现的各种情况，比如垂直角过大/过小造成的图像变形，牙齿图像重叠等，我们必须确保虚拟牙片机可以完全模拟与现实牙片机一致的情况，在实际使用此机器进行根尖片训练之前，本研究的重点是确定这种模拟是否可以与真正的牙科X射线机完全相同地工作，如果和X射线机之间存在明显的偏差，则对于牙科X射线训练将是无效的，或者由于重复错误的操作而变得更糟，为了将修改后的机器与原始机器进行全面比较，我们需要确保在相同条件下，渲染图像和X射线图像之间不会有差异，因此，我们需要为两台机器设置完全相同的环境，这意味着两台机器必须设置为相同的位置，相同的位置和相同的姿势，此过程中最具挑战性的部分将是同时控制x，y和z轴上的角度，而验证我们的研究是否能用于现实训练中，最重要的一点就是在控制角度前提下，对比真实X光片和虚拟根尖片的差异；
步骤四、虚拟牙片机的功能模块集成；
虚拟牙片机的模块化和功能集成：为了使得我们改造的牙片机更方便使用和进行流水线生产，将现有的模块：网络通信模块，定位系统等整合到一起，使得结构更加集成化；同时再对牙片机各个关节臂进行改造和升级，以进一步控制关节臂各向的自由度，方便操作者控制变量及进行联系。
优选的，灌制牙列模型：将带有牙髓空腔的树脂牙齿放置在牙列阴模中对应位置(17-27,37-47)，将超硬石膏粉、水混合后加入到阴模中，震动，赶出多余气泡，静置25-30分钟，得到按照标准模型排列的上下牙列模型一副。
优选的，CBCT扫描：使用CBCT机器(NewTom VGI evo)扫描上下牙列模型，导出相应的DICOM文件。
优选的，三维重建：使用Mimics Medical 21.0对得到的dcm文件进行三维重建，去除石膏模型中的气泡并提取其中的牙列(包括牙髓腔)。提取后牙列模型储存为stl格式，使用Meshmixer软件进行分离壳体等处理，得到包含牙髓腔的牙列模型(可3D打印)。
优选的，图像预渲染：在blender软件中，将牙齿模型按照一定方式摆放，相机朝向为射线入射方向，相机设置为正交投影(即没有近大远小的效果)，参考实际根尖片图像，为模型手动绘制纹理，并设置模型的材质透明度，牙髓腔和外壳的材质反射光颜色不同，牙髓腔部分反射深色，外壳反射白色，使用python脚本控制渲染过程，变换角度，根据角度值和原理图，计算出牙齿模型需要缩放的比例，然后进行渲染，将所有角度的图片渲染后保存到本地，写exe程序根据输入的角度找到对应图片并显示并将图片连成视频。
优选的，平台搭建：仔细拆除球管X射线放射源，将定位器固定于球管内部，对内部电路进行改造，使得其通过USB实时传输定位器的姿态和空间坐标。
优选的，空间定位：使用定位器(HTC vive tracker)和基站(base station)对牙列模型进行空间位置的标定和定位，移动球管时定位器可给出此时相对于牙列模型空间零点的空间坐标，将空间坐标转换输入到python脚本，可调取此刻对应的渲染根尖片。
优选的，环境设置：将初始的牙列模型安装在头模(日立)上，头模固定在一不锈钢支架上，保持上颌平面与地面平行，基站标定上中切牙切端邻接点为空间零点。设备调试完成后即可供牙科根尖片考核使用。
优选的，图像对比：在使用此机器之前，本研究的重点是确定这种模拟是否可以与真正的牙科X射线机完全相同地工作，如果模拟器和X射线机之间存在明显的偏差，则对于牙科X射线训练将是无效的，或者由于重复错误的操作而变得更糟；
为了将修改后的机器与原始机器进行全面比较，我们需要确保在相同条件下，渲染图像和X射线图像之间不会有差异。因此，我们需要为两台机器设置完全相同的环境，这意味着两台机器必须设置为相同的位置，相同的角度和相同的姿势，此过程中最具挑战性的部分将是同时控制x，y和z轴上的角度，基于这些考虑，需要双轴角度测量器，双轴角度计可以测量两个轴上的角度，并且还具有陀螺仪功能，当用于口腔放射照相时，操作员可以从角度计的屏幕读取其角度数据的实时参数；
在这项研究中，以下所有设备和相关实验均在标准的辐射防护室中进行。在进行根尖周射线照相时，操作人员必须使用辐射防护装置；
此步骤的基本要素是每个轴的角度必须尽可能精确(误差必须小于1度)，完成这些步骤后，操作员将关闭防辐射室的门，并将控制器用于两台机器，并同时按下曝光按钮。一秒钟之内，我们可以从计算机上获得渲染的图像，然后，操作员将放置在牙科X光机上的IP板放入图像读取机中。因此，我们现在可以比较这两个图像，为了进行科学比较，我们决定应考虑以下两个参数，包括牙根长度和总体轮廓偏移程度。总样本包括12个不同的牙齿，分为以下几组：中切牙，后切牙，切牙，前磨牙和磨牙，口内射线照相由一名研究生完成，他/她已经完成了口腔放射学的临床课程，平行技术的曝光是用胶片保持器进行的，使用的机器是工作电压为70kV，工作电流为7mA的MAYO M机器，磨牙和前磨牙的曝光时间为0.20s，而前牙的逛逛时间为0.14s，
使用开源图像查看器Horos软件对牙齿长度进行了测量，最小单位为0.1mm，使用Horos中的长度测量工具测量从颊尖到影像学根尖的距离，如果是双根和三根牙，则测量到最长根的顶点，记录通过平行技术测得的参考齿长后，将两台机器测得的齿长进行成对比较，将测得的牙根长度小于1.0mm的差异视为两台机器之间的偏差。
优选的，虚拟牙片机的模块化和功能集成：为了使得我们改造的牙片机更方便使用和进行流水线，将现有的模块：网络通信模块，定位系统等整合到一起，使得结构更加集成化；同时再对牙片机各个关节臂进行改造和升级，以进一步控制关节臂各向的自由度，方便操作者控制变量及进行联系。
实施例一
1)虚拟成像平面的建立及其相关公式
根据三维动画软件的成像原理和根尖片投照的成像原理，我们发现了其中存在的几何关系。但是，光是知道几何关系是不够的，为了实现实时图像渲染，我们必须结合球管在空间中的位置先在三维动画软件中构造对应的光源和阴影，再利用几何关系进行换算。
(2)实现球管位置的定位和跟踪
如何实时获得球管位置和姿态是本研究中最大的难点之一。作为一个三维参考系，确定相对固定的牙齿以及运动的球管之间的关系是我们进行图像渲染的基础。因此，我们最终采用了虚拟现实设备组件来解决这一问题。HTC vive硬件包含一个跟踪器和两个基站。使用中间的跟踪器，将两个基站放在相对的位置，彼此面对。当基站发射多个红外脉冲时，固定跟踪器能够跟踪所附着对象的运动。根据密西西比大学的一项研究，Vive组件的绝对位置平均误差在较大的跟踪区域中约为7.5mm，在较小的跟踪区域中约为5mm，这对于我们的研究足够准确。跟踪器的姿态矩阵和空间位置的实时数据也可以同时无线传输到计算机，然后将姿态矩阵转换为欧拉角。采用欧拉角和位置数据，图像渲染软件可以将跟踪器用作虚拟相机，这意味着现在可以从跟踪器的视图渲染三维对象。因此，完成校准后，在虚拟环境中扫描的3D模型可以与现实生活中的上下颌模型重叠，从而达到我们的预期。
(3)验证虚拟根尖片与实际根尖片的参数差异
在实际使用此机器进行根尖片训练之前，本研究的重点是确定这种模拟是否可以与真正的牙科X射线机完全相同地工作。如果和X射线机之间存在明显的偏差，则对于牙科X射线训练将是无效的，或者由于重复错误的操作而变得更糟。
为了将修改后的机器与原始机器进行全面比较，我们需要确保在相同条件下，渲染图像和X射线图像之间不会有差异。因此，我们需要为两台机器设置完全相同的环境，这意味着两台机器必须设置为相同的位置，相同的位置和相同的姿势。此过程中最具挑战性的部分将是同时控制x，y和z轴上的角度。而验证我们的研究是否能用于现实训练中，最重要的一点就是在控制角度前提下，对比真实X光片和虚拟根尖片的差异。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，包括各个技术特征以任何其它的合适方式进行组合，这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。

Claims (8)

1.一种人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，包括以下步骤；
步骤一、虚拟平面牙投影图像的数学模型建立；
在口腔颌面影像学中，X射线影像的特征可以作为一种“纹理”进行处理，这样的话就能将三维模型的某一个截面处理为添加了“X射线纹理”的二维影像，这也是模拟根尖片的最核心思路，其包括为三个过程：
S1：重建三维模型；
S2：渲染各个角度下的二维图片；
S3：进行相应的纹理处理；
在Blender三维动画制作软件中，图像渲染是通过计算光源对物体的影响而实现的，而这与X射线的成像效果有一些差异，X射线透过牙齿得到的图像称为a，与软件中相机视角下渲染的图像称为b，图像a和图像b是不同的，它们的成像平面分别在牙齿前和后，且a的成像平面与牙齿的相对位置始终不变，而b的成像平面与牙齿的相对位置是改变的，始终与射线入射方向垂直；
步骤二、虚拟现实技术用以渲染特定虚拟平面牙投影图像；
S1：使用VR硬件搭建空间定位系统，定位系统包括基站和跟踪器，牙片机置于定位系统可见范围内，跟踪器固定在牙片机的球管上，跟踪器在无头显情况下可实现追踪功能；获取跟踪器的姿态矩阵和位置数据；
S2：扫描多个牙齿，重建出牙列的3D数字化模型；将3D数字化模型进行分割处理，分别获取牙齿外壳模型和髓腔模型，之后将这两个模型制作为预制体，并根据实际牙齿结构特征分别为两个模型设置对应的半透明材质；
S3：搭建牙齿根尖片拍摄的虚拟成像环境，在牙齿周围添加多个平面和柱体模拟牙齿X光片中的背景，并测量牙列的3D数字化模型的包围盒尺寸和真实世界的牙列模型包围盒尺寸，计算二者比例；调整虚拟成像环境中牙齿外壳模型和髓腔模型的大小，并为灯光和虚拟摄像机设置合理的位置与朝向；
S4：对于步骤S1中获取的跟踪器的姿态矩阵和位置数据，先将姿态矩阵转换为欧拉角后，与位置数据一起通过网络通信模块实时分发给虚拟摄像机，以跟踪器替代虚拟摄像机；
S5：将球管摆放至牙齿正前方，对准牙齿，测量牙列的中间牙齿与跟踪器的物理距离，根据此时跟踪器位置标定牙列的3D数字化模型在虚拟环境中的位置，与真实世界对齐；
S6：调整球管的位置和朝向，渲染对应的虚拟牙齿X光根尖片；
步骤三、不同牙位虚拟投影图像一致性评价；
在评价根尖片图像质量时，采用以下几个标准，1，图像是否拉伸或缩短 2，患牙图像是否在根尖片中央 3，患牙是否与邻牙发生重叠 4，胶片是否曝光完全；
步骤四、虚拟牙片机的功能模块集成；
虚拟牙片机的模块化和功能集成：将网络通信模块，定位系统整合到一起，使得结构更加集成化；同时再对牙片机各个关节臂进行改造和升级，以进一步控制关节臂各向的自由度，方便操作者控制变量及进行联系。
2.根据权利要求1所述的人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，灌制牙列模型：将带有牙髓空腔的树脂牙齿放置在牙列阴模中对应位置，将超硬石膏粉、水混合后加入到阴模中，震动，赶出多余气泡，静置25-30分钟，得到按照标准模型排列的上下牙列模型一副。
3.根据权利要求1所述的人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，CBCT扫描：使用CBCT机器扫描上下牙列模型，导出相应的DICOM文件。
4.根据权利要求1所述的人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，三维重建：使用Mimics Medical 21.0对得到的dcm文件进行三维重建，去除石膏模型中的气泡并提取其中的牙列，提取后牙列模型储存为stl格式，使用Meshmixer软件进行分离壳体处理，得到包含牙髓腔的牙列模型。
5.根据权利要求1所述的人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，图像预渲染：在blender软件中，将牙齿模型按照一定方式摆放，相机朝向为射线入射方向，相机设置为正交投影，参考实际根尖片图像，为模型手动绘制纹理，并设置模型的材质透明度，牙髓腔和外壳的材质反射光颜色不同，牙髓腔部分反射深色，外壳反射白色，使用python脚本控制渲染过程，变换角度，根据角度值计算出牙齿模型需要缩放的比例，然后进行渲染，将所有角度的图片渲染后保存到本地，写exe程序根据输入的角度找到对应图片并显示并将图片连成视频。
6.根据权利要求1所述的人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，平台搭建：仔细拆除球管X射线放射源，将定位器固定于球管内部，对内部电路进行改造，使得其通过USB实时传输定位器的姿态和空间坐标。
7.根据权利要求1所述的人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，空间定位：使用定位器和基站对牙列模型进行空间位置的标定和定位，移动球管时定位器可给出此时相对于牙列模型空间零点的空间坐标，将空间坐标转换输入到python脚本，可调取此刻对应的渲染根尖片。
8.根据权利要求1所述的人标准牙列虚拟平面投影图像的实时渲染方法，其特征在于，环境设置：将初始的牙列模型安装在头模上，头模固定在一不锈钢支架上，保持上颌平面与地面平行，基站标定上中切牙切端邻接点为空间零点，设备调试完成后即可供牙科根尖片考核使用。
CN202010439992.3A 2020-05-22 2020-05-22 一种人标准牙列虚拟平面投影图像的实时渲染方法 Active CN111563967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010439992.3A CN111563967B (zh) 2020-05-22 2020-05-22 一种人标准牙列虚拟平面投影图像的实时渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439992.3A CN111563967B (zh) 2020-05-22 2020-05-22 一种人标准牙列虚拟平面投影图像的实时渲染方法

Publications (2)

Publication Number Publication Date
CN111563967A CN111563967A (zh) 2020-08-21
CN111563967B true CN111563967B (zh) 2024-09-13

Family

ID=72073476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010439992.3A Active CN111563967B (zh) 2020-05-22 2020-05-22 一种人标准牙列虚拟平面投影图像的实时渲染方法

Country Status (1)

Country Link
CN (1) CN111563967B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3984495B1 (de) * 2020-10-13 2024-08-21 Ivoclar Vivadent AG Verfahren zum gestalten einer dentalen restauration
US20240013497A1 (en) * 2020-12-21 2024-01-11 Google Llc Learning Articulated Shape Reconstruction from Imagery
CN114708752A (zh) * 2022-01-12 2022-07-05 南京九阵维医疗科技有限公司 牙科根尖片虚拟教学系统及虚拟根尖片的获取方法
CN115363797B (zh) * 2022-07-12 2024-06-21 北京联袂义齿技术有限公司 一种全口牙列数据的使用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147647A (zh) * 2019-06-15 2019-08-20 广西科技大学 基于颞下颌关节稳定性的牙颌骨三维数字建模方法
CN110200710A (zh) * 2019-04-17 2019-09-06 广东工业大学 一种基于三维成像与实时建模的口腔修复方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2915563T3 (es) * 2016-12-30 2022-06-23 Carestream Dental Tech Topco Ltd Reconstrucción de un volumen virtual de tomografía computarizada para seguir la evolución del tratamiento de ortodoncia
CN110458941B (zh) * 2019-07-29 2021-05-28 南京大学 一种基于虚拟现实的无射线牙齿x光根尖片虚拟成像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110200710A (zh) * 2019-04-17 2019-09-06 广东工业大学 一种基于三维成像与实时建模的口腔修复方法
CN110147647A (zh) * 2019-06-15 2019-08-20 广西科技大学 基于颞下颌关节稳定性的牙颌骨三维数字建模方法

Also Published As

Publication number Publication date
CN111563967A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN111563967B (zh) 一种人标准牙列虚拟平面投影图像的实时渲染方法
Antonacci et al. Facial scanning technologies in the era of digital workflow: A systematic review and network meta-analysis
Amezua et al. Analysis of the influence of the facial scanning method on the transfer accuracy of a maxillary digital scan to a 3D face scan for a virtual facebow technique: An in vitro study
Bhambhani et al. Digitization and its futuristic approach in prosthodontics
CN103908352B (zh) 用于生成数字虚拟颌架的方法和系统
KR20160004862A (ko) 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
JP6942130B2 (ja) Ｘ線画像を較正する方法
US12336765B2 (en) Ray-free dental x-ray periapical film virtual imaging method based on virtual reality
US12307918B2 (en) Automated measurement apparatus and method for quantifying dimensions of dental preparation
Li et al. Accuracy of recording edentulous arch relations using an optical jaw-tracking system: an in vitro study
WO2016013359A1 (ja) コンピュータ、コンピュータで実行される方法、及びコンピュータプログラム、並びにフェイスボウ
JP5891080B2 (ja) 顎運動シミュレーション方法、顎運動シミュレーション装置、及び顎運動シミュレーションシステム
WO2016154844A1 (zh) 一种颌位关系记录方法及装置
WO2015122466A1 (ja) コンピュータ、コンピュータで実行される方法、及びコンピュータプログラム、並びにフェイスボウ
Santamaría-Laorden et al. Complete arch implant capture using a photogrammetry algorithm and smartphone app: An in vitro study
CN210784765U (zh) 兼具光学导航功能的数字化种植导板及种植系统
CN114343906B (zh) 咬合垂直距离的获取方法、装置、介质及电子设备
Liu et al. Transfer learning via artificial intelligence for guiding implant placement in the posterior mandible: an in vitro study
US20230222940A1 (en) Virtual teaching system for dental periapical x-ray film, method for acquiring virtual periapical x-ray film, computer readable storage medium and electronic device
JP5184870B2 (ja) 口内法エックス線撮影実習評価システム
Straga Comparison of occlusal contacts on mounted dental models to contacts identified on digital 3D models using a new virtual alignment method
CN212391817U (zh) 一种人标准牙列虚拟平面投影图像的实时渲染系统
RU2185124C2 (ru) Способ измерения метрических характеристик области дентальной имплантации и позиционирования дентальных имплантатов
Pandita et al. Virtual articulators: a digital excellence in prosthetic and restorative dentistry
Szuhanek et al. Redefining Digital Precision: How Scanning Technique Shapes the Quality of Intraoral Impressions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250606

Address after: 210008, No. 30, Central Road, Xuanwu District, Jiangsu, Nanjing

Patentee after: NANJING STOMATOLOGICAL Hospital

Country or region after: China

Address before: 215163 Jiangsu Province, Suzhou City, Gaoxin District, Keling Road 78, 3rd Floor of Software Park, Room 306

Patentee before: Suzhou Zhihui Intelligent Technology Co.,Ltd.

Country or region before: China