CN104814712A - 三维内窥镜及三维成像方法 - Google Patents
三维内窥镜及三维成像方法 Download PDFInfo
- Publication number
- CN104814712A CN104814712A CN201410626297.2A CN201410626297A CN104814712A CN 104814712 A CN104814712 A CN 104814712A CN 201410626297 A CN201410626297 A CN 201410626297A CN 104814712 A CN104814712 A CN 104814712A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- destination object
- imaging
- imaging sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title abstract description 79
- 238000005286 illumination Methods 0.000 abstract description 12
- 238000001356 surgical procedure Methods 0.000 abstract 1
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 19
- 238000000034 method Methods 0.000 description 17
- 206010052428 Wound Diseases 0.000 description 12
- 208000027418 Wounds and injury Diseases 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000002324 minimally invasive surgery Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000010287 polarization Effects 0.000 description 6
- 238000002357 laparoscopic surgery Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 206010045178 Tunnel vision Diseases 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000002847 Surgical Wound Diseases 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000007486 appendectomy Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007912 intraperitoneal administration Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 210000003200 peritoneal cavity Anatomy 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000001215 vagina Anatomy 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 208000004550 Postoperative Pain Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000002192 cholecystectomy Methods 0.000 description 1
- 210000000589 cicatrix Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 238000013110 gastrectomy Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000007453 hemicolectomy Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000013059 nephrectomy Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000004303 peritoneum Anatomy 0.000 description 1
- 238000011472 radical prostatectomy Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 210000003708 urethra Anatomy 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
本发明涉及三维内窥镜及三维成像方法。三维内窥镜包括成像单元和控制单元。成像单元包括壳体,以及位于壳体内的成像传感器阵列和照明设备;成像传感器阵列包括多个成像传感器,用于在照明设备提供的光照下采集目标对象的二维图像;控制单元用于基于每个成像传感器采集到的所述目标对象的二维图像合成为所述目标对象的三维图像。采用本发明的三维内窥镜及三维成像方法,可以消除现有腹腔内窥镜普遍存在的视野狭窄和旋转视角问题,获得一个具有恰当视角、无遮蔽的全视场(FOV)的手术场景。
Description
本申请要求于2013年11月7日递交的、申请号为US61901279,名称为“Intra-Abdominal Lightfield 3D camera and Method of Making theSame”的申请的优先权。
技术领域
本发明涉及一种三维成像技术,特别是一种三维内窥镜及三维成像方法。
背景技术
相对于传统的外科手术,微创手术(MIS)将医疗装置通过人体的自然开口或小的皮肤切口插入人体内,进行诊断和治疗、修复人体内大范围的医疗病变。微创手术已在过去的二十年里,逐步取代了一般的外科手术卓越地位,它能减少手术的并发症,加速术后恢复,提高病人的满意度,减少术后疼痛等。
为了突破微创手术技术瓶颈和进一步降低发病率,单孔腹腔镜手术(LESS)技术被开发出来,它是通过减小创口尺寸和减少腹部创口数量来进行的微创手术。目前已经被用于胆囊切除、阑尾切除术、肾上腺切除术、右半结肠切除术、可调节胃束带放置、肾部分切除术和根治性前列腺切除术。与传统的腹腔镜手术相比,单孔腹腔镜手术只造成一个腹部创口,有利于创口美观,同时术后痛苦少、恢复快、不粘连、极大缩短康复时间。
自然孔口内窥镜手术(NOTES)是近期微创手术领域另一个技术发展。它是把内窥镜插入人体的自然孔口(口,尿道,肛门等),通过一个内部切口(胃、阴道、膀胱或直肠)进入病变部位,从而完全消除腹部切口/外部疤痕。自然孔口内窥镜手术是用于人体诊断腹腔镜阑尾切除术、胆囊切除术和套筒胃大部切除术。
机器人系统,如达文西机器人系统已被用于单孔腹腔镜手术,被称为机器人单孔腹腔镜手术,以增强手术的清晰度、运动缩放和减少震颤。
尽管在过去的几年中,这三种主流的微创手术技术迅速得到发展,但由于缺乏更高性能的图像装置阻碍了这些技术的发展,也不能使更多的患者获益。这些技术的操作需要一个单一创口进入腹膜腔,这种需求会引发一系列广泛的挑战,从仪器的碰撞风险,获得足够的钳制力,到仪器三角支撑力的减弱。
特别是现有LNR的装置可视化能力证明有一定的问题和不足,由于医生不再直接看着病人的解剖,而是通过一个二维视频监视器观看,通过手术创口不能直接看到手术部位问题。这些现有的成像设备的主要缺点包括:
(1)视野狭窄:LNR(LESS、NOTES、R-LESS的简称)中给出的腹腔图像的视野有可能被同一创口进入的医疗器械所遮挡和掩盖。图像可能与其他的工具重叠,这就使医生难以通过现有的二维图像获得内部的三维深度感。
(2)创口的持续占用:在手术检查中,惯用的腹腔内窥镜一直占领创口的重要位置,阻碍了其他器械在同一个创口的同时性操作
(3)器械碰撞:腹腔镜组对创口的持续占用导致手术器械在内部和外部会产生碰撞。
(4)视角受限:LNR中的内窥镜只经过一个通道,将产生不熟悉的视角,尤其在NOTES中发生较多,而且镜管无法随医生意愿转换任意角度
(5)难以保持正确且稳定的空间定位:体内图形有时候定位在四边,这就使医生在精细的手术过程中很难建立稳定的空间坐标,难以获得三维感。这就大大增加了医生的工作负担,降低了LNR的有效性和准确性。
(6)缺乏三维图像显示能力和深度感:最重要的是,如今在LNR中使用的内窥镜系统只能提供二维图像,缺乏三维深度信息。
发明内容
在下文中给出关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本发明的一个主要目的在于提供一种三维内窥镜及三维成像方法,可以消除现有腹腔内窥镜普遍存在的视野狭窄和旋转视角问题,获得一个具有恰当视角、无遮蔽的全视场(FOV)的手术场景。
根据本发明的第一方面,一种三维内窥镜,包括壳体、成像单元和控制单元;
所述成像单元位于所述壳体内;
所述成像单元包括成像传感器阵列和照明设备;
所述成像传感器阵列包括多个成像传感器,用于在所述照明设备提供的光照下采集目标对象的二维图像;
所述控制单元用于基于每个所述传感器采集到的所述目标对象的二维图像合成为所述目标对象的三维图像。
根据本发明的第二方面,一种基于如上所述的三维内窥镜的三维成像方法,包括:
成像传感器阵列中的多个成像传感器在照明设备提供的光照下采集目标对象的二维图像;
控制单元基于每个传感器采集到的所述目标对象的二维图像合成为所述目标对象的三维图像。
采用本发明的三维内窥镜及三维成像方法,可以一个具有恰当视角、无遮蔽的全视场(FOV)的手术场景。
附图说明
参照下面结合附图对本发明实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1为本发明的三维内窥镜的第一实施方式的结构图;
图2为本发明的三维内窥镜的成像原理示意图;
图3为本发明的三维内窥镜的第二实施方式的结构图;
图4为图3的三维内窥镜的目标对象的表面点P的三维距离计算原理图;
图5为图3中的结构光投影单元的一种实施方式的结构图;
图6为本发明的三维内窥镜的第三实施方式的结构图;
图7为本发明的三维内窥镜的第三实施方式的三维内窥镜的目标对象的表面点P的三维距离计算原理图;
图8为本发明的三维内窥镜的第五实施方式的结构图;
图9为本发明的三维内窥镜的第六实施方式的结构图;
图10为本发明的三维成像方法的一种实施方式的流程图。
具体实施方式
下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
第一实施方式
参见图1所示,为本发明的三维内窥镜的第一实施方式的结构图。
在本实施方式中,三维内窥镜包括成像单元100和控制单元105。
成像单元100包括壳体103,以及位于壳体103内的成像传感器阵列和照明设备101。成像传感器阵列包括多个成像传感器102,用于在照明设备提供的光照下采集目标对象108的二维图像。
控制单元105用于基于每个成像传感器102采集到的目标对象108的二维图像合成为目标对象的三维图像。
在使用时,成像单元100可以置于患者的体内(例如腹腔内),而控制单元105可以置于患者体外。
参见图2所示,为本发明的三维内窥镜的成像原理示意图。
目标对象108完整的三维信息(即,一切可以看到的光线信息)可以通过光场描述。在计算光场理论中,光场通常可由一系列不同视角的二维图像来表达。被图像传感器阵列102拍摄的图像包含了一组丰富的光线,这些光线即是由目标对象108产生的部分光场。在图2中,光场是由光场三维内窥镜获取的多个二维图像堆叠表示。光场提供全分辨率的二维和三维图像,便于三维表面重建、三维测量和自由视点可视化的三维显示等等。通过处理捕获的光线,可以完成三维表面重建、渲染并生成三维图像。
作为一种实施方式,成像传感器102可以包括电荷耦合器件(CCD)或互补金属氧化物半导体传感器(CMOS)。模拟的和数字版本的CCD/CMOS传感器模块都可以被使用。例如,可以选用OmniVision公司的CMOS芯片,该芯片有672x492像素的图像分辨率,图像面积4.032毫米x2.952毫米,像素尺寸6x6μm。成像传感器102可以使用高品质的微型光学镜头来获取适当的领域视角(FOV)(例如120度视场)。
在本实施方式中,所有成像传感器102的几何位置可以是任意的,但应当是已知的或是可通过校准技术获得的。例如,传感器阵列中的各成像传感器102可以呈线性排列。
在传感器阵列中的成像传感器102可以是完全相同的,也可以具有不同的光学、机械和/或电子特性。例如,这些传感器可以具有不同的焦距、视野、光谱范围、像素分辨率或任何其他性能指标。不管图像或非图像信号都可以从这些传感器获得。
作为一种实施方式,照明设备101可以采用LED,也可以使用其它可以提供适当照明的方式(如光纤)。例如,可以采用Nichia公司生产的迷你LED。该LED的亮度可控。
传统的二维腹腔镜和/或内窥镜只提供二维图像,没有三维深度线索。而传统立体内窥镜例如使用在达文西机器人上的那样,只能提供视角略有不同的两个目标场景图像。传统的立体内窥镜的缺点包括:
(1)立体图像只有佩戴特殊的眼镜,或在一个特别设计的完全与外科医生及手术室环境隔开的观察台才能看到;
(2)遮挡会影响精确的三维重建和测量场景;
(3)观察者不移动传感器不能自由地改变目标的视角,这在LNR操作期间这是很难做到的;
(4)由于不能获取足够数量的视图,传统的立体内窥镜不利于大屏幕、仰视、不佩戴眼镜(自动立体)和交互式的三维显示。
由于具有多个高分辨率的成像传感器,本发明的三维内窥镜克服了传统的立体内窥镜的上述缺点。
在一种实施方式中,三维内窥镜还可以包括柔性电缆104。
柔性电缆104连接在控制单元105与成像单元100之间,用于为成像单元100提供电力供给,并将成像传感器阵列采集到的多个二维图像传输至控制单元105。
由于采用了柔性电缆104,消除了传统腹腔镜和内窥镜的硬轴,为其它伸入创口的手术器械节省了宝贵的空间,避免了器械碰撞。此外,成像单元100可以被放置在腹膜腔的任何地方,不必受任何柄轴的约束。通常,可以将光场三维内窥镜100个放置在手术部位附近,去获取视野更广的图像,即使远离了创口,仍可以避免管道内视线受阻和斜视角。
第二实施方式
参见图3所示,为本发明第二实施方式的三维内窥镜。
在本实施方式中,照明设备101包括结构光投影单元110。
结构光投影单元110用于在目标对象的表面生成结构化纹理。成像传感器阵列中的每个成像传感器102用于采集结构化纹理的二维图像并传输至控制单元105。控制单元105基于多个结构化纹理的二维图像对目标对象进行三维重建。
在图3中,结构光投影单元110在目标108的表面产生空间变化的结构化纹理111。结构光是一个众所周知的三维表面成像技术。在本发明中,我们把结构照明技术应用于三维内窥镜中。
通过被结构光投影单元110投影出的结构化纹理111,我们很容易区分目标对象的表面特征。基于多视图的三维重建技术,可进行可靠的三维表面重建。这种类型的计算不需要校准结构光投影单元110的几何位置/方向。被投影的表面形貌能增强目标的表面特征,从而提高三维重建结果的质量和可靠性。
三维表面重建也可以使用从校准投影仪的结构光投影进行。在这种情况下,结构光投影的几何信息(位置/方向)是可以根据校准信息得出的。图4显示了这种只有一个图像传感器的系统实例,不失一般性。这个原理可以扩展到多个成像传感器和/或多个结构光投影系统。成像传感器、结构光投影单元和物体表面的点之间的几何关系可以通过三角测量原理的表达:
基于三维成像技术的三角测量的关键是一种用来从在二维投影模式下拍摄的图像中区分单个投影的光斑的技术。结构光条纹照明模式提供了一种简单的机制来执行对应关系。已知基线B和两个角度α和β,一个目标对象的表面点P的三维距离R可以精确计算出。其中,基线B为结构光投影单元110与照明单元102光心之间的距离。α为目标对象的表面点P到照明单元102的光心之间的连线与基线之间的夹角。而β则是目标对象的表面点P到结构光投影单元110的光心之间的连线与基线之间的夹角。
结构光投影单元110可以设计成各种形式。图5显示了一种典型的实施方式。
参见图5所示,在本实施方式中,结构光投影单元包括光源201、模式屏幕202和物镜203。其中光源201和物镜203位于模式屏幕202的两侧。光源201用于为模式屏幕202提供照明。模式屏幕202上具有预设图案。物镜203用于将光源201发出的、透过模式屏幕202的光投射到目标对象的表面,使得目标对象的表面生成结构化纹理。
光源201可以是一个非相干光源如LED或光纤照明器。在结构光图案202的模式是基于结构光原理设计(单发)。物镜是可生成高质量图形投影的多镜头光学系统。
光源201也可以是相干的,比如激光。模式屏幕202可以是衍射光学元件(DOE),其上设计有一定的衍射图案。这种衍射图案可以作为结构光照明模式。可以使用一个能从光源传输光的微型衍射光学元件(DOE)、一个GRIN准直透镜和一个单模光纤来构成结构光投影单元。投影模式在目标表面提供独特的标记。然后,三维表面轮廓可以通过应用三角剖分算法得到(如图4所示)。
第三实施方式
参见图6所示,在本实施方式中,成像传感器阵列包括光谱特性和偏振特性不同的多个成像传感器(302~305)。
对光场三维内窥镜的多个成像传感器,可以配置一些传感器在不同波段和不同偏振方向获取图像。例如,通过增加窄带滤波器来使某一个或多个成像传感器仅捕捉一定光谱范围内的光线,从而增强成像对比度(信噪比)。偏振成像采集可以抑制表面反射对成像质量的影响。
光谱成像和偏振成像是完全独立的成像方式。二者可以根据特定的应用需求同时或单独使用。
图6所示的成像传感器阵列301有八个光信道,各有其独特的光谱和偏振特性。它们被用来获取目标对象表面和亚表面的多光谱复合图像,从而重建目标对象的三维表面轮廓。
第四实施方式
参见图7所示,在本实施方式中,成像传感器阵列包括两个成像传感器。
该两个成像传感器可以分别位于壳体的两端,用于分别以左侧视角和右侧视角来采集目标对象的二维图像。
在本实施方式中,利用一对成像传感器去模拟类似人类的双目视觉去获取目标对象的图像,从而获取目标对象表面的三维信息。匹配算法能实现两个图像相同的表面点P的精确匹配。两个成像传感器和物体表面点P之间的几何关系可以通过三角测量原理的表达:
其中基线B是两个成像传感器光心之间的连接线,R是其中一个图像传感器光心和目标对象的表面点P之间连接线,α为R、B之间的夹角,而β则是另一传感器光心和P之间连接线与B之间的夹角。P点的坐标值(x,y,z)可以根据R,β,α精准计算得出。
第五实施方式
参见图8所示,为本发明的三维内窥镜的第五实施方式的结构图。
在本实施方式中,三维内窥镜包括第一无线通信链路模块307和第二无线通信链路模块(图中未示出)。
第一无线通信链路模块307置于成像单元300内,第二无线通信链路模块置于控制单元305内。
第一无线通信链路模块307用于将成像传感器阵列采集的多个二维图像传输至第二无线通信链路模块。
成像单元300中还包括用于为成像单元300供电的电池组304。电池组304可以是任何类型的微型电池,如锂电池,只要电池的容量是足够维持三维内窥镜的正常运行即可。第一无线通信链路模块307和第二无线通信链路模块能够完成应用中高速多通道图像数据传输。
本实施方式无需任何通信和供电线路,可以去除连接电缆,进一步的方便了临床手术过程中各种器械的使用。
第六实施方式
参见图9所示,为本发明的三维内窥镜的第六实施方式的结构图。
在本实施方式中,三维内窥镜还包括磁导引装置401和磁导引控制器400;
磁导引装置401安装在成像单元100上,用于在磁导引控制器的控制下,带动成像单元平移和/或旋转。
在临床手术中,磁导引装置401及成像单元100可以置于患者的腹腔内,而磁导引控制器400可以置于腹腔外,并通过磁力将磁导引装置401及成像单元100固定在腹膜内壁上。
作为一种实施方式,磁导引控制器400包括一对磁体402,用于对磁导引装置401产生磁力吸附。该磁体402能产生足够的磁力,拖动成像单元100和磁导引装置401到指定的位置和方向。
优选地,磁导引控制器400还可以包括轴旋转装置403。轴旋转装置403可以安装在磁体402上。操作者可以手动(或电子)控制的磁体402的轴向旋转。磁体402的旋转使磁场方向发生变化,从而驱动磁导引装置401的旋转,进而使成像单元100产生旋转运动。
优选地,磁导引控制器400还可以包括手柄404,从而更加安全方便的操作磁导引控制器400。
此外,在以上第一至第六实施方式中的三维内窥镜还可以包括显示装置。
显示装置与控制单元连接,用于显示控制单元生成的目标对象的三维图像。
三维成像方法
参见图10所示,为基于如上所述的三维内窥镜的三维成像方法的一种实施方式的流程图。
在本实施方式中,三维成像方法包括:
S10:成像传感器阵列中的多个成像传感器在照明设备提供的光照下采集目标对象的二维图像;
S20:控制单元基于每个成像传感器采集到的目标对象的二维图像合成为目标对象的三维图像。
可选的,三维成像方法还可以包括:
S30:连接在控制单元与成像单元之间的柔性电缆为成像单元提供电力供给,并将成像传感器阵列采集到的多个二维图像传输至控制单元。
在一种实施方式中,S10可以具体包括:
S11:照明设备中的结构光投影单元在目标对象的表面生成结构化纹理;
S12:成像传感器阵列中的每个成像传感器采集结构化纹理的二维图像并传输至控制单元。
S20可以具体包括:
S21:控制单元基于多个结构化纹理的二维图像对目标对象进行三维重建。
在一种实施方式中,S11可以具体包括:
S111:光源为模式屏幕提供照明;
S112:模式屏幕上具有预设图案;
S113:物镜将光源发出的、透过模式屏幕的光投射到目标对象的表面,使得目标对象的表面生成结构化纹理。
在另一种实施方式中,S10还可以具体包括:
S12:成像传感器阵列中的多个成像传感器以不同的光谱特性和偏振特性采集目标对象的二维图像。
在另一种实施方式中,S10还可以具体包括:
S13:成像传感器阵列包括两个成像传感器;成像传感器阵列中的两个成像传感器分别以左侧视角和右侧视角来采集目标对象的二维图像。
可选的,三维成像方法还可以包括:
S40:置于成像单元内的第一无线通信链路模块将成像传感器阵列采集的多个二维图像传输至置于控制单元内的第二无线通信链路模块。
可选的,三维成像方法还可以包括:
S50:安装在成像单元壳体上的磁导引装置在磁导引控制器的控制下,带动壳体及壳体内的成像传感器阵列和照明设备平移和/或旋转。
在一种实施方式中,三维成像方法还可以包括:
S60:与控制单元连接的显示装置显示控制单元生成的目标对象的三维图像。
采用本发明的三维内窥镜及三维成像方法,具有以下优点:
(1)解决了现有腹腔内窥镜普遍存在的视野狭窄和旋转视角问题;,从而获得一个具有恰当视角、无遮蔽的全视场手术场景;
(2)避免手术创口的持续占用;
(3)本发明的三维内窥镜可以放置在手术部位附近并进行正确的空间定位,借助其三维成像和处理能力,可以为外科医生提供具备正确方向和恰当视角的实时图像;
(4)提供三维深度线索:三维内窥镜及三维成像方法可提供实时的具备高分辨率的纹理信息的三维深度图,因此可以为外科医生提供增强的三维视觉反馈用于操作、定位和手术;
(5)手术目标尺寸测量:借助于其独特的三维成像能力,可以提供手术场景中物体的定量三维测量;
(6)进行图像引导的介入(IGI):生成的三维图像可以方便、准确地在术前CT/MRI数据和体内的三维表面数据之间进行表示,从而进行图像引导介入。
(7)其生成的三维图像可以使外科医生无需佩戴任何特殊的眼镜即可识别。
上面对本发明的一些实施方式进行了详细的描述。如本领域的普通技术人员所能理解的,本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算设备(包括处理器、存储介质等)或者计算设备的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在了解本发明的内容的情况下运用他们的基本编程技能就能实现的,因此不需在此具体说明。
此外,显而易见的是,在上面的说明中涉及到可能的外部操作的时候,无疑要使用与任何计算设备相连的任何显示设备和任何输入设备、相应的接口和控制程序。总而言之,计算机、计算机系统或者计算机网络中的相关硬件、软件和实现本发明的前述方法中的各种操作的硬件、固件、软件或者它们的组合,即构成本发明的设备及其各组成部件。
因此,基于上述理解,本发明的目的还可以通过在任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备可以是公知的通用设备。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储或者传输这样的程序产品的介质也构成本发明。显然,所述存储或者传输介质可以是本领域技术人员已知的,或者将来所开发出来的任何类型的存储或者传输介质,因此也没有必要在此对各种存储或者传输介质一一列举。
在本发明的设备和方法中,显然,各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。还需要指出的是,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。同时,在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
虽然已经详细说明了本发明及其优点,但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且,本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解,根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此,所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
Claims (18)
1.一种三维内窥镜,包括成像单元和控制单元;其特征在于:
所述成像单元包括壳体,以及位于壳体内的成像传感器阵列和照明设备;
所述成像传感器阵列包括多个成像传感器,用于在所述照明设备提供的光照下采集目标对象的二维图像;
所述控制单元用于基于每个所述成像传感器采集到的所述目标对象的二维图像合成为所述目标对象的三维图像。
2.根据权利要求1所述的三维内窥镜,其特征在于,还包括柔性电缆;
所述柔性电缆连接在所述控制单元与所述成像单元之间,用于为所述成像单元提供电力供给,并将所述成像传感器阵列采集到的多个二维图像传输至所述控制单元。
3.根据权利要求1所述的三维内窥镜,其特征在于:
所述照明设备包括结构光投影单元;
所述结构光投影单元用于在所述目标对象的表面生成结构化纹理;
所述成像传感器阵列中的每个成像传感器用于采集所述结构化纹理的二维图像并传输至所述控制单元;
所述控制单元用于基于多个所述结构化纹理的二维图像对所述目标对象进行三维重建。
4.根据权利要求3所述的三维内窥镜,其特征在于:
所述结构光投影单元包括光源、模式屏幕和物镜,所述光源和所述物镜位于所述模式屏幕的两侧;
所述光源用于为所述模式屏幕提供照明;
所述模式屏幕上具有预设图案;
所述物镜用于将所述光源发出的、透过所述模式屏幕的光投射到所述目标对象的表面,使得所述目标对象的表面生成所述结构化纹理。
5.根据权利要求1所述的三维内窥镜,其特征在于:
所述成像传感器阵列包括光谱特性和偏振特性不同的多个成像传感器。
6.根据权利要求1所述的三维内窥镜,其特征在于:
所述成像传感器阵列包括两个成像传感器;
所述成像传感器分别位于所述壳体的两端,用于分别以左侧视角和右侧视角来采集所述目标对象的二维图像。
7.根据权利要求1所述的三维内窥镜,其特征在于,包括第一无线通信链路模块和第二无线通信链路模块;
所述第一无线通信链路模块置于所述成像单元内,所述第二无线通信链路模块置于所述控制单元内;
所述第一无线通信链路模块用于将所述成像传感器阵列采集的多个二维图像传输至所述第二无线通信链路模块;
所述成像单元还包括用于为所述成像单元供电的电池组。
8.根据权利要求1所述的三维内窥镜,其特征在于,还包括磁导引装置和磁导引控制器;
所述磁导引装置安装在所述成像单元上,用于在所述磁导引控制器的控制下,带动所述成像单元平移和/或任意旋转。
9.根据权利要求1-8任意一项所述的三维内窥镜,其特征在于,还包括显示装置;
所述显示装置与所述控制单元连接,用于显示所述控制单元生成的所述目标对象的三维图像。
10.一种三维成像方法,其特征在于,包括:
成像传感器阵列中的多个成像传感器在照明设备提供的光照下采集目标对象的二维图像;
控制单元基于每个成像传感器采集到的所述目标对象的二维图像合成为所述目标对象的三维图像。
11.根据权利要求10所述的三维成像方法,其特征在于,还包括:
连接在控制单元与成像单元之间的柔性电缆为成像单元提供电力供给,并将成像传感器阵列采集到的多个二维图像传输至控制单元。
12.根据权利要求10所述的三维成像方法,其特征在于,
所述“成像传感器阵列中的多个成像传感器在照明设备提供的光照下采集目标对象的二维图像”具体包括:
照明设备中的结构光投影单元在所述目标对象的表面生成结构化纹理;
成像传感器阵列中的每个成像传感器采集所述结构化纹理的二维图像并传输至控制单元;
所述“控制单元基于每个传感器采集到的所述目标对象的二维图像合成为所述目标对象的三维图像”具体包括:
控制单元基于多个所述结构化纹理的二维图像对所述目标对象进行三维重建。
13.根据权利要求12所述的三维成像方法,其特征在于,所述“照明设备中的结构光投影单元在所述目标对象的表面生成结构化纹理”具体包括:
光源为模式屏幕提供照明;
模式屏幕上具有预设图案;
物镜将光源发出的、透过模式屏幕的光投射到所述目标对象的表面,使得所述目标对象的表面生成所述结构化纹理。
14.根据权利要求10所述的三维成像方法,其特征在于,所述“成像传感器阵列中的多个成像传感器在照明设备提供的光照下采集目标对象的二维图像”具体包括:
所述成像传感器阵列中的多个成像传感器以不同的光谱特性和偏振特性采集目标对象的二维图像。
15.根据权利要求10所述的三维成像方法,其特征在于,所述“成像传感器阵列中的多个成像传感器在照明设备提供的光照下采集目标对象的二维图像”具体包括:
所述成像传感器阵列包括两个成像传感器;
成像传感器阵列中的两个成像传感器分别以左侧视角和右侧视角来采集所述目标对象的二维图像。
16.根据权利要求10所述的三维成像方法,其特征在于,还包括:
置于成像单元内的第一无线通信链路模块将成像传感器阵列采集的多个二维图像传输至置于控制单元内的第二无线通信链路模块。
17.根据权利要求10所述的三维成像方法,其特征在于,还包括;
安装在成像单元上的磁导引装置在磁导引控制器的控制下,带动壳成像单元平移和/或旋转。
18.根据权利要求10-17任意一项所述的三维成像方法,其特征在于,还包括:
与控制单元连接的显示装置显示控制单元生成的所述目标对象的三维图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361901279P | 2013-11-07 | 2013-11-07 | |
| US61/901,279 | 2013-11-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104814712A true CN104814712A (zh) | 2015-08-05 |
Family
ID=53725390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410626297.2A Pending CN104814712A (zh) | 2013-11-07 | 2014-11-07 | 三维内窥镜及三维成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104814712A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107317954A (zh) * | 2016-04-26 | 2017-11-03 | 深圳英伦科技股份有限公司 | 3d内窥胶囊镜检测方法和系统 |
| CN108197560A (zh) * | 2017-12-28 | 2018-06-22 | 努比亚技术有限公司 | 人脸图像识别方法、移动终端及计算机可读存储介质 |
| CN108700932A (zh) * | 2015-09-24 | 2018-10-23 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
| CN109219834A (zh) * | 2016-06-02 | 2019-01-15 | 威里利生命科学有限责任公司 | 用于具有对偶互补图案照明的3d场景重建的系统和方法 |
| CN110891471A (zh) * | 2018-03-21 | 2020-03-17 | 卡普索影像公司 | 采用结构光提供生理特征尺寸测量的内窥镜 |
| CN111222620A (zh) * | 2020-01-07 | 2020-06-02 | 深圳毅能达金融信息股份有限公司 | 一种以木材制作的智能卡及其生产工艺 |
| CN113693543A (zh) * | 2019-06-17 | 2021-11-26 | 深圳硅基智控科技有限公司 | 具备定位功能的胶囊内窥镜系统 |
| CN113854968A (zh) * | 2021-10-28 | 2021-12-31 | 浙江智柔科技有限公司 | 子宫颈开口大小监测装置、方法及其应用 |
| CN115956859A (zh) * | 2022-10-11 | 2023-04-14 | 中国医学科学院北京协和医院 | 内窥镜控制方法及手术机器人系统 |
| CN117045173A (zh) * | 2022-05-05 | 2023-11-14 | 舜宇光学(浙江)研究院有限公司 | 立体内窥镜投影装置和成像显示系统 |
| CN117204796A (zh) * | 2023-11-09 | 2023-12-12 | 哈尔滨海鸿基业科技发展有限公司 | 一种腹腔内窥镜多光谱成像方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6063023A (en) * | 1997-03-12 | 2000-05-16 | Olympus Optical Co., Ltd. | Measuring endoscope system |
| CN1627324A (zh) * | 2003-12-08 | 2005-06-15 | 西门子公司 | 用于融合图像显示的方法 |
| CN201189161Y (zh) * | 2008-05-06 | 2009-02-04 | 中国人民解放军第三军医大学第二附属医院 | 电子内窥镜导航系统 |
| US20100104156A1 (en) * | 2007-07-26 | 2010-04-29 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
| JP2011055935A (ja) * | 2009-09-08 | 2011-03-24 | Hoya Corp | 内視鏡装置 |
| CN102283626A (zh) * | 2010-05-21 | 2011-12-21 | 哈尔滨工业大学 | 包含结构光三维成像系统的医用内窥镜 |
| CN202648631U (zh) * | 2012-06-28 | 2013-01-02 | 耿征 | 结构光发生装置及微型三维成像装置 |
| WO2013008097A1 (en) * | 2011-07-08 | 2013-01-17 | Duret Francois | Three-dimensional measuring device used in the dental field |
| CN203219432U (zh) * | 2013-03-12 | 2013-09-25 | 耿征 | 真三维图像采集装置及显示系统 |
| JP2013192773A (ja) * | 2012-03-21 | 2013-09-30 | Olympus Corp | 手術用映像システムおよび映像表示方法 |
-
2014
- 2014-11-07 CN CN201410626297.2A patent/CN104814712A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6063023A (en) * | 1997-03-12 | 2000-05-16 | Olympus Optical Co., Ltd. | Measuring endoscope system |
| CN1627324A (zh) * | 2003-12-08 | 2005-06-15 | 西门子公司 | 用于融合图像显示的方法 |
| US20100104156A1 (en) * | 2007-07-26 | 2010-04-29 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
| CN201189161Y (zh) * | 2008-05-06 | 2009-02-04 | 中国人民解放军第三军医大学第二附属医院 | 电子内窥镜导航系统 |
| JP2011055935A (ja) * | 2009-09-08 | 2011-03-24 | Hoya Corp | 内視鏡装置 |
| CN102283626A (zh) * | 2010-05-21 | 2011-12-21 | 哈尔滨工业大学 | 包含结构光三维成像系统的医用内窥镜 |
| WO2013008097A1 (en) * | 2011-07-08 | 2013-01-17 | Duret Francois | Three-dimensional measuring device used in the dental field |
| JP2013192773A (ja) * | 2012-03-21 | 2013-09-30 | Olympus Corp | 手術用映像システムおよび映像表示方法 |
| CN202648631U (zh) * | 2012-06-28 | 2013-01-02 | 耿征 | 结构光发生装置及微型三维成像装置 |
| CN203219432U (zh) * | 2013-03-12 | 2013-09-25 | 耿征 | 真三维图像采集装置及显示系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108700932B (zh) * | 2015-09-24 | 2021-05-28 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
| CN108700932A (zh) * | 2015-09-24 | 2018-10-23 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
| CN107317954A (zh) * | 2016-04-26 | 2017-11-03 | 深圳英伦科技股份有限公司 | 3d内窥胶囊镜检测方法和系统 |
| CN109219834A (zh) * | 2016-06-02 | 2019-01-15 | 威里利生命科学有限责任公司 | 用于具有对偶互补图案照明的3d场景重建的系统和方法 |
| CN108197560A (zh) * | 2017-12-28 | 2018-06-22 | 努比亚技术有限公司 | 人脸图像识别方法、移动终端及计算机可读存储介质 |
| CN110891471A (zh) * | 2018-03-21 | 2020-03-17 | 卡普索影像公司 | 采用结构光提供生理特征尺寸测量的内窥镜 |
| CN113693543A (zh) * | 2019-06-17 | 2021-11-26 | 深圳硅基智控科技有限公司 | 具备定位功能的胶囊内窥镜系统 |
| CN113693543B (zh) * | 2019-06-17 | 2023-06-02 | 深圳硅基智控科技有限公司 | 具备定位功能的胶囊内窥镜系统 |
| CN111222620A (zh) * | 2020-01-07 | 2020-06-02 | 深圳毅能达金融信息股份有限公司 | 一种以木材制作的智能卡及其生产工艺 |
| CN113854968A (zh) * | 2021-10-28 | 2021-12-31 | 浙江智柔科技有限公司 | 子宫颈开口大小监测装置、方法及其应用 |
| CN117045173A (zh) * | 2022-05-05 | 2023-11-14 | 舜宇光学(浙江)研究院有限公司 | 立体内窥镜投影装置和成像显示系统 |
| CN115956859A (zh) * | 2022-10-11 | 2023-04-14 | 中国医学科学院北京协和医院 | 内窥镜控制方法及手术机器人系统 |
| CN117204796A (zh) * | 2023-11-09 | 2023-12-12 | 哈尔滨海鸿基业科技发展有限公司 | 一种腹腔内窥镜多光谱成像方法及装置 |
| CN117204796B (zh) * | 2023-11-09 | 2024-02-13 | 哈尔滨海鸿基业科技发展有限公司 | 一种腹腔内窥镜多光谱成像方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104814712A (zh) | 三维内窥镜及三维成像方法 | |
| US20160128553A1 (en) | Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same | |
| Geng et al. | Review of 3-D endoscopic surface imaging techniques | |
| US8911358B2 (en) | Endoscopic vision system | |
| JP6985262B2 (ja) | 患者の体内における内視鏡の位置を追跡するための装置及び方法 | |
| US20210243425A1 (en) | Optical imaging system and methods thereof | |
| US12290235B2 (en) | Wireless laparoscopic device with gimballed camera | |
| US20240197151A1 (en) | Medical imaging systems and methods | |
| JP6609616B2 (ja) | マルチポートの視点からの手術シーンの定量的な3次元イメージング | |
| US9220399B2 (en) | Imaging system for three-dimensional observation of an operative site | |
| US20140336461A1 (en) | Surgical structured light system | |
| WO2013163391A1 (en) | Surgical structured light system | |
| US20210096351A1 (en) | Endoscope processor, display setting method, computer-readable recording medium, and endoscope system | |
| US20160081759A1 (en) | Method and device for stereoscopic depiction of image data | |
| CN102078176B (zh) | 三维立体硬质电子阴道镜系统及其使用方法 | |
| WO2020086912A1 (en) | Mixed reality systems and methods for indicating an extent of a field of view of an imaging device | |
| Sun et al. | Surface reconstruction from tracked endoscopic video using the structure from motion approach | |
| Mura et al. | Vision-based haptic feedback for capsule endoscopy navigation: a proof of concept | |
| CN116909442A (zh) | 可隔空手势交互的全息三维医学数据可视化方法及系统 | |
| KR20150109076A (ko) | 대장내시경 수술 시뮬레이션시스템 | |
| CN102090880B (zh) | 三维立体硬质电子关节镜系统 | |
| WO2022036153A1 (en) | Endoluminal robotic systems and methods employing capsule imaging techniques | |
| JP2019154886A (ja) | 医療用表示制御装置、および表示制御方法 | |
| CN119850435A (zh) | 一种内窥镜图像融合方法、电子设备 | |
| US20230086111A1 (en) | A multi focal endoscope |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150805 |