[go: up one dir, main page]

CN106844289A - 基于手机摄像头扫描环境进行建模的方法 - Google Patents

基于手机摄像头扫描环境进行建模的方法 Download PDF

Info

Publication number
CN106844289A
CN106844289A CN201710046969.6A CN201710046969A CN106844289A CN 106844289 A CN106844289 A CN 106844289A CN 201710046969 A CN201710046969 A CN 201710046969A CN 106844289 A CN106844289 A CN 106844289A
Authority
CN
China
Prior art keywords
mobile phone
phone camera
dimensional image
image sequence
camera scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710046969.6A
Other languages
English (en)
Inventor
沈其伟
吴天奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Snail Digital Technology Co Ltd
Original Assignee
Suzhou Snail Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Snail Digital Technology Co Ltd filed Critical Suzhou Snail Digital Technology Co Ltd
Priority to CN201710046969.6A priority Critical patent/CN106844289A/zh
Publication of CN106844289A publication Critical patent/CN106844289A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种基于手机摄像头扫描环境完成建模的方法，包括以下步骤：获取二维图像序列，并提取特征点；进行特征匹配，并恢复场景结构；进行密集重建；进行网格重建和提纯；进行纹理映射，将模型导入游戏中。本发明的方法可以方便、快速地用手机摄像机扫描现实世界的物体进行建模，在虚拟现实中展现真实世界的物件。

Description

基于手机摄像头扫描环境进行建模的方法
技术领域
本发明涉及一种建模方法，特别是涉及一种移动游戏中的建模方法。
背景技术
图像建模技术，是指通过摄像机等设备对物体进行图像采集，经计算机进行图形图像处理以及三维计算，从而全自动生成被拍摄物体的三维模型。
现有技术中，由于市面上的游戏因为技术及用户需求的关系，还没有一种快速、方便、廉价的可以将现实世界的图像建模并与虚拟世界进行紧密联系的解决方案。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种基于手机摄像头扫描环境完成建模的方法，利用移动终端自身的CPU和GPU资源将手机摄像头扫描的环境生成模型并导入增强现实游戏中，增加现实世界与虚拟世界的联系。
为实现上述目的，本发明提供的基于手机摄像头扫描环境完成建模的方法，包括以下步骤：
（1）获取二维图像序列，并提取特征点；
（2）进行特征匹配，并恢复场景结构；
（3）进行密集重建；
（4）进行网格重建和提纯；
（5）进行纹理映射，将模型导入游戏中。
进一步地，所述步骤（1）进一步包括以下步骤：利用手机摄像机获取目标对象的二维图像序列；利用特征提取法分别对所述二维图像序列中的图像进行特征点提取。
进一步地，步骤（2）所述的进行特征匹配，是分别对所述二维图像序列中的相邻两幅图像进行特征匹配。
进一步地，步骤（2）所述的恢复场景结构，进一步包括以下步骤：首先，选取所述二维图像序列中的两幅图像进行重建，获得两幅图像摄像机的外参数以及内参数，采用束调整算法对两幅图像进行优化；其次，添加其它图像，重复上述步骤，直至整个所述二维图像序列优化完成；最后，对二维图像序列进行全局束调整算法优化。
进一步地，所述步骤（3）进一步包括以下步骤：筛选匹配图像作为密集点云的输入图像；选择一副参考图像及其匹配图像作为初始图像对，并估计参考图像与匹配图像之间的深度；选择最佳的估计深度作为当前参考图像的估计深度，过滤深度图、融合深度图，得到密集点云。
进一步地，步骤（4）所述的网格重建，进一步包括以下步骤：对密集点云进行逐点插入法、迭代法重建，进行Delaunay三角剖分；计算每条边的权重；采用图割法提取网格。
进一步地，步骤（4）所述的网格提纯，是利用照片一致性提纯网格。
更进一步地，步骤（4）所述纹理映射，是根据提纯的网格，计算每个三角面的最佳视图；根据相应的视图计算网格三角形的纹理坐标。
本发明的基于手机摄像头扫描环境完成建模的方法，可以方便、快速地用手机摄像机扫描现实世界的物体进行建模，在虚拟现实中展现真实世界的物件。针对增强现实游戏玩法的拓展，增加游戏的沉浸式体验效果，丰富了交互性及游戏场景中的表现效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的基于手机摄像头扫描环境完成建模的方法流程图；
图2为根据本发明的手机摄像头获取的目标对象的二维图像序列示意图；
图3为根据本发明的提取的特征点示意图；
图4为根据本发明的特征匹配后的图像示意图；
图5为根据本发明的恢复场景结构示意图；
图6为根据本发明的密集重建后的图像示意图；
图7为根据本发明的网格重建后的图像示意图；
图8为根据本发明的网格提纯后的图像示意图；
图9为根据本发明的纹理映射后的图像示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的基于手机摄像头扫描环境完成建模的方法流程图，下面将参考图1，对本发明的基于手机摄像头扫描环境完成建模的方法进行详细描述。
首先，在步骤101，通过手机摄像头获取周围环境中目标对象的二维图像序列，并分别对上述二维图像序列中的图像提取特征点。图2为根据本发明的手机摄像头获取的目标对象的二维图像序列示意图，如图2所示，通过手机摄像头获取到36幅图像。图3为根据本发明的提取的特征点示意图，如图3所示，利用特征提取算法分别对所述二维图像序列中的图像提取特征点。
在步骤102，分别对所述二维图像序列中的相邻两幅图像进行特征匹配。图4为根据本发明的提取的特征点示意图，如图4所示，根据相邻两幅图像提取的特征点，对图像进行特征匹配。
在步骤103，选取两张图像进行重建，获得两幅图像相对的摄像机外参数以及内参数，对两幅图像用束调整算法进行优化，添加其他图片，重复图像相对摄像机外参数以及内参数的计算和束调整算法优化，直至处理完整个二维图像序列，最后进行全局束调整算法优化，恢复场景结构。图5为根据本发明的恢复场景结构示意图，如图5所示，对整个二维图像序列进行束调整算法优化后，完成了场景结构的恢复。
在步骤104，从经过束调整算法优化后的图像序列中筛选出具有好的匹配图像作为密集点云的输入图像，依次处理：选择一副参考图像及其匹配图像作为初始图像对，估计参考图像与匹配图像之间的深度，选择最佳的估计深度作为当前参考图像的估计深度，过滤深度图、融合深度图，得到密集点云，完成图像的密集重建。图6为根据本发明的密集重建后的图像示意图，如图6所示，一副参考图像及其匹配图像进行密集重建后得到的密集点云。
在步骤105，由上述得到的密集点云，进行网格重建及提纯。图7为根据本发明的网格重建后的图像示意图，如图7所示，由步骤104得到的密集点云，基于逐点插入法、迭代法重建Delaunay三角剖分，计算每条边的权重，再采用图割法提取网格。图8为根据本发明的网格提纯后的图像示意图，如图8所示，利用照片的一致性进行网格提纯。
在步骤106，进行纹理映射，并在游戏中导入模型。图9为根据本发明的纹理映射后的图像示意图，如图9所示，对提纯后得网格，计算每个三角面的最佳视图，根据相应的视图计算网格三角形的纹理坐标，进行纹理映射创建扫描环境的模型。模型被导入游戏中，可以在虚拟世界创建现实世界看到的物体并与之交互。
本发明技术方案的优点主要体现在：通过普通手机摄像头即可完成现实世界物体的数据采集。通过手机自身的CPU和GPU资源即可处理模型的生成。丰富了现实世界与虚拟世界的交互性。
本发明的基于手机摄像头扫描环境完成建模的方法，通过普通手机摄像头即可完成现实世界物体的数据采集，通过手机自身的CPU和GPU资源即可处理模型的生成，丰富了现实世界与虚拟世界的交互性。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于手机摄像头扫描环境进行建模的方法，其特征在于，包括以下步骤：
（1）获取二维图像序列，并提取特征点；
（2）进行特征匹配，并恢复场景结构；
（3）进行密集重建；
（4）进行网格重建和提纯；
（5）进行纹理映射，将模型导入游戏中。
2.根据权利要求1所述基于手机摄像头扫描环境进行建模的方法，其特征在于，所述步骤（1）进一步包括以下步骤：利用手机摄像机获取目标对象的二维图像序列；利用特征提取法分别对所述二维图像序列中的图像进行特征点提取。
3.根据权利要求1所述基于手机摄像头扫描环境进行建模的方法，其特征在于，步骤（2）所述的进行特征匹配，是分别对所述二维图像序列中的相邻两幅图像进行特征匹配。
4.根据权利要求1所述基于手机摄像头扫描环境进行建模的方法，其特征在于，步骤（2）所述的恢复场景结构，进一步包括以下步骤：首先，选取所述二维图像序列中的两幅图像进行重建，获得两幅图像摄像机的外参数以及内参数，采用束调整算法对两幅图像进行优化；其次，添加其它图像，重复上述步骤，直至整个所述二维图像序列优化完成；最后，对二维图像序列进行全局束调整算法优化。
5.根据权利要求1所述基于手机摄像头扫描环境进行建模的方法，其特征在于，所述步骤（3）进一步包括以下步骤：筛选匹配图像作为密集点云的输入图像；选择一副参考图像及其匹配图像作为初始图像对，并估计参考图像与匹配图像之间的深度；选择最佳的估计深度作为当前参考图像的估计深度，过滤深度图、融合深度图，得到密集点云。
6.根据权利要求1所述基于手机摄像头扫描环境进行建模的方法，其特征在于，步骤（4）所述的网格重建，进一步包括以下步骤：对密集点云进行逐点插入法、迭代法重建，进行Delaunay三角剖分；计算每条边的权重；采用图割法提取网格。
7.根据权利要求1所述基于手机摄像头扫描环境进行建模的方法，其特征在于，步骤（4）所述的网格提纯，是利用照片一致性提纯网格。
8.根据权利要求1所述基于手机摄像头扫描环境进行建模的方法，其特征在于，步骤（4）所述纹理映射，是根据提纯的网格，计算每个三角面的最佳视图；根据相应的视图计算网格三角形的纹理坐标。
CN201710046969.6A 2017-01-22 2017-01-22 基于手机摄像头扫描环境进行建模的方法 Pending CN106844289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710046969.6A CN106844289A (zh) 2017-01-22 2017-01-22 基于手机摄像头扫描环境进行建模的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710046969.6A CN106844289A (zh) 2017-01-22 2017-01-22 基于手机摄像头扫描环境进行建模的方法

Publications (1)

Publication Number Publication Date
CN106844289A true CN106844289A (zh) 2017-06-13

Family

ID=59120326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710046969.6A Pending CN106844289A (zh) 2017-01-22 2017-01-22 基于手机摄像头扫描环境进行建模的方法

Country Status (1)

Country Link
CN (1) CN106844289A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464282A (zh) * 2017-08-05 2017-12-12 福建乐行道网络科技有限公司 一种以a4纸为基准的摄像头建模方法和系统
CN107678153A (zh) * 2017-10-16 2018-02-09 南京亘瑞医疗科技有限公司 光纤束图像处理方法和装置
CN108955682A (zh) * 2018-04-03 2018-12-07 哈尔滨工业大学深圳研究生院 手机室内定位导航方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184566A (zh) * 2011-04-28 2011-09-14 湘潭大学 基于微型投影仪手机平台的便携式三维扫描系统及方法
CN102681661A (zh) * 2011-01-31 2012-09-19 微软公司 在玩游戏中使用三维环境模型
CN102938844A (zh) * 2011-10-13 2013-02-20 微软公司 利用立体成像生成自由视点视频
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681661A (zh) * 2011-01-31 2012-09-19 微软公司 在玩游戏中使用三维环境模型
CN102184566A (zh) * 2011-04-28 2011-09-14 湘潭大学 基于微型投影仪手机平台的便携式三维扫描系统及方法
CN102938844A (zh) * 2011-10-13 2013-02-20 微软公司 利用立体成像生成自由视点视频
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
唐丽: ""由手提相机获得的序列图像进行三维重建"", 《中国博士学位论文全文数据库 信息科技辑》 *
戴嘉境: ""基于多幅图像的三维重建理论及算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
朱广舟: "《数字化服装设计 三维人体建模与虚拟缝合试衣技术》", 31 August 2014, 中国纺织出版社 *
桑卡等: "《图像处理、分析与机器视觉（第三版）》", 31 January 2011, 清华大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464282A (zh) * 2017-08-05 2017-12-12 福建乐行道网络科技有限公司 一种以a4纸为基准的摄像头建模方法和系统
CN107678153A (zh) * 2017-10-16 2018-02-09 南京亘瑞医疗科技有限公司 光纤束图像处理方法和装置
US11525996B2 (en) 2017-10-16 2022-12-13 Suzhou Microview Medical Technologies Co., Ltd. Fiber bundle image processing method and apparatus
CN108955682A (zh) * 2018-04-03 2018-12-07 哈尔滨工业大学深圳研究生院 手机室内定位导航方法

Similar Documents

Publication Publication Date Title
US11798224B2 (en) Generation apparatus, system and method for generating virtual viewpoint image
CN107862744B (zh) 航空影像三维建模方法及相关产品
US12530849B2 (en) Method, apparatus, computer device and storage medium for three-dimensional reconstruction of indoor structure
CN103021017B (zh) 基于gpu加速的三维场景重建方法
CN108648264B (zh) 基于运动恢复的水下场景重建方法及存储介质
CN106548516B (zh) 三维漫游方法和装置
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
CN106157354B (zh) 一种三维场景切换方法及系统
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
CN108335353A (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
KR102152432B1 (ko) 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
CN104299263B (zh) 一种基于单幅图像建模云场景的方法
CN112991458B (zh) 一种基于体素的快速三维建模方法及系统
JP7808763B2 (ja) 三次元点群高密度化装置、三次元点群高密度化方法、及び、プログラム
CN113379901A (zh) 利用大众自拍全景数据建立房屋实景三维的方法及系统
CN111047678B (zh) 一种三维人脸采集装置和方法
CN110880202B (zh) 一种三维地形模型创建方法、装置、设备及存储介质
CN105865413B (zh) 一种建筑物高度的获取方法及装置
CN117132737A (zh) 一种三维建筑模型构建方法、系统及设备
CN102695070B (zh) 一种立体图像的深度一致性融合处理方法
CN116402943A (zh) 基于符号距离场的室内三维重建方法和装置
CN118089666A (zh) 一种适用于低重叠度无人机影像的摄影测量方法及系统
CN117611765A (zh) 虚拟场景模型的生成方法、装置、存储介质及电子设备
CN106844289A (zh) 基于手机摄像头扫描环境进行建模的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170613

WD01 Invention patent application deemed withdrawn after publication