TWI799181B - 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 - Google Patents
由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 Download PDFInfo
- Publication number
- TWI799181B TWI799181B TW111108862A TW111108862A TWI799181B TW I799181 B TWI799181 B TW I799181B TW 111108862 A TW111108862 A TW 111108862A TW 111108862 A TW111108862 A TW 111108862A TW I799181 B TWI799181 B TW I799181B
- Authority
- TW
- Taiwan
- Prior art keywords
- layer
- point
- nodes
- hidden
- point cloud
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
Abstract
本發明提供一種由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法,其中該整合模型的輸入為複數三維稀疏點雲,該方法包含有以下步驟:使該些三維稀疏點雲通過一編碼層,萃取其所包含的複數特徵;計算該些特徵的關注權重;對該些特徵進行轉碼,產生複數轉碼後資料;對該些轉碼後資料進行解碼;以及輸出生成的複數三維完整點雲資料與複數零件切割結果。
Description
本發明係與生成三維點雲的技術有關;特別是指一種由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法。
由於單獨點雲到點雲的零件切割模型設計與點雲點輸入與輸出的數量有關。例如習用的PointNet模型係以局部特徵與全域特徵進行並列(concatenation),其零件切割效果為最佳,但該模型要求輸入與輸出的點數量必須固定。因此,若欲以稀疏的點雲資料生成更完整的點雲資料,亦即當輸入與輸出的點數量不同時,該模型便無法使用,不具實用性。
有鑑於此,本發明將提出一種由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法,能夠由三維稀疏點雲生成三維完整點雲,並能用以進行零件切割。
本發明提供一種由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法,其中該方法的輸入為複數三維稀疏點雲;該方法包括以下步驟:A. 使該些三維稀疏點雲通過一編碼層,萃取其所包含的複數特徵;B. 計算該些特徵的關注權重;C. 對該些特徵進行轉碼,產生複數轉碼後資料;D.使該些轉碼後資料通過一解碼層以進行解碼;以及E. 輸出生成的複數三維完整點雲資料與複數零件切割結果。
於一實施例中,步驟A所述的該編碼層具有一第一模組及一第二模組;該第一模組為習用的3D-LMNet模型,該第二模組則係選自改良點雲資料生成模型(G3D)的六個模型中最佳者之編碼層。
於一實施例中,步驟D所述的該解碼層具有一第一模組及一第二模組;該第一模組包含有兩個獨立的多層感知機(MLP),分別用以生成點雲與零件切割;該第二模組亦包含有兩個獨立的多層感知機,分別用以生成點雲與零件切割。
於一實施例中,該解碼層的該第一模組所包含的該二多層感知機各有四層隱藏層,而且都有相同的隱藏節點數;其中該第一至三層皆有128個隱藏節點;用以生成點雲的該一多層感知機的第四層具有n×3個隱藏節點,用以零件切割的該一多層感知機的第四層具有的隱藏節點數個數等於n乘上零件類別編號之數量。
於一實施例中,該解碼層的該第二模組所包含用以生成點雲的該一多層感知機具有三層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,第三層具有n×3個隱藏節點;該解碼層的該第二模組所包含用以零件切割的該一多層感知機則具有五層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,第三與四層隱藏層均有128個節點,第五層具有的隱藏節點數個數等於n乘上零件類別編號之數量。
於一實施例中,更包含有另一步驟於前述步驟D之後:計算一損失函數
於一實施例中,該損失函數包含有一適應性之生成點雲損失函數,其公式為:
其中
,式中
與
表示如下:
與
式中
是真實資料點的標籤
與預測點的零件標籤
之相似值,表示如下:
;
其中
式中
與
表示如下:
與
式中
是預測點的零件標籤
與真實資料點的標籤
之相似值,表示如下:
。
於一實施例中,該損失函數包含有一適應性空間關係之交叉熵的零件切割損失函數,其公式如下:
其中
式中
是第
個預測(prediction)點的零件標籤為
之信心分數(confidence),
與
是第
個真實點與預測點集合中距離最接近的點
間的距離權重值,分別表示如下:
與
是真實(ground truth)資料點的標籤
與預測點的零件標籤
之相似值,表示如下:
;
其中
式中
是第
個預測(prediction)點的零件標籤為
之信心分數(confidence),
與
是第
個預測點與真實資料集合中距離最近的點
間之距離權重值,分別表示如下:
與
是零件標籤為
與真實(ground truth)資料點的標籤
之相似值,表示如下:
。
於一實施例中,本方法所建立之該整合模型更具有物件分類之任務,且該解碼層具有一第一模組,該第一模組具有三個獨立的多層感知機,分別用以生成點雲、零件切割,與物件分類;其中各該多層感知機皆具有四層相同隱藏節點數的隱藏層,第一至三層有128個隱藏節點,用以生成點雲的該一多層感知機之第四層具有n×3個隱藏節點,用以零件切割的該一多層感知機之第四層的隱藏節點個數為n乘上零件類別編號之數量,至於用以物件分類的該一多層感知機的第四層的隱藏節點個數等於物件類別編號之個數。
於一實施例中,該解碼層更具有一第二模組,該第二模組具有三個獨立的多層感知機,分別用以生成點雲、零件切割,與物件分類;用以生成點雲與物件分類的該二多層感知機同樣有三層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,其中用以生成點雲的該一多層感知機之第三層具有n×3個隱藏節點,而用以物件分類的該一多層感知機的第三層的隱藏節點個數等於物件類別編號之個數;用以零件切割的多層感知機係具有五層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,第三與四層隱藏層均有128個節點,第五層的節點個數為n乘上零件類別編號之數量。
藉此,本發明所提供之方法所建立的整合模型能夠由三維稀疏點雲生成三維完整點雲,解決前述習用PointNet模型的問題。
為能更清楚地說明本發明,茲舉較佳實施例並配合圖式詳細說明如後。請參照圖1及圖2,本發明提供的一種由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法包含有六個步驟,其中該方法的輸入為複數三維稀疏點雲。如步驟S1所述,本方法首先使該些三維稀疏點雲通過一編碼層,以萃取其所包含的複數特徵。本發明所採用的編碼層具有兩個模組(Encode 1 & Encode 2),分別稱作第一及第二模組,其中編碼層的該第一模組係採用習用的3D-LMNet模型,此一模型是一種生成點雲的模型,其編碼層的隱藏層之節點數不多,因此本發明使用其編碼層做為本發明編碼層的第一個模組;另外,本發明編碼層的該第二模組係從改良點雲資料生成模型(G3D)的六個模型中,取其中最佳的一個模型之編碼層。接著,於步驟S2,本發明提出之方法會去計算萃取得到的該些特徵的關注權重;步驟S3則對該些特徵進行轉碼,藉此產生複數轉碼後資料。隨後,在步驟S4使該些轉碼後資料通過一解碼層以進行解碼;於步驟S5計算損失函數;最後,在步驟S6輸出生成的複數三維完整點雲資料與複數零件切割結果。
本發明相對該編碼層,亦具有一解碼層,即使用於步驟S4中的該解碼層,此處對該解碼層加以說明。該解碼層同樣則有兩個模組(Decode 1 & Decode 2),分別稱作第一及第二模組,其中該解碼層的該第一模組包含有兩個獨立的多層感知機(MLP),分別用以生成點雲與零件切割;該兩個MLP各有四層隱藏層,而且都有相同的隱藏節點數,第一至三層有128個隱藏節點,用以生成點雲的該一MLP的第四層具有n×3個隱藏節點,用以零件切割的該一MLP的第四層所具有的隱藏節點數量為n×label(零件類別編號)。該解碼層的該第二模組也包含有兩個獨立的多層感知機(MLP),分別用以生成點雲與零件切割,其中用以生成點雲的MLP有三層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,第三層具有n×3個隱藏節點;用以零件切割的MLP有五層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,第三與四層隱藏層均有128個節點,第五層為n×label(零件類別編號)個節點。前述的該編碼層及該解碼層的整體模組如圖3所示。
此處對後續步驟S5應用到的損失函數進行說明,其中,關於生成點雲的損失函數係計算預測點與真實點最接近的點之Chamfer距離,其值的範圍與3D模型的尺寸大小有關,而關於零件切割的損失函數係計算交叉熵(cross-entropy),其值的範圍為0至1之間。本發明提出之方法所建立的整合模型在計算損失函數時,係將前述兩個損失函數採加總方式處理。
本發明所提出關於生成點雲的損失函數係一種基於Chamfer距離的適應性生成點雲損失函數(the adaptive loss function based on chamfer distance of generating a point cloud)損失值。此損失值係將每個點所計算的Chamfer距離值取自然指數函數(natural exponential function),並將此距離值歸納至0至1之間。本研究將對生成點雲之預測(predicted)點雲的點集合
,以及真實(ground truth)點雲的點集合
,分別提出從真實點至預測點與從預測點至真實點的損失函數。
本發明以真實資料點為基準,逐一尋找座標距離最接近的預測點,係從真實點第
個點且
,逐一尋找預測點集合
中與第
個真實點距離最接近的點,表示成
且
。然後再將所有點計算Chamfer距離的交叉熵值,最後進行加總,本發明稱之為
損失函數,其公式如下:
接著,本發明亦以預測點為基準,逐一尋找座標距離最接近的真實資料點,係從預測點第
個點且
,逐一尋找真實點集合
中與第
個預測點距離最接近的點,表示成
且
。然後再將所有點計算Chamfer距離的交叉熵值,最後進行加總,本發明稱之為
損失函數,其公式如下:
結合前述兩種損失函數,本發明提出基於Chamfer距離的適應性之生成點雲損失函數AG3DL_CF表示如下:
另外,本發明提出適應性空間關係之交叉熵的零件切割損失函數(the adaptive loss function of the parts segmentation based on cross-entropy of spatial relationship)。此一損失函數係將每個點計算Chamfer距離值,然後再乘上距離的權重值,也就是說距離值越大則損失值越大,距離值越小則損失值越小。本發明將對生成點雲之預測(predicted)點雲的點集合
,以及真實(ground truth)點雲的點集合
,分別提出從真實點至預測點與從預測點至真實點的損失函數。
其中,從真實點至預測點的損失函數公式如下:
式中
是第
個預測(prediction)點的零件標籤為
之信心分數(confidence),
與
是第
個真實點與預測點集合中距離最接近的點
間的距離權重值,分別表示如下:
與
是真實(ground truth)資料點的標籤
與預測點的零件標籤
之相似值,表示如下:
至於從預測點至真實點的損失函數則是公式如下:
式中
是第
個預測(prediction)點的零件標籤為
之信心分數(confidence),
與
是第
個預測點與真實資料集合中距離最近的點
間之距離權重值,分別表示如下:
與
是零件標籤為
與真實(ground truth)資料點的標籤
之相似值,表示如下:
結合前述兩種損失函數,本發明提出適應性空間關係之交叉熵的零件切割損失函數APSL_CESR表示如下:
由於本發明提供之方法所建立的整合模型,其損失函數係由生成點雲與零件切割的損失函數組成,故其整體的損失函數可表示為:
本發明提出之方法所建立的整合模型,除了生成點雲與零件切割之外,還可以更具有物件分類的任務。即使加上物件分類的任務,該編碼層的架構仍同前述,這是因為三個任務的編碼層具有相同的特徵。但是三個任務的輸出型態不同,而且代表的物理意義也不同。因此,解碼層的部分將具有三個獨立的多層感知機(MLP),並提出兩個不同的模組。
其中該解碼層的第一模組(Decode 1)將生成點雲、零件切割與物件分類分成三個獨立的多層感知機(MLP),三個MLP各有四層相同隱藏節點數的隱藏層,第一至三層有128個隱藏節點,用以生成點雲的多層感知機之第四層具有n×3個隱藏節點,用以零件切割的多層感知機之第四層具有n×label(零件類別編號)個隱藏節點,至於用以物件分類的多層感知機的第四層則是具有class (物件類別編號)個隱藏節點。
其中該解碼層的第二模組(Decode 2)中,用以生成點雲與物件分類的多層感知機同樣有三層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,用以生成點雲的多層感知機之第三層具有n×3個隱藏節點,而用以物件分類的多層感知機的第三層則是具有class (物件類別編號)個隱藏節點。至於用以零件切割的多層感知機係具有五層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,第三與四層隱藏層均有128個節點,第五層的節點個數為n×label。此一具有物件分類任務的整合模型之解碼層架構如圖4所示。
至於此一具有物件分類任務的整合模型所採用的損失函數,其公式則如下所示:
以上所述僅為本發明較佳可行實施例而已,舉凡應用本發明說明書及申請專利範圍所為之等效方法變化,理應包含在本發明之專利範圍內。
S1、S2、S3、S4、S5、S6:步驟
圖1是本發明由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法之流程圖;
圖2是本發明前述方法建立之整合模型的架構圖;
圖3是本發明的編碼層及解碼層的整體模組圖;以及
圖4是本發明具有物件分類任務的整合模型之解碼層架構圖。
S1、S2、S3、S4、S5、S6:步驟
Claims (4)
- 一種由三維稀疏點雲生成三維完整點雲的模型建立方法,其中該方法的輸入為複數三維稀疏點雲,該方法包括:A.使該些三維稀疏點雲通過一編碼層,萃取其所包含的複數特徵;B.取得該些特徵經計算得到的關注權重;C.取得該些特徵轉碼後產生的複數轉碼後資料;D.該些轉碼後資料通過一解碼層接受解碼;E.施用一損失函數於解碼後的該些轉碼後資料;以及F.輸出生成的複數三維完整點雲資料;其中該損失函數包含有一適應性之生成點雲損失函數,其公式為:L AG3DL_CF =L AG3DL_CF1+L AG3DL_CF2其中,式中i*與d i*表示如下:與;式中y i 是真實資料點的標籤p(i)與預測點的零件標籤之相似值,表示如下:
其中;式中i*與表示如下:與; 式中是預測點的零件標籤與真實資料點的標籤p(i*)之相似值,表示如下: - 如請求項1所述之方法,其中步驟D所述的該解碼層具有一第一模組及一第二模組;該第一模組包含有一多層感知機(MLP),用以生成點雲;該第二模組亦包含有另一多層感知機,用以生成點雲。
- 如請求項2所述之方法,其中該解碼層的該第一模組所包含的該多層感知機有四層隱藏層;其中該第一至三層有128個隱藏節點;該第四層具有n×3個隱藏節點,其中n為輸入該第四層的節點個數。
- 如請求項2所述之方法,其中該解碼層的該第二模組所包含用以生成點雲的該多層感知機具有三層隱藏層,第一層隱藏層有512個節點,第二層隱藏層有256個節點,第三層具有n×3個隱藏節點,其中n為輸入第三層的節點個數。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111108862A TWI799181B (zh) | 2022-03-10 | 2022-03-10 | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111108862A TWI799181B (zh) | 2022-03-10 | 2022-03-10 | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI799181B true TWI799181B (zh) | 2023-04-11 |
| TW202336703A TW202336703A (zh) | 2023-09-16 |
Family
ID=86948631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111108862A TWI799181B (zh) | 2022-03-10 | 2022-03-10 | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI799181B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147245A1 (en) * | 2017-11-14 | 2019-05-16 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及系统 |
| TW202129593A (zh) * | 2020-01-16 | 2021-08-01 | 國立臺中科技大學 | 應用於動物的卷積神經網路偵測方法及系統 |
| TW202134999A (zh) * | 2020-02-12 | 2021-09-16 | 國立臺中科技大學 | 海平面影像偵測系統 |
| CN113901938A (zh) * | 2021-10-21 | 2022-01-07 | 深圳市中钞科信金融科技有限公司 | 基于牙齿3d点云的身份识别方法及系统 |
| CN113989547A (zh) * | 2021-10-15 | 2022-01-28 | 天津大学 | 基于图卷积深度神经网络的三维点云数据分类结构及方法 |
| CN114048845A (zh) * | 2022-01-14 | 2022-02-15 | 深圳大学 | 点云修复方法、装置、计算机设备和存储介质 |
| CN114067075A (zh) * | 2021-09-27 | 2022-02-18 | 中国地质大学(武汉) | 基于生成对抗网络的点云补全方法及装置 |
| CN114127785A (zh) * | 2021-04-15 | 2022-03-01 | 商汤国际私人有限公司 | 点云补全方法、网络训练方法、装置、设备及存储介质 |
-
2022
- 2022-03-10 TW TW111108862A patent/TWI799181B/zh active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147245A1 (en) * | 2017-11-14 | 2019-05-16 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
| TW202129593A (zh) * | 2020-01-16 | 2021-08-01 | 國立臺中科技大學 | 應用於動物的卷積神經網路偵測方法及系統 |
| TW202134999A (zh) * | 2020-02-12 | 2021-09-16 | 國立臺中科技大學 | 海平面影像偵測系統 |
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及系统 |
| CN114127785A (zh) * | 2021-04-15 | 2022-03-01 | 商汤国际私人有限公司 | 点云补全方法、网络训练方法、装置、设备及存储介质 |
| CN114067075A (zh) * | 2021-09-27 | 2022-02-18 | 中国地质大学(武汉) | 基于生成对抗网络的点云补全方法及装置 |
| CN113989547A (zh) * | 2021-10-15 | 2022-01-28 | 天津大学 | 基于图卷积深度神经网络的三维点云数据分类结构及方法 |
| CN113901938A (zh) * | 2021-10-21 | 2022-01-07 | 深圳市中钞科信金融科技有限公司 | 基于牙齿3d点云的身份识别方法及系统 |
| CN114048845A (zh) * | 2022-01-14 | 2022-02-15 | 深圳大学 | 点云修复方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 期刊 余佳靜、林春宏及黃馨逸 融合二維與三維卷積類神經網路技術之汽車零件的自動偵測與分類 國立臺中科技大學資訊工程系碩士論文 臺灣碩博士論文加值系統(https://ndltd.ncl.edu.tw/) 2020年 https://hdl.handle.net/11296/kzhk36 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202336703A (zh) | 2023-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114758129B (zh) | 一种基于局部特征增强的RandLA-Net室外场景语义分割方法 | |
| CN109377530B (zh) | 一种基于深度神经网络的双目深度估计方法 | |
| CN112819833B (zh) | 一种大场景点云语义分割方法 | |
| CN110245655B (zh) | 一种基于轻量级图像金字塔网络的单阶段物体检测方法 | |
| CN115294282A (zh) | 三维场景重建中增强特征融合的单目深度估计系统及其方法 | |
| CN115457498A (zh) | 一种基于双注意力和密集连接的城市道路语义分割方法 | |
| CN114332592B (zh) | 一种基于注意力机制的海洋环境数据融合方法及系统 | |
| CN115223082A (zh) | 一种基于时空多尺度Transformer的航拍视频分类方法 | |
| CN111144329A (zh) | 一种基于多标签的轻量快速人群计数方法 | |
| CN115713546B (zh) | 移动终端设备用的轻量化目标跟踪方法 | |
| CN114092773B (zh) | 信号处理方法、信号处理装置、电子设备及存储介质 | |
| CN116756314B (zh) | 基于gcn的方面级多模态情感分析方法 | |
| CN114821438A (zh) | 一种基于多路径激励的视频人体行为识别方法及系统 | |
| CN116704506A (zh) | 一种基于交叉环境注意力的指代图像分割方法 | |
| CN110196928B (zh) | 完全并行化具有领域扩展性的端到端多轮对话系统及方法 | |
| CN116704187B (zh) | 一种语义对齐的实时语义分割方法、系统及存储介质 | |
| CN113747168A (zh) | 多媒体数据描述模型的训练方法和描述信息的生成方法 | |
| WO2023010981A1 (zh) | 编解码方法及装置 | |
| CN115713632A (zh) | 一种基于多尺度注意力机制的特征提取方法及装置 | |
| Yi et al. | An effective lightweight crowd counting method based on an encoder–decoder network for internet of video things | |
| CN118799665A (zh) | 一种基于跨模态解耦知识转移的三维目标检测方法及系统 | |
| CN116485867A (zh) | 一种面向自动驾驶的结构化场景深度估计方法 | |
| CN116912579A (zh) | 基于多层级注意力机制的场景图生成方法 | |
| TWI799181B (zh) | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 | |
| CN117522882A (zh) | 一种基于几何特征聚合和自适应融合的点云分割方法 |