TWI394932B - 地圖辨識處理系統及其方法 - Google Patents
地圖辨識處理系統及其方法 Download PDFInfo
- Publication number
- TWI394932B TWI394932B TW98120065A TW98120065A TWI394932B TW I394932 B TWI394932 B TW I394932B TW 98120065 A TW98120065 A TW 98120065A TW 98120065 A TW98120065 A TW 98120065A TW I394932 B TWI394932 B TW I394932B
- Authority
- TW
- Taiwan
- Prior art keywords
- map
- image
- road
- points
- shortest path
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Description
一種地圖辨識處理系統及其方法,特別係指一種可規劃最短路徑之地圖辨識處理系統及其方法。
隨著資訊電子化時代快速發展,地圖的呈現方式,也有很大的進步,從傳統紙質地圖,演變到電子地圖,電子地圖是一種地理生活資訊的即時傳遞,可提供使用者快速搜尋地點與路徑的應用服務。由於透過資訊處理後,電子地圖比傳統地圖更便於隨時更新資訊,可儲存龐大的資料,並且具有快速搜尋及路徑規劃等智慧型功能,因此電子地圖在使用上有越來越普遍的趨勢。
一般來說,目前許多能夠提供使用者路徑規劃的電子地圖,必須具有龐大的電子地圖資料庫,若只有地圖圖片則無法進行路徑規劃,只能以人工的方式來處理地圖圖片,再進行路徑規劃,一般使用者無法自行處理地圖圖片來模擬所需要的路徑規劃,造成使用者的不便。
綜上所述,可知先前技術中長期以來一直存在必須使用龐大的電子地圖資料庫才能進行規劃路徑,以及若是地圖圖片,只能以人工方式來處理才能進行路線規劃的問題,因此有必要提出改進的技術手段,來解決此一問題。
有鑒於先前技術存在必須使用龐大的電子地圖資料庫才能進行規劃路徑的問題,本發明遂揭露一種地圖辨識處理系統,其中:本發明所揭露之地圖辨識處理系統,至少包含接收模組、文字辨識模組、影像辨識模組、產生計算模組、輸出模組,其中接收模組是用以接收地圖圖片及接收使用者在地圖圖片上點選設定之圖點位置;文字辨識模組是用以分別對圖點位置之範圍區域進行文字辨識得到文字,再依據字詞組合程序得到地圖字詞,其中地圖字詞分別對應各圖點位置;影像辨識模組是用以依據道路辨識設定對地圖圖片進行影像辨識得到地圖道路;產生計算模組是用以將圖點位置分別以地圖道路進行連接產生路徑,並計算路徑之距離以得到圖點位置兩點間之最短路徑,再轉換生成最短路徑圖層;輸出模組是用以輸出地圖圖片資訊,地圖圖片資訊具有圖點位置、地圖字詞與最短路徑圖層之其中之一。
本發明所揭露之地圖辨識處理方法,其步驟至少包括接收地圖圖片及接收使用者在地圖圖片上點選設定之圖點位置,分別對圖點位置之範圍區域進行文字辨識得到文字,再依據字詞組合程序得到地圖字詞,其中地圖字詞分別對應各圖點位置,依據道路辨識設定對地圖圖片進行影像辨識得到地圖道路,將圖點位置分別以地圖道路進行連接產生路徑,並計算路徑之距離以得到圖點位置兩點間之最短路徑,再轉換生成最短路徑圖層,最後輸出地圖圖片資訊,地圖圖片資訊具有圖點位置、地圖字詞與最短路徑圖層之其中之一。
本發明所揭露之系統與方法如上,與先前技術之間的差異在於本發明透過依據設定之圖點位置進行文字辨識得到地圖字詞與進行影像辨識得到地圖道路,再將連接圖點位置間之地圖道路計算路徑距離得到圖點位置間之最短路徑,可以達成以現成地圖圖片即可進行最短路徑規劃的技術功效。
以下將配合圖式及實施例來詳細說明本發明之實施方式,藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。
首先配合圖式對本發明地圖辨識處理系統及其方法作進一步的說明,請參閱「第1圖」,「第1圖」為本發明地圖辨識處理系統方塊圖,地圖辨識處理系統100包含:接收模組110、文字辨識模組120、影像辨識模組130、產生計算模組140及輸出模組150。
接收模組110是負責接收地圖圖片與在地圖圖片上設定之圖點位置,所述地圖圖片可以是圖檔或是網頁圖檔皆可,所述設定之圖點位置是指使用者以滑鼠在地圖圖片上點選設定為選定之圖點位置,當使用者輸入地圖圖片並在地圖圖片上點選設定之圖點位置,接收模組110會接收地圖圖片與設定之圖點位置。
文字辨識模組120是分別對圖點位置之範圍區域進行文字辨識得到文字,再依據字詞組合程序得到地圖字詞,所述圖點位置之範圍區域可以是由系統預先設定範圍,其中地圖字詞分別對應各圖點位置,所述字詞組合程序是指將文字辨識得到的文字依據這些文字在地圖圖片上位置鄰近程度進行組合,再到地圖字詞資料庫進行比對。舉例來說,若文字辨識模組120辨識得到的文字為“台”、“北”、“火”、“車”、“站”,到地圖資料庫進行比對,即可得到地圖字詞“台北火車站”。文字辨識模組120會依據接收模組110所接收在地圖圖片上設定之圖點位置,也就是針對每一個圖點位置之範圍區域進行文字辨識得到文字,再依據字詞組合程序得到的地圖字詞,所得到的地圖字詞對應於圖點位置。
影像辨識模組130負責依據道路辨識設定對地圖圖片進行影像辨識得到地圖道路,所述道路辨識設定是指設定道路RGB值與道路描繪線RGB值,而設定的方式可以是由使用者自行設定,影像辨識系統130會對地圖圖片辨識符合道路RGB值與道路描繪線RGB值的部份作為地圖道路處理,舉例來說,道路RGB值為“ffffff”,道路描繪線RGB值為“000000”,影像辨識系統130會對地圖圖片上具有白色且邊線為黑色的部份擷取出來得到地圖道路。值得注意的是,若地圖圖片中具有多種顏色的地圖道路時,仍可由使用者自行設定多種顏色的地圖道路,影像辨識模組130會將與設定相符之顏色皆進行影像辨識。
產生計算模組140是負責將圖點位置分別以地圖道路進行連接產生路徑,並計算路徑之距離以得到圖點位置兩點間之最短路徑,再轉換生成最短路徑圖層,所述最短路徑圖層是描繪圖點位置兩點間之最短路徑的圖片,並且最短路徑圖層對應所描繪之兩點圖點位置,當影響辨識模組130得到地圖道路後,產生計算模組140分別將兩點圖點位置之間以地圖道路進行連接產生路徑,亦即是找出可以連接兩點圖點位置間的地圖道路則為路徑,並計算這些路徑的距離,而路徑中距離最短者即為圖點位置兩點間之最短路徑,最後將最短路徑轉換生成最短路徑圖層。
輸出模組150是負責輸出地圖圖片資訊,地圖圖片資訊至少具有圖點位置、地圖字詞與最短路徑圖層的其中之一,也就是輸出模組150會將接收模組110所接收設定之圖點位置、文字辨識模組120得到的地圖字詞、產生計算模組140得到的最短路徑圖層輸出為地圖圖片資訊,也就輸出圖點位置、地圖字詞與最短路徑圖層形成地圖圖片資訊,當使用者輸入地圖字詞時,可在地圖圖片資訊中依據地圖字詞對應的圖點位置找到最短路徑圖層,在將最短路徑圖層與地圖圖片進行整合顯示給使用者觀看最短路徑規劃。
值得注意的是,地圖辨識處理系統100可以增加導覽模組160,導覽模組160是負責將輸出模組150所輸出的地圖圖片資訊提供給其他使用者進行起/訖點之設定,再依據起/訖點之設定顯示最短路徑,也就是導覽模組160會提供地圖字詞供其他使用者進行起/訖點之設定,導覽模組160再依據所設定之起點與終點的地圖字詞從地圖圖片資訊中可得到對應的圖點位置,並在地圖圖片上繪製圖點位置之圖點,並將最短路徑圖層整合至地圖圖片上,使用者即可觀看到具有最短路徑之地圖圖片,另外,值得注意的是,導覽模組160顯示最短路徑圖層的方式可以是將最短路徑圖層以與道路RGB值不同之顏色疊加至地圖圖片上來顯示描繪最短路徑之地圖圖片,也就是導覽模組160將要顯示的最短路徑圖層以不同於道路RGB值的顏色在地圖圖片上顯示出來,可提供使用者分辨。
透過上述地圖辨識處理系統的運作,依據設定之圖點位置進行文字辨識得到地圖字詞與進行影像辨識得到地圖道路,再將連接圖點位置間之地圖道路計算路徑距離得到圖點位置間之最短路徑,可解決以往必須使用龐大的電子地圖資料庫才能進行規劃路徑,以及若是地圖圖片,只能以人工方式來處理才能進行路線規劃的問題。
以下將搭配本發明方法流程並舉實施例具體說明本發明,然其並非用以限定本發明,熟習此技藝者可依照本發明之精神對下述實施例稍做修飾,惟其仍屬於本發明之範圍。
「第2圖」繪示為本發明地圖辨識處理方法流程圖,「第3圖」至「第8圖」為本發明地圖辨識處理系統的實施例示意圖。以下將同時配合「第2圖」至「第8圖」說明本發明地圖辨識處理系統的運作步驟和實施例。
本實施例之地圖辨識處理系統是用以提供使用者輸入地圖圖片進行地圖辨識處理,使用者可將辨識處理後之地圖圖片資料提供給其他使用者進行導覽使用。
請先參閱「第3圖」,使用者將欲進行地圖辨識處理之地圖圖片300輸入地圖辨識處理系統100中,並在地圖圖片300中以滑鼠點選圖點位置310a、圖點位置310b及圖點位置310c為設定之圖點位置,而地圖辨識處理系統100會接收地圖圖片300與設定之圖點位置310a、圖點位置310b及圖點位置310c(步驟201)。
請參閱「第4圖」,地圖辨識處理系統100分別對圖點位置310a、圖點位置310b及圖點位置310c的範圍區域進行文字辨識,其中圖點位置310a、圖點位置310b及圖點位置310c的範圍區域是由系統預先設定範圍,例如是以圖點位置為中心的正方形方塊區域,以圖點位置310a為例,地圖辨識處理系統100對圖點位置310a之範圍區域410進行文字辨識,可得到地圖字詞“火車站”,其中地圖字詞“火車站”對應圖點位置310a,同理,地圖辨識處理系統100可得到與圖點位置310b對應之地圖字詞“動物園”,與圖點位置310c對應之地圖字詞“遊樂園”(步驟202),值得注意的是,由於地圖上的地圖字詞不一定是按順序排列,因此地圖辨識處理系統100可對對圖點位置310a之範圍區域410進行文字辨識得到文字“火”、“車”、“站”,再依據字詞組合程序,也就是將文字“火”、“車”、“站”至地圖字詞資料庫進行比對,得到地圖字詞“火車站”。
請參閱「第5圖」,若道路顏色為白色,則使用者設定道路RGB值為“ffffff”,若道路描繪線為黑色,則使用者設定道路描繪線RGB值為“000000”而道路RGB值“ffffff”與道路描繪線RGB值“000000”即為道路辨識設定,地圖辨識處理系統100依據道路辨識設定對地圖圖片300進行影像辨識可得到地圖道路510(步驟203)。
請一併參閱「第6圖」及「第7圖」,地圖辨識處理系統100將圖點位置310a及圖點位置310b進行連接產生多條路徑,經過計算路徑之距離可得到圖點位置310a及圖點位置310b之最短路徑520,同理可得圖點位置310b及圖點位置310c之最短路徑530,圖點位置310a及圖點位置310c之最短路徑540,並將最短路徑510、最短路徑530、最短路徑540分別轉換生成最短路徑圖層(步驟204)。
最後地圖辨識處理系統100將對應地圖圖片300之圖點位置310a、圖點位置310b及圖點位置310c,地圖字詞“火車站”、“動物園”、“遊樂園”,與最短路徑520、最短路徑530、最短路徑540之最短路徑圖層的地圖圖片資訊輸出(步驟205),也就是將圖點位置310a、圖點位置310b、對應的地圖字詞“火車站”、“動物園”與最短路徑520之最短路徑圖層的地圖圖片資訊輸出,當使用者瀏覽時會得到如「第5圖」所示的顯示畫面,將圖點位置310b、圖點位置310c、對應的地圖字詞“動物園”、“遊樂園”與最短路徑530之最短路徑圖層的地圖圖片資訊輸出,當使用者瀏覽時會得到如「第6圖」所示的顯示畫面,將圖點位置310a、圖點位置310c、對應的地圖字詞“火車站”、“遊樂園”與最短路徑540之最短路徑圖層的地圖圖片資訊輸出,當使用者瀏覽時會得到如「第7圖」所示的顯示畫面。
請參閱「第8圖」,當使用者將地圖圖片資訊提供給其他使用者導覽時,其他使用者可在地圖導覽介面800中於起點點選區塊810點選起點例如是地圖字詞“遊樂園”,於終點點選區塊820點選終點例如是地圖字詞“動物園”,其他使用者便可在地圖顯示區塊830中看到“遊樂園”至“動物園”的最短路徑地圖。
綜上所述,可知本發明與先前技術之間的差異在於具有依據設定之圖點位置進行文字辨識得到地圖字詞與進行影像辨識得到地圖道路,再將連接圖點位置間之地圖道路計算路徑距離得到圖點位置間之最短路徑的技術手段,可以解決以往必須使用龐大的電子地圖資料庫才能進行規劃路徑,以及若是地圖圖片,只能以人工方式來處理才能進行路線規劃的問題,進而達成以現成地圖圖片即可進行最短路徑規劃的技術功效。
雖然本發明所揭露之實施方式如上,惟所述之內容並非用以直接限定本發明之專利保護範圍。任何本發明所屬技術領域中具有通常知識者,在不脫離本發明所揭露之精神和範圍的前提下,可以在實施的形式上及細節上作些許之更動。本發明之專利保護範圍,仍須以所附之申請專利範圍所界定者為準。
100...地圖辨識處理系統
110...接收模組
120...文字辨識模組
130...影像辨識模組
140...產生計算模組
150...輸出模組
160...導覽模組
300...地圖圖片
310a...圖點位置
310b...圖點位置
310c...圖點位置
410...範圍區域
510...地圖道路
520...最短路徑
530...最短路徑
540...最短路徑
800...地圖導覽介面
810...起點點選區塊
820...終點點選區塊
830...地圖顯示區塊
步驟201 接收一地圖圖片與在該地圖圖片上設定之至少一圖點位置
步驟202 分別對該些圖點位置之範圍區域進行文字辨識得到至少一文字,再依據一字詞組合程序得到至少一地圖字詞,其中該些地圖字詞分別對應各該些圖點位置
步驟203 依據一道路辨識設定對該地圖圖片進行影像辨識得到至少一地圖道路
步驟204 將該些圖點位置分別以該些地圖道路進行連接產生至少一路徑,並計算該些路徑之距離以得到該些圖點位置兩點間之一最短路徑,再轉換生成一最短路徑圖層
步驟205 輸出一地圖圖片資訊,該地圖圖片資訊至少具有該些圖點位置、該些地圖字詞與該些最短路徑圖層之其中之一
第1圖為本發明地圖辨識處理系統方塊圖。
第2圖為本發明地圖辨識處理系統方法流程圖。
第3圖至第8圖為本發明地圖辨識處理系統的實施例示意圖。
100...地圖辨識處理系統
110...接收模組
120...文字辨識模組
130...影像辨識模組
140...產生計算模組
150...輸出模組
160...導覽模組
Claims (10)
- 一種地圖辨識處理系統,其至少包含:一接收模組,用以接收一地圖圖片及接收使用者在該地圖圖片上點選設定之至少一圖點位置;一文字辨識模組,用以分別對該些圖點位置之範圍區域進行文字辨識得到至少一文字,再依據一字詞組合程序得到至少一地圖字詞,其中該些地圖字詞分別對應各該些圖點位置;一影像辨識模組,用以依據一道路辨識設定對該地圖圖片進行影像辨識得到至少一地圖道路;一產生計算模組,用以將該些圖點位置分別以該些地圖道路進行連接產生至少一路徑,並計算該些路徑之距離以得到該些圖點位置兩點間之一最短路徑,再轉換生成一最短路徑圖層;及一輸出模組,用以輸出一地圖圖片資訊,該地圖圖片資訊至少具有該些圖點位置、該些地圖字詞與該些最短路徑圖層之其中之一。
- 如申請專利範圍第1項所述之地圖辨識處理系統,其中該字詞組合程序係為將該些文字依據於該地圖圖片上的位置鄰近程度進行組合,再至一地圖字詞資料庫進行比對。
- 如申請專利範圍第1項所述之地圖辨識處理系統,其中該道路辨識設定係為設定道路RGB值與道路描繪線RGB值。
- 如申請專利範圍第1項所述之地圖辨識處理系統,其中該系統更包含一導覽模組,用以將該地圖圖片資訊提供給其他使用者進行一起/訖點之設定,再依據該起/訖點之設定顯示該最短路 徑。
- 如申請專利範圍第4項所述之地圖辨識處理系統,其中該導覽模組更包含用以將該最短路徑圖層以與道路RGB值不同之顏色疊加至該地圖圖片。
- 一種地圖辨識處理方法,其至少包含下列步驟:接收一地圖圖片及接收使用者在該地圖圖片上點選設定之至少一圖點位置;分別對該些圖點位置之範圍區域進行文字辨識得到至少一文字,再依據一字詞組合程序得到至少一地圖字詞,其中該些地圖字詞分別對應各該些圖點位置;依據一道路辨識設定對該地圖圖片進行影像辨識得到至少一地圖道路;將該些圖點位置分別以該些地圖道路進行連接產生至少一路徑,並計算該些路徑之距離以得到該些圖點位置兩點間之一最短路徑,再轉換生成一最短路徑圖層;及輸出一地圖圖片資訊,該地圖圖片資訊至少具有該些圖點位置、該些地圖字詞與該些最短路徑圖層之其中之一。
- 如申請專利範圍第6項所述之地圖辨識處理方法,其中該字詞組合程序係為將該些文字依據於該地圖圖片上的位置鄰近程度進行組合,再至一地圖字詞資料庫進行比對。
- 如申請專利範圍第6項所述之地圖辨識處理方法,其中該道路辨識設定係為設定道路RGB值與道路描繪線RGB值。
- 如申請專利範圍第6項所述之地圖辨識處理方法,其中該方法更包含將該地圖圖片資訊提供給其他使用者進行一起/訖點之設定,再依據該起/訖點之設定顯示該最短路徑的步驟。
- 如申請專利範圍第9項所述之地圖辨識處理方法,其中該依據該起/訖點之設定顯示該最佳路徑的步驟係以將該最短路徑圖層以與道路RGB值不同之顏色疊加至該地圖圖片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW98120065A TWI394932B (zh) | 2009-06-16 | 2009-06-16 | 地圖辨識處理系統及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW98120065A TWI394932B (zh) | 2009-06-16 | 2009-06-16 | 地圖辨識處理系統及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201100756A TW201100756A (en) | 2011-01-01 |
| TWI394932B true TWI394932B (zh) | 2013-05-01 |
Family
ID=44836739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW98120065A TWI394932B (zh) | 2009-06-16 | 2009-06-16 | 地圖辨識處理系統及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI394932B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108896035B (zh) * | 2018-05-09 | 2022-05-13 | 科沃斯商用机器人有限公司 | 通过影像信息实现导航的方法、设备以及导航机器人 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200703131A (en) * | 2005-07-06 | 2007-01-16 | Mitac Int Corp | System and its method for combining geographical information with the business card management |
| TW200725317A (en) * | 2005-12-16 | 2007-07-01 | Mitac Res Shanghai Ltd | System and method of scanning a name card to search for a navigation map |
| TW200829872A (en) * | 2007-01-10 | 2008-07-16 | Tomtom Int Bv | Navigation device and method for displaying navigation information |
| TW200918858A (en) * | 2007-10-24 | 2009-05-01 | Universal Scient Ind Co Ltd | Navigating method and navigation apparatus using road image identification |
-
2009
- 2009-06-16 TW TW98120065A patent/TWI394932B/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200703131A (en) * | 2005-07-06 | 2007-01-16 | Mitac Int Corp | System and its method for combining geographical information with the business card management |
| TW200725317A (en) * | 2005-12-16 | 2007-07-01 | Mitac Res Shanghai Ltd | System and method of scanning a name card to search for a navigation map |
| TW200829872A (en) * | 2007-01-10 | 2008-07-16 | Tomtom Int Bv | Navigation device and method for displaying navigation information |
| TW200918858A (en) * | 2007-10-24 | 2009-05-01 | Universal Scient Ind Co Ltd | Navigating method and navigation apparatus using road image identification |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201100756A (en) | 2011-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9355496B2 (en) | Image processing apparatus, image processing method, and medium to display augmented reality objects | |
| CN109618222B (zh) | 一种拼接视频生成方法、装置、终端设备及存储介质 | |
| KR101867558B1 (ko) | 뷰이미지의 적어도 하나의 피처에 주석을 달기 위한 컴퓨터화 방법 및 장치 | |
| US8204687B2 (en) | Display route creation method, display route creation apparatus, and display route creation program | |
| JP6022732B2 (ja) | コンテンツ作成ツール | |
| CN109766065B (zh) | 显示设备及其控制方法 | |
| CN103050025B (zh) | 一种移动终端的学习方法及其学习系统 | |
| JP6267789B2 (ja) | メディアコンテンツの中への視覚広告コンテンツの適応的な埋め込み | |
| US8332424B2 (en) | Method and apparatus for enabling virtual tags | |
| US10163267B2 (en) | Sharing links in an augmented reality environment | |
| US11232636B2 (en) | Methods, devices, and systems for producing augmented reality | |
| US20140225914A1 (en) | Information processing device, information processing method and program | |
| JP5511084B2 (ja) | 通信装置、通信システム、通信方法、及び通信プログラム | |
| CN101419076A (zh) | 显示路径的产生方法、产生设备和产生程序 | |
| CN114187382A (zh) | 一种地图元素绘制数据的确定方法、装置、设备和介质 | |
| CN113986407A (zh) | 封面生成方法、装置及计算机存储介质 | |
| Froehlich et al. | Streetviewai: Making street view accessible using context-aware multimodal ai | |
| TWI394932B (zh) | 地圖辨識處理系統及其方法 | |
| CN101930690B (zh) | 地图辨识处理系统及其方法 | |
| CN111259732A (zh) | 一种信息显示方法及电子设备 | |
| CN103065343B (zh) | 一种基于空间数据模型的矢量图件标准转换方法 | |
| CN104142154A (zh) | 一种导航方法、装置和终端 | |
| CN119621217A (zh) | 基于数字孪生空间的ai展览方法及系统 | |
| WO2014007020A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| TW202013317A (zh) | 程式、資料處理裝置及資料處理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |