[go: up one dir, main page]

TW201510961A - 盲人用影像識別偵測器 - Google Patents

盲人用影像識別偵測器 Download PDF

Info

Publication number
TW201510961A
TW201510961A TW102131484A TW102131484A TW201510961A TW 201510961 A TW201510961 A TW 201510961A TW 102131484 A TW102131484 A TW 102131484A TW 102131484 A TW102131484 A TW 102131484A TW 201510961 A TW201510961 A TW 201510961A
Authority
TW
Taiwan
Prior art keywords
blind
program module
image recognition
image
blind person
Prior art date
Application number
TW102131484A
Other languages
English (en)
Inventor
xin-ming Chen
Duo-Chang Lin
Wei-Heng Zheng
jia-pei Chen
zhi-jun Liu
Original Assignee
Chunghwa Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chunghwa Telecom Co Ltd filed Critical Chunghwa Telecom Co Ltd
Priority to TW102131484A priority Critical patent/TW201510961A/zh
Publication of TW201510961A publication Critical patent/TW201510961A/zh

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

一種可用於盲人影像識別的雙鏡頭影像識別偵測器,係指裡面設置雙攝影鏡頭配合行動運算處理裝置(含記憶體、通訊埠、定位器及重力加速感測器等)、行動運算作業系統、障礙物距離偵測程式模組、地面坑洞平整度告警程式模組、人物辨識程式模組、交通號誌辨識程式模組、車牌車型辨識程式模組、語音播放裝置、振動警示器、遠端呼叫求助傳送程式模組及盲人適用觸控按鈕等,讓盲人可以頭盔、眼鏡或拐杖等配帶方式對週遭環境之障礙物、地形、人物、車輛及交通號誌做選取偵測之功能,並以語音或振動方式告知盲人或以無線通訊裝置傳送盲人所在位置及所處情境及影像等至網路另一端由協助人員或辨識伺服器提供所需服務。

Description

盲人用影像識別偵測器
本發明係有關於一種盲人用影像識別偵測器,特別是指使用雙攝影鏡頭配合行動運算處理裝置、行動運算作業系統、及如立體視覺障礙物偵測程式模組等各種立體影像辨識偵測程式模組,可讓盲人以頭盔、眼鏡或拐杖等配帶方式對週遭環境之障礙物距離、地形、人物、車輛及交通號誌等,做選取偵測後,並以語音或振動方式告知盲人者,亦可在日後利用將來更多的立體影像辨識偵測技術,配合定位、速度感知及影像傳送功能,更新擴充此裝置,提供盲人更多元化的行路資訊及服務。
早期的導盲裝置,主要是以導盲大及導盲杖協助盲人在路上行走,隨著電子科技的進步,遂有一種具有警告指引裝置之手杖(中華民國發明專利第M354359號)、電子導盲手杖(中華民國發明專利第M335966號)、視障安全帽(中華民國發明專利第M438836號)、全視角紅外線導盲系統(中華民國發明專利第M335966號)及盲人導航眼鏡(中華民國發明專利第M439466號)等技術相繼被發展出來。但上述已發展出來之技術要不是紅外線、超音波或雷達等協助盲人做週遭障礙物之偵測,就是如盲人導航眼鏡之技術,將眼前的景象以 視訊鏡頭拍攝給遠端協助者觀看,以提供盲人行走或找路的幫助。並無法讓盲人自行即時感知週遭障礙物的種類、情境及交通路況。為此,本專利提出以雙攝影鏡頭配合當下的立體視覺障礙物偵測距離演算法及各式影像辨識技術,讓盲人以頭盔、眼鏡或拐杖等配帶方式對週遭環境之障礙物距離、地形、人物、車輛及交通號誌做選取偵測,並也可利用將來更多的立體影像辨識偵測技術,配合定位、速度感知及影像傳送功能,更新擴充此裝置,提供盲人更多元化的行路資訊及服務。
本發明之目的即在於提供一種可擴充更新之立體影像辨識的導盲偵測裝置,除當下可讓盲人以頭盔、眼鏡或拐杖等配帶方式對週遭環境之障礙物距離、地形、人物、車輛及交通號誌等做選取偵測,並以語音或振動方式告知盲人外,也可利用將來更多的立體影像辨識偵測技術,配合定位、速度感知及影像傳送功能,更新擴充此裝置,即時提供盲人更多元化的行路資訊及服務,讓盲人更安全及更有尊嚴的行在路上。
可達成上述發明目的之盲人用影像識別偵測器,主要係由:1.雙攝影鏡頭、2.行動運算處理裝置(含記憶體、通訊埠、定位器及重力加速感測器等)、3.行動運算作業系統、4.障礙物距離偵測程式模組、5.地面坑洞平整度告警程式模組、6.人物辨識程式模組、7.交通號誌辨識程式模組、(8.車牌車型辨識程式模組、9.遠端呼叫求助傳送程式模組、10.語音播放裝置及振動警示器及11.盲人適用觸控按鈕等組成。除當下可 讓盲人以頭盔、眼鏡或拐杖等配帶方式對週遭環境之障礙物、地形、人物、車輛及交通號誌做選取偵測,並以語音或振動方式告知盲人,日後也可利用將來更多的立體影像辨識偵測技術,配合定位、速度感知及影像傳送功能,更新擴充此裝置,即時提供盲人更多元化的行路資訊及服務,讓盲人更安全及更有尊嚴的行在路上。
本發明所提供之盲人用影像識別偵測器,與其他習用技術相互比較時,更具備下列優點:
1.本發明利用雙攝影鏡頭的使用,可利用立體影像做深度的計算,提供特有的障礙物距離及地面坑洞平整度偵測能力。
2.本發明利用雙攝影鏡頭立體影像辨識技術可排除一些傳統單一鏡頭對環境光線角度不佳時不易辨識的限制,讓影像辨識更精準可靠。
3.本發明使用一般手持裝置之作業系統做為此發明的行動運算作業系統,日後將可方便的利用更多更進步的立體影像辨識及行動裝置應用技術,安裝新的程式模組,更新擴充此裝置,直接迅速的提供盲人更進步及更多元化的資訊及服務。
11‧‧‧雙攝影鏡頭
12‧‧‧行動運算處理裝置
13‧‧‧行動運算作業系統
14‧‧‧障礙物距離偵測程式模組
15‧‧‧地面坑洞平整度告警程式模組
16‧‧‧交通號誌辨識程式模組
17‧‧‧人物辨識程式模組
18‧‧‧車牌車型辨識程式模組
19‧‧‧遠端呼叫求助傳送程式模組
20‧‧‧語音播放裝置或振動警示器
21‧‧‧盲人適用觸控按鈕
請參閱有關本發明之詳細說明及其附圖,將可進一步瞭解本發明之技術內容及其目的功效;有關附圖為:圖1為本發明盲人用影像識別偵測器之系統架構圖。
請參考圖1,為本發明盲人用影像識別偵測器之架構圖,基本上是使用一雙攝影鏡頭11裝置於行動運算處理裝置12上,並使用一行動運算作業系統13於此行動運算處理裝置12,並以障礙物距離偵測程式模組14、地面坑洞平整度告警程式模組15、人物辨識程式模組16、交通號誌辨識程式模組17、車牌車型辨識程式模組18及遠端呼叫求助傳送程式模組19等安裝於行動運算作業系統13上,讓盲人可以使用安裝於頭盔、眼鏡或拐杖上之盲人適用觸控按鈕21選用對週遭環境之障礙物、地形、人物、車輛及交通號誌做選取偵測或求助之各種協助功能,並可以語音播放裝置或振動警示器20用語音告知或連同振警示器一同警知盲人,其中雙攝影鏡頭11裝置、語音播放裝置或振動警示器20、以及盲人適用觸控按鈕21係為裝置內的硬體連接,其餘的模組係為裝置內軟體模組連線。
其中雙攝影鏡頭11的使用目的在於可利用立體影像做深度的計算,其基本的原理是以兩部或兩部以上的攝影機,裝置在不同的位置,對同一個物體或目標同時擷取影像,這就稱為一組或一對立體影像,對應點指的就是物體的某一點在三維空間中不同位置的投影。兩個對應點在成對影像中的位置差,稱為不相稱,此不相稱與對應點在空間中的位置、方位和射影機的物理特性有關,若攝影機的參數已知,則可自影像中計算物體的深度。在同時截取影像,經過數位影像處理後,最後得到在成像裡目標物的中心點。利用中心點與三角函數定理,得知目標物與感應端的距離。主要問題在於是否能從立體影像中找到對應點,這就需由所要偵測的物件及影像辨識的演算法來做處理。
行動運算處理裝置12可為一高速高效能多核心處理器,配合輸出入通道與協同運算處理器、控制器、記憶體、通訊埠(可為WiFi或Bluetooth或3G或4G等任何無線通訊方式之收發信器)、GPS接收器及三維空間重力加速偵測器等,成為一可安裝行動運算作業系統13及連接雙攝影鏡頭11的硬體裝置,為軟體提供各式數位資料輸入、運算、處理、傳送、控制及輸出的能力,當其連接雙攝影鏡頭11、語音播放裝置或振動警示器20及盲人適用觸控按鈕21即構成此盲人用影像識別偵測器的硬體主體。
行動運算作業系統13可為目前或未來使用於手持裝置之各式作業系統,例目前的Android、iOS、Window phone及Blackberry OS等,可提供各式應用軟體的作業平台及方便的硬體介接控制方式,除可配合障礙物距離偵測程式模組14、地面坑洞平整度告警程式模組15、人物辨識程式模組16、交通號誌辨識程式模組17、車牌辨識程式模組18及遠端呼叫求助傳送程式模組19提供對週遭環境之障礙物、地形、人物、車輛及交通號誌做辨識偵測或求助等之各種協助功能外,日後也可利用將來更多的立體影像辨識偵測技術、配合定位、速度感知及影像傳送功能,更新擴充此裝置,直接迅速的提供盲人更多元化的行路資訊及服務。
障礙物距離偵測程式模組14可使用影像辨識偵測技術配合雙攝影鏡頭11取得障礙物成對影像,以障礙物成對影像中的位置差與對應點在空間中的位置,對前方障礙物立體影像做深度的計算,更精確的求出前方障礙物距離,以語音播放裝置或振動警示器20告知盲人,讓盲人可自行感知前方障礙物行路資訊,提高行的便利及安全性。
地面坑洞平整度告警程式模組15可先以雙攝影鏡頭11取得地面成對影像,配合影像辨識深度分析技術,取得地面平整度及是否有重要坑洞及距離資訊,即時以語音播放裝置或振動警示器20告知盲人,提高盲人行走時的便利及安全性。
人物辨識程式模組16可以雙攝影鏡頭11取得成對影像配合立體影像人物辨識技術,期能概略的鑑別出前方人員的性別、年齡、身材及身份等,以語音播放裝置或振動警示器20告知盲人,或可視需要取得面前人員臉部特徵自行命名建檔,供日後該人員再出現面前時,由人物辨識程式模組16即時以語音播放裝置或振動警示器20告知盲人,可提升盲人的社會行為及社交能力。
交通號誌辨識程式模組17可以雙攝影鏡頭11取得成對影像配合燈色及交通號誌辨識技術,期能在各種環境中更正確判讀出交通燈號及各式號誌,即時以語音播放裝置或振動警示器20告知盲人,讓盲人亦能依交通號誌,安全的行走在各路口。
車牌車型辨識程式模組18可以雙攝影鏡頭11取得成對影像配合立體影像車牌車型辨識技術,讓盲人亦可對前方來車做準確的車牌車型辨識,並以語音播放裝置或振動警示器20告知盲人,主要可提供盲人叫車服務時,來車之車牌車型辨認,以便盲人可自行叫車搭車。
遠端呼叫求助傳送程式模組19可在盲人需要外部協助時,使用行動運算處理裝置12內的通訊埠、GPS接收器及三維空間重力加速偵測器等元件,將自身所在位置、速度及以雙攝影鏡頭11所取得之立體影像或其中之單一影像等傳 送至網路通訊端另一處,由協助人員或辨識導引伺服器提供所需協助。
語音播放裝置或振動警示器20主要為提供語音、聲響或振動功能來告知或警示盲人用,可經行動運算處理裝置12之輸出入通道直接與行動運算處理裝置12相連接或經由WiFi或Bluetooth與行動運算處理裝置12相通訊,將此「盲人用影像識別偵測器」各功能模組所辨識到之結果以適當的語音、聲響或振動方式來告知或警示盲人。
為了讓安裝於頭盔、眼鏡或拐杖上的「盲人用影像識別偵測器」,能易於為盲人所使用,應視實際需要在頭盔、眼鏡或拐杖上設計盲人適用觸控按鈕21,並經行動運算處理裝置12之輸出入通道直接與行動運算處理裝置12相連接,供盲人操控此發明使用。
上列詳細說明乃針對本發明之一可行實施例進行具體說明,惟該實施例並非用以限制本發明之專利範圍,凡未脫離本發明技藝精神所為之等效實施或變更,均應包含於本案之專利範圍中。
綜上所述,本案不僅於技術思想上確屬創新,並具備習用之傳統方法所不及之上述多項功效,已充分符合新穎性及進步性之法定發明專利要件,爰依法提出申請,懇請貴局核准本件發明專利申請案,以勵發明,至感德便。
11‧‧‧雙攝影鏡頭
12‧‧‧行動運算處理裝置
13‧‧‧行動運算作業系統
14‧‧‧障礙物距離偵測程式模組
15‧‧‧地面坑洞平整度告警程式模組
16‧‧‧交通號誌辨識程式模組
17‧‧‧人物辨識程式模組
18‧‧‧車牌車型辨識程式模組
19‧‧‧遠端呼叫求助傳送程式模組
20‧‧‧語音播放裝置或振動警示器
21‧‧‧盲人適用觸控按鈕

Claims (9)

  1. 一種盲人用影像識別偵測器,其包含:一雙攝影鏡頭,係裝置於行動運算處理裝置上,並使用行動運算作業系統於該行動運算處理裝置;一行動運算處理裝置,係為設置有該雙攝影鏡頭及安裝行動運算作業系統之硬體裝置,並為軟體提供各式數位資料輸入、運算、處理、傳送、控制及輸出;一行動運算作業系統,係提供各式應用軟體的作業平台及硬體介接控制方式,並於該行動運算處理裝置上進行運算處理;一或多個立體影像辨識偵測程式模組,其中包括障礙物距離偵測程式模組、地面坑洞平整度告警程式模組、交通號誌辨識程式模組、人物辨識程式模組、以及車牌車型辨識程式模組;一語音播放裝置或振動警示器,係提供語音、聲響或振動功能來告知或警示盲人;以及一盲人適用觸控按鈕,係與該雙攝影鏡頭及該語音播放裝置或振動警示器連接,並構成該影像識別偵測器之硬體主體。
  2. 如申請專利範圍第1項所述之盲人用影像識別偵測器,其中該障礙物距離偵測程式模組,係使用影像辨識技術配合該雙攝影鏡頭,取得該障礙物成對影像,以該障礙物成對影像中的位置差與對應點在空間中的位置,對前方該障礙物立體影像做深度的計算,取得該障礙物距離,即時以語音播放告知該盲人。
  3. 如申請專利範圍第1項所述之盲人用影像識別偵測器,其 中該地面坑洞平整度告警程式模組,係以該雙攝影鏡頭取得地面成對影像,配合影像辨識深度分析技術,取得地面平整度及是否有重要坑洞資訊,即時以語音播放或振動警示告知該盲人。
  4. 如申請專利範圍第1項所述之盲人用影像識別偵測器,其中該交通號誌辨識程式模組,係以該雙攝影鏡頭取得成對影像配合燈色及交通號誌辨識技術,並在各種環境中更正確判讀出交通燈號及各式號誌,即時以語音播放告知該盲人。
  5. 如申請專利範圍第1項所述之盲人用影像識別偵測器,其中該人物辨識程式模組,係以該雙攝影鏡頭取得成對影像配合立體影像人物辨識技術,以鑑別出前方人員的性別、年齡、身材或身份,以語音播放裝置告知盲人,方便盲人與週遭人員互動。
  6. 如申請專利範圍第1項所述之盲人用影像識別偵測器,其中該車牌車型辨識程式模組,係以各雙攝影鏡頭取得成對影像,配合立體影像車牌車型辨識技術,讓該盲人亦可對前方來車做準確的車牌車型辨識,並以語音播放告知盲人。
  7. 如申請專利範圍第1項所述之盲人用影像識別偵測器,其中該一或多個立體影像辨識偵測程式模組,係為其中各模組之任意組合。
  8. 如申請專利範圍第1項所述之盲人用影像識別偵測器,更包含一遠端呼叫求助傳送程式模組,係將該盲人所在位置、速度及以該雙攝影鏡頭所取得之立體影像或其中之單一影像,傳送至網路通訊端另一處,由協助人員或辨識導引 伺服器提供所需協助。
  9. 如申請專利範圍第5項所述之盲人用影像識別偵測器,其中該人物辨識程式模組,係另取得該前方人員之臉部特徵後自行命名建檔,供日後該人員再出現面前時,由該人物辨識程式模組即時以語音播放告知該盲人,方便該盲人與熟人互動。
TW102131484A 2013-09-02 2013-09-02 盲人用影像識別偵測器 TW201510961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102131484A TW201510961A (zh) 2013-09-02 2013-09-02 盲人用影像識別偵測器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102131484A TW201510961A (zh) 2013-09-02 2013-09-02 盲人用影像識別偵測器

Publications (1)

Publication Number Publication Date
TW201510961A true TW201510961A (zh) 2015-03-16

Family

ID=53186794

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102131484A TW201510961A (zh) 2013-09-02 2013-09-02 盲人用影像識別偵測器

Country Status (1)

Country Link
TW (1) TW201510961A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI650571B (zh) * 2018-04-10 2019-02-11 中華電信股份有限公司 語音提示系統及方法
TWI688749B (zh) * 2018-08-29 2020-03-21 廣達電腦股份有限公司 可進行人體追蹤之追蹤測距系統及其方法
CN110916989A (zh) * 2019-11-20 2020-03-27 颜振 导盲手杖
CN112773035A (zh) * 2020-12-17 2021-05-11 惠州学院 一种具有智能识别功能的盲人用头盔

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI650571B (zh) * 2018-04-10 2019-02-11 中華電信股份有限公司 語音提示系統及方法
TWI688749B (zh) * 2018-08-29 2020-03-21 廣達電腦股份有限公司 可進行人體追蹤之追蹤測距系統及其方法
CN110916989A (zh) * 2019-11-20 2020-03-27 颜振 导盲手杖
CN112773035A (zh) * 2020-12-17 2021-05-11 惠州学院 一种具有智能识别功能的盲人用头盔

Similar Documents

Publication Publication Date Title
US12154451B1 (en) Personal navigation system
US9990860B2 (en) Wearable blind guiding apparatus
US9977243B2 (en) Method for executing vehicle function using wearable device and vehicle for carrying out the same
CN111325129A (zh) 交通工具通勤控制方法及装置、电子设备、介质和车辆
WO2018046015A1 (zh) 车辆报警方法、装置及终端
JP7143736B2 (ja) 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム
KR101281629B1 (ko) 센서를 이용한 운전 안내 시스템
KR20190111262A (ko) 시각 장애인을 위한 장애물 거리 측정 단말기
TW201510961A (zh) 盲人用影像識別偵測器
JP7397575B2 (ja) 信号機制御装置及び信号機制御方法
KR101373855B1 (ko) 번호인식기술을 활용한 과속감지 및 단속시스템
KR20230059681A (ko) 사용자가 차량과 상호작용하는 것을 돕기 위한 접근성 시스템
CN107731005B (zh) 一种基于云计算的利用幻影成像的车载警示系统
KR20120088320A (ko) 시각장애인을 위한 사물인식 및 보행안내 장치
EP3334621A1 (en) System, method and apparatus for vehicle and computer readable medium
JP6424100B2 (ja) ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
JP7136538B2 (ja) 電子装置
US20230137349A1 (en) System for data communication using vehicle camera, method therefor and vehicle for the same
KR102531722B1 (ko) 차량 단말을 이용한 주차위치안내 서비스 방법 및 장치
JP7422344B2 (ja) 報知制御装置、報知装置、報知制御方法および報知制御プログラム
JP2024124855A (ja) 車両用制御装置
JP7298510B2 (ja) 状態推定装置
US20220260382A1 (en) Method and System for Providing a Navigational Instruction for a Route From a Current Location of a Mobile Unit to a Target Position
JP2020161938A (ja) 処理装置、サーバ装置、路側機、電子機器及び車両
US20230350073A1 (en) Edge and generative ai-based sustainable gps navigated wearable device for blind and visually impaired people