TWI333365B - Rending and translating text-image method and system thereof - Google Patents

Description

1333365 九、發明說明： 【發明所屬之技術領域】 本發明係有關一種應用行動通訊設備翻譯影像文字的 方法及其系統’制是有關-種藉由前端行動通訊裝置取 像、傳輸至後端伺服器進行翻譯影像為文字說明並回傳文 字說明至前端的方法及其系統。 【先前技術】

目刖手機（Mobile Phone)或個人數位助理（pers〇nal Digital Assistant，PDA)雖然提供了翻譯功能，但由於 手機與PDA打字或手寫輸入的速度仍然不夠理想，或是介 面不夠方便，甚至手機或PDA的系統内根本沒有所要翻譯 的國家的輸人介面，因此應用手機或PDA進行翻譯的使用 率偏低❿翻厚機和電腦的輸入較方便，但需要翻譯的時 候=往身邊不-定帶著翻譯機或電腦，尤其在戶外。因此 2有業者提岐_路_，由前端的行動裝置提供特 定標記的縣並_通訊網路將其影像回傳後端處理的技 術’如第1圖所示’美國專利說明書US66522889公開揭 露有湘刖端的行動通訊裝置1()，透過前端行動通訊 裝置1G所之相機η取得—所在地特定的地理區域影 像並透過-整體封包無線電服務⑹繼1 packet •o Service, GPRS)網路12的無線通訊網路傳輸，經 網際網路存取13進人—崎麟14巾，再由細際網路 14聯結^光學字元辨識（_Cal Character Reader， OCR)飼服s 15轉換f彡像為文字鶴並朗樣連線於網際 1333365 罔路14上的疋位伺服器16内所儲存的地理區 狀，再把正麵轉位置細至㈣通訊織1(^庫匕 雜上指術提出經由鱗傳送處理影像的架構，惟 此技術於驗練敕_職置f彡像域端加以 韻座縣定位，而無法具有翻賴端任意的語言文字的

功能。 于J 【發明内容】 彳m於上述缺點’本發明所要解決的技術問題在於提 供一種由前端行動通訊裝置取像，並送經後端伺服器辨識 並翻譯影像文字再回傳的翻譯方法。本發明所要解決的另 一技術問題在於提供—姆端取像' 後歡賴崎以及 供前後端連線之行_路之翻譯職文字的系統。 本發明解決其應用行動通訊設備翻譯影像文字的方法 所採用的技術手段如下：自行動通訊裝置齡—含影像文 字之數位影像，再傳輪數位影像至一後端的伺服器中由 • $服器應用光學文字辨識程式辨識數位影像為一對應文 字，並由飼服器應用翻譯程式翻譯對應文字為一相同或不 同每5的文字說明内容’再傳輸說明内容回到行動通訊裝 置中，以顯示说明内容於行動通訊裝置。 上述發明的進-步改良’係在辨識數位影像中文字 時’預先以影像處理程式找出文字影像區域，以提高後續 辨識正確率。亦可進-步提供—文字群組分酿式將文字 影像區域區分為複數個對應字母、文字或片語的群組。 上述發明的進-步改良，可在行動通訊裝置操取影像 1333365 時，提供邊界標記顯示於顯示介面令，以翻譯最接近顯示 7丨面中央的影像文字，或是由翻者於顯示界面中手動地 加入標ae«後，將標記位置#訊連同所娜祕像—同傳輸 至後端_服11巾，計算複數鱗財最接近標記位置的 群組，再進行辨識及翻譯作業。 本發明藉由前端的行動通訊裝置拍下欲翻譯的影像， 傳輸到後端的舰H辨識轉，再將其結果畴至行動通 訊裝置呈現。由於目前行動無線上觸速度已越來越快， 等待傳輸的時間不需太久’而且行動裝置上的取像農置解 析度也快速提高，故影像中的文字或片語可獲得有效的辨 識’另整合目前已有的敎有效的影像背景處频術、影 像文字辨離術及翻譯麟’可將舰㈣強大資料儲存 及運算處理能力與行動通訊裝置的方便性、機動性相結 合，以令使用者能隨時隨地更方便的進行翻譯，而不需手 動按鍵輸入内容，特別是對於一些無法於行動通訊裝置直 接輸入的其他國家的語言（行動通訊裝置無提供該國語文 輸入法的情形），亦可有效地進行翻譯作業。 【實施方式】 茲配合圖式將本發明較佳實施例詳細說明如下。

首先请參照第2圖所繪示本發明應用行動通訊設備翻 譯影像文字的系統實施例之系統方塊圖。其係包括：一無 線通訊網路20、一行動通訊裝置30以及一飼服器4〇。無 線通訊網路20可運用整體封包無線電服務GPRS (General Packet Radio Service)或 WiFi(Wireless s 1333365

Fidehty)無線資料傳輸技術等無線通訊技術，以提供資 料的傳輸平台。行動通訊裝置30，可為具有數據通訊能 力的手機OfobUe PhQne)、個人數位助理（如麵工

㈣咖如咖甽PDA)、超級行動電腦（mtra Mobile PC，赋)或筆記型電腦⑽触地，NB)等設備，其行動 通訊裝置3〇上須具有一影像擷取單元31以及-顯示單元 32影像嫌單元31可為照像機或攝影機等裝置，主要 用以擷取-含有影像文字之數位影像Μ，並將此數位影 像33傳輸到無線通訊路20上。伺服器40係具有-影像 處理程式4卜-文字群組分類程式⑪、—文字辨 43和-翻譯程式44，做器4Q係與鱗通路& =動:!裝置30上傳的數位卿進行影像ί )類、文字辨識與翻譯程式處理而 產生-相同或不同語言的說明内容441，並由益線通侧 =〇回傳翻譯的說明内容441至行動通訊裝置3 仃動通域置3G_拜元32顯示翔容。 由 影像==^!:用行動通訊設備翻譯 本發明應用行動通訊設備翻‘二二崎示的 塊示意圖。其方法的步驟包含之方 與顯示單it 的行_轉置3取了 f早 位影像33 (步帮S10)，其數 〜像文子之數 包含單字、片語或文章等資料；==字可 自連線行細崎置3㈣触娜敍-後 1333365

40中（广驟S20)，辨識數位影像為一對應文字（步驟 S30)，翻譯對應文字為一說明内容(步驟應用益線 通訊網路傳輸說明内容自词服器回到行動通訊裝置t (步 驟S50);以及顯示說明内容於行動通訊裝置（步驟s⑹。 上述實施例中，可更進一步改進係在鎌器40辨識 數位影像為-對應文字的步驟S3G執行前，更預先利用词 服益4G上的-影像處理程式41 灰階化、提高對比等 影像去背景、邊緣_或顏色區域分段各種影像處理技 術’來找出文字的影像區域步驟，以提高文字辨識程式 43的辨識率。 上述實施例的進-步改進係可在預先利用一影像處理 程式^找蚊字的影像區_步驟之後，更包含·利用 文字群組分贿式42，將文字的景彡像區域區分為複數 個群組421、422步驟’以供後續的文字辨識程式43直接 、詞參照第5圖所繪示本㈣朗行動通訊設備翻譯 影像文字的方法實補之動作示意圖。其中，本實施例在 使用者50利用行動通訊裝置3〇影像擷取單元&擷取一 合^字影像的數位影像33時，更可在行動通訊裝置30顯 不單兀32的界面上顯示一邊界標記341，供使用者5〇在 操取數位影像33 _，將欲_的文字影像部分儘量放大 並放置於_單元32的巾央區域，再經無線通訊網路2〇 將其傳到舰_ 4〇上，完成紐f彡像33擷取與傳送的動 作。

10 1333365 在上述將欲翻譯的文字影像部分置於顯示單元32邊 界標記341的中央區域而形成數位影像33傳至舰器4〇 之後，再配合祕的文字群組賴料42，計算最接近 數位影像33中央區域的-個群組421，即為欲翻譯之群 組42卜再對此群組421進行文字辨識作業將群組仞 内之〜像文子產生對應文字431再進行翻譯作業翻譯為對 應的說明内容44卜之後再將說明内容441經無線通訊網 路20回傳至行動通訊裝置3〇，由其顯示單元犯顯示出 來。 再請參照第6圖所繪示之本發明應用行動通訊設備翻 譯影像文字的方法另-實關之動作示意I本實施例 中’在使用者50利用行動通訊裝置30影像擷取單元31 擷取文子景;像來源時，更可提供使用者在行動通訊 裝置30顯示單元32的界面上顯示一標記組於欲翻譯之 影像文字範圍内，再將包含標記342位置資訊，連同數位 影像33無線傳輸到後端伺服器4〇中，配合前述的文字群 組分類程式42將數位影像33的文字影像區域區分為複數 個群組423、424，計算數位影像33最接近標記342位置 的一個群組423，即為欲翻譯之群組423，再對此群組 423進行文字辨識作業，將群組423内之影像文字產生對 應文字431再進行翻譯作業翻譯為對應的說明内容441， 之後再將說明内容441經無線通訊網路20回傳至行動通 訊褒置30，由顯示單元32顯示出來。 另’上述各實施例中’在獲取一含影像文字之數位影 像33於一具一影像娜單元31與-顯示單元32的行動 、_ s裝置30中之步驟及後續的應用—無線通訊網路傳 輸數位影像33至-後端的伺服器4〇中步驟，可包含下列 一種運作方法，—種係包含在触影像33全部存入行動 通訊褒置30的記題後再進行應用—無線通訊網路2〇傳 輸數位影像33至一後端的伺服器4〇中步驟。另一種係包 3在數位影像33操取-部份影像的同時，即進行應用一 無線通訊網路傳輸部份的數位影像33至一後端的舰器 4〇中步驟的串流傳輸，直到數位影像泊*部擷取並全部 傳輸到値H 40中重組為完整魏位影像33為止。 ，綜上所述，乃僅域本剌為呈現解決_所採用的 技術手&之紐實财式或實關耐，並_來限定本 發明專利實紅_。即凡與本侧專辦魏圍文義相 符，或依本㈣專鄕__鱗變倾修飾，皆為本 發明專利範圍所涵蓋。 【圖式簡單說明】 第1圖繪示先雜術之職行紐婦置驗置的系統方 塊圖； 第2圖繪示本發明應用行動通訊設備翻譯影像文字的系統 實施例之系統方垛圖； 第3圖繪林發明助行動通織備麟f彡像文字的方法 實施例之流程示意圖； 第4圖纟會不本發明細行動軌設_譯雜文字的方法 1333365 實施例之方塊示意圖； 第5圖繪示本發明應用行動通訊設備翻譯影像文字的方法 實施例之動作示意圖；以及 第6圖繪示本發明應用行動通訊設備翻譯影像文字的方法 另一實施例之動作示意圖。 【主要元件符號說明】 [先別技術部分] 10 11 12 13 14 15 16 • [未發明部分] 20 30 31 32 33 341 342 40 行動通訊裝置 相機 整體封包無線電服務網路 網際網路存取 網際網路 光學字元辨識伺服器 定位伺服器 無線通訊、網路 行動通訊裴置 影像梅取單元 顯示單元 數位影像 邊界標記 標記 伺服器 1333365

41 影像處理程式 42 文字群組分類程式 421，422, 423, 424 群組 43 文字辨識程式 431 對應文字 44 翻譯程式 441 說明内容 50 使用者 S10 獲取一含影像文字之數位影像於 一具一影像擷取單元與一顯示單 元的行動通訊裝置中 S20 應用一無線通訊網路傳輸數位影 像至一後端的伺服器中 S3 0 辨識數位影像為一對應文字 S40 翻譯對應文字為一說明内容 S50 應用無線通訊網路傳輸說明内容

自伺服器回到行動通訊裝置中 S60 顯示說明内容於行動通訊裝置 14

Claims (1)

1333365 、申請專利範圍： 99年9月1日替換頁 1.一 一種應用行動通訊設備翻譯影像文字的方法，其步驟包 含： 、 行動通訊裝置的-顯示單摘界面中顯示—邊 於， 記； 界標 獲取-含影像文字之數位影像於該具1像娜單 疋/、該顯示單元的行動通訊裴置中； 中; 應用一無線通訊網路傳輪該數位影像至一 伺服器 預先利用該舰器内的—影像處理程式標出 的影像區域； ，鋪服如之-文铸組分触式，將該文字 的衫像區域區分為複數個群組； 辨驗數位影像為-對應文字，且辨識最靠近該邊 分h5己區域中央的該群組； 翻譯該對應文字為一說明内容； 應^錄軌晴傳輸該朗时自該舰器回 到該行動通訊裝置中；以及 顯補内容於該觸觀裝置顯示單元。 =利細第！項所述之應用行動通訊設備翻譯影 像^，射魏_容與崎應文字係包含同 一# §或不同語言。 3.如申請專利範圍第i ^ 乙之應用仃動通訊設備翻譯影 像文子的料’其愤數位影像所含衫彡叙字包含單 15 99年9月1日替換頁 子、片語或文章。 如申請專利範圍第1項所述之應用行動通訊設備翻譯影 像文字的方法，其巾該影像處理程式標出文字的影像區 戈係包3景》像去背景技術、邊緣檢測技術或顏色區域分 段技術。 5’如申請專利範圍第丨項所述之應用行動通訊設備翻譯影 像文予的方法’其巾該獲取—含影像文字之數位影像於 —具影像擷取能力的行動通訊裝置中步驟前，更包含使 用者於其顯7F單元的界面巾附加—標記於欲翻譯之該影 ，文字範圍内，且該無線傳輸該數位影像於一後端伺服 器中步驟巾’更包含傳送該標記位置資訊，並計算該些 群組之最靠近該標記位置之群組，以進行後續對該群組 辨識為一對應文字之步驟。 6.如申請專纖圍第丨項職之應贿動觀設備翻譯影 像文子的H其巾獲取—含影像文字之數位影像於一 具-影像操取單元與一顯示單元的行動通訊裝置中步 驟’係包含在絲轉像全料人贿_絲置記憶 體後再進行該應用-無線通訊網路傳輪該數位影像至一 後端的伺服器中步驟。 7·如申請專繼_丨彻叙翻行動姐設備翻譯影 像文字的方法’其巾獲取―含影敎字讀位影像於 -具-影侧取單域―顯示單元的行騎訊裝置中 步驟，係包含在該數位影像擷取一部份影像的同時， 即進行該應用-無線通訊網路傳輪該部份的數位影像 16 99年9月1日替換頁 至一後端的伺服器中步驟，直到該數位^像全~~ 並全部傳輸到該伺服器中。 8. 如申请專利範圍第1項所述之應用行動通訊設備翻譯影 像文字的方法，其中該無線通訊網路係包含整體封包 無線電服務（General Packet Radio Service, GPRS) 或無線資料傳輸技術WiFi(Wireless Fidelity)。 9. 如申睛專利範圍第1項所述之應用行動通訊設備翻譯影 像文字的方法，其中該行動通訊裝置之該數位影像擷 取係取自相機或攝影機。 10·如申請i賴述之應用行動軌設備翻譯 影像文字的方法’其中該行動通訊裝置包含具有數據 通《fUb力之手機（Mobile ph〇ne)、個人數位助理 (PerS〇nal Digital Assistant，PDA)、超級行動電腦 (Ultra Mobile pc, UMPC)或筆記型電腦（N〇teb〇〇ks NB)。 ’ 11·種應用行動通訊設備翻譯影像文字的纽，包括： 一無線通訊網路； :行動通訊裝置與該無線通訊網路連通，其係具 有心像掏取單凡以及—顯示單元，該顯示單元的界 面旦中顯示-邊界標記，該影像擷取單元用以操取一含 有？/像文予之触^彡像，並傳輸至該無線通訊路上； 以及 像處理H讀該無線通訊網路連通，其係具有一影 王式、一文字群組分類程式、一文字辨識程式 丄川:K)5 -r — 99年9月1曰替換頁 翻譯程式’可對該行動通訊裝置上 像進行影像文字區域識別、文字群組分類、文字辨識 與翻譯處理，產生—說咖容，並經該無線通訊網路 回傳該說明内容至該行動通訊裝置，由該顯示單元顯 =，其中該文字群組分類程式將該文字的影像區域區 分為複數個群組，而該文字辨識程式辨識最靠近該邊 界標記區域中央的該群組。 申請專利範圍第U項所述之應用行動通訊設備翻譯 衫像文字的系統’其中該無線通訊網路係包含整體封 包無線電服務或無線資料傳輸技術。 、 13·如申請專利範圍第n項所述之應用行動通訊設備翻譯 影像文字的系統，其中該行動通訊裝置包含具有數據 通訊能力之手機、個人數位助理、超級行動電腦或筆 孔設備翻譯 之該影像擷取 14.如申請專利範圍第Π項所述之應用行動通 影像文字的系統，其中該行動通訊袈置 早元係包含相機或攝影機。 18