TWI691891B - 多重目標物資訊顯示方法及裝置 - Google Patents
多重目標物資訊顯示方法及裝置 Download PDFInfo
- Publication number
- TWI691891B TWI691891B TW107131495A TW107131495A TWI691891B TW I691891 B TWI691891 B TW I691891B TW 107131495 A TW107131495 A TW 107131495A TW 107131495 A TW107131495 A TW 107131495A TW I691891 B TWI691891 B TW I691891B
- Authority
- TW
- Taiwan
- Prior art keywords
- information
- size
- target
- area
- target object
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一種多重目標物資訊顯示方法及裝置,所述方法適用於包括第一資訊擷取裝置、第二資訊擷取裝置、透明顯示器、儲存裝置及處理器的電子裝置。所述方法包括下列步驟:擷取使用者觀看透明顯示器之視線範圍的影像;辨識影像中多個目標物以產生可分別涵蓋所述目標物的多個辨識框架;產生可涵蓋所述辨識框架的補償連接框;依據補償連接框與辨識框架的非重疊區域,定義資訊顯示區;以及群聚顯示目標物的物件資訊於透明顯示器上的資訊顯示區。
Description
本發明是有關於一種資訊顯示方法及裝置,且特別是有關於一種多重目標物資訊顯示方法及裝置。
透明顯示器依其技術原理,可分為穿透式透明顯示器與投影式透明顯示器。其中,穿透式透明顯示器是將顯示面板製作成透明可透視,投影式透明顯示器則運用投影方式,將影像投射到可反光且兼具透明特性的基材上,達到透明顯示之效果。
透明顯示器具有透明、輕薄等特性,可將顯示器上顯示的影像與現實世界的場景結合,賦予觀看者一種直觀且直覺的互動體驗。觀看者不僅可透過透明顯示器觀看到實物,同時也可在透明顯示器上看到疊合在實物上或顯示在其周圍的資訊,甚至透過觸碰技術與透明顯示器上的顯示資訊互動。
透明顯示器目前已廣泛地導入車用抬頭顯示器、自動販賣機、商品櫥窗、博物館展品導覽、觀光車輛導覽等應用中。然而,針對外界目標物辨識有強烈需求的應用(例如水族館導覽),在多重目標物下,若要針對每個目標物個別顯示資訊,則容易產生目標物資訊顯示凌亂而不易閱讀的問題。
本發明一實施例提供一種多重目標物資訊顯示方法,適用於包括第一資訊擷取裝置、第二資訊擷取裝置、透明顯示器、儲存裝置及處理器的電子裝置。所述方法包括下列步驟:擷取使用者觀看透明顯示器之視線範圍的影像;辨識影像中多個目標物以產生可分別涵蓋所述目標物的多個辨識框架;產生可涵蓋所述辨識框架的補償連接框;依據補償連接框與辨識框架的非重疊區域,定義資訊顯示區;以及群聚顯示目標物的物件資訊於透明顯示器上的資訊顯示區。
本發明一實施例提供一種多重目標物資訊顯示裝置,其包括透明顯示器、第一資訊擷取裝置、第二資訊擷取裝置、儲存裝置及處理器。其中,第一資訊擷取裝置用以擷取包括觀看透明顯示器的使用者的內部影像。第二資訊擷取裝置用以擷取透明顯示器相對於使用者另一側的外部影像。儲存裝置用以儲存由第一資訊擷取裝置及第二資訊擷取裝置擷取的內部影像及外部影像的影像資料,且記錄程式或指令。處理器耦接透明顯示器、第一資訊擷取裝置、第二資訊擷取裝置及儲存裝置,用以載入並執行記錄於儲存裝置的程式或指令以:依據內部影像判定使用者觀看透明顯示器之視線範圍,並擷取外部影像中位於此視線範圍內的影像;辨識此影像中多個目標物以產生可分別涵蓋所述目標物的多個辨識框架;產生可涵蓋辨識框架的補償連接框;依據補償連接框與辨識框架的非重疊區域,定義資訊顯示區;以及群聚顯示目標物的物件資訊於透明顯示器上的資訊顯示區。
為讓本發明能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明一實施例針對透明顯示器一側有多重目標物的情況,依據使用者與透明顯示器之間的距離、目標物大小、目標物分佈、目標物移動速度及目標物類別等資訊,定義出可顯示目標物資訊的資訊顯示區及顯示內容,並在此資訊顯示區中群聚顯示目標物資訊,藉此可優化顯示資訊並提高使用者閱讀舒適度。
圖1A與圖1B是依照本發明一實施例所繪示之多重目標物資訊顯示的示意圖。其中,圖1A繪示透明顯示器針對多個目標物個別顯示物件資訊時使用者所看到的影像12,其中多個目標物(5隻鳥、7隻袋鼠)彼此靠近且數量眾多,個別顯示物件資訊會顯得凌亂,造成使用者不易閱讀。相對地,圖1B繪示利用本發明一實施例之多重目標物資訊顯示方法群聚顯示物件資訊後使用者所看到的影像14,藉由將同類別目標物的物件資訊以群聚的方式顯示於目標物周圍的適當位置,可有效減少資訊顯示的數量,而便於使用者閱讀。
圖2是依照本發明一實施例所繪示之多重目標物資訊顯示裝置的方塊圖。請參照圖2,本實施例的多重目標物資訊顯示裝置20例如是具備透明顯示功能的電子裝置,其中包括第一資訊擷取裝置21、第二資訊擷取裝置22、透明顯示器23、儲存裝置24及處理器25,其功能分述如下:
第一資訊擷取裝置21及第二資訊擷取裝置22分別包括鏡頭及影像感測器,其中鏡頭可由數個凹凸透鏡組合而成,且由步進馬達或音圈馬達等致動器驅動以改變透鏡之間的相對位置,從而改變鏡頭的焦距,使得被攝物體可成像在影像感測器上。影像感測器中配置有電荷耦合元件(Charge coupled device,CCD)、互補性氧化金屬半導體(Complementary metal-oxide semiconductor,CMOS)元件或其他種類的感光元件,而可感測進入鏡頭的光線強度,從而擷取影像訊號以產生並輸出影像。在本實施例中,第一資訊擷取裝置21是用以擷取包括觀看透明顯示器23的使用者的內部影像,第二資訊擷取裝置22則是用以擷取透明顯示器23相對於使用者另一側的外部影像。
透明顯示器23例如是薄膜電晶體液晶顯示器(Thin film transistor liquid crystal display,TFT-LCD)、場色序(Field sequential color)顯示器、主動式有機發光顯示器(Active matrix organic light emitting display,AMOLED)、電濕潤顯示器(Electrowetting display)等穿透式透明顯示器,或者是投影式透明顯示器。透明顯示器23除了具備可透視且可顯示資訊的透明顯示面板外,亦可與可偵測使用者觸碰操作的觸控面板整合,而可提供使用者與顯示資訊進行互動。在一實施例中,透明顯示器23可為頭載式透明顯示器,例如擴增實境(Augmented Reality,AR)眼鏡。
儲存裝置24可以是任何型態的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。在本實施例中,儲存裝置24用以儲存由第一資訊擷取裝置21及第二資訊擷取裝置22擷取的影像資料,且記錄可供處理器25存取並執行的程式或指令。
處理器25例如是中央處理單元(central processing unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuits,ASIC)、可程式化邏輯裝置(programmable logic device,PLD)或其他類似裝置或這些裝置的組合。處理器25耦接第一資訊擷取裝置21、第二資訊擷取裝置22、透明顯示器23及儲存裝置24,其例如可從儲存裝置24載入程式指令,並據以執行本發明一實施例的多重目標物資訊顯示方法。在其他實施例中,多重目標物資訊顯示裝置20還可包括用以與外部裝置進行通訊的通訊模組、用以追蹤觀看透明顯示器23之使用者眼球的眼球追蹤(eye tracing)裝置等元件,本實施例不限制元件種類。以下即舉實施例說明本發明的多重目標物資訊顯示方法的詳細步驟。
圖3A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。請同時參照圖2及圖3A,本實施例的方法可適用於圖2的多重目標物資訊顯示裝置20,以下即搭配多重目標物資訊顯示裝置20中的各項元件說明本發明一實施例之多重目標物資訊顯示方法的詳細步驟。
首先,由處理器25擷取使用者觀看透明顯示器23之視線範圍的影像(步驟S302)。其中,處理器25例如是依據第一資訊擷取裝置21所擷取包括使用者的內部影像,判定使用者觀看透明顯示器23之視線範圍,並從第二資訊擷取裝置22擷取的外部影像中擷取位於使用者視線範圍內的影像。
在一實施例中,處理器25例如是依據使用者在內部影像中所佔面積,估測使用者與透明顯示器23之間距離,依據使用者臉部、眼部等部位在內部影像中的位置及大小,估測使用者的視線方向,並據此判定使用者觀看透明顯示器23之視線範圍。在其他實施例中,處理器25亦可利用額外配置的眼球追蹤裝置偵測使用者眼球的角度而判定使用者觀看透明顯示器23之視線範圍。本實施例不限定視線範圍的判定方式。
接著,處理器25辨識影像中多個目標物以產生可分別涵蓋所述目標物的多個辨識框架(步驟S304)。在一實施例中,所述的辨識框架例如是可涵蓋目標物的最小矩形,而在其他實施例中,辨識框架也可視需要使用其他形狀或大小的區域來定義,在此不設限。
然後,處理器25產生可涵蓋辨識框架的補償連接框(步驟S306)。類似於辨識框架,所述的補償連接框例如是可涵蓋所有辨識框架的最小矩形或是其他多邊形,在此不設限。
之後,處理器25依據補償連接框與辨識框架的非重疊區域,定義資訊顯示區(步驟S308)。其中,處理器25例如是在補償連接框中找尋未與辨識框架重疊的多個區域(即,非重疊區域或非辨識框架區域),並從中選擇適於群聚顯示目標物的物件資訊的區域。
舉例來說,圖3B是依照本發明一實施例所繪示之多重目標物資訊顯示方法的範例。請參照圖3B,本實施例的裝置例如從使用者視線範圍的影像中辨識出目標物32、34,產生可分別涵蓋目標物32、34的辨識框架32f、34f,並產生可涵蓋辨識框架32f、34f的補償連接框30f。其中,本實施例的裝置例如會在補償連接框30f找尋未與辨識框架32f、34f重疊的區域A、B,可選擇區域A、B其中之一作為群聚顯示目標物32、34的物件資訊的資訊顯示區。
在一些實施例中,處理器25例如會依據使用者與透明顯示器23之間的距離、在各個區域顯示物件資訊時的文字大小、補償連接框中目標物的分佈狀況、目標物類別、目標物移動速度等條件,選擇適於顯示目標物資訊的區域作為資訊顯示區。對應於上述各種條件的實施方式,後文將分別舉實施例詳細說明,在此先行跳過。
回到圖3A的流程,最後由處理器25群聚顯示目標物的物件資訊於透明顯示器23上的資訊顯示區(步驟S310)。在一實施例中,上述目標物的物件資訊例如是藉由整合各目標物的辨識資訊而生成。詳言之,處理器25例如是在第二資訊擷取裝置22擷取外部影像時(在步驟S302擷取視線範圍影像之前),即可針對所擷取的外部影像進行物體辨識,以獲得外部影像中各個目標物的辨識資訊。或者,處理器25例如是在步驟S304辨識影像中目標物時進行物體辨識,以獲得各個目標物的辨識資訊。本實施例不限定進行物體辨識的時機。在一實施例中,上述目標物的物件資訊例如是基於目標物的共同類別以及在資訊顯示區顯示此共同類別時所呈現的文字大小來決定。詳言之,當目標物彼此間的距離較近或重疊程度較高時,處理器25例如會選擇這些目標物主類別的上一階層的共同次類別來作為這些目標物的物件資訊。
需說明的是,在上述實施例中,處理器25是以可涵蓋目標物的辨識框架來定義補償連接框及資訊顯示區,然而在其他實施例中,處理器25亦可將目標物輪廓作為辨識框架來定義補償連接框及資訊顯示區。意即,處理器25係直接產生可涵蓋各目標物辨識輪廓的補償連接框,並根據補償連接框與辨識輪廓的非重疊區域來定義資訊顯示區及顯示目標物的物件資訊。本實施例並不限制補償連接框及資訊顯示區的定義方式。
藉由上述方法,本實施例的裝置可在目標物周圍定義出可顯示目標物資訊的資訊顯示區,並在此資訊顯示區中群聚顯示多重目標物的物件資訊,藉此可優化顯示資訊並提高使用者閱讀舒適度。
[依目標物分佈狀況決定資訊顯示區]
本發明的一實施例可依據目標物分佈的狀況來決定資訊顯示區是。圖4A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。請同時參照圖2及圖4A,本實施例的方法可適用於圖2的多重目標物資訊顯示裝置20,其步驟如下:
首先,由處理器25擷取使用者觀看透明顯示器23之視線範圍的影像(步驟S402),並辨識影像中多個目標物以產生可分別涵蓋所述目標物的多個辨識框架(步驟S404),以及產生可涵蓋辨識框架的補償連接框(步驟S406)。上述步驟S402~S406與前述實施例的步驟S302~S306相同或相似,故其詳細內容在此不再贅述。
在本實施例中,處理器25在定義資訊顯示區時,可先計算由各辨識框架的中心點連接而成的多邊形面積,以及此多邊形的面積與補償連接框的面積的比值(步驟S408),並判斷所計算的比值是否超過預設比值(步驟S410)。
若此比值超過預設比值,處理器25將會以補償連接框的邊界尋找資訊顯示區(步驟S412)。反之,處理器25將會以補償連接框的對角線尋找資訊顯示區(步驟S414)。最後,處理器25會在透明顯示器23上的資訊顯示區群聚顯示目標物的物件資訊(步驟S416)。
舉例來說,圖4B是依照本發明一實施例所繪示之判定目標物分佈狀況的示意圖。本實施例說明如何決定目標物的分佈是規則或不規則的方式。首先,針對使用者視線範圍的影像40中多個目標物41~45進行辨識,並據以產生可分別涵蓋目標物41~45的辨識框架41f~45f。接著,產生可涵蓋辨識框架41f~45f的補償連接框40f。然後,找出各辨識框架41f~45f的中心41c~45c,而將各辨識框架41f~45f的中心41c~45c連接以產生多邊形40p。最後,計算多邊形40p的面積與補償連接框40f的面積比值(例如:66%),而基於此比值超過預設比值(例如:40%-60%,本實施例以50%為例),最終判定目標物為不規則分佈。而針對目標物為不規則分佈的狀況,處理器25將會以補償連接框的邊界尋找資訊顯示區。
舉例來說,圖4C是依照本發明一實施例所繪示之依據目標物分佈定義資訊顯示區的示意圖。本實施例係說明在目標物分佈不規則的狀況下,計算出優化資訊顯示區的方式。首先,產生可分別涵蓋目標物46~49的辨識框架46f~49f,並產生可涵蓋辨識框架46f~49f的補償連接框40f’。然後,計算補償連接框40f’邊界上的各點到各辨識框架中心46c~49c的距離最小值(如標示在補償連接框40f’邊界的數值)。最後,由邊界上距離辨識框架中心46c~49c最遠的點(即距離最小值中的最大值0.42所對應的點a),找尋補償連接框40f’的非重疊區域中鄰近點a的區域40d作為資訊顯示區。
[擴大資訊顯示區1]
本發明的一實施例可將上述的資訊顯示區擴大至鄰近的非重疊區域。也就是說,資訊顯示區除了可以是上述實施例的方形外,也可以是由數塊重疊區域組合而成的任意形狀。舉例而言,當區域為方形且數量為2時,可將兩個方形的重疊區域除以兩個方形的佔有區域,定義為感興趣區域(Region of interest,ROI)值。當此ROI值小於預定閥值時,可判定將兩個方形聯合起來顯示資訊時會造成使用者不易閱讀,此時就不會將兩個方形聯合起來作為資訊顯示區。反之,則可聯合兩個方形區域,以擴大資訊顯示區。
圖5A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。請同時參照圖2及圖5A,本實施例的方法可適用於圖2的多重目標物資訊顯示裝置20,且接續在圖3A的步驟S306之後,其步驟如下:
首先,由處理器25執行圖3A的步驟S302~S306,以產生目標物的辨識框架及補償連接框,從而根據補償連接框與辨識框架的非重疊區域,定義資訊顯示區(步驟S502)。
在本實施例中,處理器25在定義資訊顯示區之後,會預估在此資訊顯示區內顯示物件資訊時所呈現的文字大小(步驟S504),並判斷此文字大小是否小於預設大小(步驟S506)。其中,處理器25例如會計算所定義的資訊顯示區的大小以及所要顯示之物件資訊的字數,從而預估在資料顯示區內顯示該字數之物件資訊時可使用的適於使用者觀看的文字大小(愈大愈好)。然而,若是資訊顯示區太小,或是要顯示之物件資訊的字數過多,則會迫使文字的字體縮小,以確保能夠在資訊顯示區中容納物件資訊的所有文字。一旦文字大小縮小到小於適合使用者觀看的最小字體(即預設大小),則可判斷出目前的資訊顯示區不足以顯示物件資訊,而有需要適當擴大以容納物件資訊。
據此,在步驟506中,若判斷此文字大小小於預設大小,處理器25會從補償連接框內的其他非重疊區域中找出鄰近資訊顯示區的方形區域,並將此方形區域與資訊顯示區的重疊區域除以此方形區域與資訊顯示區的佔有區域以獲得佔有比(步驟S508),從而判斷是否有找到方形區域且其佔有比超過預設閥值(步驟S510)。
若有找到方形區域且其佔有比超過預設閥值,則處理器25會將此長方形區域納入資訊顯示區(步驟S512),並回到步驟S504,重新預估在此(已擴大的)資訊顯示區內顯示物件資訊時所呈現的文字大小,據以決定此時預估的文字大小是否已能滿足預設大小。其中,若判斷預估的文字大小仍小於預設大小,則處理器25會再執行步驟S508,繼續找尋其他區域來納入資訊顯示區。反之,若預估的文字大小超過(即,不小於)預設大小,則處理器25即會在此資訊顯示區群聚顯示目標物的物件資訊(步驟S514)。
另一方面,若在步驟S510中,處理器25未找到方形區域,或是找到方形區域但其佔有比未超過預設閥值,則會因為可找到的資訊顯示區不足以適當顯示目標物的物件資訊,此時處理器25將不會顯示目標物的物件資訊(步驟S516)。
詳言之,處理器25例如會從距離當前的資訊顯示區最近且與資訊顯示區相鄰的非重疊區域開始找尋方形區域來擴大資訊顯示區,若找到的方形區域未滿足上述佔有比條件,或是將找到的方形區域納入資訊顯示區後所呈現的文字大小仍未達預設大小,則處理器25會再向外找尋其他區域,直到找不到可滿足佔有比條件的區域為止。
舉例來說,圖5B是依照本發明一實施例所繪示之擴大資訊顯示區的示意圖。本實施例係接續圖4C的實施例,說明如何擴大資訊顯示區。首先,針對在圖4C中找尋到的資訊顯示區40d,假設在此資訊顯示區40d中顯示物件資訊時所呈現的文字大小會小於預設大小,此時將從補償連接框40f’中除資訊顯示區40d以外的其他非重疊區域中找出鄰近資訊顯示區40d的方形區域40e,然後將兩個區域40d、40e的重疊區域40i除以兩個區域40d、40e涵蓋的佔有區域以獲得佔有比(例如:0.7),依據所計算佔有比(例如:0.7)超過預設閥值(例如:0.3-0.6,本實施例以0.5為例),而將方形區域40e納入40d作為資訊顯示區。在納入方形區域40e後,會再次檢查在此資訊顯示區(即區域40d、40e的聯集區域)顯示物件資訊時所呈現的文字大小是否達到預設大小,並根據檢查結果決定是否再繼續找尋其他區域。
[擴大資訊顯示區2]
本發明的一實施例可將上述的資訊顯示區擴大至鄰近目標物的辨識框架內。詳言之,在上述實施例中,辨識框架係定義為可涵蓋目標物的最小矩形,但實際狀況是,許多目標物的在辨識框架內會有偏斜的情況,使得辨識框架內出現空白區域。據此,為了擴大資訊顯示區,本實施例考慮將此空白區域納入作為資訊顯示區的可能性。
圖6A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。請同時參照圖2及圖6A,本實施例的方法可適用於圖2的多重目標物資訊顯示裝置20,且接續在圖3的步驟S306之後,其步驟如下:
首先,由處理器25執行圖3A的步驟S302~S306,以產生目標物的辨識框架及補償連接框,從而根據補償連接框與辨識框架的非重疊區域,定義資訊顯示區(步驟S602)。在本實施例中,處理器25在定義資訊顯示區之後,會預估在此資訊顯示區內顯示物件資訊時所呈現的文字大小(步驟S604),並判斷此文字大小是否小於預設大小(步驟S606)。
若判斷預估的文字大小超過(即,不小於)預設大小,則處理器25即會在目前定義的資訊顯示區中群聚顯示目標物的物件資訊(步驟S612)。然而,若判斷此文字大小小於預設大小,處理器25則會判斷補償連接框中的辨識框架內的目標物是否有偏斜(步驟S608),而在判斷辨識框架有偏斜的情況下,處理器25會將該辨識框架分割為多個小辨識框架,並移除不包含目標物輪廓的小辨識框架,而以移除後剩餘的小辨識框架以及未分割的辨識框架與補償連接框的非重疊區域,重新定義資訊顯示區(步驟S610)。然後,回到步驟S604,處理器25會重新預估在此(重新定義的)資訊顯示區內顯示物件資訊時所呈現的文字大小,據以決定此時預估的文字大小是否已能滿足預設大小。
若處理器25判斷重新預估的文字大小可超過預設大小,即會在此資訊顯示區群聚顯示目標物的物件資訊(步驟S612)。反之,若處理器25判斷重新預估的文字大小仍小於預設大小,則會繼續判斷補償連接框中是否還有其他辨識框架內的目標物有偏斜。若沒有其他辨識框架內的目標物有偏斜的情況下,基於目前的資訊顯示區不足以適當顯示目標物的物件資訊,處理器25將不會顯示目標物的物件資訊(步驟S614)。
舉例來說,圖6B是依照本發明一實施例所繪示之判斷目標物偏斜以縮減辨識框架的示意圖。本實施例在辨識目標物以產生辨識框架60之後,進一步判斷此辨識框架60的中心點是否在目標物的輪廓內,藉以判斷目標物是否有偏斜。而當辨識框架60的中心點不在目標物的輪廓內時,可將辨識框架分割為多個小辨識框架,以將不包含目標物輪廓的小辨識框架移除。當辨識框架60被分割2*2個小辨識框架61a~64a時,藉由將不包含目標物輪廓的小辨識框架63a自辨識框架60移除,使得小辨識框架63a可用以作為顯示目標物資訊的資訊顯示區的一部分。另一方面,當辨識框架60被分割2*3個小辨識框架61b~66b時,藉由將不包含目標物輪廓的小辨識框架64b及65b自辨識框架60移除,使得小辨識框架64b及65b可用以作為顯示目標物資訊的資訊顯示區的一部分。
圖6C是依照本發明一實施例所繪示之多重目標物資訊顯示方法的範例。本實施例接續圖4C的實施例,說明如何擴大資訊顯示區。首先,針對在圖4C中找尋到的資訊顯示區40d,本實施例會先預估在此資訊顯示區40d中顯示物件資訊時所呈現的文字大小,並判斷其是否小於預設大小。而若判斷此文字大小小於預設大小,本實施例將會判斷補償連接框40f’中的各辨識框架內的目標物是否有偏斜。其中,當發現辨識框架47f內的目標物有偏移時,本實施例例如會利用如圖6B所揭露的方式,將辨識框架47f分割為多個小辨識框架,並將不包含目標物輪廓的小辨識框架移除,而以移除後剩餘的小辨識框架以及未分割的辨識框架,重新計算其與補償連接框的非重疊區域,並據以定義出資訊顯示區40d’。藉由將資訊顯示區40d擴大至資訊顯示區40d’,本實施例可實現資訊顯示區的擴大,從而使得在資訊顯示區40d’中顯示目標物資訊時所呈現的文字大小可以達到預設大小。
[群聚顯示目標物次類別]
本發明的一實施例可針對位於影像中不同類別的目標物,根據目標物靠近的程度或顯示資訊的文字大小,顯示上一階層的次類別。詳言之,所辨識的目標物可以具備不止一個階層的類別,稱為次類別。比如說狗和貓同樣可歸類為寵物,但獅子不是,獅子是猛獸。而寵物和猛獸又同樣都是動物,因此可歸屬在不同階層的次類別。
在一實施例中,上述次類別的群聚顯示例如可基於目標物的遠近或重疊程度。詳言之,處理器25例如會針對影像中的目標物進行辨識以獲得各個目標物的辨識資訊,並依據各個目標物的辨識資訊,判斷這些目標物是否包含不同主類別。其中,若這些目標物未包含不同主類別(即為相同主類別),則以此主類別作為這些目標物的物件資訊。反之,若這些目標物包含不同主類別,處理器25則會判斷主類別不同的目標物之間的距離是否小於預設距離,且在目標物之間的距離小於預設距離時,選擇這些目標物主類別的上一階層次類別作為物件資訊。而若目標物之間的距離未小於預設距離,則維持以這些目標物各自的主類別作為物件資訊來顯示。在其他實施例中,處理器25也可根據目標物之間的重疊程度來決定是否將目標物主類別的上一階層次類別作為物件資訊,本實施例不限制其實施方式。
在另一實施例中,上述次類別的群聚顯示例如可基於物件資訊在資訊顯示區中呈現的文字大小。詳言之,若目標物的主類別不同,但又相互混雜在一起時,可顯示這些目標物的共同次類別。然而,若顯示共同次類別時所呈現的文字太小時,則可考慮使用更上一階層的次類別來顯示。
圖7是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。請同時參照圖2及圖7,本實施例的方法可適用於圖2的多重目標物資訊顯示裝置20,且接續在圖3A的步驟S308之後,其步驟如下:
首先,由處理器25執行圖3A的步驟S302~S308,以產生目標物的辨識框架及補償連接框,並根據補償連接框與辨識框架的非重疊區域,定義資訊顯示區。
在本實施例中,處理器25會辨識影像中的目標物以獲得各個目標物的辨識資訊(步驟S702),並依據各個目標物的辨識資訊,判斷這些目標物是否包含不同主類別(步驟S704)。
其中,若這些目標物未包含不同主類別(即為相同主類別),處理器25將會以此主類別作為目標物資訊(步驟S706),並在透明顯示器23上的資訊顯示區群聚顯示目標物的物件資訊(步驟S718)。反之,若這些目標物包含不同主類別,處理器25則會考慮以這些目標物主類別的上一階層次類別作為目標物資訊,並預估在資訊顯示區內顯示此次類別時所呈現的文字大小(步驟S708),以及判斷此文字大小是否小於預設大小(步驟S710)。
若所述文字大小超過(即,不小於)預設大小,處理器25將會以此次類別作為物件資訊(步驟S712),並在透明顯示器23上的資訊顯示區群聚顯示目標物的物件資訊(步驟S718)。反之,若所述文字大小小於預設大小,處理器25會判斷是否到達最高階層(步驟S714)。
若未到達最高階層,處理器25將會回到步驟S708,並重複步驟S708~S714,以更上一階層的次類別作為物件資訊來預估在資訊顯示區內顯示此次類別時所呈現的文字大小,並決定是否以此次類別作為物件資訊,直到所述更上一階層到達最高階層時,若所述文字大小仍小於預設大小,處理器25將不會產生及顯示物件資訊(步驟S716)。
藉由上述方法,可達到在資料顯示區中顯示適當目標物次類別的目的。
[於補償連接框外顯示物件資訊]
上述實施例是在可涵蓋目標物辨識框架的補償連接框內顯示物件資訊。然而,在目標物較多且分佈較為緊密的情況下,補償連接框內的非重疊區域可能過小,以致於無法容納目標物的物件資訊。對此,本發明的一實施例可判斷位於補償連接框內的非重疊區域是否包括可容納目標物的物件資訊的區域,而若未包括可容納目標物的物件資訊的區域,可將補償連接框外的鄰近區域作為資訊顯示區來顯示物件資訊。
[根據目標物大小與顯示字數決定顯示方式]
本發明的一實施例係由所辨識目標物的物體大小以及所要顯示物件資訊的字數來決定顯示物件資訊的字體尺寸,並根據此字體尺寸的大小決定是否群聚顯示物件資訊或不顯示物件資訊。詳言之,字體舒適的觀賞尺寸可例如為20’-22’,約等於0.33
o-0.37
o,當個別顯示目標物的物件資訊字體尺寸太小時,本實施例可將目標物的物件資訊群聚顯示;而當群聚顯示的物件資訊字體尺寸仍太小時,即代表群體太小,此時本實施例將不會顯示物件資訊。
圖8A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。請同時參照圖2及圖8A,本實施例的方法可適用於圖2的多重目標物資訊顯示裝置20,其步驟如下:
首先,由處理器25根據各個目標物的大小以及物件資訊的字數,決定個別顯示物件資訊的字體尺寸(步驟S802),並判斷所決定的字體尺寸是否小於預設尺寸(步驟S804),此預設尺寸例如為0.35
o。其中,處理器25例如會辨識影像中各個目標物並據以產生可涵蓋各目標物的辨識框架,然後再預估將各目標物的物件資訊顯示於此辨識框架周圍時所呈現的字體尺寸。
若處理器25判斷所決定的字體尺寸超過(即不小於)預設尺寸,則會個別顯示目標物的物件資訊(步驟S806);而若處理器25判斷所決定的字體尺寸小於預設尺寸,則會預估群聚顯示目標物的物件資訊的字體尺寸(步驟S808),並判斷所預估的字體尺寸是否小於預設尺寸(步驟S810)。其中,處理器25例如會藉由上述實施例的方法定義資訊顯示區,以預估在此資訊顯示區內顯示目標物的物件資訊時所呈現的字體尺寸。
其中,若所預估的字體尺寸超過預設尺寸,處理器25會群聚顯示目標物的物件資訊(步驟S812)。反之,若所預估的字體尺寸小於預設尺寸,處理器25將不顯示目標物的物件資訊(步驟S814)。
舉例來說,圖8B及圖8C是依照本發明一實施例所繪示之群聚顯示多重目標物資訊的範例。請先參照圖8B,影像82為使用者觀看透明顯示器23之視線範圍的影像,其中包括位於草原上的馬822。本實施例例如會藉由辨識影像82中的馬822以產生可涵蓋馬822的辨識框架822f,然後再預估將馬822的物件資訊(Horse)顯示於此辨識框架822上方時所呈現的字體尺寸。其中,由於在辨識框架822f上方顯示物件資訊(Horse)所呈現的字體尺寸已能滿足字體舒適的觀賞尺寸,故本實施例將維持在辨識框架822f上方顯示物件資訊。
請接著參照圖8C,影像84為使用者觀看透明顯示器23之視線範圍的影像,其中包括位於右側的人群842及位於左側的人群844。針對右側人群842,本實施例例如會先預估在每個人周圍顯示其物件資訊(People)時所呈現的字體尺寸,而由於每個人都太小,在其周圍顯示資訊時所呈現的字體尺寸過小,此時需考慮群聚顯示。據此,本實施例例如藉由上述實施例的方法,產生可涵蓋右側人群842的補償連接框842f。然而,補償連接框842f內的非重疊區域過小,亦無法容納物件資訊(People),需考慮在補償連接框842f外顯示。而在補償連接框842f外顯示物件資訊時,其字體尺寸可滿足舒適的觀賞尺寸,因此本實施例例如會在補償連接框842f外的左上角顯示物件資訊。
另一方面,針對左側人群844,若要對每個人個別顯示物件資訊,同樣會使得顯示資訊的字體尺寸過小,因此需考慮將物件資訊群聚顯示。據此,本實施例例如藉由上述實施例的方法,產生可涵蓋左側人群844的補償連接框844f。然而,補償連接框844f內的非重疊區域過小,無法容納物件資訊,需考慮在補償連接框844f外顯示,但補償連接框844f本身也小,即便是在補償連接框844f外顯示物件資訊,其字體尺寸也會過小。在此情況下,本實施例將不會顯示該物件資訊。
[根據目標物大小、移動速度與顯示字數決定顯示方式]
本發明的一實施例考慮到,當物體靜止時,舒適的字體觀賞尺寸例如為0.35
o,而隨著移動速度的增加,舒適的字體觀賞尺寸也會增加。當速度持續增加,使得舒適的字體觀賞尺寸大於個別顯示的字體尺寸時,本實施例會將物件資訊改為群聚顯示;而當速度持續增加,使得舒適的字體觀賞尺寸也大於群聚顯示的字體尺寸時,即代表速度太快,此時本實施將不會顯示物件資訊。
圖9A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。請同時參照圖2及圖9A,本實施例的方法可適用於圖2的多重目標物資訊顯示裝置20,其步驟如下:
首先,由處理器25根據各個目標物的大小以及物件資訊的字數,決定個別顯示物件資訊的字體尺寸(步驟S902)。其中,處理器25例如會辨識影像中各個目標物並據以產生可涵蓋各目標物的辨識框架,然後再預估將各目標物的物件資訊顯示於此辨識框架周圍時所呈現的字體尺寸。
接著,處理器25可根據目標物的移動速度,決定舒適的字體觀賞尺寸(步驟S904),並判斷所決定的字體觀賞尺寸是否大於個別顯示目標物的物件資訊的字體尺寸(步驟S906)。其中,舒適的字體觀賞尺寸例如預設為0.35
o,且會隨著目標物移動速度的增加而增加。
若處理器25判斷舒適的字體觀賞尺寸不大於個別顯示的所述字體尺寸,則會個別顯示目標物的物件資訊(步驟S908);而若舒適的字體觀賞尺寸大於個別顯示的所述字體尺寸,即代表個別顯示物件資訊時所呈現的字體尺寸對於使用者而言並不舒適,此時處理器25將會預估群聚顯示目標物的物件資訊的字體尺寸(步驟S910),並判斷所述舒適的字體觀賞尺寸是否大於群聚顯示的物件資訊的字體尺寸(步驟S912)。
其中,若所述舒適字體觀賞尺寸不大於群聚顯示的物件資訊的字體尺寸,處理器25會群聚顯示目標物的物件資訊(步驟S914)。反之,若所述舒適字體觀賞尺寸大於群聚顯示的物件資訊的字體尺寸,處理器25將不會顯示目標物的物件資訊(步驟S916)。
舉例來說,圖9B是依照本發明一實施例所繪示之物體移動速度與舒適的字體尺寸的關係圖。請參照圖9B,本實施例的關係圖90的橫軸為物體移動速度、縱軸為字體尺寸,其中斜線區域代表使用者觀看時會不舒適的區域。其中,當顯示的字體為英文時,上述不舒適區域的斜率例如為字體尺寸/0.055秒;而當顯示的字體為中文時,上述不舒適區域的斜率例如為字體尺寸/0.24秒。
在物體移動速度在0~V1的區間內時,舒適的字體觀賞尺寸例如為0.35
o,而在V1之後,隨著物體移動速度的增加,此舒適的字體觀賞尺寸將會增加。其中,當物體移動速度超過V2時,舒適的字體觀賞尺寸將會超過個別顯示物件資訊時的字體尺寸,此時需要改為群聚顯示,其顯示物件資訊時的字體尺寸才會滿足舒適的字體觀賞尺寸。然而,當物體移動速度超過V3時,舒適的字體觀賞尺寸將會超過群聚顯示物件資訊時的字體尺寸,此時由於群聚顯示物件資訊時仍舊會造成不舒適,故將改為不顯示物件資訊。
在一實施例中,當物體移動速度減少到使得舒適的字體觀賞尺寸小於個別顯示的字體尺寸時,可以不立刻顯示取消群聚顯示,而是延遲一段時間再取消群聚顯示,或是等物體速度減少更多時,再取消群聚顯示。藉此,可以避免在速度位於臨界值附近時頻繁切換顯示資訊,造成畫面閃爍與不舒適。
[更新資訊提示框]
本發明的一實施例考慮到資訊更新的時機,例如根據使用者觀看透明顯示器23的視線範圍定義一個更新資訊提示框,以在所辨識的目標物移出此更新資訊提示框時,即中斷其物件資訊的顯示。而當有新的目標物接觸或進入此更新資訊提示框時,則重新對該目標物進行辨識並重新對該目標物及影像中其他目標物的物件資訊進行群聚顯示。
在一實施例中,可由目標物的補償連接框外擴預定數目的多個畫素來作為更新資訊提示框,而當有新的目標物接觸此更新資訊提示框時,則重新進行辨識及群聚顯示。
在一實施例中,也可以將透明顯示器23的屏幕分割成若干小區域,並將各區域的邊界做為更新資訊提示框。同樣的,當有新的目標物接觸到各更新資訊提示框時,即重新進行辨識與群聚顯示。
[其他實施例]
在一實施例中,當補償連接框內的目標物過小時,則不顯示個別目標物的物件資訊,而採用群聚顯示。詳言之,本實施例的多重目標物資訊顯示裝置20例如會計算補償連接框中各個目標物面積與補償連接框面積的比值,並判斷所計算的比值是否小於預設比值,從而將所述比值小於預設比值的目標物的物件資訊採用群聚方式顯示。
在一實施例中,多重目標物資訊顯示裝置20例如會利用第一資訊擷取裝置21偵測使用者與透明顯示器23之間的相對位置,從而依據此相對位置預估在個別顯示目標物的物件資訊時使用者所觀看到物件資訊的文字大小,並判斷此文字大小是否小於預設大小。若判斷此文字大小小於預設大小,則多重目標物資訊顯示裝置20會以上述實施例的方法定義資訊顯示區,並在其中群聚顯示目標物的物件資訊。
在一實施例中,多重目標物資訊顯示裝置20在上述依據使用者與透明顯示器23之間的相對位置決定要群聚顯示目標物的物件資訊時,例如會判斷補償連接框內的目標物是否具有不同的主類別,而若包含不同的主類別,則會預估在資訊顯示區內顯示上一階層次類別時的文字大小,並根據此文字大小是否小於預設大小,決定適合在資訊顯示區內顯示的次類別,以在透明顯示器23中呈現此適當次類別。
在上述實施例中,若補償連接框內的目標物具有相同的主類別,則多重目標物資訊顯示裝置20將會以此主類別作為物件資訊來顯示。其中,多重目標物資訊顯示裝置20例如會根據補償連接框內目標物的分佈狀況來尋找資訊顯示區。例如,當目標物的分佈狀況為規則時,可由補償連接框的對角線來尋找資訊顯示區;而當目標物的分佈狀況為不規則時,可由補償連接框的邊界來尋找資訊顯示區。上述尋找資訊顯示區的方法已在前述實施例中詳細說明,故在此不再贅述。
在上述實施例中,當找到資訊顯示區時,多重目標物資訊顯示裝置20例如會預估在此資訊顯示區內顯示物件資訊時所呈現的文字大小,並將所預估的文字大小與預設大小比較,以決定是否顯示物件資訊。其中,若所預估的文字大小小於預設大小,則多重目標物資訊顯示裝置20將不會顯示物件資訊,反之,則會在透明顯示器23上呈現此物件資訊。
在上述實施例中,當所預估的文字大小小於預設大小,多重目標物資訊顯示裝置20例如會進一步在補償連接框的非重疊區域中找尋鄰近資訊顯示區的方形區域,而根據此方形區域與資訊顯示區的重疊區域佔有比來決定是否將此方形區域納入資訊顯示區。而在納入方形區域之後,多重目標物資訊顯示裝置20例如會重新預估在此資訊顯示區內顯示物件資訊時所呈現的文字大小,以決定是否顯示物件資訊。
在上述實施例中,當所預估的文字大小小於預設大小,多重目標物資訊顯示裝置20例如會進一步判斷在補償連接框內的各辨識框架內的目標物是否有偏斜,以決定是否將辨識框架分割,移除不包含目標物輪廓的小辨識框架,並重新定義資訊顯示區以及重新預估在此資訊顯示區內顯示物件資訊時所呈現的文字大小,以決定是否顯示物件資訊。
本發明一實施例的多重目標物資訊顯示方法及裝置,可根據使用者與透明顯示器之間的距離、目標物大小、目標物分佈、目標物移動速度及目標物類別等條件,適當地將多個目標物的物件資訊採用群聚方式顯示,藉此可避免個別顯示造成畫面凌亂。此外,本發明一實施例可根據目標物的,定義資訊顯示區的位置及大小,並根據在其中顯示物件資訊時所呈現的文字大小,適當調整資訊顯示區的位置或涵蓋範圍,藉此使用者可較舒適的觀賞尺寸顯示物件資訊,而提高使用者閱讀舒適度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
12、14、82、84:影像 20:多重目標物資訊顯示裝置 21:第一資訊擷取裝置 22:第二資訊擷取裝置 23:透明顯示器 24:儲存裝置 25:處理器 32、34、41~49:目標物 32f、34f、41f~49f、60、822f、824f:辨識框架 30f、40f、40f’、842f、844f:補償連接框 41c~49c:辨識框架中心 40d、40d’:資訊顯示區 40e:方形區域 40i:重疊區域 40p:多邊形 61a~64a、61b~66b:小辨識框架 822:馬 842、844:人群 90:關係圖 a:點 A、B:區域 S302~S310、S402~S416、S502~S516、S602~S614、S702~S718、S802~S814、S902~S916:步驟
圖1A與圖1B是依照本發明一實施例所繪示之多重目標物資訊顯示的示意圖。 圖2是依照本發明一實施例所繪示之多重目標物資訊顯示裝置的方塊圖。 圖3A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。 圖3B是依照本發明一實施例所繪示之多重目標物資訊顯示方法的範例。 圖4A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。 圖4B是依照本發明一實施例所繪示之判定目標物分佈狀況的示意圖。 圖4C是依照本發明一實施例所繪示之依據目標物分佈定義資訊顯示區的示意圖。 圖5A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。 圖5B是依照本發明一實施例所繪示之擴大資訊顯示區的示意圖。 圖6A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。 圖6B是依照本發明一實施例所繪示之判斷目標物偏斜以縮減辨識框架的示意圖。 圖6C是依照本發明一實施例所繪示之多重目標物資訊顯示方法的範例。 圖7是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。 圖8A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。 圖8B及圖8C是依照本發明一實施例所繪示之群聚顯示多重目標物資訊的範例。 圖9A是依照本發明一實施例所繪示之多重目標物資訊顯示方法的流程圖。 圖9B是依照本發明一實施例所繪示之物體移動速度與舒適的字體尺寸的關係圖。
S302~S310:步驟
Claims (20)
- 一種多重目標物資訊顯示方法,適用於包括第一資訊擷取裝置、第二資訊擷取裝置、透明顯示器、儲存裝置及處理器的電子裝置,該方法包括下列步驟: 擷取使用者觀看所述透明顯示器之視線範圍的影像; 辨識所述影像中多個目標物以產生可分別涵蓋所述目標物的多個辨識框架; 產生可涵蓋所述辨識框架的補償連接框; 依據所述補償連接框與所述辨識框架的非重疊區域,定義資訊顯示區;以及 群聚顯示所述目標物的物件資訊於所述透明顯示器上的所述資訊顯示區。
- 如申請專利範圍第1項所述的方法,其中擷取使用者觀看所述透明顯示器之視線範圍的影像的步驟包括: 利用所述第一資訊擷取裝置擷取所述使用者的內部影像,並依據所述內部影像判定所述使用者觀看所述透明顯示器之視線範圍;以及 利用所述第二資訊擷取裝置擷取所述透明顯示器相對於所述使用者另一側的外部影像,並從所述外部影像中擷取位於所述視線範圍內的影像。
- 如申請專利範圍第1項所述的方法,更包括: 辨識所述目標物以獲得各所述目標物的辨識資訊,並整合所述辨識資訊以產生所述物件資訊。
- 如申請專利範圍第3項所述的方法,其中整合所述辨識資訊以產生所述物件資訊的步驟包括: 依據各所述目標物的辨識資訊,判斷所述目標物是否包含不同主類別; 若所述目標物包含不同主類別,判斷所述主類別不同的所述目標物之間的距離是否小於預設距離;以及 若所述目標物之間的距離小於預設距離,選擇所述目標物的所述主類別的上一階層次類別作為所述物件資訊。
- 如申請專利範圍第3項所述的方法,其中整合所述辨識資訊以產生所述物件資訊的步驟包括: 依據各所述目標物的所述辨識資訊,判斷所述目標物是否包含不同主類別; 若所述目標物包含不同主類別,預估在所述資訊顯示區內顯示所述主類別的上一階層次類別時的文字大小,並判斷所述文字大小是否小於預設大小; 若所述文字大小超過所述預設大小,以所述上一階層的次類別作為所述物件資訊;以及 若所述文字大小小於所述預設大小,重複上述步驟,預估顯示更上一階層次類別時的文字大小,並判斷所述文字大小是否小於所述預設大小,直到所述更上一階層到達最高階層時,若所述文字大小仍小於所述預設大小,則不產生所述物件資訊。
- 如申請專利範圍第1項所述的方法,其中依據所述補償連接框與所述辨識框架的非重疊區域,定義資訊顯示區的步驟包括: 計算由各所述辨識框架的中心點連接而成的多邊形面積,以及所述多邊形面積與所述補償連接框面積的比值; 判斷所述比值是否超過預設比值; 若所述比值超過所述預設比值,以所述補償連接框的邊界尋找所述資訊顯示區;以及 若所述比值不超過所述預設比值,以所述補償連接框的對角線尋找所述資訊顯示區。
- 如申請專利範圍第6項所述的方法,其中以所述補償連接框的邊界尋找所述資訊顯示區的步驟包括: 計算所述邊界上的各點到各所述辨識框架中心點距離的最小值;以及 選擇所述非重疊區域中鄰近所述最小值中的最大值所對應的該點區域作為所述資訊顯示區。
- 如申請專利範圍第1項所述的方法,其中群聚顯示所述目標物的物件資訊於所述透明顯示器上的所述資訊顯示區的步驟更包括: 預估在所述資訊顯示區內顯示所述物件資訊時所呈現的文字大小,並判斷所述文字大小是否小於預設大小; 若所述文字大小小於所述預設大小,找尋所述非重疊區域中鄰近所述資訊顯示區的至少一方形區域; 將所述方形區域與所述資訊顯示區的重疊區域除以所述方形區域與所述資訊顯示區的佔有區域以獲得佔有比,並判斷所述佔有比是否超過預設閥值;以及 若所述佔有比超過所述預設閥值,將所述佔有比對應的所述方形區域納入所述資訊顯示區。
- 如申請專利範圍第1項所述的方法,其中依據所述補償連接框與所述辨識框架的非重疊區域,定義資訊顯示區的步驟更包括: 判斷各所述辨識框架內的所述目標物是否有偏斜; 若有偏斜,分割所述辨識框架為多個小框架,並移除不包含所述目標物輪廓的所述小辨識框架,而以移除後剩餘的所述小辨識框架以及未分割的所述辨識框架與所述補償連接框的非重疊區域,定義所述資訊顯示區。
- 如申請專利範圍第1項所述的方法,其中依據所述補償連接框與所述辨識框架的非重疊區域,定義資訊顯示區的步驟包括: 判斷位於所述補償連接框內的所述非重疊區域是否包括可容納所述目標物的所述物件資訊的區域;以及 若未包括可容納所述目標物的所述物件資訊的區域,以位於所述補償連接框外的鄰近所述目標物的區域作為所述資訊顯示區。
- 如申請專利範圍第1項所述的方法,其中群聚顯示所述目標物的物件資訊於所述透明顯示器上的所述資訊顯示區的步驟包括: 計算各所述目標物面積與所述補償連接框面積的比值,並判斷所計算的所述比值是否小於預設比值;以及 群聚顯示所計算的所述比值小於所述預設比值的所述目標物的所述物件資訊。
- 如申請專利範圍第1項所述的方法,其中群聚顯示所述目標物的物件資訊於所述資訊顯示區的步驟包括: 根據各所述目標物的大小以及所述物件資訊的字數,決定個別顯示所述物件資訊的字體尺寸,並判斷所述字體尺寸是否小於預設尺寸;以及 若所述字體尺寸小於預設尺寸,群聚顯示所述目標物的所述物件資訊,並判斷群聚顯示的所述物件資訊的字體尺寸是否小於所述預設尺寸;以及 若群聚顯示的所述物件資訊的所述字體尺寸小於所述預設尺寸,不顯示所述目標物的所述物件資訊。
- 如申請專利範圍第1項所述的方法,其中群聚顯示所述目標物的物件資訊於所述透明顯示器上的所述資訊顯示區的步驟包括: 根據各所述目標物的大小以及所述物件資訊的字數,決定個別顯示所述物件資訊的字體尺寸; 根據所述目標物的移動速度,決定字體觀賞尺寸,並判斷所決定的所述字體觀賞尺寸是否大於個別顯示所述目標物的所述物件資訊的字體尺寸; 若所述字體觀賞尺寸大於個別顯示的所述字體尺寸,群聚顯示所述目標物的所述物件資訊,並判斷所述字體觀賞尺寸是否大於群聚顯示的所述物件資訊的字體尺寸;以及 若所述字體觀賞尺寸大於群聚顯示的所述物件資訊的所述字體尺寸,不顯示所述目標物的所述物件資訊。
- 如申請專利範圍第1項所述的方法,更包括: 以所述目標物的輪廓產生可涵蓋所述輪廓的所述補償連接框,並依據所述補償連接框與所述輪廓的非重疊區域,定義所述資訊顯示區,以顯示所述目標物的物件資訊。
- 如申請專利範圍第1項所述的方法,更包括: 根據所述使用者觀看所述透明顯示器之所述視線範圍,定義更新資訊提示框; 當所辨識的所述目標物移出所述更新資訊提示框時,中斷所述目標物的所述物件資訊的顯示;以及 當新的目標物接觸所述更新資訊提示框時,重新辨識所述新的目標物並群聚顯示所述新的目標物與其他目標物的物件資訊。
- 如申請專利範圍第1項所述的方法,其中在辨識所述影像中所述目標物以產生所述辨識框架的步驟之後,所述方法更包括: 利用所述第一資訊擷取裝置偵測所述使用者與所述透明顯示器之間的相對位置; 依據所述相對位置預估在個別所述目標物的所述物件資訊時所述使用者觀看到的所述物件資訊的文字大小,並判斷所述文字大小是否小於預設大小;以及 若所述文字大小小於所述預設大小,定義所述資訊顯示區並群聚顯示所述目標物的所述物件資訊。
- 一種多重目標物資訊顯示裝置,包括: 透明顯示器; 第一資訊擷取裝置,擷取包括觀看所述透明顯示器的使用者的內部影像; 第二資訊擷取裝置,擷取所述透明顯示器相對於所述使用者另一側的外部影像; 儲存裝置,用以儲存由所述第一資訊擷取裝置及所述第二資訊擷取裝置擷取的所述內部影像及所述外部影像的影像資料,且記錄程式或指令;以及 處理器,耦接所述透明顯示器、所述第一資訊擷取裝置、所述第二資訊擷取裝置及所述儲存裝置,載入並執行記錄於所述儲存裝置的所述程式或指令以: 依據所述內部影像判定所述使用者觀看所述透明顯示器之視線範圍,並擷取所述外部影像中位於所述視線範圍內的影像; 辨識所述影像中多個目標物以產生可分別涵蓋所述目標物的多個辨識框架; 產生可涵蓋所述辨識框架的補償連接框; 依據所述補償連接框與所述辨識框架的非重疊區域,定義資訊顯示區;以及 群聚顯示所述目標物的物件資訊於所述透明顯示器上的所述資訊顯示區。
- 如申請專利範圍第17項所述的多重目標物資訊顯示裝置,其中所述處理器更辨識所述目標物以獲得各所述目標物的辨識資訊,並整合所述辨識資訊以產生所述物件資訊。
- 如申請專利範圍第18項所述的多重目標物資訊顯示裝置,其中所述處理器更包括: 依據各所述目標物的所述辨識資訊,判斷所述目標物是否包含不同主類別; 若所述目標物包含不同主類別,預估在所述資訊顯示區內顯示所述主類別的上一階層次類別時的文字大小,並判斷所述文字大小是否小於預設大小; 若所述文字大小超過所述預設大小,以所述上一階層的次類別作為所述物件資訊;以及 若所述文字大小小於所述預設大小,重複上述步驟,預估顯示更上一階層次類別時的文字大小,並判斷所述文字大小是否小於所述預設大小,直到所述更上一階層到達最高階層時,若所述文字大小仍小於所述預設大小,則不產生所述物件資訊。
- 如申請專利範圍第17項所述的多重目標物資訊顯示裝置,其中所述處理器更包括: 利用所述第一資訊擷取裝置偵測所述使用者與所述透明顯示器之間的相對位置; 依據所述相對位置預估所述使用者觀看各所述目標物個別的所述物件資訊的文字大小,並判斷所述文字大小是否小於預設大小;以及 若所述文字大小小於所述預設大小,定義所述資訊顯示區並群聚顯示所述目標物的所述物件資訊。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107131495A TWI691891B (zh) | 2018-09-07 | 2018-09-07 | 多重目標物資訊顯示方法及裝置 |
| CN201910019118.1A CN110888522B (zh) | 2018-09-07 | 2019-01-09 | 多重目标物信息显示方法及装置 |
| US16/243,090 US10755456B2 (en) | 2018-09-07 | 2019-01-09 | Method and apparatus for displaying information of multiple objects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107131495A TWI691891B (zh) | 2018-09-07 | 2018-09-07 | 多重目標物資訊顯示方法及裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202011175A TW202011175A (zh) | 2020-03-16 |
| TWI691891B true TWI691891B (zh) | 2020-04-21 |
Family
ID=69719904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107131495A TWI691891B (zh) | 2018-09-07 | 2018-09-07 | 多重目標物資訊顯示方法及裝置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10755456B2 (zh) |
| CN (1) | CN110888522B (zh) |
| TW (1) | TWI691891B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10713830B1 (en) * | 2019-05-13 | 2020-07-14 | Gyrfalcon Technology Inc. | Artificial intelligence based image caption creation systems and methods thereof |
| CN112702643B (zh) * | 2019-10-22 | 2023-07-21 | 上海哔哩哔哩科技有限公司 | 弹幕信息显示方法、装置、移动终端 |
| CN112164108B (zh) * | 2020-11-27 | 2022-03-08 | 大汉软件股份有限公司 | 一种保证缩略图中人物位置正确显示的方法 |
| EP4302171B1 (en) * | 2021-03-01 | 2025-04-09 | Signify Holding B.V. | Displaying an aggregation of data in dependence on a distance to a closest device in an image |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201132936A (en) * | 2010-03-22 | 2011-10-01 | Inst Information Industry | Real-time augmented reality device, real-time augmented reality method and computer program product thereof |
| US20140285521A1 (en) * | 2013-03-22 | 2014-09-25 | Seiko Epson Corporation | Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device |
| CN107025683A (zh) * | 2017-03-30 | 2017-08-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| TW201734712A (zh) * | 2016-03-29 | 2017-10-01 | Alibaba Group Services Ltd | 信息展示方法、裝置及系統 |
| CN107615227A (zh) * | 2015-05-26 | 2018-01-19 | 索尼公司 | 显示装置、信息处理系统以及控制方法 |
| US20180232942A1 (en) * | 2012-12-21 | 2018-08-16 | Apple Inc. | Method for Representing Virtual Information in a Real Environment |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| JP5315111B2 (ja) * | 2009-03-31 | 2013-10-16 | 株式会社エヌ・ティ・ティ・ドコモ | 端末装置、情報提示システム及び端末画面表示方法 |
| JP5211120B2 (ja) | 2010-07-30 | 2013-06-12 | 株式会社東芝 | 情報表示装置及び情報表示方法 |
| KR20120029228A (ko) | 2010-09-16 | 2012-03-26 | 엘지전자 주식회사 | 투명 디스플레이 장치 및 객체 정보 제공 방법 |
| US8860760B2 (en) * | 2010-09-25 | 2014-10-14 | Teledyne Scientific & Imaging, Llc | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene |
| US9317113B1 (en) | 2012-05-31 | 2016-04-19 | Amazon Technologies, Inc. | Gaze assisted object recognition |
| US9339726B2 (en) * | 2012-06-29 | 2016-05-17 | Nokia Technologies Oy | Method and apparatus for modifying the presentation of information based on the visual complexity of environment information |
| US20140035877A1 (en) | 2012-08-01 | 2014-02-06 | Hon Hai Precision Industry Co., Ltd. | Using a display device with a transparent display to capture information concerning objectives in a screen of another display device |
| TW201432594A (zh) | 2013-02-08 | 2014-08-16 | Yi Kang Life Entpr Co Ltd | 配戴式商品資訊顯示裝置以及資訊顯示方法 |
| JP6287849B2 (ja) * | 2013-02-22 | 2018-03-07 | ソニー株式会社 | ヘッドマウントディスプレイ、画像表示装置及び画像表示方法 |
| WO2016017997A1 (en) | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
| US10769438B2 (en) * | 2017-05-23 | 2020-09-08 | Samsung Electronics Company, Ltd. | Augmented reality |
| US10008045B1 (en) * | 2017-12-21 | 2018-06-26 | Capital One Services, Llc | Placement of augmented reality objects using a bounding shape |
-
2018
- 2018-09-07 TW TW107131495A patent/TWI691891B/zh active
-
2019
- 2019-01-09 CN CN201910019118.1A patent/CN110888522B/zh active Active
- 2019-01-09 US US16/243,090 patent/US10755456B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201132936A (en) * | 2010-03-22 | 2011-10-01 | Inst Information Industry | Real-time augmented reality device, real-time augmented reality method and computer program product thereof |
| US20180232942A1 (en) * | 2012-12-21 | 2018-08-16 | Apple Inc. | Method for Representing Virtual Information in a Real Environment |
| US20140285521A1 (en) * | 2013-03-22 | 2014-09-25 | Seiko Epson Corporation | Information display system using head mounted display device, information display method using head mounted display device, and head mounted display device |
| CN107615227A (zh) * | 2015-05-26 | 2018-01-19 | 索尼公司 | 显示装置、信息处理系统以及控制方法 |
| TW201734712A (zh) * | 2016-03-29 | 2017-10-01 | Alibaba Group Services Ltd | 信息展示方法、裝置及系統 |
| CN107025683A (zh) * | 2017-03-30 | 2017-08-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110888522B (zh) | 2023-06-27 |
| US20200082581A1 (en) | 2020-03-12 |
| TW202011175A (zh) | 2020-03-16 |
| CN110888522A (zh) | 2020-03-17 |
| US10755456B2 (en) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010985B2 (en) | Electronic device and method for adjusting size of three-dimensional object in augmented reality | |
| TWI691891B (zh) | 多重目標物資訊顯示方法及裝置 | |
| US20190197735A1 (en) | Method and apparatus for image processing, and robot using the same | |
| EP3125544A1 (en) | Image display device and image display system | |
| US7950802B2 (en) | Method and circuit arrangement for recognising and tracking eyes of several observers in real time | |
| CN109714583B (zh) | 增强现实的显示方法及增强现实的显示系统 | |
| US20220277512A1 (en) | Generation apparatus, generation method, system, and storage medium | |
| US10672269B2 (en) | Display control assembly and control method therefor, head-up display system, and vehicle | |
| US20230043122A1 (en) | Electronic device comprising multi-camera, and photographing method | |
| CN111222444A (zh) | 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 | |
| US12019796B2 (en) | User attention determination for extended reality | |
| US12003867B2 (en) | Electronic device and method for displaying image in electronic device | |
| US10825425B2 (en) | Information display method and information display apparatus suitable for multi-person viewing | |
| CN112740264B (zh) | 用于处理红外图像的设计 | |
| JPWO2009078155A1 (ja) | 画像判定装置 | |
| US10977492B2 (en) | Method and apparatus for preload display of object information | |
| JP2023011552A (ja) | 撮像装置 | |
| CN115907869A (zh) | 基于关注度的电梯广告推荐方法与系统 | |
| JP2024141826A (ja) | 画像投影装置 | |
| KR20230115219A (ko) | 증강 현실 이미지를 제공하기 위한 이미지 처리 방법 및 장치 | |
| JP7773612B2 (ja) | 画像生成装置及びヘッドアップディスプレイ | |
| US20260010055A1 (en) | Imaging method, learning method, learning data generating device, and data structure | |
| JP2025149492A (ja) | 生成装置、生成方法、及びプログラム | |
| Denny et al. | Imaging for the Automotive Environment | |
| CN120070156A (zh) | 图像处理方法和装置 |