TWI799000B - 資訊顯示方法及其處理裝置與顯示系統 - Google Patents
資訊顯示方法及其處理裝置與顯示系統 Download PDFInfo
- Publication number
- TWI799000B TWI799000B TW110146857A TW110146857A TWI799000B TW I799000 B TWI799000 B TW I799000B TW 110146857 A TW110146857 A TW 110146857A TW 110146857 A TW110146857 A TW 110146857A TW I799000 B TWI799000 B TW I799000B
- Authority
- TW
- Taiwan
- Prior art keywords
- information
- display
- processing device
- target
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Mechanical Engineering (AREA)
- Controls And Circuits For Display Device (AREA)
- Alarm Systems (AREA)
- Instrument Panels (AREA)
Abstract
一種資訊顯示方法及其處理裝置與顯示系統,此顯示系統可安裝於移動載具,並且包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置。第一資訊擷取裝置用以擷取移動載具內的使用者視線資訊。第二資訊擷取裝置用以擷取移動載具外部場景的場景資訊。處理裝置用以根據視線資訊以及場景資訊,計算使用者透過顯示器觀看移動載具外部場景的視野範圍,再根據視野範圍產生顯示資訊,並將顯示資訊顯示於顯示器上。
Description
本發明是有關於一種資訊顯示技術。
隨著影像處理技術與空間定位技術的發展,透明顯示器的應用已逐漸受到重視。此類的技術可讓顯示器搭配實體物件,再輔以虛擬相關資訊,並且依照使用者的需求來產生互動式的體驗,可使資訊以更為直觀的方式呈現。
然而,目前應用於車輛上的顯示系統,隨著使用者的觀看視野的移動,資訊的顯示數量以及顯示位置可能會有變化,使得虛實融合不易提供正確的位置對應。此外,近處目標物的顯示資訊在透明顯示器的停留時間過短,虛實融合時難以提供使用者適當的閱讀時間,而遠處的目標物有被遮擋的可能,虛實融合時無法提供使用者適當的閱讀資訊。
本揭露提供一種資訊顯示方法及其處理裝置與顯示系統。
在本揭露的一範例實施例中,上述的顯示系統可安裝於移動載具,並且包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置,其中處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置。第一資訊擷取裝置用以擷取移動載具內的使用者視線資訊。第二資訊擷取裝置用以擷取移動載具外部場景的場景資訊。處理裝置用以根據視線資訊以及場景資訊,計算使用者透過顯示器觀看移動載具外部場景的視野範圍,再根據視野範圍產生顯示資訊,並將顯示資訊顯示於顯示器上。
在本揭露的一範例實施例中,上述的資訊顯示方法適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統,其中顯示系統可安裝於移動載具。資訊顯示方法包括利用第一資訊擷取裝置擷取移動載具內的使用者視線資訊,利用第二資訊擷取裝置擷取移動載具外部場景的場景資訊,根據視線資訊以及場景資訊,計算使用者透過顯示器觀看移動載具外部場景的視野範圍,再根據使用者的視野範圍產生顯示資訊,並將顯示資訊顯示於顯示器上。
在本揭露的一範例實施例中,上述的處理裝置可安裝於移動載具,並且連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置,其中第一資訊擷取裝置用以擷取移動載具內的使用者視線資訊,第二資訊擷取裝置用以擷取移動載具外部場景的場景資訊。處理裝置可包括記憶體以及處理器。記憶體用以儲存資料。處理器用以自第一資訊擷取裝置取得視線資訊,自第二資訊擷取裝置取得場景資訊,根據視線資訊以及場景資訊,計算使用者透過顯示器觀看移動載具外部場景的視野範圍,再根據使用者的視野範圍產生顯示資訊,並將顯示資訊顯示於顯示器上。
為讓本揭露能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本揭露的部份範例實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本揭露的一部份,並未揭示所有本揭露的可實施方式。更確切的說,這些範例實施例僅為本揭露的專利申請範圍中的方法、裝置以及系統的範例。
圖1是根據本揭露一範例實施例所繪示的顯示系統的示意圖。首先圖1先介紹系統中的各個構件以及配置關係,詳細功能將配合後續範例實施例的流程圖一併揭露。
請參照圖1,本範例實施例中的顯示系統100可安裝於交通工具、娛樂機台等移動載具,並且包括顯示器110、至少一個第一資訊擷取裝置120、至少一個第二資訊擷取裝置130以及處理裝置140,其中處理裝置140可以是以無線、有線或電性連接於顯示器110、第一資訊擷取裝置120以及第二資訊擷取裝置130。
顯示器110可用以顯示資訊,其包括例如是液晶顯示器(Liquid crystal display,LCD)、場色序(Field sequential color)液晶顯示器、發光二極體(Light emitting diode,LED)顯示器、電濕潤顯示器等穿透式可透光顯示器,或者是投影式可透光顯示器。顯示器110可以是實作為移動載具的前車窗(擋風玻璃)、側車窗以及/或後車窗。移動載具內的使用者將透過顯示器110觀看移動載具的外部場景,而使用者所觀看到的內容可為包括疊加顯示資訊的外部場景。
第一資訊擷取裝置120用以擷取使用者的視線資訊,而第二資訊擷取裝置130用以擷取移動載具外部場景的場景資訊。第一資訊擷取裝置120可以例如是至少一個影像感測器,亦可以例如是至少一個影像感測器搭配至少一個深度感測器,以擷取使用者的臉部影像,進而取得使用者的視線資訊。也就是說,只要是可以擷取到使用者的視線資訊的裝置或其組合,皆屬於第一資訊擷取裝置120的範疇。第二資訊擷取裝置130則可以例如是至少一個影像感測器來擷取顯示器110的外部場景的影像,亦可以例如是GPS定位器或是雷達來定位顯示器110的外部場景的物件。也就是說,只要是擷取到顯示器110的外部場景的場景資訊的裝置或其組合,皆屬於第二資訊擷取裝置130的範疇。
處理裝置140用以控制顯示系統100的作動,其包括記憶體141以及處理器142。記憶體141可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。處理器142可以例如是中央處理單元(central processing unit,CPU)、應用處理器(application processor,AP),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、影像訊號處理器(image signal processor,ISP)、圖形處理器(graphics processing unit,GPU)或其他類似裝置、積體電路及其組合。以下範例實施例中將搭配顯示系統100的各元件來說明處理裝置140執行資訊顯示方法流程的細節。
圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖,而圖2的方法流程可例如由圖1的顯示系統100來實現。在此,移動載具內的使用者可透過顯示系統100的顯示器110來觀看移動載具的外部場景及其相關的資訊。
請同時參照圖1以及圖2,首先,顯示系統100的處理裝置140利用第一資訊擷取裝置擷取120使用者的視線資訊(步驟S202),並且利用第二資訊擷取裝置130擷取移動載具的外部場景的場景資訊(步驟S204)。如同前述,第一資訊擷取裝置120可以例如是可對移動載具內的使用者的視線資訊的影像感測器、深度感測器及其組合,第二資訊擷取裝置130可以例如是可對移動載具的外部場景的場景資訊進行資料擷取的影像感測器、GPS定位器、雷達及其組合,而具體設置方式將於後續範例實施例中分敘說明。
接著,處理裝置140將根據視線資訊以及場景資訊,計算使用者透過顯示器110觀看移動載具的外部場景的視野範圍(步驟S206),再根據使用者的視野範圍,產生顯示資訊(步驟S208),並且將顯示資訊顯示於顯示器110上(步驟S210)。也就是說,處理裝置140可以即時地依據使用者的視線,計算出使用者透過顯示器110所觀看到的視野,來產生並且顯示相對應的顯示資訊於顯示器110上,可以大幅地減少顯示所有外部場景的相關資訊所需的運算量。在此的顯示資訊可以是外部場景的導覽訊息、虛擬互動物件等,本揭露不以此為限。
為了方便明瞭,以下範例實施例將搭配顯示系統100的不同應用情境來具體地說明圖2流程的細節。在以下的範例實施例中,第一資訊擷取裝置120將實作為影像感測器,第二資訊擷取裝置130將實作為影像感測器或是GPS定位器,然而本揭露並不在此設限。
圖3A以及圖3B是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖,圖4是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
請同時參照圖1、圖3A、圖3B以及圖4,在本範例實施例中,顯示系統100的顯示器110將實作為移動載具V的側車窗,而使用者U將透過顯示器110觀看移動載具V的外部場景。在本範例實施例中,顯示系統100的處理裝置140將利用影像感測器(未繪示)取得使用者U的視線資訊(步驟S402),並利用影像感測器或GPS定位器取得移動載具V的外部場景的場景資訊(步驟S404)。在此,處理裝置140可以利用影像感測器所擷取到的使用者的臉部影像,以任何適用的眼球追蹤演算法來估算出使用者U的視線資訊。此外,處理裝置140可以利用影像感測器所擷取到的外部場景的影像進行場景分析,以取得場景資訊,或者是利用GPS定位器來定位出移動載具V的所在位置,進而推估出場景資訊。
接著,處理裝置140將利用使用者U的視線資訊以及移動載具V外部場景的場景資訊,計算出使用者U於移動載具V內透過顯示器110觀看移動載具V外部場景的視野範圍FOV(步驟S406),並且自物件資訊資料庫來載入視野範圍FOV的目標物相關資訊(步驟S408)。在此的物件資訊資料庫可以是儲存於記憶體141或者是透過通訊介面(未繪示)自雲端伺服器所取得。舉例來說,假設使用者U的視野範圍FOV內的目標物包括景點S1、景點S2以及景點S3,則其相關資訊可以是景點S1~S3的導覽訊息。假設景點S1為古蹟,其相關資訊可以是古蹟的歷史簡介。假設景點S2、S3為商店,其相關資訊可以是商店簡介、營業時間、評價等等。
接著,處理裝置140將判斷移動載具V是否正在移動(步驟S410)。當處理裝置140判定移動載具V正在移動時,則處理裝置140將計算移動載具V的行進方向D與目標物相對於移動載具V方位之間的相對關係(步驟S412),以計算出顯示資訊於顯示器110上的顯示位置(步驟S414),再根據使用者的視野範圍FOV,產生顯示資訊(步驟S416)。在此,以使用者的視線資訊、視野範圍FOV以及移動載具V與目標物的相對關係所計算出的顯示位置,可以降低顯示資訊的變動頻率,進而改善使用者U在觀看外部場景時,因移動載具V的震動或移動以及使用者U的視差所引起的動暈或眼睛疲勞的問題。另一方面,當處理裝置140判定移動載具V沒有在移動,則會直接執行步驟S416,根據使用者的視野範圍FOV來產生顯示資訊。
具體來說,處理裝置140可即時地根據使用者U的觀看位置來計算出使用者U的觀看視野,再依照其觀看視野的變化來顯示不同資訊或互動於使用者U的觀看視野中。以圖3B為例,假設110’為顯示器110的顯示空間將顯示景點S1所對應的相關資訊R1以及景點2所對應的相關資訊R2。
具體來說,圖5A~5C是根據本揭露之一範例實施例所繪示的顯示資訊的顯示位置的計算方法的示意圖。
請同時參照圖1以及圖5A,D1為顯示器110與目標物之間的距離, d為使用者U的眼睛與顯示器110之間的距離,L為使用者U在此距離關係可觀看的最大視野範圍,d1為使用者U向後移動後的眼睛與顯示器110之間的距離,此時使用者U可觀看的視野範圍會變小為L'。假設x為顯示資訊於X方向的原顯示位置,而xc為顯示器110於X方向的中心,x'為使用者U向後移動後顯示資訊於X方向的顯示位置,其中x'可依據三角形的比例關係來推得x'。
詳細來說,假設PNum為顯示畫面於X方向的總數量。以圖5B為例,當
,可分別根據三角形510以及三角形520來推得以下關係式:
也就是說,當
時,顯示位置x'為方程式(1):
(1)
以圖5C為例,當
,可分別根據三角形530以及三角形540來推得以下關係式:
也就是說,當
時,顯示位置x'為方程式(2):
(2)
因此,針對同一目標物來說(以下稱為「第一目標物」)。當使用者以第一視野範圍觀看第一目標物時,處理裝置140將會設定第一目標物的相關資訊中的第一相關資訊為顯示資訊。當使用者以第二視野範圍觀看第一目標物時,處理裝置140將會設定第一目標物的相關資訊中的第二相關資訊為顯示資訊。在此,第一視野範圍不同於第二視野範圍,而第一相關資訊可能不同於第二相關資訊。
舉例來說,當使用者相對於第一目標物的觀看距離為第一距離時,處理裝置140將會設定第一目標物的相關資訊中的第一相關資訊為顯示資訊。當使用者相對於第一目標物的觀看距離為第二距離時,處理裝置140將會設定第一目標物的相關資訊中的第二相關資訊為顯示資訊。在此,第一距離小於第二距離,第一相關資訊的資訊量大於第二相關資訊的資訊量。換言之,當使用者與第一目標物的距離較近時,第一目標物在使用者的視野範圍內將會呈現較大的視野面積,此時顯示器110上可以顯示較多屬於第一目標物資訊量的顯示資訊。當使用者與第一目標物的距離較遠時,第一目標物在使用者U的視野範圍內將會呈現較小的視野面積,顯示器110上可能顯示較少第一目標物資訊量的顯示資訊。
舉例來說,當使用者相對於第一目標物的觀看方位為第一方位時,處理裝置140可以設定第一目標物的相關資訊中的第一相關資訊為顯示資訊。當使用者相對於第一目標物的觀看方位為第二方位時,處理裝置140可以設定第一目標物的相關資訊中的第二相關資訊為顯示資訊。在此,第一方位不同於第二方位,而第一相關資訊可能不同於第二相關資訊。具體來說,當使用者U的觀看位置較低時,顯示器110上可以顯示較多屬於第一目標物的下方資訊。當使用者U的觀看位置較高時,顯示器110上可以顯示較多屬於第一目標物的上方資訊。當使用者U的觀看位置較左時,顯示器110上可以顯示較多屬於第一目標物的左方資訊。當使用者U的觀看位置較右時,顯示器110上可以顯示較多屬於第一目標物的右方資訊。當使用者U的觀看位置傾斜或是側視時,顯示器110上亦可對顯示資訊進行相對應的顯示。
圖6是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
請同時參照圖1以及圖6,在本範例實施例中,移動載具V可具有多個車窗W1、W2實作為顯示器110,而當移動載具V以行進方向D移動時,處理裝置140可更進一步地決定資訊要顯示於哪個車窗。處理裝置140可以是先利用影像辨識判別目標物的所在位置,再根據移動載具V的行進方向與目標物相對於移動載具V的方向之間的相對關係(例如:夾角)來判斷。舉例來說,當夾角位於第一夾角範圍(例如
),處理裝置140會將顯示資訊顯示於左窗W1,而當夾角位於第二夾角範圍(例如
),處理裝置140會將顯示資訊顯示於右窗W2。在本範例實施例中,景點S61與移動載具V的行進方向D之間的夾角為
,則處理裝置140可將景點S61的顯示資訊顯示於位於左窗W1上。景點S62與移動載具V的行進方向D之間的夾角為
,則處理裝置140可將景點S62的顯示資訊顯示於位於右窗W2上。
圖7是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
請同時參照圖1以及圖7,在本範例實施例中,移動載具V可具有多個車窗W1~W4實作為顯示器110,且分別皆設有影像感測器730A~730D來擷取移動載具V的外部場景,而當移動載具V在移動時,處理裝置140可先以GPS定位器730E判斷景點S7的初步位置,再進一步地利用影像感測器730C進行影像辨識,可更精確地判定景點S7的確切位置。
圖8A以及圖8B是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
請同時參照圖1以及圖8A、圖8B,在本範例實施例中,假設使用者U觀看目標物(例如景點S1)時,被其它物件(例如旁邊車道的車輛E)干擾、遮擋時。處理裝置140可以根據景點S1的相關資訊來產生顯示資訊(例如圖片、文字說明或是景點S1被遮蔽範圍的影像),並且可將景點S1的顯示資訊疊合於顯示器110上對應於車輛E的位置,利於克服目標物因過遠或被遮擋的問題。
此外,處理裝置140可以自影像感測器取得包括景點S1的目前影像以及排序於目前影像之前的先前影像來進行比對,以判斷景點S1於目前影像與先前影像的特徵大小的比值是否大於或等於預設閥值,在此的預設閥值可以例如是介於0.1與1之間的任意數值。當景點S1於目前影像與先前影像的特徵大小的比值大於預設閥值,代表景點S1被遮蔽的範圍將會越來越小,處理裝置140可將景點S1的顯示資訊顯示於顯示器110上。另一方面,當景點S1於目前影像與先前影像的特徵大小的比值小於預設閥值,代表景點S1被遮蔽的範圍將會越來越大,處理裝置140可選擇不將景點S1的顯示資訊顯示於顯示器110上。以本範例實施例來說,在視野範圍FOV中存在被遮蔽區域NFOV的前提下,處理裝置140仍是可以顯示景點1所對應的相關資訊R1以及景點2所對應的相關資訊R2。
圖9是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
請同時參照圖1以及圖9,在本範例實施例中,當使用者的視野範圍FOV中包括太多目標物,為了避免資訊過多而造成使用者U的觀看困難,處理裝置140可以預先取得使用者有興趣的類型。當目標物的數量大於預設數量時,處理裝置140僅會自物件資訊資料庫取得使用者U有興趣的目標物的相關資訊來產生顯示資訊。在此,使用者U的視野範圍FOV中包括4個景點S1~S3、S7。假設預設數量是3,當景點S7並非為使用者U有興趣的目標物時,則景點S7的相關資訊將不會被顯示。
此外,在一範例實施例中,處理裝置140以移動載具的行進路徑D為基礎,預先自物件資訊資料庫載入物件資訊,並且在使用者U的視野範圍FOV內,依使用者有興趣的類型來進行資訊顯示,以克服移動載具與物件近距離時等原因,使得資訊變動過快,系統反應時間不足及/或使用者無法觀看的問題。舉例來說,假設景點S4~S6、S8為行進路徑D的鄰近景點,則處理裝置140可以預先載入景點S4~S6、S8的相關資訊。
在另一範例實施例中,處理裝置140可以在移動載具移動的狀態下,針對使用者的視野範圍FOV內的顯示資訊進行凝結鎖定,避免顯示資訊因使用者轉頭、動眼而有相對性的飄移,以提升顯示資訊的可閱讀性。此外,使用者U更可以對凝結鎖定的顯示資訊,以語音辨識、手勢操作、面板觸控、混合控制(例如腦波)的方式來對凝結鎖定的資訊進行互動操作。
本揭露的範例實施例所提出的資訊顯示方法及其處理裝置與顯示系統,可即時地依據使用者的視線,計算出使用者透過顯示器所觀看到的視野,產生並且顯示相對應的顯示資訊於顯示器上,可大幅提升移動載具內的使用者的觀看體驗。
雖然本揭露已以範例實施例揭露如上,然其並非用以限定本揭露,任何所屬技術領域中具有通常知識者,在不脫離本揭露的精神和範圍內,當可作些許的更動與潤飾,故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
100:顯示系統
110:顯示器
120:第一資訊擷取裝置
130:第二資訊擷取裝置
140:處理裝置
141:記憶體
142:處理器
S202~S208、S402~S416:方法步驟
FOV:視野範圍
U:使用者
V:移動載具
D:行徑方向
D1、d、d1:距離
x、x’、xc:位置
L、L’:最大視野範圍
510、520、530、540:三角形
S1~S8、S61、S62:景點
R1、R2:相關資訊
110’:顯示空間
W1~W4:車窗
730A~730D:影像感測器
730E:定位器
E:車輛
NFOV:被遮蔽區域
圖1是根據本揭露一範例實施例所繪示的顯示系統的示意圖。
圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
圖3A以及圖3B是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
圖4是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。
圖5A~5C是根據本揭露之一範例實施例所繪示的顯示資訊的顯示位置的計算方法的示意圖。
圖6是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
圖7是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
圖8A以及圖8B是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
圖9是根據本揭露之一範例實施例所繪示的顯示系統的應用情境的示意圖。
S202~S210:方法步驟
Claims (19)
- 一種顯示系統,安裝於移動載具,包括:可透光的顯示器;至少一第一資訊擷取裝置,用以擷取該移動載具內的使用者的視線資訊;至少一第二資訊擷取裝置,用以擷取該移動載具的外部場景的場景資訊;處理裝置,連接於該顯示器、所述第一資訊擷取裝置以及所述第二資訊擷取裝置,用以:根據該視線資訊以及該場景資訊,計算該使用者透過該顯示器觀看該移動載具的該外部場景的視野範圍;根據該視野範圍內的至少一目標物,自物件資訊資料庫取得各所述目標物的相關資訊,以產生顯示資訊;以及顯示該顯示資訊於該顯示器上。
- 如請求項1所述的顯示系統,其中所述第一資訊擷取裝置包括影像感測器。
- 如請求項1所述的顯示系統,其中所述第二資訊擷取裝置包括定位器。
- 如請求項1所述的顯示系統,其中所述第二資訊擷取裝置包括影像感測器以及定位器。
- 如請求項1所述的顯示系統,其中:所述目標物包括第一目標物; 當該使用者以第一視野範圍觀看該第一目標物時,該處理裝置設定該第一目標物的相關資訊中的第一相關資訊為該顯示資訊;以及當該使用者以第二視野範圍觀看該第一目標物時,該處理裝置設定該第一目標物的該相關資訊中的第二相關資訊為該顯示資訊,其中該第一視野範圍不等於該第二視野範圍,該第一相關資訊不同於該第二相關資訊。
- 如請求項1所述的顯示系統,其中:所述目標物包括第一目標物;當該使用者相對於該第一目標物的觀看距離為第一距離時,該處理裝置設定該第一目標物的相關資訊中的第一相關資訊為該顯示資訊;以及當該使用者相對於該第一目標物的觀看距離為第二距離時,該處理裝置設定該第一目標物的該相關資訊中的第二相關資訊為該顯示資訊,其中該第一距離小於該第二距離,該第一相關資訊的資訊量大於等於該第二相關資訊的資訊量。
- 如請求項1所述的顯示系統,其中:所述目標物包括第一目標物;當該使用者相對於該第一目標物的觀看方位為第一方位時,該處理裝置設定該第一目標物的相關資訊中對應於該第一方位的第一相關資訊為該顯示資訊;以及 當該使用者相對於該第一目標物的觀看方位為第二方位時,該處理裝置設定該第一目標物的該相關資訊中對應於該第二方位的第二相關資訊為該顯示資訊。
- 如請求項1所述的顯示系統,該處理裝置更用以:判斷該移動載具是否正在移動;以及當判定該移動載具沒有在移動時,該處理裝置根據該視野範圍以及各所述目標物的該相關資訊,產生該顯示資訊。
- 如請求項1所述的顯示系統,該處理裝置更用以:判斷該移動載具是否正在移動;以及當判定該移動載具正在移動時,計算該移動載具的行進方向與各所述目標物相對於該移動載具的方位之間的相對關係;根據該相對關係,計算該顯示資訊於該顯示器的顯示位置;以及根據該顯示位置、該視野範圍以及各所述目標物的該相關資訊,產生該顯示資訊。
- 如請求項9所述的顯示系統,其中該移動載具更包括另一可透光的顯示器,該處理裝置更用以:根據該相對關係,設定該顯示資訊顯示至該顯示器或該另一顯示器的其中之一者。
- 如請求項10所述的顯示系統,其中: 當該相對關係為第一夾角並且該第一夾角位於第一夾角範圍時,該處理裝置設定該顯示資訊顯示於該顯示器上;以及當該相對關係為第二夾角並且該第二夾角位於第二夾角範圍時,該處理裝置設定該顯示資訊顯示於該另一顯示器上,其中該第一夾角範圍不重疊於該第二夾角範圍。
- 如請求項1所述的顯示系統,其中所述目標物包括第一目標物,該處理裝置更用以:當該第一目標物被其它物件遮蔽時,根據該第一目標物的相關資訊,產生第一顯示資訊;顯示該第一顯示資訊於該顯示器上,其中該第一顯示資訊疊合於該其它物件上。
- 如請求項12所述的顯示系統,其中所述第二資料擷取裝置包括影像感測器,該處理裝置更用以:取得包括該第一目標物的目前影像以及先前影像,其中該先前影像排序於該目前影像之前;判斷該第一目標物於該目前影像與該先前影像的特徵大小的比值是否大於預設閥值;當該比值大於或等於該預設閥值,顯示該第一顯示資訊於該顯示器上;以及當該比值小於該預設閥值,不顯示該第一顯示資訊於該顯示器上。
- 如請求項1所述的顯示系統,其中該視野範圍外具有至少一鄰近目標物,該處理裝置更用以:自該物件資訊資料庫取得所述鄰近目標物的相關資訊。
- 如請求項1所述的顯示系統,其中該處理裝置根據該顯示位置、該視野範圍以及各所述目標物的該相關資訊中使用者有興趣的資訊,產生該顯示資訊。
- 如請求項1所述的顯示系統,其中當所述目標物的數量大於預設數量時,該處理裝置自該物件資訊資料庫取得所述目標物中使用者有興趣的目標物的相關資訊,據以產生該顯示資訊。
- 如請求項1所述的顯示系統,其中該處理裝置更用以:當各所述目標物位於該視野範圍內時,凝結鎖定各所述目標物的該顯示資訊至該顯示器上。
- 一種資訊顯示方法,適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統,其中該顯示系統安裝於移動載具,而該方法包括:利用所述第一資訊擷取裝置擷取該移動載具內的使用者的視線資訊;利用所述第二資訊擷取裝置擷取該移動載具的外部場景的場景資訊; 根據該視線資訊以及該場景資訊,計算該使用者透過該顯示器觀看該移動載具的該外部場景的視野範圍;根據該視野範圍內的至少一目標物,自物件資訊資料庫取得各所述目標物的相關資訊,以產生顯示資訊;以及顯示該顯示資訊於該顯示器上。
- 一種處理裝置,安裝於移動載具,並且連接於可透光的顯示器、至少一第一資訊擷取裝置以及至少一第二資訊擷取裝置,其中所述第一資訊擷取裝置用以擷取該移動載具內的使用者的視線資訊,所述第二資訊擷取裝置用以擷取該移動載具的外部場景的場景資訊,該處理裝置包括:記憶體,用以儲存資料;以及處理器,用以:自所述第一資訊擷取裝置取得該視線資訊;自所述第二資訊擷取裝置取得該場景資訊;根據該視線資訊以及該場景資訊,計算該使用者透過該顯示器觀看該移動載具的該外部場景的視野範圍;根據該視野範圍內的至少一目標物,自物件資訊資料庫取得各所述目標物的相關資訊,以產生顯示資訊;以及顯示該顯示資訊於該顯示器上。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163175569P | 2021-04-16 | 2021-04-16 | |
| US63/175,569 | 2021-04-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202242482A TW202242482A (zh) | 2022-11-01 |
| TWI799000B true TWI799000B (zh) | 2023-04-11 |
Family
ID=83601300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110146857A TWI799000B (zh) | 2021-04-16 | 2021-12-15 | 資訊顯示方法及其處理裝置與顯示系統 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11815679B2 (zh) |
| TW (1) | TWI799000B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11822851B2 (en) * | 2021-11-10 | 2023-11-21 | Industrial Technology Research Institute | Information display system, information display method, and processing device |
| TWI832657B (zh) * | 2023-01-05 | 2024-02-11 | 財團法人工業技術研究院 | 資訊顯示方法及其處理裝置與資訊顯示系統 |
| US20250329279A1 (en) * | 2024-04-17 | 2025-10-23 | GM Global Technology Operations LLC | Enabling vehicle display interaction and personalization |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103217169A (zh) * | 2012-01-24 | 2013-07-24 | 通用汽车环球科技运作有限责任公司 | 全挡风玻璃显示器上的最佳注视位置 |
| CN105929539A (zh) * | 2016-05-19 | 2016-09-07 | 彭波 | 汽车或移动设备3d影像采集和裸眼3d平视显示系统及3d影像处理方法 |
| US9470891B2 (en) * | 2013-06-17 | 2016-10-18 | Saab Ab | Head-up display for night vision goggles |
| CN106484094A (zh) * | 2015-08-24 | 2017-03-08 | 福特全球技术公司 | 用于具有抬头显示器的车辆中眼球追踪的方法 |
| JP6246757B2 (ja) * | 2014-03-25 | 2017-12-13 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム |
| TW201833727A (zh) * | 2016-12-12 | 2018-09-16 | 財團法人工業技術研究院 | 透明顯示裝置、使用其之控制方法以及其之控制器 |
| US10104298B2 (en) * | 2012-11-19 | 2018-10-16 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
| US10315573B2 (en) * | 2014-02-19 | 2019-06-11 | Magna Electronics Inc. | Method for displaying information to vehicle driver |
| TW201930960A (zh) * | 2017-12-20 | 2019-08-01 | 美商雷亞有限公司 | 交叉渲染多視域攝影機、系統、及方法 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0332197Y2 (zh) | 1985-09-09 | 1991-07-09 | ||
| US8384532B2 (en) * | 2009-04-02 | 2013-02-26 | GM Global Technology Operations LLC | Lane of travel on windshield head-up display |
| US8977489B2 (en) * | 2009-05-18 | 2015-03-10 | GM Global Technology Operations LLC | Turn by turn graphical navigation on full windshield head-up display |
| US8503762B2 (en) * | 2009-08-26 | 2013-08-06 | Jacob Ben Tzvi | Projecting location based elements over a heads up display |
| US9128281B2 (en) * | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
| US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| US11397462B2 (en) | 2012-09-28 | 2022-07-26 | Sri International | Real-time human-machine collaboration using big data driven augmented reality technologies |
| US10142496B1 (en) * | 2013-01-26 | 2018-11-27 | Ip Holdings, Inc. | Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality |
| US11428955B1 (en) * | 2013-03-15 | 2022-08-30 | Percept Technologies | Personalized optics |
| US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
| US9426358B2 (en) * | 2014-03-11 | 2016-08-23 | Nokia Technologies Oy | Display of video information |
| US10007413B2 (en) * | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
| TWI578021B (zh) | 2015-08-19 | 2017-04-11 | 國立臺北科技大學 | 擴增實境互動系統及其動態資訊互動顯示方法 |
| DE102016120430A1 (de) * | 2015-10-26 | 2017-04-27 | Active Knowledge Ltd. | Bewegliche, innere stoßdämpfende Polsterung zur Energiedissipation in einem autonomen Fahrzeug |
| US10116873B1 (en) * | 2015-11-09 | 2018-10-30 | Ambarella, Inc. | System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle |
| CN108227914B (zh) * | 2016-12-12 | 2021-03-05 | 财团法人工业技术研究院 | 透明显示装置、使用其的控制方法及其控制器 |
| TWI668492B (zh) | 2017-08-14 | 2019-08-11 | 財團法人工業技術研究院 | 透明顯示裝置及使用其之控制方法 |
| US11314399B2 (en) * | 2017-10-21 | 2022-04-26 | Eyecam, Inc. | Adaptive graphic user interfacing system |
| US10105601B1 (en) | 2017-10-27 | 2018-10-23 | Nicholas T. Hariton | Systems and methods for rendering a virtual content object in an augmented reality environment |
| KR102014261B1 (ko) * | 2017-12-12 | 2019-08-26 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 차량의 제어방법 |
| US11221741B2 (en) * | 2018-08-30 | 2022-01-11 | Sony Corporation | Display control of interactive content based on direction-of-view of occupant in vehicle |
| US20200082576A1 (en) * | 2018-09-11 | 2020-03-12 | Apple Inc. | Method, Device, and System for Delivering Recommendations |
| KR102203371B1 (ko) * | 2018-11-30 | 2021-01-15 | 삼성물산 주식회사 | 놀이공원에서 놀이기구를 가동하는 동안 이미지를 시각화하는 장치, 방법 및 이미지 시각화 장치를 관리하는 장치 및 방법 |
| US10744936B1 (en) * | 2019-06-10 | 2020-08-18 | Ambarella International Lp | Using camera data to automatically change the tint of transparent materials |
| US11430198B1 (en) * | 2020-01-10 | 2022-08-30 | Apple Inc. | Method and device for orientation-based view switching |
| DE102020212520B3 (de) * | 2020-10-05 | 2021-10-21 | Volkswagen Aktiengesellschaft | Horizontale Positionsfestlegung für das Einblenden virtueller Objekte bei einer Head-Up-Displayeinrichtung |
| US11449149B2 (en) * | 2021-02-03 | 2022-09-20 | Google Llc | Assistant device arbitration using wearable device data |
-
2021
- 2021-12-15 TW TW110146857A patent/TWI799000B/zh active
- 2021-12-15 US US17/551,197 patent/US11815679B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103217169A (zh) * | 2012-01-24 | 2013-07-24 | 通用汽车环球科技运作有限责任公司 | 全挡风玻璃显示器上的最佳注视位置 |
| US10104298B2 (en) * | 2012-11-19 | 2018-10-16 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
| US9470891B2 (en) * | 2013-06-17 | 2016-10-18 | Saab Ab | Head-up display for night vision goggles |
| US10315573B2 (en) * | 2014-02-19 | 2019-06-11 | Magna Electronics Inc. | Method for displaying information to vehicle driver |
| JP6246757B2 (ja) * | 2014-03-25 | 2017-12-13 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム |
| CN106484094A (zh) * | 2015-08-24 | 2017-03-08 | 福特全球技术公司 | 用于具有抬头显示器的车辆中眼球追踪的方法 |
| CN105929539A (zh) * | 2016-05-19 | 2016-09-07 | 彭波 | 汽车或移动设备3d影像采集和裸眼3d平视显示系统及3d影像处理方法 |
| TW201833727A (zh) * | 2016-12-12 | 2018-09-16 | 財團法人工業技術研究院 | 透明顯示裝置、使用其之控制方法以及其之控制器 |
| TW201930960A (zh) * | 2017-12-20 | 2019-08-01 | 美商雷亞有限公司 | 交叉渲染多視域攝影機、系統、及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220334388A1 (en) | 2022-10-20 |
| US11815679B2 (en) | 2023-11-14 |
| TW202242482A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10776954B2 (en) | Real-world anchor in a virtual-reality environment | |
| US20240378736A1 (en) | Structuring visual data | |
| TWI799000B (zh) | 資訊顯示方法及其處理裝置與顯示系統 | |
| US20200111256A1 (en) | Real-world anchor in a virtual-reality environment | |
| US9171214B2 (en) | Projecting location based elements over a heads up display | |
| US9756319B2 (en) | Virtual see-through instrument cluster with live video | |
| US11024083B2 (en) | Server, user terminal device, and control method therefor | |
| EP2671188B1 (en) | Context aware augmentation interactions | |
| KR102233052B1 (ko) | 혼합 현실의 등급을 매긴 정보 전달 | |
| US11290705B2 (en) | Rendering augmented reality with occlusion | |
| WO2022241638A1 (zh) | 一种投影方法及装置、车辆及ar-hud | |
| WO2019037489A1 (zh) | 地图显示方法、装置、存储介质及终端 | |
| US20140267282A1 (en) | System And Method For Context Dependent Level Of Detail Adjustment For Navigation Maps And Systems | |
| US11272153B2 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
| US20090319178A1 (en) | Overlay of information associated with points of interest of direction based data services | |
| US11410330B2 (en) | Methods, devices, and systems for determining field of view and producing augmented reality | |
| CN105659304A (zh) | 视觉增强导航 | |
| US9639986B2 (en) | Head mounted display and method of controlling thereof | |
| US10896500B2 (en) | Display and method for displaying dynamic information of object | |
| US10931938B2 (en) | Method and system for stereoscopic simulation of a performance of a head-up display (HUD) | |
| KR20170133747A (ko) | 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법 | |
| CN102200445A (zh) | 实时扩增实境装置及其实时扩增实境方法 | |
| JP2025530142A (ja) | 情報表示方法、情報表示装置、電子デバイス及びコンピュータプログラム | |
| EP2991358A2 (en) | Communication of cloud-based content to a driver | |
| WO2022190970A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、情報処理システム |