TW201833727A

TW201833727A - 透明顯示裝置、使用其之控制方法以及其之控制器

Info

Publication number: TW201833727A
Application number: TW106138750A
Authority: TW
Inventors: 李正中; 陳光榮; 王聖博; 陳恒殷
Original assignee: 財團法人工業技術研究院; 創智智權管理顧問股份有限公司
Priority date: 2016-12-12
Filing date: 2017-11-09
Publication date: 2018-09-16
Also published as: TWI659334B

Abstract

一種透明顯示裝置、使用其之控制方法以及其之控制器。透明顯示裝置包括透明顯示器、第一感測器組、第二感測器組以及控制器。第一感測器組用以感測位於第一面的使用者資訊。第二感測器組用以感測位於第二面的景物資訊。控制器依據使用者資訊以分析與判斷使用者的所在位置及注視方向，依據使用者的所在位置及注視方向來計算位在景物資訊中的第一注視點以及位於透明顯示器上的第二注視點，依據景物資訊來判斷第一注視點所對應的目標物，查詢與目標物相對應的目標物資訊，並控制透明顯示器以依據第二注視點來呈現目標物資訊。

Description

透明顯示裝置、使用其之控制方法以及其之控制器

本揭露是有關於一種透明顯示裝置、使用其之控制方法以及其之控制器。

在許多觀景地點中，例如東京鐵塔或台北101大樓頂樓的觀景臺，遊客可以透過遠眺看到許多漂亮的風景；在水族館中可讓遊客看見許多海洋生物；在博物館中可讓遊客看見許多文物。然而，遊客可能不熟悉正在觀看的著名大樓、景點、海洋生物或是文物的相關信息，例如景物名稱、由來、典故、介紹…等。因此，這些觀景地點的廠商通常會另外製作信息看板、語音導覽…等信息來源以供遊客觀賞且更為深入了解這些景觀物件（如，著名大樓、景點、海洋生物或是文物）。然而，這些信息來源仍有因其表現方式而有侷限性，例如，信息看板可能會遮蔽到景觀物件、且無法直接地指出景觀物件在何處，語音導覽亦無法明確地指出景觀物件在何處。

部分廠商希望將具備擴增實境（Augmented Reality；AR）功能的顯示技術導入到景觀物件的導覽與解說應用上。所謂的『擴增實境』是透過對攝影機影像的位置及角度進行運算，並加上圖像分析技術，讓顯示螢幕上呈現的虛擬資訊能夠與現實世界場景進行結合與互動。然而，現今具備擴增實境功能的顯示技術通常是配合可攜式穿戴裝置（如，具備AR功能的眼鏡）來實現為主，因可攜式穿戴裝置與使用者之間的距離通常都位在固定範圍內。然而，以大型的透明顯示器來實現擴增實境功能則尚有許多技術亟待突破。

本揭露實施例提供一種透明顯示裝置、使用其之控制方法以及其之控制器，可透過多種方法來迅速地讓使用者所在的座標、注視方向與景物中的目標物相對應，藉以即時地將此目標物的相關資訊呈現在位於使用者及目標物之間的透明顯示器上，從而實現擴增實境功能。

本揭露實施例提出一種透明顯示裝置，其包括透明顯示器、第一感測器組、第二感測器組以及控制器。透明顯示器包括第一面與相對於所述第一面的第二面。透明顯示器的顯示區域在視覺上是可穿透的。第一感測器組用以感測位於第一面的使用者資訊。第二感測器組用以感測位於第二面的景物資訊。控制器耦接所述透明顯示器、所述第一感測器組及所述第二感測器組。控制器接收所述第一感測器組所感測的所述使用者資訊以分析與判斷使用者的所在位置及注視方向，所述控制器依據所述使用者的所述所在位置及所述注視方向來計算位在所述景物資訊中的第一注視點以及位於所述透明顯示器上的第二注視點，依據所述景物資訊來判斷所述第一注視點所對應的目標物，查詢與所述目標物相對應的目標物資訊，並控制所述透明顯示器以依據所述第二注視點來呈現所述目標物資訊。

本揭露實施例提出一種透明顯示裝置的控制方法。所述透明顯示裝置包括透明顯示器、第一感測器組以及第二感測器組。所述控制方法包括下列步驟：感測位於所述透明顯示器的第一面的使用者資訊；感測位於所述透明顯示器的第二面的景物資訊，其中所述第二面相對於所述第一面；依據所述使用者資訊以分析與判斷使用者的所在位置及注視方向；依據所述使用者的所述所在位置及所述注視方向來計算位在所述景物資訊中的第一注視點以及位於所述透明顯示器上的第二注視點；依據所述景物資訊來判斷所述第一注視點所對應的目標物；以及，查詢與所述目標物相對應的目標物資訊，並控制所述透明顯示器以依據所述第二注視點來呈現所述目標物資訊。

本揭露實施例提出一種用於透明顯示裝置的控制器。所述控制器包括輸入控制模組、觀看區域擷取模組、演算分析模組、物件辨識模組以及資訊顯示模組。輸入控制模組耦接所述透明顯示裝置的第一感測器組。輸入控制模組接收位於所述透明顯示裝置的第一面的使用者資訊，並依據所述使用者資訊以分析與判斷使用者的所在位置及注視方向。觀看區域擷取模組耦接所述透明顯示裝置的第二感測器組。觀看區域擷取模組接收位於所述透明顯示裝置的第二面的景物資訊。演算分析模組耦接所述輸入控制模組以及所述觀看區域截去模組。演算分析模組依據所述使用者的所述所在位置及所述注視方向來計算位在所述景物資訊中的第一注視點以及位於所述透明顯示器上的第二注視點，並依據所述景物資訊來判斷所述第一注視點所對應的目標物。物件辨識模組耦接所述演算分析模組。物件辨識模組查詢與所述物件相對應的目標物資訊。資訊顯示模組耦接所述透明顯示裝置中的透明顯示器。資訊顯示模組控制所述透明顯示器以依據所述第二注視點來呈現所述目標物資訊。

為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本揭露實施例的一種透明顯示裝置100的示意圖。圖2是依照本揭露實施例的一種透明顯示裝置100的方塊圖。請同時參照圖1及圖2，透明顯示裝置100包括透明顯示器110、第一感測器組120、第二感測器組130以及控制器140。透明顯示器110是指顯示器本身具有一定程度的光線穿透性，能夠呈現出面板後方的背景。也就是說，透明顯示器110的顯示區域在視覺上是可穿透的。本實施例的透明顯示器110可適用於建築物（如，觀景臺、水族館、博物館）中的窗戶、展覽櫥窗、車輛玻璃兼顯示器…等多種應用。本實施例的透明顯示器110具備朝向使用者150的第一面以及朝向景物的第二面。也就是說，透明顯示器110的第一面與第二面互為相對。

第一感測器組120用以感測位於透明顯示器110第一面的使用者資訊。第二感測器組130用以感測位於透明顯示器110第二面的景物資訊（如，圖1所示包括多個目標物161~163的景物資訊）。虛框160用來表示第二感測器組130在擷取或感測目標物161~163時的取像平面160。本實施例圖1中的第一感測器組120設置於透明顯示器110本體外側、朝向使用者的一面、位於透明顯示器110的中間線位置且位於透明顯示器110本體的上方處，第二感測器組130則設置於透明顯示器110本體外側、朝向外部景物的一面、位於透明顯示器110的中間線位置且位於透明顯示器110本體的上方處。應用本實施例者還可將第一感測器組120及第二感測器組130設計在透明顯示器110本體當中、將感測器組120、130設置在靠近透明顯示器110左方或靠近透明顯示器110右方的非中間線位置、或是將第一感測器組120及第二感測器組130設計在遠離透明顯示器110本體的其他位置，例如依據常用使用者的身高來降低第一感測器組120的設置高度。也就是說，本揭露不限制第一感測器組120及第二感測器組130的設置位置，只要第一感測器組120能夠感測到位於透明顯示器110第一面的使用者資訊且第二感測器組130能夠感測位於透明顯示器110第二面的景物資訊即可。

第一感測器組120可以用來感測與使用者150有關的多樣化資訊，例如使用者的影像、使用者對第一面的觸控資訊、語音資訊…等。換句話說，本實施例的第一感測器組120至少包括第一取像裝置（如，平面攝影機或立體攝影機）。第一取像裝置耦接控制器140，用以獲得透明顯示器110第一面的影像，且影像中包括使用者150的影像。第一感測器組140還可進一步包括觸控感測器、音訊擷取裝置、眼球追蹤裝置、紅外線感測器及傾斜感測器的其中之一或其組合。於本實施例中，觸控感測器設置於透明顯示器110的第一面。當觸控感測器獲得使用者150在透明顯示器110的第一面的觸碰點時，可將此觸碰點視為是使用者150在透明顯示器110上的注視點。藉此，可讓透明顯示裝置100藉由使用者150的位置以及上述注視點的連線作為使用者150的注視方向，從而知悉使用者150在景物資訊中所注視的目標物。音訊擷取裝置則是用以接收使用者150的語音資訊，所述控制器可依據使用者150的語音資訊執行相應操作，例如以語音方式控制透明顯示裝置100來標記特定建築物/魚種…等。部分實施例中的第一感測器組140可以不具備觸控模組及音訊擷取裝置，但也會減少相應的功能。

第二感測器組130則可獲得使用者150透過透明顯示器110向外觀看的景物資訊。本實施例的第二感測器組130至少包括第二取像裝置。此第二取像裝置可以是平面攝影機或立體攝影機。第二感測器組130亦可由多個攝影機組合而成。另一方面，第二感測器組130也還可以依據應用本實施例者的需求而設置特殊的感測器，例如聲納感測器、紅外線影像感測器…等，藉以在特殊環境下亦可以獲得透明顯示器110第二面的景物資訊。應用本實施例者可依其需求而在第一感測器組120以及第二感測器組130增加其他類型的感測器以供進行實際應用，藉以增加透明顯示裝置100的功能。

控制器140耦接透明顯示器110、第一感測器組120及第二感測器組130。本實施例的控制器140可以是由系統晶片（SOC）、場可編程閘陣列（field programmable gate array；FPGA）晶片、複雜可編程邏輯元件（complex programmable logic device；CPLD）、微處理器…等硬體元件來實現。本實施例的控制器140還可包括多個功能模組。例如，控制器140包括輸入控制模組210、觀看區域擷取模組220、演算分析模組230、物件辨識模組240以及資訊顯示模組250。演算分析模組230耦接輸入控制模組210、觀看區域擷取模組220、物件辨識模組240以及資訊顯示模組250。輸入控制模組210耦接第一感測器組120，觀看區域擷取模組220耦接第二感測器組130。這些功能模組可以由軟體配合控制器140來實現，也可直接由具備相應功能的硬體電路以形成控制器140來實現。

圖3是依照本揭露實施例的一種透明顯示裝置的控制方法的流程圖。圖3所述的方法流程可結合圖1及圖2所示的透明顯示裝置100來實現。請同時參照圖2及圖3，於步驟S310中，控制器140中的輸入控制模組210透過第一感測器組120來感測位於透明顯示器110第一面的、與使用者150相關的使用者資訊UIF。使用者資訊是以使用者影像為主，也可以涵蓋使用者150與透明顯示器140之間的深度資訊、使用者150的觸控資訊、使用者150的語音信息、使用者150的眼球追蹤信息…等。

於步驟S320中，控制器140中的觀看區域擷取模組220透過第二感測器組130來感測位於透明顯示器110第二面的景物資訊SIF。景物資訊SIF可利用平面攝影、聲納、紅外線感測、立體攝影…等技術來獲得。景物資訊中通常可具備多個目標物。步驟S310及步驟S320可調整其順序來執行，本實施例將會持續不斷地執行步驟S310以及S320，藉以即時性地感測當前的使用者資訊UIF以及景物資訊SIF。

於步驟S330中，控制器140中的演算分析模組230依據使用者資訊UIF以分析與判斷使用者150的所在位置及注視方向。於步驟S340中，控制器140中的演算分析模組230依據使用者150的所在位置及注視方向來計算位在景物資訊中的第一注視點以及位於透明顯示器110上的第二注視點。於步驟S350中，在得知第一注視點後，控制器140中的演算分析模組230將可判斷第一注視點所對應的目標物。換句話說，步驟S350中的演算分析模組230可透過第一注視點來判斷使用者150在注視景物資訊SIF中的哪一個目標物。於步驟S360中，控制器140中的演算分析模組230配合物件識別模組240來查詢與目標物相對應的目標物資訊。物件識別模組240中可具備相應的資料庫以做為目標物的識別之用，例如，若為風景區/水族館/博物館，則可利用建築物資料庫/魚類資料庫/文物資料庫來實現物件識別模組240中的資料庫。於步驟S370中，控制器140中的資訊顯示模組250依據第二注視點來呈現目標物資訊。下述圖4至圖8及相應描述中將針對上述步驟S330至步驟S350詳細揭露其實現方式。

圖4是依照本揭露第一實施例的透明顯示裝置的示意圖。請同時參照圖3及圖4，在此以透明顯示器110的中心點CP作為座標原點。本實施例中，圖4的第一感測器組120包括深度取像裝置（或稱為，立體攝影機），因此在圖3步驟S310中便可直接地獲得使用者150的所在位置（以(Xu, Yu)表示）、使用者150與透明顯示器110之間的距離D1、以及使用者150的注視角度θ。距離D1為使用者150與透明顯示器110之間最短的垂直距離。使用者150的注視方向V1可依據使用者150的所在位置(Xu, Yu)以及注視角度θ所產生。注視角度θ包括位於X軸方向的角度θx以及位於Y軸方向的角度θy。於本揭露的部分實施例中，若可取得使用者150在透明顯示器110第一面上的觸碰資訊座標，則使用者150的注視方向V1便可依據使用者150的所在位置(Xu, Yu)至此觸碰資訊座標（可視為是第二注視點FP2）的連線方向而產生。

在圖4所示的實施例中，演算分析模組230將使用者150的注視方向V1延伸至透明顯示器110第二面方向的取像平面160中的目標物（例如，目標物161）以獲得第一注視點FP1（步驟S340），並依據第一注視點FP1的位置來搜尋景物資訊SIF中是否包括目標物（步驟S350）。本實施例的景物資訊為影像資訊、目標物座標…等資訊的整合，為了方便說明，便以取像平面160與取像平面160中的目標物作為景物資訊的一部分，從而方便說明說明本實施例。換句話說，演算分析模組230延伸注視方向V1以定義出在取像平面160中的目標物161。本實施例中控制器140的演算分析模組230對於景物資訊SIF利用影像分群演算法以切割景物資訊SIF而獲得多個子景物資訊，這些子景物資訊可包含不同的目標物。然後，演算分析模組230判斷第一注視點FP1是否位於這些子景物資訊的其中之一，被第一注視點FP1所指出的子景物資訊可稱為是被關注子景物資訊。演算分析模組230將被關注子景物資訊作為目標物161。影像分群演算法僅為本揭露在景物資訊SIF中找尋目標物的可實現圖像分析演算法其中之一，應用本實施例可應可適度地找尋更為恰當的演算法來從景物資訊SIF找尋目標物。物件辨識模組240可依據目標物161（如，一座建築物）來查詢與目標物161相對應的目標物資訊（如，建築物名稱/建立時的年代/事蹟/相關圖像）（步驟S360）。

另一方面，演算分析模組250亦將注視方向V1延伸至透明顯示器110以獲得位於透明顯示器110上的第二注視點FP2。藉此，資訊顯示模組250便可依據第二注視點FP2來呈現目標物資訊（步驟S370）。本實施例可利用使用者的位置(Xu, Yu)、注視角度θ以及距離D1來計算出第二注視點FP2的座標(Xd, Yd)，如方程式F1所示。

… F1

於本實施例中，資訊顯示模組250亦可依據使用者的位置以及目標物161之間的關係來計算出目標物161位於透明顯示器110上的投影，並依據此投影來顯示目標物資訊。目標物資訊的呈現方式可有很多類型，例如以方框形式持續地標記出目標物161，並在方框旁邊以懸浮視窗的型態顯示上述目標物資訊中的文字以及圖像。另外，此方框將以物件追蹤技術持續地出現在目標物161附近且不與目標物161重疊。或是，將目標物161的外框直接以虛框方式顯示出來，並在旁邊顯示相關的目標物資訊，藉以明確標記出目標物161且同時顯示與其相關的資訊，實現擴增實境的功能。資訊顯示模組250還可感測景物資訊的明亮度來適度地調整目標物資訊中的文字顏色，例如景物資訊正值大白天，則文字便以黑色呈現；當景物資訊位於夜間，則文字便以白色呈現。

圖5是依照本揭露第二實施例的透明顯示裝置的示意圖。圖6是依照本揭露第二實施例對應的透明顯示裝置的控制方法的流程圖。請同時參照圖3、圖5及圖6。本實施例中，圖5第一感測器組120中的取像裝置屬於平面取像攝影機類型，因此圖6中的步驟S610將啟動第一感測器組120中的平面取像裝置。在圖3步驟S310及圖6的步驟S620中，可獲得使用者150的所在位置(Xu, Yu)，並利用第一感測器組120中的平面取像裝置擷取使用者150的臉部影像以計算得出使用者150的注視角度θ以及使用者150與透明顯示器110之間的距離D1。應用本實施例者可用許多演算法來從臉部影像計算出使用者150的注視角度θ以及距離D1，本實施例不限制於此。在本實施例中，為使第一感測器組120中的取像裝置能夠更為準確地從使用者150的位置找尋到目標物161，在圖3的步驟S330以及圖6的步驟S630中且得知使用者150的所在位置(Xu, Yu)後，控制器140進一步地控制第一感測器組120中的取像裝置從原先的位置CP1平移到最接近使用者150所在位置(Xu, Yu)的位置CP2，藉以轉換並校準第一感測器組120中的取像裝置的視角。上述操作可以被稱為是『取像裝置的視線參考點平移校準』。本實施例的透明顯示裝置將會在第一感測器組120處設計平移導軌，以使第一感測器組120中的取像裝置能夠調整其所在位置。

在圖6的步驟S640中，控制器140中的演算分析模組230還判斷第一注視點FP1中的目標物與透明顯示器110之間的物件距離D2，並依據此物件距離D2決定『情境模式』。本實施例的『情境模式』可區分為遠景模式（也就是，景物資訊SIF與透明顯示器110之間的物件距離D2遠大於使用者150與透明顯示器110之間的距離D1）以及近景模式（也就是，物件距離D2並非遠大於距離D1）。演算分析模組230依據不同的情境模式來透過不同的算式來計算位在取像平面160上的第一注視點FP1的座標。由於已將第二感測器組130中的取像裝置平移至位置CP2，因此控制器140需要計算第二感測器組130中的取像裝置對目標物161之間的角度Φ。

若物件距離D2遠大於距離D1，控制器140便將『情境模式』設定為遠景模式，且第二感測器組130中的取像裝置對目標物161之間的取像視角Φ可等於使用者150的注視角度θ。另一方面，若物件距離D2並非遠大於距離D1，控制器140便將『情境模式』設定為近景模式。第二感測器組130中的取像裝置對目標物161之間的取像視角Φ可由使用者150的注視角度θ並依據方程式F2計算而得。取像視角Φ包括位於X軸方向的取像視角Φx以及位於Y軸方向的取像視角Φy。

… F2

在圖6的步驟S650中，演算分析模組230亦可利用使用者的位置(Xu, Yu)、第二感測器組130中之取像裝置對於目標物161的取像視角Φ、以及物件距離D2來計算使用者所注視的第一注視點FP1的座標(Xt, Yt)，如方程式F3所示。

… F3

第二注視點FP2的座標便可依據第一注視點FP1的座標(Xt, Yt)、使用者150的所在位置(Xd, Yd)、物件距離D2以及距離D1來計算得知。在圖6的步驟S660中，控制器140中的資訊顯示模組250依據第二注視點來呈現目標物資訊（例如，導覽訊息）。

此外，控制器120中的輸入控制模組210還可依據情境模式以從第一感測器組120中的多個感測器元件以選擇性地獲得所需的使用者資訊。上述的『情境模式』也可以包括其他模式，例如語音控制模式、觸控模式…等。當情境模式為語音控制模式/觸控模式時，輸入控制模組210便可忽略使用者的影像，僅單純以使用者的語音/觸控座標來進行相應的操作。

圖7是依照本揭露第三實施例的透明顯示裝置的示意圖。圖8是依照本揭露第三實施例對應的透明顯示裝置的控制方法的流程圖。於圖8的步驟S810中，控制器140透過第一感測器組120獲得使用者的所在位置(Xu, Yu)以及使用者150與透明顯示器110之間的距離D1。

本實施例中，透明顯示器110的寬度W較小，導致透明顯示器110的視野範圍DA小於第二感測器組130中的取像裝置的取像範圍CA。取像範圍CA亦可視為是各實施例所述的取像平面。因此，在控制器140透過第一感測器組120獲得使用者的所在位置(Xu, Yu)以及使用者150與透明顯示器110之間的距離D1後，於圖8的步驟S820中，控制器140依據所在位置(Xu, Yu)來計算透過透明顯示器110看見的視野範圍DA。然後，控制器140便可透過第二感測器組130來獲得視野範圍DA中的景物資訊即可，不需要取像範圍CA中全部的景物資訊。也就是說，視野範圍DA小於第二感測器組130在擷取景物資訊時的取像範圍CA。

此外，於圖8的步驟S830中，控制器140還需要計算第二感測器組130的取像視角Φ與使用者150的視野範圍DA的關係。由於視野範圍DA中的景物資訊為取像範圍CA中的部分景物資訊，將使位於取像範圍CA中的目標物161改為成像在成像物件164處。若目標物161與透明顯示器110之間的物件距離D2遠大於使用者150與透明顯示器110之間的距離D1，則取像視角Φ等於使用者150的注視角度θ；否則，取像視角Φ則需由使用者150的注視角度θ、透明顯示器110的寬度W、物件距離D2以及距離D1並依據方程式F4計算而得。

… F4

藉此，控制器140中的演算分析模組230便可利用上述數據計算在透明顯示器110上的第二注視點FP2（圖8的步驟S840）。此外，控制器140中的演算分析模組230還可利用上述數據計算第一注視點FP1在第一感測器組120中取像模組所對應的取像視角的座標（圖8的步驟S850）。於圖8的步驟S860中，控制器140中的資訊顯示模組250依據第二注視點FP2來呈現目標物資訊（例如，導覽訊息）。

圖9是依照本揭露第四實施例的透明顯示裝置的方塊圖。圖10是依照本揭露第四實施例的透明顯示裝置的示意圖。圖9與上述圖2之間的差異在於，圖9所述的第一感測器組140包括觸控感測器905。觸控感測器905的受感應區域設置於透明顯示器110的第一面（也就是，面對使用者150的第一面）。請同時參見圖9與圖10，當使用者150的手觸碰到透明顯示器110時，圖9的觸控感測器905便可獲得使用者150在透明顯示器110的第一面的觸碰點。本實施例將此觸碰點視為是使用者150在透明顯示器110上的第二注視點FP2。藉此，圖9的控制器140便可直接獲得第二注視點FP2的座標，從而讓目標物資訊的顯示、注視方向V1的計算以及目標物161的辨識皆具備更加精準的判讀。

圖11是依照本揭露第五實施例的透明顯示裝置的示意圖。於圖11中，透明顯示裝置100的控制器可依據使用者150的注視方向V1、觸控操作、語音資訊或是使用者150的手勢而提供使用者介面910，藉以透過透明顯示裝置100中的透明顯示器而針對使用者150注視的景物資訊提供資訊。使用者150亦可透過使用者裝置920中的相關應用軟體來控制透明顯示裝置100的供使用者介面910。例如，當使用者150持續注視使用者介面910中的『旅館』選項時，透明顯示裝置100的控制器可透過第一感測器組120得知，並將當前景物資訊中的旅店皆標記出來。使用者150亦可透過觸碰使用者介面910中的選項、指出相應的手勢來實現相應的功能，藉以實現使用者150與透明顯示裝置100的互動操作。

本實施例的透明顯示裝置還可支援多位使用者同時使用。當多位使用者所注視的目標物距離相近時，控制器140中的資訊顯示模組會避免不同的目標物資訊相互重疊，並讓這些目標物資訊採用其他方式呈現來盡量完整呈現。

本揭露除了可用第一感測器組來得知使用者的所在位置及注視方向以外，還可透過「使用者觀看行為分析演算法」來判斷使用者的特徵（如，年齡、性別、國籍…等），並將恰當的目標物資訊依據上述特徵來排列優先權順序來提供給不同的使用者。甚至，本揭露的透明顯示裝置還可藉由使用者的相應特徵來推播廣告，藉以增加透明顯示裝置的應用範疇。

圖12是依照本揭露第六實施例的透明顯示裝置的示意圖。圖13是依照本揭露第六實施例對應的透明顯示裝置的控制方法的流程圖。請同時參照圖12與圖13，第一感應器組120還可包括音訊擷取裝置1010。音訊擷取裝置1010可設置在第一感應器組120當中，也可以設置在較為靠近使用者150的其他位置（例如，位置1020、1030等處）。於圖13的步驟S1110中，透明顯示裝置100中的控制器透過第一感應器組120中的取像裝置而獲得使用者的所在位置(Xu, Yu)以及使用者與透明顯示器之間的距離D1。於步驟S1120中，控制器可通過音訊擷取裝置1010來取得四周的音訊，並從中判斷是否可識別出使用者150的語音資訊，如圖12所標示的語音資訊1040。

當無法從音訊中識別出使用者150的語音資訊1040時，控制器可關閉聲控功能以節省耗電（步驟S1125）。當可從音訊中識別出使用者150的語音資訊1040時，便進入步驟S1130以讓控制器自動地啟動聲控功能，判斷是否可從語音資訊1040中識別出使用者150的語音輸入資料（步驟S1140）。此處所指的『語音輸入資料』可以是使用者150以語音方式提出的操作請求，例如『建築物A在哪裡？』、『請搜尋建築物A』、『幫我指出建築物A的位置』…等，控制器便可透過下述步驟S1150~S1180來協助使用者指出所希望看見的建築物A位置，或進行相應操作。如果無法從從語音資訊1040中識別出使用者150的語音輸入資料，便可回到步驟S1130以持續獲得新的語音資訊1040。

當已在語音資訊1040中識別出使用者150的語音輸入資料時，便從第二感應器組130的取像裝置獲得位於透明顯示器第二面的景物資訊（步驟S1150），並從景物資訊中找到目標物165（如，建築物A）。透明顯示裝置100的控制器計算目標物165（建築物A）的顯示座標（步驟S1160）。控制器依據目標物165的顯示座標、使用者的所在位置以及距離D1來計算使用者所需注視的座標(Xt, Yt)（步驟S1170）。座標(Xt, Yt)的計算方式可如上述實施例中的方程式F3所示。透明顯示裝置100的控制器便可依據座標(Xt, Yt)來計算使用者150與目標物165之間且位於透明顯示裝置100上的第二注視點FP2，並依據此第二注視點FP2呈現目標物資訊（如，將建築物A圍住的虛框、建築物A的導覽資訊…等）（步驟S1180）。藉此，便可通過透明顯示裝置100來實現聲控功能。

透明顯示裝置中用以對外取像的第二感應器組130可具備多個取像裝置，也可依據對於外部景觀的觀看需求來設計第二感應器組130中多個取像裝置的擺放位置及角度。圖14是依照本揭露第七實施例所述透明顯示裝置中第二感測器組130的取像裝置的設置示意圖。圖14中利用多個取像裝置1210~1214來說明這些取像裝置的擺置位置。取像裝置1210~1214可以透過感光耦合元件來實現。

若是景觀大多位於從透明顯示裝置100向第二面看出去的上方的話，可如圖14中的(1)所示將取像裝置1210朝向上方取像，或可如圖14中的(5)所示般設置取像裝置1211~1213，並將取像裝置1211及1212朝向上方取像，以針對上方景觀進行高解析度的影像擷取，而取像裝置1213則朝前進行影像擷取。若景觀普遍地、大範圍地分散於透明顯示裝置100前方的水平方向和/或垂直方向時，可如圖14中的(2)所示般將取像裝置1211~1214設置在透明顯示裝置100的四個邊的中間位置。

若景觀涵蓋於透明顯示裝置100的各個方向時，可如圖14中的(3)所示般將取像裝置1211~1214設置在透明顯示裝置100的四個角落的外部位置。若景觀主要位於透明顯示裝置100的前方，且希望獲得高解析度影像時，可如圖14中的(4)所示般將取像裝置1211~1214設置在透明顯示裝置100的四個角落的內部位置。若是景觀大多位於從透明顯示裝置100向第二面看出去的下方的話，可如圖14中的(6)所示般設置取像裝置1211~1213，並將取像裝置1212及1213朝向下方取像，以針對下方景觀進行高解析度的影像擷取，而取像裝置1211則朝前進行影像擷取。

另一方面，透明顯示裝置中用以對內取像的第一感應器組120亦可具備多個取像裝置，從而依據使用者的位置需求來設計第一感應器組120中多個取像裝置的擺放位置及角度。圖15是依照本揭露第八實施例所述透明顯示裝置中第一感測器組120的取像裝置的設置示意圖。圖15中利用多個取像裝置1310~1314來說明這些取像裝置的擺置位置。取像裝置1310~1314可以透過感光耦合元件來實現。

若設定使用者的身高較高或通常為成人觀看透明顯示裝置100的話，可如圖15中的(1)所示將取像裝置1310朝向正前方取像，或可如圖15中的(5)所示般設置取像裝置1311~1313，並將取像裝置1311及1312朝向上方取像，以對應使用者的身高且能夠涵蓋較大的取像範圍來進行高解析度的影像擷取，而取像裝置1313則朝前進行影像擷取。若透明顯示裝置100的顯示範圍較大時，可如圖15中的(2)所示般將取像裝置1311~1314設置在透明顯示裝置100的四個邊的中間位置。

若考量到不同使用者具備不同的身高時，可如圖15中的(3)所示般將取像裝置1311~1314設置在透明顯示裝置100的四個角落的外部位置。若考量到不同使用者具備不同的身高且希望獲得高解析度的使用者影像時，可如圖15中的(4)所示般將取像裝置1311~1314設置在透明顯示裝置100的四個角落的內部位置。若是考量使用者大多為身高較矮的使用者（例如，幼童）的話，可如圖15中的(6)所示般設置取像裝置1311~1313，並將取像裝置1312及1313略為朝向下方取像，，而取像裝置1211則朝前進行影像擷取。

綜上所述，本揭露實施例所述的透明顯示裝置可透過第一感測器組以及第二感測器組來分別感測位於透明顯示器第一面的使用者位置以及位於透明顯示器第二面的景物資訊，並透過本發明實施例中描述的多種方法來迅速地讓使用者所在的座標、注視方向與景物中的目標物相對應，從而即時地將此目標物的相關資訊呈現在位於使用者及目標物之間的透明顯示器上，從而實現擴增實境功能。換句話說，本發明實施例的透明顯示裝置可讓使用者與其相距一段距離的情況下，透過第一感測器組來感測使用者的注視方向，從而迅速地依據使用者注視的目標物而顯示或呈現相應資訊，讓這些資訊能夠直接顯示在目標物附近。此外，由於透明顯示裝置的顯示區域在視覺上是可穿透的，因此可降低景物被阻擋的機率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧透明顯示裝置

110‧‧‧透明顯示器

120‧‧‧第一感測器組

130‧‧‧第二感測器組

140‧‧‧控制器

160‧‧‧取像平面

161~163‧‧‧目標物

164‧‧‧成像物件

210‧‧‧輸入控制模組

220‧‧‧觀看區域擷取模組

230‧‧‧演算分析模組

240‧‧‧物件辨識模組

250‧‧‧資訊顯示模組

S310~S370、S610~S660、S810~S860、S1110~S1180‧‧‧步驟

905‧‧‧觸控感測器

910‧‧‧使用者介面

920‧‧‧使用者裝置

1010‧‧‧音訊擷取裝置

1020、1030‧‧‧位置

1040‧‧‧語音資訊

1210~1214、1310~1314‧‧‧取像裝置

UIF‧‧‧使用者資訊

SIF‧‧‧景物資訊

FP1‧‧‧第一注視點

FP2‧‧‧第二注視點

CP‧‧‧透明顯示器的中心點

CP1、CP2‧‧‧位置

V1‧‧‧注視方向

Φ‧‧‧取像視角

θ‧‧‧注視角度

W‧‧‧透明顯示器的寬度

D1‧‧‧使用者與透明顯示器之間的距離

D2‧‧‧物件距離

CA‧‧‧取像範圍

DA‧‧‧視野範圍

圖1是依照本揭露實施例的一種透明顯示裝置的示意圖。圖2是依照本揭露實施例的一種透明顯示裝置的方塊圖。圖3是依照本揭露實施例的一種透明顯示裝置的控制方法的流程圖。圖4是依照本揭露第一實施例的透明顯示裝置的示意圖。圖5是依照本揭露第二實施例的透明顯示裝置的示意圖。圖6是依照本揭露第二實施例對應的透明顯示裝置的控制方法的流程圖。圖7是依照本揭露第三實施例的透明顯示裝置的示意圖。圖8是依照本揭露第三實施例對應的透明顯示裝置的控制方法的流程圖。圖9是依照本揭露第四實施例的透明顯示裝置的方塊圖。圖10是依照本揭露第四實施例的透明顯示裝置的示意圖。圖11是依照本揭露第五實施例的透明顯示裝置的示意圖。圖12是依照本揭露第六實施例的透明顯示裝置的示意圖。圖13是依照本揭露第六實施例對應的透明顯示裝置的控制方法的流程圖。圖14是依照本揭露第七實施例所述透明顯示裝置中第二感測器組的取像裝置的設置示意圖。圖15是依照本揭露第八實施例所述透明顯示裝置中第一感測器組的取像裝置的設置示意圖。

Claims

一種透明顯示裝置，包括：透明顯示器，包括第一面與相對於所述第一面的第二面，所述透明顯示器的顯示區域在視覺上是可穿透的；第一感測器組，用以感測位於所述第一面的使用者資訊；第二感測器組，用以感測位於所述第二面的景物資訊；以及控制器，耦接所述透明顯示器、所述第一感測器組及所述第二感測器組，其中所述控制器接收所述第一感測器組所感測的所述使用者資訊以分析與判斷使用者的所在位置及注視方向，所述控制器依據所述使用者的所述所在位置及所述注視方向來計算位在所述景物資訊中的第一注視點以及位於所述透明顯示器上的第二注視點，依據所述景物資訊來判斷所述第一注視點所對應的目標物，查詢與所述目標物相對應的目標物資訊，並控制所述透明顯示器以依據所述第二注視點來呈現所述目標物資訊。
如申請專利範圍第1項所述的透明顯示裝置，其中所述控制器藉由所述第一感測器組獲得所述使用者的所述所在位置以及所述注視方向，將所述注視方向延伸至所述透明顯示器第二面的所述景物資訊處以獲得所述第一注視點，依據所述第一注視點的位置來搜尋所述景物資訊是否包括所述目標物，將所述注視方向延伸至所述透明顯示器以獲得位於所述透明顯示器上的所述第二注視點。
如申請專利範圍第2項所述的透明顯示裝置，其中所述注視方向依據所述使用者的所述所在位置以及所述使用者的視線角度或是所述使用者在所述透明顯示器的第一面所產生的觸碰資訊座標所產生。
如申請專利範圍第1項所述的透明顯示裝置，其中所述控制器依據所述使用者的所述所在位置來計算透過所述透明顯示器看見的視野範圍，以從所述第二感測器組中獲得所述視野範圍中的景物資訊。
如申請專利範圍第1項所述的透明顯示裝置，其中所述第一感測器組包括：第一取像裝置，耦接所述控制器，用以獲得所述透明顯示器的所述第一面的影像，所述影像中包括所述使用者。
如申請專利範圍第6項所述的透明顯示裝置，其中所述第一感測器組進一步包括觸控感測器，所述觸控感測器用以獲得所述使用者在所述透明顯示器的所述第一面的觸碰點，所述觸碰點對應至所述透明顯示器上的所述第二注視點。
如申請專利範圍第1項所述的透明顯示裝置，其中所述控制器依據所述使用者的所述注視方向、觸控操作、語音資訊或是所述使用者的手勢以提供使用者介面，藉以透過所述透明顯示器而針對所述景物資訊提供資訊。
如申請專利範圍第1項所述的透明顯示裝置，其中所述控制器對於所述景物資訊利用分群演算法以切割所述景物資訊而獲得多個子景物資訊，並判斷所述使用者的所述第一注視點位於該些子景物資訊的其中之一個被關注子景物資訊，並將所述被關注子景物資訊作為所述目標物。
如申請專利範圍第1項所述的透明顯示裝置，其中所述第二感測器組包括第二取像裝置。
一種透明顯示裝置的控制方法，所述透明顯示裝置包括透明顯示器、第一感測器組以及第二感測器組，所述控制方法包括：感測位於所述透明顯示器的第一面的使用者資訊；感測位於所述透明顯示器的第二面的景物資訊，其中所述第二面相對於所述第一面；依據所述使用者資訊以分析與判斷使用者的所在位置及注視方向；依據所述使用者的所述所在位置及所述注視方向來計算位在所述景物資訊中的第一注視點以及位於所述透明顯示器上的第二注視點；依據所述景物資訊來判斷所述第一注視點所對應的目標物；以及查詢與所述目標物相對應的目標物資訊，並控制所述透明顯示器以依據所述第二注視點來呈現所述目標物資訊。
如申請專利範圍第10項所述的控制方法，依據所述使用者的所述所在位置及所述注視方向來計算位在所述景物資訊中的所述第一注視點以及位於所述透明顯示器上的所述第二注視點包括下列步驟：將所述注視方向延伸至所述透明顯示器第二面的所述景物資訊處以獲得所述第一注視點；依據所述第一注視點的位置來搜尋所述景物資訊是否包括所述目標物；以及將所述注視方向延伸至所述透明顯示器以獲得位於所述透明顯示器上的所述第二注視點。
如申請專利範圍第10項所述的控制方法，還包括：在獲得所述使用者的所述所在位置後，控制所述第二感測器組中的取像裝置以使其平移最接近所述使用者的所述所在位置。
如申請專利範圍第10項所述的控制方法，還包括：依據所述使用者的所述所在位置來計算透過所述透明顯示器看見的視野範圍，以從所述第二感測器組中獲得所述視野範圍中的景物資訊。
如申請專利範圍第10項所述的控制方法，還包括：依據所述使用者的所述注視方向、觸控操作、語音資訊或是所述使用者的手勢以提供一使用者介面，藉以透過所述透明顯示器而針對所述景物資訊提供資訊。
如申請專利範圍第10項所述的控制方法，依據所述景物資訊來判斷所述第一注視點所對應的目標物包括下列步驟：對於所述景物資訊利用分群演算法以切割所述景物資訊而獲得多個子景物資訊；判斷所述使用者的所述被注視點位於該些子景物資訊的其中之一個被關注子景物資訊；以及將所述被關注子景物資訊作為所述目標物。
一種用於透明顯示裝置的控制器，包括：輸入控制模組，耦接所述透明顯示裝置的第一感測器組，用以接收位於所述透明顯示裝置的第一面的使用者資訊，並依據所述使用者資訊以分析與判斷使用者的所在位置及注視方向；觀看區域擷取模組，耦接所述透明顯示裝置的第二感測器組，用以接收位於所述透明顯示裝置的第二面的景物資訊；演算分析模組，耦接所述輸入控制模組以及所述觀看區域截去模組，所述演算分析模組依據所述使用者的所述所在位置及所述注視方向來計算位在所述景物資訊中的第一注視點以及位於所述透明顯示器上的第二注視點，並依據所述景物資訊來判斷所述第一注視點所對應的目標物；物件辨識模組，耦接所述演算分析模組，用以查詢與所述目標物相對應的目標物資訊；以及資訊顯示模組，耦接所述透明顯示裝置中的透明顯示器，用以控制所述透明顯示器以依據所述第二注視點來呈現所述目標物資訊。
如申請專利範圍第16項所述的控制器，其中所述演算分析模組將所述注視方向延伸至所述透明顯示器第二面的所述景物資訊處以獲得所述第一注視點，依據所述第一注視點的位置來搜尋所述景物資訊是否包括所述目標物，且將所述注視方向延伸至所述透明顯示器以獲得位於所述透明顯示器上的所述第二注視點。
如申請專利範圍第17項所述的控制器，其中所述注視方向依據所述使用者的所述所在位置以及所述使用者的視線角度或是所述使用者在所述透明顯示器的第一面所產生的觸碰資訊座標所產生。
如申請專利範圍第16項所述的控制器，其中所述輸入控制模組判斷所述第一注視點中的所述目標物與所述透明顯示器之間的一物件距離，依據所述物件距離來決定一情境模式，且所述輸入控制模組依據所述情境模式以從所述第一感測器組中的多個元件選擇性地獲得所需的所述使用者資訊，並且，所述演算分析模組依據所述情境模式來計算位在所述第二感測器組的取像平面上的所述第一注視點的座標。
如申請專利範圍第16項所述的控制器，其中所述觀看區域擷取模組依據所述使用者的所述所在位置來計算透過所述透明顯示器看見的視野範圍，以從所述第二感測器組中獲得所述視野範圍中的景物資訊。