[go: up one dir, main page]

TWI864662B - 顯示裝置及其操作方法 - Google Patents

顯示裝置及其操作方法 Download PDF

Info

Publication number
TWI864662B
TWI864662B TW112112536A TW112112536A TWI864662B TW I864662 B TWI864662 B TW I864662B TW 112112536 A TW112112536 A TW 112112536A TW 112112536 A TW112112536 A TW 112112536A TW I864662 B TWI864662 B TW I864662B
Authority
TW
Taiwan
Prior art keywords
display
extended
image
eye tracking
processing circuit
Prior art date
Application number
TW112112536A
Other languages
English (en)
Other versions
TW202441250A (zh
Inventor
向瑞傑
陳志強
黃昭世
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW112112536A priority Critical patent/TWI864662B/zh
Priority to US18/321,782 priority patent/US12301775B2/en
Publication of TW202441250A publication Critical patent/TW202441250A/zh
Application granted granted Critical
Publication of TWI864662B publication Critical patent/TWI864662B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供一種顯示裝置及其操作方法。顯示裝置包括眼動追蹤電路、主顯示器、延伸顯示器以及影像處理電路。藉由配置在主顯示器的眼動追蹤電路，影像處理電路獲得使用者眼睛的觀賞位置。影像處理電路將原始影像分為第一部影像與第二部影像，其中第一部影像適於顯示在主顯示器，而第二部影像適於虛擬地顯示在延伸虛擬顯示器。影像處理電路基於觀賞位置將在延伸虛擬顯示器的任一像素位置轉換為在延伸顯示器的對應像素位置，以將第二部影像轉換為用於顯示在延伸顯示器的經轉換第二部影像。

Description

顯示裝置及其操作方法
本發明是有關於一種電子裝置，且特別是有關於一種顯示裝置及其操作方法。
三維(3D)顯示器可以基於三維視角顯示立體影像給觀賞者。所述三維視角相關於觀賞者的眼睛在3D顯示器前的位置。在一些應用情境中，兩個(或更多個)3D顯示器可以被拼接在一起，以共同顯示一個立體影像。以兩個3D顯示器被拼接在一起為例，一般而言，顯示裝置可以將一個立體影像分為第一部影像與第二部影像，其中第一3D顯示器顯示第一部影像，而第二3D顯示器顯示第二部影像。在第一3D顯示器與第二3D顯示器未共平面的情況下，觀賞者會覺得第一部影像與第二部影像未共平面，亦即觀賞者會覺得一個立體影像被彎折。
本發明提供一種顯示裝置及其操作方法，以使主顯示器以及延伸顯示器分別顯示同一個原始影像的第一部影像與經轉換第二部影像。
在本發明的一實施例中，上述的顯示裝置包括主顯示器、第一眼動追蹤電路、延伸顯示器以及影像處理電路。第一眼動追蹤電路配置在主顯示器，以偵測使用者眼睛。影像處理電路耦接至第一眼動追蹤電路、主顯示器與延伸顯示器。影像處理電路基於第一眼動追蹤電路的偵測而獲得使用者眼睛的觀賞位置。影像處理電路將原始影像分為第一部影像與第二部影像。影像處理電路控制主顯示器以顯示第一部影像，其中第二部影像適於顯示在與主顯示器共平面的延伸虛擬顯示器，延伸顯示器與主顯示器未共平面，且延伸顯示器位於觀賞位置與延伸虛擬顯示器之間。影像處理電路基於觀賞位置將在延伸虛擬顯示器的任一像素位置轉換為在延伸顯示器的對應像素位置，以將第二部影像轉換為用於顯示在延伸顯示器的經轉換第二部影像。
在本發明的一實施例中，上述的操作方法包括：由顯示裝置的第一眼動追蹤電路偵測使用者眼睛，其中第一眼動追蹤電路配置在顯示裝置的主顯示器；基於第一眼動追蹤電路的偵測，獲得使用者眼睛的觀賞位置；將原始影像分為第一部影像與第二部影像；控制主顯示器以顯示第一部影像，其中第二部影像適於顯示在與主顯示器共平面的延伸虛擬顯示器；以及基於觀賞位置將在延伸虛擬顯示器的任一像素位置轉換為在延伸顯示器的一個對應像 素位置，以將第二部影像轉換為用於顯示在延伸顯示器的經轉換第二部影像。其中，延伸顯示器與主顯示器未共平面，且延伸顯示器位於觀賞位置與延伸虛擬顯示器之間。
基於上述，本發明諸實施例所述影像處理電路可以通過主顯示器的眼動追蹤電路獲得使用者眼睛的觀賞位置。影像處理電路控制主顯示器以顯示原始影像的第一部影像。影像處理電路基於該觀賞位置與延伸顯示器的位置將原始影像的第二部影像轉換為經轉換第二部影像。影像處理電路控制延伸顯示器以顯示經轉換第二部影像。因此在主顯示器與延伸顯示器未共平面的情況下，觀賞者會覺得主顯示器的影像與延伸顯示器的影像似乎共平面，亦即避免了主顯示器與延伸顯示器共同呈現的立體影像發生彎折。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:顯示裝置
110:主顯示器
120、140:眼動追蹤電路
130、430:影像處理電路
150:延伸顯示器
350:延伸虛擬顯示器
431:微控制器(MCU)
432:中央處理器(CPU)
433、434:圖形處理器(GPU)
(Ex,Ey,Ez):觀賞位置
P、P1、P2:對應像素位置
S210~S250、510~580:步驟
圖1是依照本發明的一實施例的一種顯示裝置100的電路方塊(circuit block)示意圖。
圖2是依照本發明的一實施例的一種顯示裝置的操作方法的流程示意圖。
圖3是依照本發明的一實施例所繪示，主顯示器、延伸顯示 器以及延伸虛擬顯示器的流程示意圖。
圖4是依照本發明的一實施例所繪示，影像處理電路的電路方塊示意圖。
圖5是依照本發明的另一實施例所繪示，顯示裝置的操作方法的流程示意圖。
在本案說明書全文(包括申請專利範圍)中所使用的「耦接(或連接)」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接(或連接)於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。本案說明書全文(包括申請專利範圍)中提及的「第一」、「第二」等用語是用以命名元件(element)的名稱，或區別不同實施例或範圍，而並非用來限制元件數量的上限或下限，亦非用來限制元件的次序。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依照本發明的一實施例的一種顯示裝置100的電路方塊(circuit block)示意圖。圖1所示顯示裝置100包括主顯示器110、眼動追蹤(eye tracking)電路120、影像處理電路130、眼動追蹤電路140以及延伸顯示器150。影像處理電路130耦接至 主顯示器110、眼動追蹤電路120、眼動追蹤電路140以及延伸顯示器150。眼動追蹤電路140配置在延伸顯示器150以偵測使用者眼睛。眼動追蹤電路120配置在主顯示器110以偵測使用者眼睛。依照不同的設計，在一些實施例中，影像處理電路130的實現方式可以是硬體(hardware)電路。在另一些實施例中，影像處理電路130的實現方式可以是韌體(firmware)、軟體(software，即程式)或是二者的組合形式。在又一些實施例中，影像處理電路130的實現方式可以是硬體、韌體、軟體的組合形式。
以硬體形式而言，上述影像處理電路130可以實現於積體電路(integrated circuit)上的邏輯電路。舉例來說，影像處理電路130的相關功能可以被實現於一或多個控制器、微控制器(microcontroller unit，MCU)、微處理器(Microprocessor)、特殊應用積體電路(Application-specific integrated circuit，ASIC)、數位訊號處理器(digital signal processor，DSP)、場可程式邏輯閘陣列(Field Programmable Gate Array，FPGA)、中央處理器(Central Processing Unit，CPU)及/或其他處理單元中的各種邏輯區塊、模組和電路。影像處理電路130的相關功能可以利用硬體描述語言(hardware description languages，例如Verilog HDL或VHDL)或其他合適的編程語言來實現為硬體電路，例如積體電路中的各種邏輯區塊、模組和電路。
以軟體形式及/或韌體形式而言，上述影像處理電路130的相關功能可以被實現為編程碼(programming codes)。例如，利 用一般的編程語言(programming languages，例如C、C++或組合語言)或其他合適的編程語言來實現影像處理電路130。所述編程碼可以被記錄/存放在「非臨時的機器可讀取儲存媒體(non-transitory machine-readable storage medium)」中。在一些實施例中，所述非臨時的機器可讀取儲存媒體例如包括半導體記憶體以及(或是)儲存裝置。所述半導體記憶體包括記憶卡、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(FLASH memory)、可程式設計的邏輯電路或是其他半導體記憶體。所述儲存裝置包括硬碟(hard disk drive，HDD)、固態硬碟(Solid-state drive，SSD)或是其他儲存裝置。電子設備(例如電腦、CPU、控制器、微控制器或微處理器)可以從所述非臨時的機器可讀取儲存媒體中讀取並執行所述編程碼，從而實現影像處理電路130的相關功能。
圖2是依照本發明的一實施例的一種顯示裝置的操作方法的流程示意圖。在步驟S210中，眼動追蹤電路120偵測使用者眼睛，並且將偵測結果提供給影像處理電路130。在步驟S220中，影像處理電路130基於眼動追蹤電路120的偵測而獲得使用者眼睛的觀賞位置。在步驟S230中，影像處理電路130可以將原始影像分為第一部影像與第二部影像。其中，第一部影像適於顯示在主顯示器110，而第二部影像適於顯示在與主顯示器110共平面的延伸虛擬顯示器。
圖3是依照本發明的一實施例所繪示，主顯示器110、延伸顯示器150以及延伸虛擬顯示器350的流程示意圖。主顯示器 110與延伸虛擬顯示器350共平面。延伸虛擬顯示器350不是實體顯示器，亦即延伸虛擬顯示器350是假想的顯示器。影像處理電路130可以將原始影像分為適於顯示在主顯示器110的第一部影像與適於顯示在延伸虛擬顯示器350的第二部影像。眼動追蹤電路120偵測使用者眼睛，並且將偵測結果提供給影像處理電路130。
作為範例，圖3所示座標空間是以主顯示器110右下角為原點(0,0,0)。影像處理電路130基於眼動追蹤電路120的偵測而獲得使用者眼睛的觀賞位置(Ex,Ey,Ez)。若主顯示器110的水平寬度與垂直高度分別為W與H，則主顯示器110的四個角落座標分別為(-W,0,H)、(0,0,H)、(0,0,0)與(-W,0,0)。延伸虛擬顯示器350與主顯示器110共平面。假設(但不限於此)主顯示器110的顯示尺寸相同於延伸虛擬顯示器350的顯示尺寸，則延伸虛擬顯示器350的四個角落座標分別為(0,0,H)、(W,0,H)、(W,0,0)與(0,0,0)。
延伸顯示器150與主顯示器110未共平面，且延伸顯示器150位於觀賞位置(Ex,Ey,Ez)與延伸虛擬顯示器350之間。在步驟S240中，影像處理電路130基於觀賞位置(Ex,Ey,Ez)將在延伸虛擬顯示器350的任一個像素位置(x_e,0,z_e)轉換為在延伸顯示器150的一個對應像素位置P。舉例來說，影像處理電路130可以基於觀賞位置(Ex,Ey,Ez)，將在延伸虛擬顯示器350的第二部影像的右上角像素位置(W,0,H)轉換為在延伸顯示器150的一個對應像素位置P2，以及將在延伸虛擬顯示器350的第二部影像的右下角像素位置(W,0,0)轉換為在延伸顯示器150的一個對應像素位置P1。 影像處理電路130的轉換操作可以是任何幾何計算。具體轉換範例將於稍後說明。
基於延伸虛擬顯示器350的任一個像素位置(座標)與在延伸顯示器150的一個對應像素位置(座標)之間的對應關係，影像處理電路130可以將延伸虛擬顯示器350的第二部影像轉換為用於顯示在延伸顯示器150的經轉換第二部影像。影像處理電路130可以使用延伸虛擬顯示器350的座標與在延伸顯示器150的座標之間的對應關係去進行習知演算法或是其他演算法，以將延伸虛擬顯示器350的第二部影像轉換為用於顯示在延伸顯示器150的經轉換第二部影像。
在步驟S250中，影像處理電路130可以控制主顯示器110顯示第一部影像，以及控制延伸顯示器150顯示經轉換第二部影像。因此，在主顯示器110與延伸顯示器150未共平面的情況下，觀賞者會覺得主顯示器110的影像與延伸顯示器150的影像似乎共平面，亦即避免了主顯示器110與延伸顯示器150共同呈現的立體影像發生彎折。
在此說明影像處理電路130將延伸虛擬顯示器350的像素位置轉換為延伸顯示器150的像素位置的具體轉換範例。影像處理電路130基於眼動追蹤電路120的偵測以及眼動追蹤電路140的偵測而獲得延伸顯示器150相對於主顯示器110的至少一個旋轉角度(例如，X軸旋轉角θX、Y軸旋轉角θY以及/或是Z軸旋轉角θZ)。舉例來說，影像處理電路130可以使用眼動追蹤電路120 所拍攝畫面以及眼動追蹤電路140所拍攝畫面去進行習知演算法或是其他演算法，以獲得延伸顯示器150相對於主顯示器110的X軸旋轉角θX、Y軸旋轉角θY以及Z軸旋轉角θZ。眼動追蹤電路120所拍攝畫面以及眼動追蹤電路140皆具有共同參考物件(例如人眼)。因此，影像處理電路130基於觀賞位置(Ex,Ey,Ez)、眼動追蹤電路120所拍攝畫面以及眼動追蹤電路140所拍攝畫面而獲得延伸顯示器150相對於主顯示器110的X軸旋轉角θX、Y軸旋轉角θY以及Z軸旋轉角θZ。
影像處理電路130可以基於延伸顯示器150相對於主顯示器110的X軸旋轉角θX、Y軸旋轉角θY以及Z軸旋轉角θZ而獲得延伸顯示器150的平面方程式E。下述等式1可以作為延伸顯示器150的旋轉矩陣R的一個具體範例。基於旋轉矩陣R，延伸顯示器150的平面方程式E為下述等式2。基於等式2，延伸顯示器150的法線向量的X軸分量n1、Y軸分量n2以及Z軸分量n3分別是-cosθX*sinθZ、cosθX*cosθZ以及sinθX。
Figure 112112536-A0305-02-0011-1
E=n1*x+n2*y+n3*z=(-cosθX*sinθZ)*x+(cosθX*cosθZ)*y+(sinθX)*z 等式2
影像處理電路130可以基於觀賞位置(Ex,Ey,Ez)獲得，通過觀賞位置(Ex,Ey,Ez)與延伸虛擬顯示器350的任一像素位置(x_e,0,z_e)的直線方程式L。舉例來說，延伸虛擬顯示器350上的所述任一個像素位置(x_e,0,z_e)到人眼觀賞位置(Ex,Ey,Ez)的直線 方程式L為下述等式3。影像處理電路130可以計算直線方程式L與平面方程式E的交點座標，作為在延伸顯示器150的所述對應像素位置。當直線方程式L與平面方程式E的相交時，t為下述等式4。因此，直線方程式L與平面方程式E的交點座標(亦即，像素位置(x_e,0,z_e)所對應的，在延伸顯示器150的對應像素位置)為[x_e+(x_e-Ex)*t,-Ey*t,z_e+(z_e-Ez)*t]，其中t為[-n3*H]/[n1*(W-Ex)-n2*Ey+n3*(H-Ez)]。
Figure 112112536-A0305-02-0012-2
Figure 112112536-A0305-02-0012-3
舉例來說，從延伸虛擬顯示器350的第二部影像的右上角像素位置(W,0,H)到人眼觀賞位置(Ex,Ey,Ez)的直線方程式L為[x=W+(W-Ex)*t,y=-Ey*t,z=H+(H-Ez)*t]，而在延伸顯示器150的對應像素位置P2為[W+(W-Ex)*t,-Ey*t,H+(H-Ez)*t]，其中t為[-n3*H]/[n1*(W-Ex)-n2*Ey+n3*(H-Ez)]。以此類推，從延伸虛擬顯示器350的第二部影像的右下角像素位置(W,0,0)到人眼觀賞位置(Ex,Ey,Ez)的直線方程式L為[x=W+(W-Ex)*t,y=-Ey*t,z=-Ez*t]，而在延伸顯示器150的對應像素位置P1為[W+(W-Ex)*t,-Ey*t,-Ez*t]，其中t為[n1*W]/[-n1*W+n1*Ex+n2*Ey+n3*Ez]。基於延伸虛擬顯示器350的任一個像素位置與在延伸顯示器150的一個對應像素位置之間的對應關係，影像處理電路130可以使用習知演算法或是其他演算法，以將延伸虛擬顯示器350的第二部影像轉 換為用於顯示在延伸顯示器150的經轉換第二部影像。
圖4是依照本發明的一實施例所繪示，影像處理電路430的電路方塊示意圖。圖4所示影像處理電路430可以做為圖1所示影像處理電路130的諸多實施例之一。在圖4所示實施例中，影像處理電路430包括MCU 431、CPU 432、圖形處理器(Graphics Processing Unit，GPU)433以及GPU 434。MCU 431耦接至眼動追蹤電路120以及眼動追蹤電路140。基於眼動追蹤電路120的偵測，MCU 431可以獲得使用者眼睛的觀賞位置(Ex,Ey,Ez)。MCU 431不使用眼動追蹤電路140的偵測結果去獲得觀賞位置(Ex,Ey,Ez)。基於眼動追蹤電路120所拍攝畫面以及眼動追蹤電路140所拍攝畫面，MCU 431可以獲得延伸顯示器150相對於主顯示器110的X軸旋轉角θX、Y軸旋轉角θY以及Z軸旋轉角θZ。
圖5是依照本發明的另一實施例所繪示，顯示裝置的操作方法的流程示意圖。在步驟510中，眼動追蹤電路120與140被開啟，而MCU 431可以通過眼動追蹤電路120與140去偵測/追蹤使用者眼睛，以及將觀賞位置(Ex,Ey,Ez)提供給CPU 432。在步驟520中，CPU 432可以基於眼動追蹤電路120的偵測而判斷使用者眼睛的觀賞位置(Ex,Ey,Ez)是否變更。在步驟530中，CPU 432可以針對用戶需求定義出主顯示器110與延伸顯示器150，並且設定座標系統之原點(0,0,0)。CPU 432可以在步驟530中將原始影像分為第一部影像與第二部影像，其中第一部影像適於顯示在主顯示器110，而第二部影像適於顯示在與主顯示器110共平面的延伸 虛擬顯示器350。
在步驟540中，CPU 432可以確認主顯示器110與延伸顯示器150的角度關係。舉例來說，基於眼動追蹤電路120所拍攝畫面以及眼動追蹤電路140所拍攝畫面，MCU 431可以計算並且獲得延伸顯示器150相對於主顯示器110的X軸旋轉角θX、Y軸旋轉角θY和Z軸旋轉角θZ，以及將X軸旋轉角θX、Y軸旋轉角θY和Z軸旋轉角θZ提供給CPU 432。在步驟550中，CPU 432可以確認延伸虛擬顯示器350上每個像素點的位置(x_e,0,z_e)與像素內容資訊。在步驟560中，CPU 432基於觀賞位置(Ex,Ey,Ez)將在延伸虛擬顯示器350的任一個像素位置轉換為在延伸顯示器150的一個對應像素位置。舉例來說，CPU 432可以在步驟560中計算人眼視線到延伸虛擬顯示器350上每個像素點的位置，並將在延伸虛擬顯示器350的任一個像素位置轉換到在延伸顯示器150的一個對應像素位置。CPU 432可以基於延伸虛擬顯示器350的任一個像素內容給出延伸顯示器150的對應像素的內容資訊，進而將延伸虛擬顯示器350的第二部影像轉換為用於顯示在延伸顯示器150的經轉換第二部影像。
在步驟570中，基於主顯示器110與觀賞位置(Ex,Ey,Ez)之間的位置關係，CPU 432可以同步修正或微調延伸顯示器150的三維(3D)視角。亦即，影像處理電路130可以基於主顯示器110的眼動追蹤電路120的偵測去修正延伸顯示器150所顯示影像(經轉換第二部影像)的3D視角。在步驟580中，CPU 432可以通過 GPU 433控制主顯示器110顯示第一部影像，以及通過GPU 434控制延伸顯示器150顯示經轉換第二部影像。因此，主顯示器110與延伸顯示器150共同呈現的立體影像發生彎折的現象可以被有效避免。
綜上所述，上述諸實施例所述影像處理電路可以通過主顯示器110的眼動追蹤電路120獲得使用者眼睛的觀賞位置(Ex,Ey,Ez)。影像處理電路控制主顯示器110，以顯示原始影像的第一部影像。影像處理電路基於觀賞位置(Ex,Ey,Ez)與延伸顯示器150的位置將原始影像的第二部影像轉換為適於延伸顯示器150的影像(經轉換第二部影像)。影像處理電路控制延伸顯示器150，以顯示經轉換第二部影像。因此在主顯示器110與延伸顯示器150未共平面的情況下，觀賞者會覺得主顯示器110的影像與延伸顯示器150的影像似乎共平面，亦即影像處理電路可以有效避免主顯示器110與延伸顯示器150共同呈現的立體影像發生非預期地彎折。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
110：主顯示器 120、140：眼動追蹤電路 150：延伸顯示器 350：延伸虛擬顯示器 (Ex,Ey,Ez)：觀賞位置 P、P1、P2：對應像素位置

Claims (10)

  1. 一種顯示裝置，包括： 一主顯示器； 一第一眼動追蹤電路，配置在該主顯示器以偵測一使用者眼睛； 一延伸顯示器；以及 一影像處理電路，耦接至該第一眼動追蹤電路、該主顯示器與該延伸顯示器，其中該影像處理電路基於該第一眼動追蹤電路的偵測而獲得該使用者眼睛的一觀賞位置，該影像處理電路將一原始影像分為一第一部影像與一第二部影像，該影像處理電路控制該主顯示器以顯示該第一部影像，該第二部影像適於顯示在與該主顯示器共平面的一延伸虛擬顯示器，該延伸顯示器與該主顯示器未共平面且該延伸顯示器位於該觀賞位置與該延伸虛擬顯示器之間，以及該影像處理電路基於該觀賞位置將在該延伸虛擬顯示器的任一像素位置轉換為在該延伸顯示器的一對應像素位置，以將該第二部影像轉換為用於顯示在該延伸顯示器的一經轉換第二部影像。
  2. 如請求項1所述的顯示裝置，其中該影像處理電路基於該主顯示器的該第一眼動追蹤電路的該偵測去修正該延伸顯示器所顯示該經轉換第二部影像的一三維視角。
  3. 如請求項1所述的顯示裝置，更包括： 一第二眼動追蹤電路，配置在該延伸顯示器以偵測該使用者眼睛，其中該影像處理電路基於該第一眼動追蹤電路的該偵測以及該第二眼動追蹤電路的偵測而獲得該延伸顯示器相對於該主顯示器的至少一旋轉角度。
  4. 如請求項1所述的顯示裝置，其中該影像處理電路基於該延伸顯示器相對於該主顯示器的至少一旋轉角度而獲得該延伸顯示器的一平面方程式，該影像處理電路基於該觀賞位置獲得通過該觀賞位置與該延伸虛擬顯示器的所述任一像素位置的一直線方程式，以及該影像處理電路計算該直線方程式與該平面方程式的一交點座標作為在該延伸顯示器的該對應像素位置。
  5. 如請求項4所述的顯示裝置，其中該延伸顯示器相對於該主顯示器的所述至少一旋轉角度包括一X軸旋轉角θ X、一Y軸旋轉角θ Y以及一Z軸旋轉角θ Z，該平面方程式為n1*x + n2*y + n3*z = (-cosθ X*sinθ Z)*x + (cosθ X*cosθ Z)*y + (sinθ X)*z，該觀賞位置為[Ex, Ey, Ez]，該延伸虛擬顯示器的所述任一像素位置為[x_e, 0, z_e]，該直線方程式為[x = x_e + (x_e - Ex)*t, y = -Ey*t, z = z_e + (z_e - Ez)*t]，該交點座標為[x_e + (x_e - Ex)*t, -Ey*t, z_e + (z_e - Ez)*t]，t為[-n3*H]/[n1*(W - Ex) – n2*Ey + n3*(H -Ez)]，H為該第二部影像的一垂直高度，以及W為該第二部影像的一水平寬度。
  6. 一種顯示裝置的操作方法，包括： 由該顯示裝置的一第一眼動追蹤電路偵測一使用者眼睛，其中該第一眼動追蹤電路配置在該顯示裝置的一主顯示器； 基於該第一眼動追蹤電路的偵測，獲得該使用者眼睛的一觀賞位置； 將一原始影像分為一第一部影像與一第二部影像； 控制該主顯示器以顯示該第一部影像，其中該第二部影像適於顯示在與該主顯示器共平面的一延伸虛擬顯示器；以及 基於該觀賞位置，將在該延伸虛擬顯示器的任一像素位置轉換為在一延伸顯示器的一對應像素位置，以將該第二部影像轉換為用於顯示在該延伸顯示器的一經轉換第二部影像，其中該延伸顯示器與該主顯示器未共平面且該延伸顯示器位於該觀賞位置與該延伸虛擬顯示器之間。
  7. 如請求項6所述的操作方法，更包括： 基於該主顯示器的該第一眼動追蹤電路的該偵測，修正該延伸顯示器所顯示該經轉換第二部影像的一三維視角。
  8. 如請求項6所述的操作方法，更包括： 基於該第一眼動追蹤電路的該偵測以及該顯示裝置的一第二眼動追蹤電路的偵測，獲得該延伸顯示器相對於該主顯示器的至少一旋轉角度，其中該第二眼動追蹤電路被配置在該延伸顯示器以偵測該使用者眼睛。
  9. 如請求項6所述的操作方法，更包括： 基於該延伸顯示器相對於該主顯示器的至少一旋轉角度，獲得該延伸顯示器的一平面方程式； 基於該觀賞位置，獲得通過該觀賞位置與該延伸虛擬顯示器的所述任一像素位置的一直線方程式；以及 計算該直線方程式與該平面方程式的一交點座標作為在該延伸顯示器的該對應像素位置。
  10. 如請求項9所述的操作方法，其中該延伸顯示器相對於該主顯示器的所述至少一旋轉角度包括一X軸旋轉角θ X、一Y軸旋轉角θ Y以及一Z軸旋轉角θ Z，該平面方程式為n1*x + n2*y + n3*z = (-cosθ X*sinθ Z)*x + (cosθ X*cosθ Z)*y + (sinθ X)*z，該觀賞位置為[Ex, Ey, Ez]，該延伸虛擬顯示器的所述任一像素位置為[x_e, 0, z_e]，該直線方程式為[x = x_e + (x_e - Ex)*t, y = -Ey*t, z = z_e + (z_e - Ez)*t]，該交點座標為[x_e + (x_e - Ex)*t, -Ey*t, z_e + (z_e - Ez)*t]，t為[-n3*H]/[n1*(W - Ex) – n2*Ey + n3*(H -Ez)]，H為該第二部影像的一垂直高度，以及W為該第二部影像的一水平寬度。
TW112112536A 2023-03-31 2023-03-31 顯示裝置及其操作方法 TWI864662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW112112536A TWI864662B (zh) 2023-03-31 2023-03-31 顯示裝置及其操作方法
US18/321,782 US12301775B2 (en) 2023-03-31 2023-05-23 Display device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW112112536A TWI864662B (zh) 2023-03-31 2023-03-31 顯示裝置及其操作方法

Publications (2)

Publication Number Publication Date
TW202441250A TW202441250A (zh) 2024-10-16
TWI864662B true TWI864662B (zh) 2024-12-01

Family

ID=92896394

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112112536A TWI864662B (zh) 2023-03-31 2023-03-31 顯示裝置及其操作方法

Country Status (2)

Country Link
US (1) US12301775B2 (zh)
TW (1) TWI864662B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI879032B (zh) * 2023-08-22 2025-04-01 宏碁股份有限公司 立體顯示系統

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10191293B2 (en) * 2014-07-18 2019-01-29 Boe Technology Group Co., Ltd. Grating controlling method and apparatus, grating, display panel, and three-dimensional (3D) display device
TW201926018A (zh) * 2017-11-29 2019-07-01 財團法人工業技術研究院 影像資訊顯示方法、影像資訊顯示系統與顯示器
TW202037152A (zh) * 2018-11-25 2020-10-01 宏達國際電子股份有限公司 傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置
CN113473103A (zh) * 2021-07-02 2021-10-01 纵深视觉科技(南京)有限责任公司 一种裸眼3d的立体显示控制方法、装置、介质及电子设备
TW202205153A (zh) * 2016-07-15 2022-02-01 光程研創股份有限公司 眼動追蹤系統
TWM626646U (zh) * 2021-03-03 2022-05-01 宏碁股份有限公司 電子裝置
TWM628625U (zh) * 2021-04-21 2022-06-21 宏碁股份有限公司 3d顯示系統

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
IL244179B (en) * 2016-02-18 2020-05-31 Amitai Yaakov A compact beam expansion system
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
CN109389911B (zh) 2017-08-03 2020-12-04 广东烨嘉光电科技股份有限公司 一种光场显示屏的设计方法
US11132055B2 (en) * 2017-12-03 2021-09-28 Esight Corp. Enhancing the performance of near-to-eye vision systems
CN108415174A (zh) 2018-02-05 2018-08-17 上海溯石文化传播有限公司 多屏拼接式异型屏幕影院实现裸眼3d观看效果的方法
US10671161B2 (en) * 2018-08-08 2020-06-02 Dell Products L.P. Multi display eye tracking
CN109640070A (zh) 2018-12-29 2019-04-16 上海曼恒数字技术股份有限公司 一种立体显示方法、装置、设备及存储介质
US10990167B1 (en) * 2019-10-22 2021-04-27 Varjo Technologies Oy Display apparatus and method using projection matrices to generate image frames
US12055835B2 (en) * 2021-09-24 2024-08-06 Arm Limited Apparatus and method of focusing light

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10191293B2 (en) * 2014-07-18 2019-01-29 Boe Technology Group Co., Ltd. Grating controlling method and apparatus, grating, display panel, and three-dimensional (3D) display device
TW202205153A (zh) * 2016-07-15 2022-02-01 光程研創股份有限公司 眼動追蹤系統
TW201926018A (zh) * 2017-11-29 2019-07-01 財團法人工業技術研究院 影像資訊顯示方法、影像資訊顯示系統與顯示器
TW202037152A (zh) * 2018-11-25 2020-10-01 宏達國際電子股份有限公司 傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置
TWM626646U (zh) * 2021-03-03 2022-05-01 宏碁股份有限公司 電子裝置
TWM628625U (zh) * 2021-04-21 2022-06-21 宏碁股份有限公司 3d顯示系統
CN113473103A (zh) * 2021-07-02 2021-10-01 纵深视觉科技(南京)有限责任公司 一种裸眼3d的立体显示控制方法、装置、介质及电子设备

Also Published As

Publication number Publication date
TW202441250A (zh) 2024-10-16
US20240333900A1 (en) 2024-10-03
US12301775B2 (en) 2025-05-13

Similar Documents

Publication Publication Date Title
TWI398796B (zh) Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
CN104011766B (zh) 基于用户位置的图像数据变换
TWI637230B (zh) 投影系統以及顯示影像的校正方法
US11836875B2 (en) Augmented reality screen system and augmented reality screen display method
US8754961B2 (en) Apparatus and method for generating image data from overlapping regions of images
TWI719493B (zh) 投影系統、投影裝置以及其顯示影像的校正方法
CN111860489A (zh) 一种证件图像校正方法、装置、设备及存储介质
US10909719B2 (en) Image processing method and apparatus
TWI714018B (zh) 顯示牆的排版辨識方法以及使用此方法的電子裝置
US20150317768A1 (en) Method for Determining Display Mode of Screen, and Terminal Device
US10970807B2 (en) Information processing apparatus and storage medium
JP7419721B2 (ja) 回路装置、電子機器及び移動体
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
US10685490B2 (en) Information processing apparatus, information processing method, and storage medium
TWI864662B (zh) 顯示裝置及其操作方法
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
CN110415196B (zh) 图像校正方法、装置、电子设备及可读存储介质
CN111142825B (zh) 多屏视野的显示方法、系统及电子设备
CN118803215A (zh) 显示装置及其操作方法
US20210073940A1 (en) Image stitching apparatus and operation method thereof
TWI495293B (zh) 用於圖像失真校正之方法及裝置
WO2024162142A1 (ja) 表示映像補正装置、表示映像補正方法、および、プログラム
CN109410284A (zh) 一种参数估计方法、装置、电子设备、车辆及存储介质
CN116468877A (zh) 用于调整虚拟对象的方法、主机及计算机可读存储介质
JP7761084B2 (ja) 枠なしテーブルの傾斜補正方法、傾斜補正装置及びプログラム