[go: up one dir, main page]

TWI502545B - 儲存３ｄ影像內容的方法 - Google Patents

儲存３ｄ影像內容的方法 Download PDF

Info

Publication number
TWI502545B
TWI502545B TW102122560A TW102122560A TWI502545B TW I502545 B TWI502545 B TW I502545B TW 102122560 A TW102122560 A TW 102122560A TW 102122560 A TW102122560 A TW 102122560A TW I502545 B TWI502545 B TW I502545B
Authority
TW
Taiwan
Prior art keywords
depth
processor
information map
image
column
Prior art date
Application number
TW102122560A
Other languages
English (en)
Other versions
TW201501077A (zh
Inventor
Chih Yin Chiang
Che Wei Chang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed filed Critical
Priority to TW102122560A priority Critical patent/TWI502545B/zh
Priority to US13/952,669 priority patent/US9066079B2/en
Publication of TW201501077A publication Critical patent/TW201501077A/zh
Application granted granted Critical
Publication of TWI502545B publication Critical patent/TWI502545B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

儲存3D影像內容的方法
本發明是有關於一種儲存3D影像內容的方法，尤指一種利用處理器根據對應於3D影像訊號的每一畫面的深度資訊圖，以壓縮用以儲存深度資訊圖的位元數的儲存3D影像內容的方法。
一般說來，3D影像格式可分為左右(Side-by-side)的3D影像格式、上下(top-and-bottom)的3D影像格式、畫面包裹(frame packing)的3D影像格式及2D影像加上深度資訊的3D影像格式，其中左右的3D影像格式又可分為左右全影像(LR-full)的3D影像格式及左右半影像(LR-half)的3D影像格式。
如第1圖所示，左右全影像的3D影像格式的每一個畫面包含左眼影像與右眼影像，其中左右全影像的3D影像格式的左眼影像與右眼影像都是正常2D影像的大小。因此，左右全影像的3D影像格式中的每個畫面會佔用2倍正常2D影像的儲存空間。
如第2圖所示，左右半影像的3D影像格式的每個畫面亦包含左眼影像與右眼影像，其中左眼影像與右眼影像中每一影像的水平邊縮小50%以及垂直邊不變。因此，左右半影像的3D影像格式的每個畫面佔用的儲存空間是等於1倍正常2D影像的儲存空間，但左右半影像的3D影像格式的解析度是為正常2D影像的一半。
如第3圖所示，上下的3D影像格式的每一個畫面由上到下包含 分別為左眼影像與右眼影像，其中左眼影像與右眼影像中每一影像的垂直邊縮小50%以及水平邊不變。因此，上下的3D影像格式的每個畫面佔用的儲存空間是等於1倍正常2D影像的儲存空間，但上下的3D影像格式的解析度是為正常2D影像的一半。
如第4圖所示，畫面包裹的3D影像格式的每一畫面和上下的3D 影像格式的每個畫面的差別在於畫面包裹的3D影像格式的每個畫面所包含的左眼影像與右眼影像都是正常2D影像的大小，且在每個畫面所包含的左眼影像與右眼影像之間具有45個像素寬的黑畫面。因此，畫面包裹的3D影像格式的每一畫面佔用的儲存空間是等於2倍正常2D影像的儲存空間加上45個像素寬的黑畫面的儲存空間。
如第5圖所示，2D影像加上深度資訊的3D影像格式的排列方式 和左右的3D影像格式的排列方式相同，但是2D影像加上深度資訊的3D影像格式的每個畫面的左邊的影像是一正常2D影像，以及右邊的影像是為灰階的深度資訊。因此，2D影像加上深度資訊的3D影像格式的每一畫面佔用的儲存空間是等於2倍正常2D影像的儲存空間。
綜上所述，現有技術所提供的3D影像格式不是需要較大的儲存 空間，就是具有較差的解析度。因此，如何壓縮現有技術所提供的3D影像格式以及兼顧3D影像格式的解析度，將是播放裝置或儲存裝置的設計者的一項重要課題。
本發明的一實施例提供一種儲存3D影像內容的方法。該方法包含下列步驟：一處理器初始化一暫存器與一最大計數；該處理器利用一立體 比對演算法產生對應於一3D影像訊號的每一畫面的深度資訊圖；該處理器從對應於該3D影像訊號的該畫面的深度資訊圖中，得到對應於該深度資訊圖的每一列像素的每一像素的深度值；該處理器根據對應於該列像素的每一像素的深度值，產生對應於該列像素的至少一深度向量，其中該至少一深度向量中的每一深度向量包含至少一像素，且該至少一像素的深度值都相同；一計數器計數該至少一深度向量的數目；該處理器儲存該至少一深度向量的數目至該暫存器；該處理器比較該至少一深度向量的數目和該最大計數；該處理器根據一比較結果，對該暫存器執行一相對應的動作。
本發明提供一種儲存3D影像內容的方法。該方法是利用一處理 器從對應於一3D影像訊號的每一畫面的深度資訊圖中，得到對應於該深度資訊圖的每一列像素的每一像素的深度值，以及根據對應於該深度資訊圖的每一列像素的每一像素的深度值，產生對應於該深度資訊圖的每一列像素的至少一深度向量。相較於現有技術，因為本發明的該深度資訊圖的每一列像素都可被至少一深度向量所表示，所以本發明可大幅壓縮用以儲存該深度資訊圖的位元數，以降低儲存3D影像內容的成本。
600‧‧‧裝置
602‧‧‧暫存器
604‧‧‧處理器
606‧‧‧計數器
802‧‧‧2D影像
804‧‧‧深度資訊圖
L1‧‧‧第一像素列
L100‧‧‧第100像素列
MU‧‧‧最大計數
V11、V12、V1001、V1002、V1003、V1004‧‧‧深度向量
700-722‧‧‧步驟
第1圖是說明左右全影像的3D影像格式的示意圖。
第2圖是說明左右半影像的3D影像格式的示意圖。
第3圖是說明上下的3D影像格式的示意圖。
第4圖是說明畫面包裹的3D影像格式的示意圖。
第5圖是說明2D影像加上深度資訊的3D影像格式的示意圖。
第6圖是本發明的一實施例說明一種儲存3D影像內容的裝置的示意圖。
第7A圖和第7B圖是本發明的另一實施例說明一種儲存3D影像內容的方法的流程圖。
第8圖是說明對應於2D影像加上深度資訊圖的示意圖。
請參照第6圖、第7A圖、第7B圖和第8圖，第6圖是本發明的一實施例說明一種儲存3D影像內容的裝置600的示意圖，第7A圖和第7B圖是本發明的另一實施例說明一種儲存3D影像內容的方法的流程圖，和第8圖是說明對應於一3D影像訊號IS的一畫面的2D影像802加上深度資訊圖804的示意圖。如第6圖所示，裝置600包含一暫存器602、一處理器604及一計數器606。另外，第7A圖和第7B圖的方法的詳細步驟如下：步驟700：開始；步驟702：處理器604初始化暫存器602與一最大計數MU；步驟703：處理器604利用一立體比對演算法產生對應於3D影像訊號IS的一畫面的深度資訊圖804；步驟704：處理器604從深度資訊圖804中，得到對應深度資訊圖804中的每一列像素的每一像素的深度值；步驟706：處理器604根據對應於深度資訊圖804中的每一列像素的每一像素的深度值，產生對應於深度資訊圖804中的每一列像素的至少一深度向量；步驟708：計數器606計數對應於深度資訊圖804中的每一列像素的至少一深度向量的數目；步驟710：處理器604儲存對應於深度資訊圖804中的每一列像素的至少一深度向量的數目至暫存器606；步驟712：處理器604比較深度資訊圖804中的一列像素的至少一深度向量的數目和最大計數MU；步驟714：該列像素的至少一深度向量的數目是否大於最大計 數MU；如果是，進行步驟716；如果否，進行步驟718；步驟716：處理器604利用該列像素的至少一深度向量的數目更新最大計數MU；步驟718：處理器604是否比較完深度資訊圖804的每一列像素；如果是，進行步驟720；如果否，跳回步驟712；步驟720：處理器604根據最大計數MU，刪除暫存器602大於最大計數MU的寬度；步驟722：處理器604根據暫存器602的剩餘寬度以及對應暫存器602內所儲存的深度資訊圖中所有深度向量的數目，輸出畫面的一壓縮結果，跳回步驟704。
在步驟702中，處理器604初始化暫存器602的大小等於畫面的深度資訊圖804的大小，其中深度資訊圖804的水平邊的長度是1920個像素。但本發明並不受限於深度資訊圖804的水平邊的長度是1920個像素。另外，處理器604亦初始化最大計數MU(例如處理器604設定最大計數MU為0)，其中最大計數MU是儲存在計數器606。
在步驟703中，如果3D影像訊號IS具有一左右的3D影像格式時，處理器604會先根據左右的3D影像格式和立體比對演算法，產生對應於3D影像訊號IS的每一畫面的深度資訊圖；如果3D影像訊號IS具有一上下的3D影像格式時，處理器604會先根據上下的3D影像格式和立體比對演算法，產生對應於3D影像訊號IS的每一畫面的深度資訊圖；如果3D影像訊號IS具有一畫面包裹的3D影像格式時，處理器604會先根據畫面包裹的3D影像格式和立體比對演算法，產生對應於3D影像訊號IS的每一畫面的深度資訊圖。
在步驟704中，處理器604從深度資訊圖804中，得到對應深度資訊圖804中的每一列像素的每一像素的深度值(亦即對應於每一列像素的每一像素的灰階值)。
在步驟706中，處理器604根據對應於每一列像素的每一像素的深度值，產生對應於每一列像素的至少一深度向量，其中至少一深度向量中的每一深度向量包含至少一像素，且至少一像素的深度值都相同。
如第8圖所示，處理器604根據對應於深度資訊圖804的第一像素列L1的每一像素的深度值，產生對應於第一像素列L1的二深度向量V11、V12，其中深度向量V11的深度值是70，且深度向量V11包含640個像素，所以深度向量V11記錄為(70,640)；深度向量V12的深度值是20，且深度向量V11包含1280個像素，所以深度向量V12記錄為(20,1280)。亦即深度資訊圖804的第一像素列L1可用深度向量V11、V12表示。同理，處理器604亦可根據對應於深度資訊圖804的第100像素列L100的每一像素的深度值，產生對應於第100像素列L100的4深度向量V1001、V1002、V1003、V1004，其中深度向量V1001記錄為(70,700)、深度向量V1002記錄為(20,200)、深度向量V1003記錄為(200,100)和深度向量V1004記錄為(20,920)。亦即深度資訊圖804的第100像素列L100可用深度向量V1001、V1002、V1003、V1004表示。另外，處理器604亦可用上述相同方式表達深度資訊圖804中的其他像素列，在此不再贅述。在步驟708中，計數器606計數每一列像素的至少一深度向量的數目。然後，在步驟710中，處理器604儲存每一列像素的至少一深度向量的數目至暫存器606。在步驟712中，處理器604比較深度資訊圖804中的一列像素的至少一深度向量的數目和最大計數MU。例如，處理器604開始比較深度資訊圖804的第一像素列L1的深度向量的數目(因為第一像素列L1包含深度向量V11、V12，所以第一像素列L1的深度向量的 數目為2)和最大計數MU(例如0)。在步驟714中，因為第一像素列L1的深度向量的數目(2)大於最大計數MU(例如0)，所以進行步驟716。在步驟716中，因為第一像素列L1的深度向量的數目(2)大於最大計數MU(例如0)，所以處理器604利用第一像素列L1的深度向量的數目(2)更新最大計數MU(例如0)，亦即此時最大計數MU變為2。在步驟718中，因為處理器604尚未比較深度資訊圖804中的其他像素列，所以跳回步驟712。如此，處理器604不斷重覆步驟712至步驟720直到處理器604比較完深度資訊圖804中的每一列像素。
在步驟720中，在處理器604比較完深度資訊圖804中的每一列像素後，處理器604根據最大計數MU，刪除暫存器602大於最大計數MU的寬度。例如，如果深度資訊圖804的水平邊的長度是1920個像素且最大計數MU為100，所以處理器604刪除暫存器602大於最大計數MU的寬度。在步驟722中，處理器604根據暫存器602的剩餘寬度(例如100個像素寬度)以及暫存器602內所儲存的深度資訊圖中所有深度向量的數目，輸出畫面的一壓縮結果。以畫面的2D影像802的第一像素列L1和深度資訊圖804的第一像素列L1為例，因為2D影像802的第一像素列L1和深度資訊圖804的第一像素列L1分別具有1920個像素，且每一像素具有紅、綠、藍三個子像素，所以現有技術需要(1920+1920)×3=11520位元來儲存2D影像802的第一像素列L1和深度資訊圖804的第一像素列L1；因為本發明的深度資訊圖804的第一像素列L1可被深度向量V11、V12表示，所以本發明僅需要(1920+2)×3=5766位元來儲存2D影像802第一像素列L1和深度資訊圖804的第一像素列L1。因此，在本發明中，2D影像802第一像素列L1和深度資訊圖804的第一像素列L1的壓縮率為(11520-5766)/11520=0.4994=49.94%。
綜上所述，本發明所提供的一種儲存3D影像內容的方法是利用 處理器從對應於3D影像訊號的每一畫面的深度資訊圖中，得到對應於深度資訊圖的每一列像素的每一像素的深度值，以及根據對應於深度資訊圖的每一列像素的每一像素的深度值，產生對應於深度資訊圖的每一列像素的至少一深度向量。相較於現有技術，因為本發明的深度資訊圖的每一列像素都可被至少一深度向量所表示，所以本發明可大幅壓縮用以儲存深度資訊圖的位元數，以降低儲存3D影像內容的成本。
600‧‧‧裝置
602‧‧‧暫存器
604‧‧‧處理器
606‧‧‧計數器
MU‧‧‧最大計數

Claims (6)

  1. 一種儲存3D影像內容的方法，包含下列步驟：一處理器初始化一暫存器與一最大計數；該處理器利用一立體比對演算法產生對應於一3D影像訊號的每一畫面的深度資訊圖；該處理器從對應於該3D影像訊號的該畫面的深度資訊圖中，得到對應於該深度資訊圖的每一列像素的每一像素的深度值；該處理器根據對應於該列像素的每一像素的深度值，產生對應於該列像素的至少一深度向量，其中該至少一深度向量中的每一深度向量包含至少一像素，且該至少一像素的深度值都相同；一計數器計數該至少一深度向量的數目；該處理器儲存該至少一深度向量的數目至該暫存器；該處理器比較該至少一深度向量的數目和該最大計數；及當該至少一深度向量的數目大於該最大計數時，該處理器利用該至少一深度向量的數目更新該最大計數。
  2. 如請求項1所述的方法，另包含：當該處理器比較完該深度資訊圖中的每一列像素後，該處理器根據一當前最大計數，刪除該暫存器大於該當前最大計數的寬度以產生該暫存器的剩餘寬度；及該處理器根據該暫存器的剩餘寬度以及對應該暫存器內所儲存的該深度資訊圖中所有深度向量的數目，輸出該畫面的一壓縮結果。
  3. 如請求項1所述的方法，其中該處理器初始化該暫存器，是該處理器初始化該暫存器的大小等於該畫面的深度資訊圖的大小。
  4. 如請求項1所述的方法，另包含：當該3D影像訊號具有一左右的3D影像格式時，該處理器根據該左右的3D影像格式，產生對應於該3D影像訊號的每一畫面的深度資訊圖。
  5. 如請求項1所述的方法，另包含：當該3D影像訊號具有一上下的3D影像格式時，該處理器根據該上下的3D影像格式，產生對應於該3D影像訊號的每一畫面的深度資訊圖。
  6. 如請求項1所述的方法，另包含：當該3D影像訊號具有一畫面包裹的3D影像格式時，該處理器根據該畫面包裹的3D影像格式，產生對應於該3D影像訊號的每一畫面的深度資訊圖。
TW102122560A 2013-06-25 2013-06-25 儲存３ｄ影像內容的方法 TWI502545B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102122560A TWI502545B (zh) 2013-06-25 2013-06-25 儲存３ｄ影像內容的方法
US13/952,669 US9066079B2 (en) 2013-06-25 2013-07-28 Method of storing a content of a three-dimensional image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102122560A TWI502545B (zh) 2013-06-25 2013-06-25 儲存３ｄ影像內容的方法

Publications (2)

Publication Number Publication Date
TW201501077A TW201501077A (zh) 2015-01-01
TWI502545B true TWI502545B (zh) 2015-10-01

Family

ID=52110974

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102122560A TWI502545B (zh) 2013-06-25 2013-06-25 儲存３ｄ影像內容的方法

Country Status (2)

Country Link
US (1) US9066079B2 (zh)
TW (1) TWI502545B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113520465B (zh) * 2021-07-29 2023-11-24 合肥合滨智能机器人有限公司 一种羊水最大深度的自动测量方法
TWI778749B (zh) * 2021-08-17 2022-09-21 睿至股份有限公司 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098271A1 (en) * 2005-11-02 2007-05-03 Kitakyushu Foundation For The Advancement Of Industry, Science And Technology Apparatus and method for image coding
US20100310155A1 (en) * 2007-12-20 2010-12-09 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
TW201223249A (en) * 2010-09-24 2012-06-01 Qualcomm Inc Coding stereo video data
TW201246911A (en) * 2011-02-14 2012-11-16 Sisvel Technology Srl Method for generating, transmitting and receiving stereoscopic images, and related devices
CN103152535A (zh) * 2013-02-05 2013-06-12 华映视讯（吴江）有限公司 自动判断3d影像格式的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996003641A1 (en) * 1994-07-28 1996-02-08 Kley Victor B Scanning probe microscope assembly
US7053937B1 (en) * 1999-05-21 2006-05-30 Pentax Corporation Three-dimensional image capturing device and recording medium
US6411295B1 (en) * 1999-11-29 2002-06-25 S3 Graphics Co., Ltd. Apparatus and method for Z-buffer compression
US8385599B2 (en) * 2008-10-10 2013-02-26 Sri International System and method of detecting objects
JP2011151721A (ja) 2010-01-25 2011-08-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
WO2011098936A2 (en) * 2010-02-09 2011-08-18 Koninklijke Philips Electronics N.V. 3d video format detection
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
CN105554551A (zh) * 2011-03-02 2016-05-04 华为技术有限公司 3d格式描述信息的获取方法和装置
JP2013005259A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20130177237A1 (en) * 2012-01-09 2013-07-11 Gregory Gerhard SCHAMP Stereo-vision object detection system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070098271A1 (en) * 2005-11-02 2007-05-03 Kitakyushu Foundation For The Advancement Of Industry, Science And Technology Apparatus and method for image coding
US20100310155A1 (en) * 2007-12-20 2010-12-09 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
TW201223249A (en) * 2010-09-24 2012-06-01 Qualcomm Inc Coding stereo video data
TW201246911A (en) * 2011-02-14 2012-11-16 Sisvel Technology Srl Method for generating, transmitting and receiving stereoscopic images, and related devices
CN103152535A (zh) * 2013-02-05 2013-06-12 华映视讯（吴江）有限公司 自动判断3d影像格式的方法

Also Published As

Publication number Publication date
TW201501077A (zh) 2015-01-01
US20140376803A1 (en) 2014-12-25
US9066079B2 (en) 2015-06-23

Similar Documents

Publication Publication Date Title
CN102187680B (zh) 用于确定图像序列的二维或三维显示模式的方法和设备
KR101863767B1 (ko) 의사-3d 인위적 원근법 및 장치
US9049336B2 (en) Auto-detect method for detecting image format and playback method applying the same
US8982187B2 (en) System and method of rendering stereoscopic images
WO2010113859A1 (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
KR20100109069A (ko) 시각적 관심맵 생성 장치 및 방법
TWI602145B (zh) 包裝圖框之解包裝方法、裝置及系統
CN103826114A (zh) 一种立体显示方法及自由立体显示装置
TWI502545B (zh) 儲存３ｄ影像內容的方法
US20160353129A1 (en) A Method for Fast 3D Video Coding for HEVC
US9521428B2 (en) Method, device and system for resizing original depth frame into resized depth frame
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
TWI498854B (zh) 自動判斷３ｄ影像格式的方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
KR20120059367A (ko) 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
KR20110091377A (ko) 최적시차 3ｄ 영상물 제작방법, 그리고, 기록매체
Yang et al. Depth image-based rendering with edge-oriented hole filling for multiview synthesis
CN103517059B (zh) 储存3d影像内容的方法
KR101232870B1 (ko) 입체영상 처리장치 및 그 방법
JP6283297B2 (ja) オリジナルデプスフレームをリサイズ及び復元する方法、装置並びにシステム
TW201208344A (en) System and method of enhancing depth of a 3D image
US8553043B2 (en) Three-dimensional (3D) image processing method and system
US8526714B2 (en) Method and system for reconstructing a stereoscopic image stream from quincunx sampled frames
TWI508523B (zh) 三維影像處理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees