[go: up one dir, main page]

JP2012019329A - 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 - Google Patents

記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 Download PDF

Info

Publication number
JP2012019329A
JP2012019329A JP2010154791A JP2010154791A JP2012019329A JP 2012019329 A JP2012019329 A JP 2012019329A JP 2010154791 A JP2010154791 A JP 2010154791A JP 2010154791 A JP2010154791 A JP 2010154791A JP 2012019329 A JP2012019329 A JP 2012019329A
Authority
JP
Japan
Prior art keywords
image
recorded
content
recording
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010154791A
Other languages
English (en)
Inventor
Masanari Miyata
勝成 宮田
Noboru Murabayashi
昇 村林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010154791A priority Critical patent/JP2012019329A/ja
Priority to US13/159,707 priority patent/US8712212B2/en
Priority to EP20110171649 priority patent/EP2405433A1/en
Priority to CN2011101893039A priority patent/CN102376326A/zh
Publication of JP2012019329A publication Critical patent/JP2012019329A/ja
Priority to US13/765,230 priority patent/US20130148941A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00079Time or data compression or expansion the compression ratio or quality level being adapted to circumstances, e.g. to the available recording space
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10592Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/106113D video data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B2020/1291Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting serves a specific purpose
    • G11B2020/1292Enhancement of the total storage capacity
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】3Dコンテンツを効率的に記録することができる。
【解決手段】3Dコンテンツの記録時、視差がしきい値より大きいL画像とR画像からなる区間である、時刻t1から時刻t4までの区間f1と、時刻t7以降の区間f3については、L画像とR画像の両方の画像が記録される。一方、視差がしきい値より小さいL画像とR画像からなる区間である、時刻t4から時刻t7までの区間f2については、L画像とR画像のうちの一方の画像が記録される。L画像とR画像のうちのいずれの画像を記録するのかは、画質のよい方を記録するようにして決定される。本発明は、3Dコンテンツを記録する録画機器に適用することができる。
【選択図】図3

Description

本発明は、記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置に関し、特に、3Dコンテンツを効率的に記録することができるようにした記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置に関する。
近年、立体視が可能な画像を収録した3Dコンテンツが注目されている。3Dコンテンツの画像データには、左眼用画像(L画像)と右眼用画像(R画像)のデータが含まれる。L画像に写る被写体とR画像に写る被写体には、視差に相当するずれがある。
視差が設定されたL画像とR画像を交互に表示し、アクティブシャッタメガネをかけたユーザの左目と右目にそれぞれ届けることによって、被写体を立体的に認識させることが可能になる。
特開2006−60630号公報 特開2005−108282号公報 特開2007−280493号公報
BD(Blu-ray(商標) Disc)レコーダ等の、3Dコンテンツの記録再生が可能な機器が普及し始めている。放送波を介して3Dコンテンツを伝送することも考えられており、3Dコンテンツ対応の録画機器を使って、3Dコンテンツの予約録画を行うことも一般的なものになると考えられる。
BD、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの、録画機器に搭載される記録媒体の容量も多くなってきてはいるが、通常、3Dコンテンツのデータ量は2Dコンテンツのデータ量より多い。従って、2Dコンテンツを記録する場合に較べて記録容量が不足する状況になることも多くなり、3Dコンテンツの録画予約を設定していたものの、記録媒体の容量不足によって録画を正常に終わらせることができないといったことも多くなるものと考えられる。
録画対象の3Dコンテンツのデータ量が記録媒体の空き容量よりも多い場合にユーザに対して警告するなどの方法も考えられるが、従来、適切な警告手法は提案されていない。容量が不足する場合に警告を行うのではなく、容量不足にならないように3Dコンテンツを記録することができれば、そのような警告は不要となり、かつ、録画を正常に終わらせることが可能となり、好ましい。
本発明はこのような状況に鑑みてなされたものであり、特に、3Dコンテンツを効率的に記録することができるようにするものである。
本発明の第1の側面の記録装置は、記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出する視差検出手段と、視差がしきい値より大きいL画像とR画像を含む第1の区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む第2の区間についてはL画像とR画像のうちの一方を記録する記録制御手段とを備える。
L画像とR画像の画質を検出する画質検出手段をさらに設けることができる。この場合、前記記録制御手段には、視差が前記しきい値より小さいL画像とR画像のうち、画質のよい方を記録させることができる。
L画像とR画像のうちのいずれの画像を記録したのかを表す識別情報を生成する生成手段をさらに設けることができる。この場合、前記記録制御手段には、前記3Dコンテンツの前記第2の区間の画像データと対応付けて、前記識別情報を記録させることができる。
前記生成手段には、L画像とR画像の視差を表す情報を含む前記識別情報を生成させることができる。
前記3Dコンテンツ全体のうちの記録が終わっていない部分のデータ量と、前記3Dコンテンツの記録先となる記録媒体の残りの容量を比較し、前記記録が終わっていない部分のデータ量が前記記録媒体の残りの容量より多い場合、高くなるように前記しきい値を更新する制御手段をさらに設けることができる。
本発明の第1の側面の記録方法は、記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出し、視差がしきい値より大きいL画像とR画像を含む区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む区間についてはL画像とR画像のうちの一方を記録するステップを含む。
本発明の第1の側面のプログラムは、記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出し、視差がしきい値より大きいL画像とR画像を含む区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む区間についてはL画像とR画像のうちの一方を記録するステップを含む処理をコンピュータに実行させる。
本発明の第2の側面の記録装置は、視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている第1の区間と、L画像とR画像のうちの一方が記録されている第2の区間とを含む3Dコンテンツを再生する再生手段と、前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成する生成手段と、前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、前記生成手段により生成された前記他方の画像を表示する表示制御手段とを備える。
前記3Dコンテンツの前記第2の区間の画像データと対応付けて記録されている、L画像とR画像のうちのいずれの画像が記録されているのかを表す識別情報を解析する解析手段をさらに設けることができる。この場合、前記生成手段には、前記3Dコンテンツの画像として記録されていない前記他方の画像を前記識別情報に基づいて特定し、生成させることができる。
前記解析手段には、前記識別情報を解析することによって、L画像とR画像の視差を特定させ、前記生成手段には、前記一方の画像に対して、前記解析手段により特定された視差を有する前記他方の画像を生成させることができる。
本発明の第2の側面の記録方法は、視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている第1の区間と、L画像とR画像のうちの一方が記録されている第2の区間とを含む3Dコンテンツを再生し、前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成し、前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、生成した前記他方の画像を表示するステップを含む。
本発明の第2の側面のプログラムは、視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている第1の区間と、L画像とR画像のうちの一方が記録されている第2の区間とを含む3Dコンテンツを再生し、前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成し、前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、生成した前記他方の画像を表示するステップを含む処理をコンピュータに実行させる。
本発明の第3の側面の記録再生装置は、記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出する視差検出手段と、視差がしきい値より大きいL画像とR画像を含む第1の区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む第2の区間についてはL画像とR画像のうちの一方を記録する記録制御手段と、視差が前記しきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている前記第1の区間と、L画像とR画像のうちの一方が記録されている前記第2の区間とを含む前記3Dコンテンツを再生する再生手段と、前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成する生成手段と、前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、前記生成手段により生成された前記他方の画像を表示する表示制御手段とを備える。
本発明の第1の側面においては、記録対象の3Dコンテンツに含まれるL画像とR画像の視差が検出され、視差がしきい値より大きいL画像とR画像を含む区間についてはL画像とR画像の両方が記録され、視差が前記しきい値より小さいL画像とR画像を含む区間についてはL画像とR画像のうちの一方が記録される。
本発明の第2の側面においては、視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている第1の区間と、L画像とR画像のうちの一方が記録されている第2の区間とを含む3Dコンテンツが再生され、前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像が生成される。前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像が表示され、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、生成された前記他方の画像が表示される。
本発明の第3の側面においては、記録対象の3Dコンテンツに含まれるL画像とR画像の視差が検出され、視差がしきい値より大きいL画像とR画像を含む第1の区間についてはL画像とR画像の両方が記録され、視差が前記しきい値より小さいL画像とR画像を含む第2の区間についてはL画像とR画像のうちの一方が記録される。また、視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている前記第1の区間と、L画像とR画像のうちの一方が記録されている前記第2の区間とを含む3Dコンテンツが再生され、前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像が生成される。前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像が表示され、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、生成された前記他方の画像が表示される。
本発明によれば、3Dコンテンツを効率的に記録することができる。
本発明の一実施形態に係る記録再生装置を示す図である。 3Dコンテンツの画像データの例を示す図である。 記録再生装置による記録動作の例を示す図である。 記録再生装置による再生動作の例を示す図である。 記録再生装置の構成例を示すブロック図である。 記録媒体に記録される情報のデータ構造を示す図である。 記録処理部の構成例を示すブロック図である。 L画像とR画像の多重化の例を示す図である。 画像の欠落の例を示す図である。 再生処理部の構成例を示すブロック図である。 L画像とR画像の分離の例を示す図である。 画像データ処理部の構成例を示すブロック図である。 画像データ処理部の構成例を示すブロック図である。 画像データ処理部の構成例を示すブロック図である。 記録再生装置の記録処理について説明するフローチャートである。 図15のステップS14において行われるしきい値調整処理について説明するフローチャートである。 3Dコンテンツのデータ量の予測の例を示す図である。 記録再生装置の再生処理について説明するフローチャートである。 3D画像の視聴の例を示す図である。 コンピュータの構成例を示すブロック図である。
[記録再生の原理について]
図1は、本発明の一実施形態に係る記録再生装置1を示す図である。
記録再生装置1には、HDMI(High Definition Multimedia Interface)ケーブルなどのケーブル3を介してTV2が接続される。記録再生装置1に対しては、放送波を介して、またはインターネットなどのネットワークを介して伝送されてきた3Dコンテンツが供給される。
記録再生装置1は、BD、HDD、SSDなどの記録媒体を有しており、3Dコンテンツを記録媒体に記録(録画)し、再生する機能を有する。
テレビジョン番組などの3Dコンテンツの伝送のタイミングは伝送側により決められている。記録再生装置1のユーザは、リモートコントローラなどを操作して録画予約を設定し、あるタイミングで伝送が開始される3Dコンテンツの予約録画を行うことができる。また、ユーザは、録画済みの3Dコンテンツを再生させ、TV2を使って3Dコンテンツを視聴することができる。
図2は、記録対象の3Dコンテンツの画像データの例を示す図である。
図2の下段に示すように、3Dコンテンツの画像データは、L画像とR画像のデータから構成される。図2には、L画像である画像L1乃至L8と、R画像である画像R1乃至R8を示している。例えば、画像L1,R1,L2,R2,L3,R3,・・・,L8,R8といったように、L画像とR画像を交互に表示することによって3D画像の表示が実現される。それぞれのR画像は、同じ数字が割り当てられている、対応するL画像の次に表示される。
L画像に写るオブジェクトの画像上の位置と、そのL画像に対応するR画像に写るオブジェクトの画像上の位置のずれが、L画像とR画像(L画像と、対応するR画像)の視差に相当する。
記録再生装置1においては、3Dコンテンツの記録時、L画像とR画像の視差が検出される。図2の上段は、下段に示すL画像とR画像を対象として視差の検出を行った場合の検出結果の時系列を示している。
図2の例においては、画像L1と画像R1の表示時刻である時刻t1から、画像L4と画像R4の表示時刻である時刻t4までの区間の視差は視差P1としてほぼ一定である。ここでは、L画像と、対応するR画像は同じ時刻に表示されるものとしている。
また、図2の例においては、時刻t4から、画像L7と画像R7の表示時刻である時刻t7までの区間の視差は、視差P1より小さい視差P2としてほぼ一定である。時刻t7以降の区間の視差は視差P1としてほぼ一定である。
記録再生装置1においては、3Dコンテンツの記録時、このような視差の検出結果に基づいて、視差がしきい値より大きいL画像とR画像からなる区間(視差が大きい区間)については、L画像とR画像の両方が記録される。また、視差がしきい値より小さいL画像とR画像からなる区間(視差が小さい区間)については、L画像とR画像のうちの一方が記録される。
図3は、記録再生装置1による記録動作の例を示す図である。
図3の上段に示す視差の時系列と、中段に示す画像は、それぞれ図2に示すものと同じである。
図3の下段に示すように、視差が大きい区間である、時刻t1から時刻t4までの区間f1と、時刻t7以降の区間f3においては、L画像とR画像の両方の画像が記録される。
一方、視差が小さい区間である、時刻t4から時刻t7までの区間f2においては、L画像とR画像のうちの一方が記録される。図3の下段において実線で示す画像は、記録媒体に記録される画像であり、破線で示す画像は、記録媒体に記録されない画像である。
図3の例においては、区間f2内の画像である画像L4と画像R4、画像L5と画像R5についてはL画像のみが記録され、画像L6と画像R6についてはR画像のみが記録される。L画像とR画像のうちのいずれの画像を記録するのかは、画質のよい方を記録するようにして決定される。すなわち、記録再生装置1においては、視差が小さい区間を対象として、L画像とR画像の画質の検出が行われる。
図3の例においては、画像L4と画像R4では画像L4の方が画質のよい画像であり、画像L5と画像R5では画像L5の方が画質のよい画像である。また、画像L6と画像R6では画質R6の方が画質のよい画像である。ブロックノイズの量が異なるなど、L画像の画質とR画像の画質には差が現れる。
このように、視差が小さい区間については、L画像とR画像のうちの一方を記録することによって、3Dコンテンツの記録先となる記録媒体の容量の使用を抑えることが可能になる。
後述するように、視差が小さい区間の再生時、記録再生装置1においては、記録されている一方の画像に基づいて2D−3D変換を行うことによって、記録されていない他方の画像が生成される。画質のよい方の画像を記録しておくことによって、再生時、画質のよい方の画像に基づいて、記録されていない他方の画像を生成することが可能になる。
2D−3D変換は、例えば、記録されているL画像またはR画像に視差を設定する(オブジェクトの位置をずらす)ことで行われる。画質の悪い画像に視差を設定して生成した画像より、画質のよい画像に視差を設定して生成した画像の方が、画質がよいと考えられるから、3D画像の画質を向上させることが可能になる。
また、視差の大きい区間の画像を欠落させるより、視差の小さい区間の画像を欠落させることによって、再生時に表示される3D画像の違和感を抑えることが可能になる。
2D−3D変換によって生成した画像を用いて行われる3D表示はいわば擬似的な表示であって、予め用意されているL画像とR画像に基づいて行われる3D表示と較べて立体感に差があるものと考えられる。視差の小さい区間を擬似的な3D表示の区間にすることによって、視差の大きい区間を擬似的な3D表示の区間にする場合に較べて、全体的に、オリジナルとの差を減らすことができ、違和感を軽減させることが可能になる。
以下、適宜、L画像とR画像のうち、画質が悪いために記録されなかった方の画像を欠落画像という。欠落画像と対になる、3Dコンテンツの画像として記録される画像は記録画像となる。
記録再生装置1においては、3Dコンテンツの記録時、視差が小さい区間内のそれぞれのL画像とR画像について、いずれの画像を記録したのかを表す識別情報が生成される。識別情報には、L画像とR画像のうちのいずれの画像が記録されているのかを表す情報と、L画像とR画像の視差を表す情報が含まれる。識別情報は、3Dコンテンツの画像データと対応付けて記録される。
3Dコンテンツの画像データと対応付けて識別情報を記録しておくことによって、記録再生装置1は、3Dコンテンツの再生時、視差が小さい区間を特定することが可能になる。
また、記録再生装置1は、特定した区間の再生時、いずれの画像に基づいて、記録されていない欠落画像を生成すればよいのかと、欠落画像を生成するときに設定する視差を特定することが可能になる。
図4は、記録再生装置1による再生動作の例を示す図である。
図4の上段に示す記録済みの3Dコンテンツの画像は、図3の下段に示すものと同じである。
3Dコンテンツの再生時、記録再生装置1においては、各区間の画像データ毎に、識別情報が対応付けて記録されているか否かが判定される。
識別情報が対応付けて記録されている区間、すなわち、視差が小さい区間が再生対象になったとき、識別情報が解析され、L画像とR画像のうちのいずれの画像が記録されているのかが特定される。また、欠落画像を生成するために用いる視差が特定され、記録画像に視差を設定することによって欠落画像が生成される。
図4の下段の例においては、区間f1の再生時、区間f1の画像データには識別情報が対応付けて記録されていないから、記録画像である画像L1,R1,L2,R2,L3,R3の順に表示されることによって、区間f1の3D表示が行われる。
区間f2の再生時、区間f2の画像データに対応付けて記録されている識別情報が解析され、L画像とR画像のうちのいずれの画像が記録されているのかと、視差が特定される。画像L4に基づいて画像R4が生成され、画像L5に基づいて画像R5が生成される。また、画像R6に基づいて画像L6が生成される。
記録画像である画像L4、画像L4に基づいて生成された画像R4、記録画像である画像L5、画像L5に基づいて生成された画像R5、画像R6に基づいて生成された画像L6、記録画像である画像R6の順に表示されることによって、区間f2の3D表示が行われる。
区間f3の再生時、区間f3の画像データには識別情報が対応付けて記録されていないから、記録画像である画像L7,R7,L8,R8の順に表示されることによって、区間f3の3D表示が行われる。
[記録再生装置の構成について]
図5は、記録再生装置1の構成例を示すブロック図である。
記録再生装置1は、システムコントローラ21、操作I/F部22、記録部23、記録媒体24、および再生部25から構成される。操作I/F部22に対しては、リモートコントローラ31からの信号が供給され、記録部23のチューナ41に対しては、アンテナ32において電波が受信されることによって得られた受信信号が供給される。
システムコントローラ21は、所定のプログラムを実行し、記録再生装置1の全体の動作を制御する。例えば、システムコントローラ21は、操作I/F部22から供給された信号に基づいて録画予約を設定し、放送開始時刻になったとき、記録部23を制御して3Dコンテンツの記録を開始する。また、システムコントローラ21は、記録済みの3Dコンテンツの再生が指示されたとき、再生部25を制御し、記録媒体24に記録されている3Dコンテンツを再生する。
記録再生装置1の記録側の構成について説明する。
記録部23は、チューナ41、記録処理部42、画像特徴検出部43、識別情報生成部44、および記録容量検出部45から構成される。
チューナ41は、アンテナ32から供給された受信信号を復調し、A/D変換などを施すことによって得られた3Dコンテンツのデータを記録処理部42に出力する。ここでは、ビデオデータの処理について主に説明するが、音声データについても、図示せぬ回路で処理された後、ビデオデータとともに記録媒体24に記録される。
記録処理部42は、チューナ41から供給されたデータに基づいて、3Dコンテンツの画像データを生成し、画像特徴検出部43に出力する。また、記録処理部42は、3Dコンテンツの画像であるL画像とR画像のうち、識別情報生成部44により生成された識別情報に基づいて画像を欠落させ、識別情報や音声データとともに記録媒体24に記録させる。
画像特徴検出部43は、視差検出部43Aと画質検出部43Bから構成される。
視差検出部43Aは、記録処理部42から供給されたL画像とR画像の視差を検出する。視差の検出は、例えば、L画像とR画像をそれぞれ所定の領域毎に区切り、ブロックマッチングによって同じオブジェクトのL画像とR画像中の位置を検出し、位置のずれ量を求めることによって行われる。視差の検出については、例えば、特開平7−282259号公報、特開平4−360395号公報、特開平6−215111号公報に開示されている。
視差検出部43Aは、検出した視差を表す情報を識別情報生成部44に出力する。
画質検出部43Bは、記録処理部42から供給されたL画像とR画像のそれぞれの画質を検出する。画質の検出は、例えば、L画像とR画像がMPEGなどのブロック符号化方式で符号化されている場合、ブロックノイズの量を検出することによって行われる。ブロックノイズの検出方法については、例えば特開2007−266684号に開示されている。
この文献に開示されている技術においては、入力画像フレームの画像平面上の或る画素境界における隣接画素の画素値の差分値と、画素境界の少なくとも片側の複数画素から予測された画素境界における予測画素値とに基づいて、画素境界における画素境界段差が検出され、画素境界段差を1フレーム分累積され、その累積結果に基づいてブロックノイズが検出されるようになされている。
画質検出部43Bは、検出したL画像の画質とR画像の画質を表す情報を識別情報生成部44に出力する。画像特徴検出部43による処理が、記録対象の3Dコンテンツのデータ量に対して、記録媒体24の空き残量が不足する場合にだけ行われるようにすることも可能である。
識別情報生成部44は、視差検出部43Aから供給された情報に基づいて、区間毎に、L画像とR画像の視差の平均を求め、求めた視差の平均と、システムコントローラ21により設定されたしきい値を比較する。識別情報生成部44は、視差の平均がしきい値より大きい区間を、L画像とR画像の両方を記録する区間として決定し、視差の平均がしきい値より小さい区間を、L画像とR画像のうちの一方を記録する区間として決定する。
また、識別情報生成部44は、視差が小さい区間内のそれぞれのL画像とR画像について、画質検出部43Bから供給された情報に基づいて、画質のよい方を記録画像として決定し、画質の悪い方を欠落画像として決定する。識別情報生成部44は識別情報を生成し、記録処理部42に出力する。
記録容量検出部45は、記録媒体24の空き容量を検出し、空き容量の情報をシステムコントローラ21に出力する。
図6は、記録媒体24に記録される情報のデータ構造を示す図である。
記録媒体24に記録される3Dコンテンツの情報は、ヘッダ情報、識別情報、画像データ、音声データから構成される。例えば、3Dコンテンツ全体を所定の数に区切った区間毎に、図6に示すような構造を有する3Dコンテンツの情報が記録される。
図6に示すように識別情報が含まれるのは、視差が小さく、L画像とR画像のうちの一方が記録されている区間の情報である。視差が大きく、L画像とR画像の両方の画像が記録されている区間の情報には、識別情報は含まれない。
図7は、記録処理部42の構成例を示すブロック図である。
記録処理部42は、L/R多重化部71、MPEG2エンコーダ72、および記録部73から構成される。L/R多重化部71に対しては、L画像とR画像の各フレームのデータが入力される。ここで、MPEG2エンコーダ72は、MVC(Multiview Video Coding)には対応しない
H.264/AVCエンコーダに置き換えることも考えられる(以下の説明でも同様)。
L/R多重化部71は、L画像とR画像を同じフレームに貼り付けることによってL画像とR画像を多重化する。
図8は、L画像とR画像の多重化の例を示す図である。
L/R多重化部71による多重化がSide-by-Side方式で行われる場合、図8Aに示すL画像とR画像は、図8Bに示すように1フレームの左右にそれぞれ貼り付けられる。図8の例においては、1フレームのサイズが1280×720画素とされており、1280×720画素のL画像とR画像が、それぞれ左右方向の画素数が半分に間引かれた後、1フレームの左右に貼り付けられる。
また、L/R多重化部71による多重化がTop-and-Bottom方式で行われる場合、図8Aに示すL画像とR画像は、図8Cに示すように1フレームの上下にそれぞれ貼り付けられる。1280×720画素のL画像とR画像が、それぞれ上下方向の画素数が半分に間引かれた後、1フレームの上下に貼り付けられる。
L/R多重化部71は、このようにしてL画像とR画像を多重化した各フレームをMPEG2エンコーダ72に出力する。
MPEG2エンコーダ72は、L/R多重化部71によりL画像とR画像が多重化された各フレームのデータを例えばMPEG2方式で圧縮する。
このとき、MPEG2エンコーダ72は、圧縮対象としているフレームに貼り付けられているL画像とR画像が、視差が大きい区間内の画像である場合、L画像とR画像の両方が貼り付けられたフレームを圧縮する。
また、MPEG2エンコーダ72は、圧縮対象としているフレームに貼り付けられているL画像とR画像が、視差が小さい区間内の画像である場合、フレームに貼り付けられているL画像とR画像のうちの欠落させる画像を、識別情報生成部44により生成された識別情報に基づいて特定する。MPEG2エンコーダ72は、特定した画像を欠落させ、記録画像のみが貼り付けられたフレームを圧縮する。
図9は、画像の欠落の例を示す図である。
図9Aは、L画像とR画像の多重化がSide-by-Side方式で行われている場合の欠落の例を示す図である。圧縮対象のフレームに多重化されているL画像とR画像が、視差が小さい区間内の画像であり、例えばR画像を欠落させる場合、白抜き矢印の先に示すように、MPEG2エンコーダ72は、フレームの右半分に貼り付けられているR画像を欠落させる。
図9において、同じフレームに貼り付けられたL画像とR画像のうちのR画像を破線で示していることは、R画像が欠落していることを表す。R画像の欠落は、例えば、圧縮対象のフレーム全体のうち、R画像の貼り付け先である右半分を黒データ(Y=d’16, Cb=d’128, Cr=d’128)の領域にしたり、右半分を0データの領域にしたりすることによって行われる。
図9Bは、L画像とR画像の多重化がTop-and-Bottom方式で行われている場合の欠落の例を示す図である。圧縮対象のフレームに多重化されているL画像とR画像が、視差が小さい区間内の画像であり、例えばR画像を欠落させる場合、白抜き矢印の先に示すように、MPEG2エンコーダ72は、フレームの下半分に貼り付けられているR画像を欠落させる。
MPEG2エンコーダ72は、このようにして一方の画像を欠落させたフレームをMPEG2などの方式で圧縮する。欠落画像の貼り付け先の領域を黒データの領域や0データの領域にすることによって、その領域のデータは実質的に無くなることになり、1フレーム全体のデータ量は、L画像とR画像の両方が貼り付けられている1フレーム全体のデータ量より少なくなる。
MPEG2エンコーダ72は、L画像とR画像の両方が貼り付けられたフレームを圧縮して得られたデータ、または、L画像とR画像のうちの一方が貼り付けられたフレームを圧縮して得られたデータを記録部73に出力する。
各フレームのデータをMPEG2などの方式で圧縮しないで、非圧縮のまま記録するようにしてもよい。
記録部73は、識別情報生成部44から供給された識別情報、MPEG2エンコーダ72から供給された各フレームからなる3Dコンテンツの画像データ、および音声データにヘッダ情報を付加し、図6に示すような構造を有する情報を記録媒体24に記録させる。
次に、記録再生装置1の再生側の構成について説明する。
再生部25は、再生処理部51、識別情報解析部52、画像データ処理部53、および表示処理部54から構成される。
再生処理部51は、再生対象の3Dコンテンツの情報を記録媒体24から読み出す。再生処理部51は、読み出した情報が、視差が小さい区間の画像データを含む情報であって識別情報が含まれている場合、識別情報を識別情報解析部52に出力する。
また、再生処理部51は、圧縮されている各フレームを伸張し、伸張したフレームから抽出したL画像とR画像を画像データ処理部53と表示処理部54に出力する。L画像とR画像のうちの一方が欠落している場合、記録画像のデータと、欠落画像のデータである黒データまたは0のデータが再生処理部51から出力されることになる。
識別情報解析部52は、再生処理部51から供給された識別情報を解析し、L画像とR画像のうちのいずれの画像が記録されているのかと、視差を特定する。識別情報解析部52は、解析結果を画像データ処理部53に出力する。
画像データ処理部53は、視差が小さい区間内の画像が再生処理部51から供給された場合、2D−3D変換を行うことによって、記録画像であるL画像またはR画像に基づいて欠落画像を生成する。
例えば、画像データ処理部53は、再生処理部51から供給された記録画像がL画像である場合にはそのL画像に視差を設定することによってR画像を生成する。また、画像データ処理部53は、再生処理部51から供給された記録画像がR画像である場合にはそのR画像に視差を設定することによってL画像を生成する。L画像とR画像のうちのいずれの画像が記録画像であるのかと、画像を生成する際に用いる視差は、識別情報解析部52による解析結果に基づいて特定される。
画像データ処理部53は、画像の生成の元になった記録画像と、記録画像に基づいて生成した画像を表示処理部54に出力する。
表示処理部54は、再生処理部51と画像データ処理部53から供給されたデータに基づいて、L画像とR画像を交互にTV2に表示させる。例えば、表示処理部54は、再生対象の区間が、視差が大きい区間である場合、再生処理部51から供給されたL画像とR画像を表示させる。また、表示処理部54は、再生対象の区間が、視差が小さい区間である場合、画像データ処理部53から供給されたL画像とR画像を表示させる。
図10は、再生処理部51の構成例を示すブロック図である。
再生処理部51は、再生部81とL/R分離部82から構成される。
再生部81は、記録媒体24から読み出した情報に識別情報が含まれている場合、識別情報を識別情報解析部52に出力する。また、再生部81は、圧縮されている各フレームを伸張し、L/R分離部82に出力する。
L/R分離部82は、再生部81から供給されたフレームからL画像とR画像を分離し、L画像とR画像を画像データ処理部53と表示処理部54に出力する。
図11は、L画像とR画像の分離の例を示す図である。
図11の左上に示すように、Side-by-Side方式でL画像とR画像が多重化されている場合、L画像とR画像が多重化されているフレームからL画像とR画像が分離して抽出される。また、抽出されたL画像とR画像に対してスケーリングが行われることによって、右側に示す、1フレームの画素数と同じ画素数のL画像とR画像が生成される。
図11の左下に示すように、Top-and-Bottom方式でL画像とR画像が多重化されている場合、L画像とR画像が多重化されているフレームからL画像とR画像が分離して抽出される。また、抽出されたL画像とR画像に対してスケーリングが行われることによって、右側に示す、1フレームの画素数と同じ画素数のL画像とR画像が生成される。
なお、フレームに貼り付けられているL画像またはR画像が欠落している場合、欠落画像のデータとして、1フレームの画素数と同じ画素数の画像であって、全ての画素データが黒データまたは0データの画像が生成される。
再生部81は、このようにして生成したL画像とR画像を画像データ処理部53と表示処理部54に出力する。
図12は、画像データ処理部53の構成例を示すブロック図である。
図12の例においては、画像データ処理部53には画像処理部101が設けられている。再生処理部51から出力された記録画像であるL画像またはR画像のデータは画像処理部101に入力されるとともに、表示処理部54にそのまま出力される。
画像処理部101は、画像の生成に用いる視差を識別情報解析部52による解析結果に基づいて特定し、特定した視差の分だけオブジェクトの位置をずらすことによって画像を生成する。画像処理部101は、生成した画像を表示処理部54に出力する。
図12の画像データ処理部53に入力され、表示処理部54にそのまま出力された画像データがL画像のデータである場合、画像処理部101から出力された画像データはR画像のデータとして用いられる。また、画像データ処理部53に入力され、表示処理部54にそのまま出力された画像データがR画像のデータである場合、画像処理部101から出力された画像データはL画像のデータとして用いられる。
図13は、画像データ処理部53の他の構成例を示すブロック図である。
図13の画像データ処理部53は、メモリ制御部111とメモリ112から構成される。再生処理部51から出力された記録画像であるL画像またはR画像のデータはメモリ112に入力されるとともに、表示処理部54にそのまま出力される。
メモリ制御部111は、画像の生成に用いる視差を識別情報解析部52による解析結果に基づいて特定し、特定した視差に応じてメモリ112の遅延量を制御する。メモリ制御部111には、視差と遅延量の関係を表す情報が予め設定されている。
メモリ112は、入力された画像データを一時的に記憶し、メモリ制御部111による制御に従って、視差に対応する遅延量の分だけ遅延させて出力する。
図13の画像データ処理部53に入力され、表示処理部54にそのまま出力された画像データがL画像のデータである場合、メモリ112から出力された画像データはR画像のデータとして用いられる。また、画像データ処理部53に入力され、表示処理部54にそのまま出力された画像データがR画像のデータである場合、メモリ112から出力された画像データはL画像のデータとして用いられる。
図14は、画像データ処理部53のさらに他の構成例を示すブロック図である。
図14の画像データ処理部53は、動きベクトル検出部121、メモリ制御部122、およびメモリ123から構成される。再生処理部51から出力された記録画像であるL画像またはR画像のデータは動きベクトル検出部121とメモリ123に入力されるとともに、表示処理部54にそのまま出力される。
動きベクトル検出部121は、再生対象の区間が、視差が小さい区間であることを識別情報解析部52による解析結果に基づいて特定した場合、入力された画像データに基づいて、フレーム間の動きを表す動きベクトルを検出する。動きベクトル検出部121においては、例えば、1フレームを所定の数に分割して構成される領域毎の動きベクトルが検出され、検出結果がメモリ制御部122に供給される。
メモリ制御部122は、動きベクトル検出部121により検出された動きベクトルに応じてメモリ123の遅延量を制御する。メモリ制御部122には、動きベクトルと遅延量の関係を表す情報が予め設定されている。
メモリ123は、入力された画像データを一時的に記憶し、メモリ制御部122による制御に従って、視差に対応する遅延量の分だけ遅延させて出力する。
図14の画像データ処理部53に入力され、表示処理部54にそのまま出力された画像データがL画像のデータである場合、メモリ123から出力された画像データはR画像のデータとして用いられる。また、画像データ処理部53に入力され、表示処理部54にそのまま出力された画像データがR画像のデータである場合、メモリ123から出力された画像データはL画像のデータとして用いられる。
図13または図14の構成によって2D−3D変換が行われることによって得られたL画像とR画像を見たユーザは、左右の画像の時間差により、被写体を立体的に感じることになる。左右の画像の時間差により被写体を立体的に感じる現象と似た現象として、Mach-Dvorak現象が知られている。L画像とR画像の表示の時間差が視差となる。
なお、図14に示す構成は、識別情報に視差の情報が含まれていない場合にも採用することが可能である。図14に示す構成と同様の構成については例えば特開平8−149512号公報に開示されている。
[記録再生装置の動作]
次に、図15のフローチャートを参照して、記録再生装置1の記録処理について説明する。図15の処理のうちの画像データに関する処理は、例えば、3Dコンテンツの先頭の区間から順に対象の区間を切り替えて行われる。
ステップS1において、システムコントローラ21は、録画予約が設定されているか否かを判定し、設定されていないと判定した場合、他の処理を行う。ここでは、上述したような3Dコンテンツの記録が、ユーザにより設定された、または記録再生装置1により自動的に設定された録画予約に従って3Dコンテンツを記録する場合に行われるようになされている。
録画予約が設定されているとステップS1において判定した場合、ステップS2において、システムコントローラ21は、録画予約が設定されている3Dコンテンツの録画開始時刻になったか否かを判定する。システムコントローラ21は、録画開始時刻なったと判定するまで待機する。
3Dコンテンツの放送開始時刻になり、録画開始時刻になったとステップS2において判定した場合、ステップS3において、システムコントローラ21は、記録対象の3Dコンテンツのデータ量hrと、記録媒体24の残量(空き容量)hsを比較する。3Dコンテンツのデータ量hrは、例えば、EPG(Electronic Program Guide)データにより特定される3Dコンテンツの放送時間と記録レートに基づいてシステムコントローラ21により算出される。記録媒体24の残量hsは記録容量検出部45により検出される。
ステップS4において、システムコントローラ21は、L画像とR画像の視差との比較に用いるしきい値thの初期設定を行う。
ステップS5において、システムコントローラ21は、ステップS3の比較結果に基づいて、記録媒体24の残量hsが、3Dコンテンツのデータ量hrより少ないか否かを判定する。
記録媒体24の残量hsが3Dコンテンツのデータ量hrより多いとステップS5において判定した場合、ステップS6において、システムコントローラ21は通常記録処理を行う。通常記録処理においては、画像を欠落させることなく、それぞれのL画像とR画像が1フレームに多重化され、圧縮された後、記録媒体24に記録される。
一方、記録媒体24の残量hsが3Dコンテンツのデータ量hrより少ないとステップS5において判定された場合、ステップS7において、画像特徴検出部43の視差検出部43Aは、L画像とR画像の視差pを検出する。
ステップS8において、識別情報生成部44は、L画像とR画像の視差pがしきい値thより小さいか否かを判定する。視差pがしきい値thより大きいと判定された場合、ステップS6に進み、通常記録処理、すなわち、L画像とR画像の両方を記録することが行われる。
視差pがしきい値thより小さいとステップS8において判定された場合、ステップS9において、画質検出部43Bは、対象としている区間内のL画像とR画像のそれぞれの画質を検出する。
ステップS10において、識別情報生成部44は、L画像の画質がR画像の画質より悪いか否かを判定する。
L画像の画質がR画像の画質より悪いとステップS10において判定された場合、ステップS11において、R画像と識別情報が記録される。すなわち、識別情報生成部44は、L画像を欠落させてR画像を記録することを決定し、R画像が記録されていることを表す情報と視差を表す情報を含む識別情報を生成する。記録処理部42は、識別情報生成部44により生成された識別情報に基づいてL画像を欠落させ、R画像のみが貼り付けられたフレームのデータを圧縮した後、識別情報などとともに記録媒体24に記録させる。
一方、L画像の画質がR画像の画質よりよいとステップS10において判定された場合、ステップS12において、L画像と識別情報が記録される。すなわち、識別情報生成部44は、R画像を欠落させてL画像を記録することを決定し、L画像が記録されていることを表す情報と視差を表す情報を含む識別情報を生成する。記録処理部42は、識別情報生成部44により生成された識別情報に基づいてR画像を欠落させ、L画像のみが貼り付けられたフレームのデータを圧縮した後、識別情報などとともに記録媒体24に記録させる。
ステップS11またはS12においてL画像とR画像のうちの一方の記録が行われた後、または、ステップS6においてL画像とR画像の両方の記録が行われた後、ステップS13において、システムコントローラ21は録画終了か否かを判定する。
放送がまだ続いていることなどから、録画終了ではないとステップS13において判定した場合、ステップS14において、システムコントローラ21はしきい値調整処理を行う。しきい値調整処理においては、視差との比較に用いるしきい値thの値が適宜更新される。その後、ステップS5に戻り、次の区間を対象として同様の処理が繰り返される。
ステップS13において録画終了であると判定した場合、システムコントローラ21は、記録処理部42を制御して録画を停止させ、記録処理を終了させる。
図16のフローチャートを参照して、図15のステップS14において行われるしきい値調整処理について説明する。
ステップS31において、システムコントローラ21は、記録対象の3Dコンテンツの放送が終わるまでの残り時間を検出するとともに、記録容量検出部45から供給される情報に基づいて記録媒体24の残量hsaを検出する。
ステップS32において、システムコントローラ21は、3Dコンテンツの記録が終わっていない部分のデータ量hraを予測する。3Dコンテンツの記録が終わっていない部分のデータ量hraは、例えばステップS31で検出された残り時間と記録レートに基づいてシステムコントローラ21により算出される。システムコントローラ21は、予測した3Dコンテンツのデータ量hraと、記録媒体24の残量hsaを比較する。
ステップS33において、システムコントローラ21は、記録媒体24の残量hsaに余裕があるか否かを判定する。
3Dコンテンツのデータ量hraが記録媒体24の残量hsaより多く、記録媒体24の残量hsaに余裕がないとステップS33において判定した場合、ステップS34において、システムコントローラ21は、しきい値thを単位量だけ上げて設定する。これにより、しきい値thの設定を変更する前より多くの画像が欠落することになり、3Dコンテンツを最後まで記録するのに必要なデータ量を抑えることが可能になる。
一方、3Dコンテンツのデータ量hraが記録媒体24の残量hsaより少なく、記録媒体24の残量hsaに余裕があるとステップS33において判定した場合、ステップS35において、システムコントローラ21は、しきい値thを単位量だけ下げて設定する。これにより、しきい値thの設定を変更する前より欠落する画像の数が減ることになり、3Dコンテンツを最後まで記録しつつ、再生時の3Dコンテンツの画質を、記録時の画質に近づけることが可能になる。
ステップS34またはS35においてしきい値thが更新された後、図15のステップS14に戻り、それ以降の処理が行われる。
しきい値の更新が異なる方法で行われるようにしてもよい。
図17は、3Dコンテンツのデータ量の予測の例を示す図である。
図17の横軸は時刻を表し、縦軸は記録媒体24の容量を表す。記録開始時刻を時刻0として、現在時刻は時刻taで表される。時刻taから記録終了時刻までの時間が記録残時間trになる。時刻taにおける記録媒体24の記録済みのデータ量は記録量saであり、破線で示す記録量の上限から、記録量saを引いた量が記録媒体24の残量hsaになる。
例えば、システムコントローラ21は、記録残時間trの間、単位時間あたりの記録量を時刻0から時刻taまでの単位時間あたりの記録量と同じ量として3Dコンテンツの記録を続けた場合に、記録終了時刻における3Dコンテンツのデータ量がどの程度の量になるのかを予測する。すなわち、それまでの記録量saから、記録量の増加率sa/taを求め、求めた増加率sa/taが記録残時間trの間も継続すると仮定して、記録終了時刻における3Dコンテンツのデータ量が予測される。
予測されたデータ量が記録媒体24の記録量の上限を超える場合、記録媒体24の容量に余裕がないと判断され、しきい値thを下げるようにして更新される。一方、予測されたデータ量が記録媒体24の記録量の上限を超えない場合、記録媒体24の容量に余裕があると判断され、しきい値thを上げるようにして更新される。
次に、図18のフローチャートを参照して、記録再生装置1の再生処理について説明する。
図18の処理は、リモートコントローラ31を操作するなどして、記録済みの3Dコンテンツの中から所定の3Dコンテンツが選択されたときに開始される。図18の処理は、例えば、3Dコンテンツの先頭の区間から順に対象の区間を切り替えて行われる。
ステップS51において、再生処理部51は、再生対象の区間の情報を記録媒体24から読み出す。
ステップS52において、再生処理部51は、再生対象の区間の画像データと対応付けて識別情報が記録されているか否かを判定する。
識別情報が記録されていないとステップS52において判定した場合、ステップS53において、3D画像の表示が行われる。識別情報がない場合、いま再生対象としている区間は視差が大きい区間であって、その区間内のL画像とR画像が全て記録されていることになる。再生処理部51において再生処理が行われることによって得られたL画像とR画像は表示処理部54に供給され、TV2に交互に表示される。
識別情報が記録されているとステップS52において判定された場合、ステップS54において、識別情報解析部52は識別情報の解析を行う。再生対象の区間の画像データと対応付けて識別情報が記録されている場合、いま再生対象としている区間は視差が小さい区間であって、その区間内のL画像とR画像のうちの一方が記録されていることになる。
ステップS55において、画像データ処理部53は、識別情報解析部52による解析結果に基づいて、再生対象の区間の画像データとしてR画像のデータが記録されているか否かを判定する。
R画像のデータが記録されているとステップS55において判定した場合、ステップS56において、画像データ処理部53は、2D−3D変換を行うことによって、R画像に基づいてL画像を生成する。画像データ処理部53により生成されたL画像は、記録画像であるR画像とともに表示処理部54に供給される。
一方、L画像のデータが記録されているとステップS55において判定した場合、ステップS57において、画像データ処理部53は、2D−3D変換を行うことによって、L画像に基づいてR画像を生成する。画像データ処理部53により生成されたR画像は、記録画像であるL画像とともに表示処理部54に供給される。
ステップS58において、表示処理部54は、画像データ処理部53から供給されたL画像とR画像に基づいて3D画像をTV2に表示させる。
ステップS53またはS58において3D画像が表示された後、ステップS59において、システムコントローラ21は、再生処理を終了するか否かを判定する。再生処理を終了しないとステップS59において判定された場合、ステップS51に戻り、次の区間を対象として同様の処理が繰り返される。再生処理を終了するとステップS59において判定された場合、処理は終了される。
図19は、3D画像の視聴の例を示す図である。
TV2に表示されたL画像とR画像は、シャッタメガネ131をかけたユーザの左目と右目にそれぞれ導かれる。シャッタメガネ131の同期制御は、TV2に設けられた制御ユニット2Aから赤外線などを使って出力される制御信号に従って行われる。
以上の処理により、記録再生装置1は、3Dコンテンツの記録を効率的に行うことができる。例えば録画予約に従って録画を行う場合であっても、記録再生装置1は、3Dコンテンツを最後まで確実に記録することが可能になる。
また、記録再生装置1は、そのようにして効率的に記録された3Dコンテンツを、適宜、欠落している画像を生成しながら再生することが可能になる。
[変形例]
以上においては、区間毎に、L画像とR画像の視差がしきい値と比較されるものとしたが、その区間は、複数のL画像とR画像の組からなる区間であってもよいし、1つのL画像とR画像の組からなる区間であってもよい。
視差としきい値を比較し、画像を適宜欠落させて記録する処理が、録画予約に従って3Dコンテンツを記録するとき以外の記録時に行われるようにしてもよい。また、記録時ではなく、視差としきい値を比較し、画像を適宜欠落させて伝送するといったように、3Dコンテンツの伝送時に行われるようにしてもよい。
また、以上においては、視差がしきい値より小さい場合、L画像とR画像の画質を検出し、画質の悪い方の画像を欠落させるものとしたが、L画像とR画像のうち、システムコントローラ21に予め設定されている方の画像を欠落させるようにしてもよい。これにより、画質の検出を行わないで済むことになる。さらに、記録の際に欠落処理する代わりに、エンコード処理におけるデータ圧縮率を高くすることも考えられる。例えば、画像サイズを半分にしてエンコードする場合は、再生時にはもとの画像サイズに戻して表示することが考えられる。また、他の方法として、欠落させる代わりに記録ビットレートを下げることも考えられる。
記録再生装置1の記録機能と再生機能をそれぞれ異なる装置に分けて搭載することも可能である。記録機能を搭載した記録装置は、図5のシステムコントローラ21、記録部23、記録媒体24から構成される。また、再生機能を搭載した再生装置は、図5のシステムコントローラ21と再生部25から構成される。再生装置の再生部25に対しては、記録装置により記録された3Dコンテンツが記録媒体を介して、またはネットワークを介して提供される。
[コンピュータの構成例]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図20は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)151、ROM(Read Only Memory)152、RAM(Random Access Memory)153は、バス154により相互に接続されている。
バス154には、さらに、入出力インタフェース155が接続されている。入出力インタフェース155には、キーボード、マウスなどよりなる入力部156、ディスプレイ、スピーカなどよりなる出力部157が接続される。また、入出力インタフェース155には、ハードディスクや不揮発性のメモリなどよりなる記憶部158、ネットワークインタフェースなどよりなる通信部159、リムーバブルメディア161を駆動するドライブ160が接続される。
以上のように構成されるコンピュータでは、CPU151が、例えば、記憶部158に記憶されているプログラムを入出力インタフェース155及びバス154を介してRAM153にロードして実行することにより、上述した一連の処理が行われる。
CPU151が実行するプログラムは、例えばリムーバブルメディア161に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部158にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 記録再生装置, 2 TV, 21 システムコントローラ, 23 記録部, 24 記録媒体, 25 再生部, 41 チューナ, 42 記録処理部, 43 画像特徴検出部, 43A 視差検出部, 43B 画質検出部, 44 識別情報生成部, 45 記録容量検出部, 51 再生処理部, 52 識別情報解析部, 53 画像データ処理部, 54 表示処理部

Claims (13)

  1. 記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出する視差検出手段と、
    視差がしきい値より大きいL画像とR画像を含む第1の区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む第2の区間についてはL画像とR画像のうちの一方を記録する記録制御手段と
    を備える記録装置。
  2. L画像とR画像の画質を検出する画質検出手段をさらに備え、
    前記記録制御手段は、視差が前記しきい値より小さいL画像とR画像のうち、画質のよい方を記録する
    請求項1に記載の記録装置。
  3. L画像とR画像のうちのいずれの画像を記録したのかを表す識別情報を生成する生成手段をさらに備え、
    前記記録制御手段は、前記3Dコンテンツの前記第2の区間の画像データと対応付けて、前記識別情報を記録する
    請求項1に記載の記録装置。
  4. 前記生成手段は、L画像とR画像の視差を表す情報を含む前記識別情報を生成する
    請求項3に記載の記録装置。
  5. 前記3Dコンテンツ全体のうちの記録が終わっていない部分のデータ量と、前記3Dコンテンツの記録先となる記録媒体の残りの容量を比較し、前記記録が終わっていない部分のデータ量が前記記録媒体の残りの容量より多い場合、高くなるように前記しきい値を更新する制御手段をさらに備える
    請求項1に記載の記録装置。
  6. 記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出し、
    視差がしきい値より大きいL画像とR画像を含む区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む区間についてはL画像とR画像のうちの一方を記録する
    ステップを含む記録方法。
  7. 記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出し、
    視差がしきい値より大きいL画像とR画像を含む区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む区間についてはL画像とR画像のうちの一方を記録する
    ステップを含む処理をコンピュータに実行させるプログラム。
  8. 視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている第1の区間と、L画像とR画像のうちの一方が記録されている第2の区間とを含む3Dコンテンツを再生する再生手段と、
    前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成する生成手段と、
    前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、前記生成手段により生成された前記他方の画像を表示する表示制御手段と
    を備える再生装置。
  9. 前記3Dコンテンツの前記第2の区間の画像データと対応付けて記録されている、L画像とR画像のうちのいずれの画像が記録されているのかを表す識別情報を解析する解析手段をさらに備え、
    前記生成手段は、前記3Dコンテンツの画像として記録されていない前記他方の画像を前記識別情報に基づいて特定し、生成する
    請求項8に記載の再生装置。
  10. 前記解析手段は、前記識別情報を解析することによって、L画像とR画像の視差を特定し、
    前記生成手段は、前記一方の画像に対して、前記解析手段により特定された視差を有する前記他方の画像を生成する
    請求項9に記載の再生装置。
  11. 視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている第1の区間と、L画像とR画像のうちの一方が記録されている第2の区間とを含む3Dコンテンツを再生し、
    前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成し、
    前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、生成した前記他方の画像を表示する
    ステップを含む再生方法。
  12. 視差がしきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている第1の区間と、L画像とR画像のうちの一方が記録されている第2の区間とを含む3Dコンテンツを再生し、
    前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成し、
    前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、生成した前記他方の画像を表示する
    ステップを含む処理をコンピュータに実行させるプログラム。
  13. 記録対象の3Dコンテンツに含まれるL画像とR画像の視差を検出する視差検出手段と、
    視差がしきい値より大きいL画像とR画像を含む第1の区間についてはL画像とR画像の両方を記録し、視差が前記しきい値より小さいL画像とR画像を含む第2の区間についてはL画像とR画像のうちの一方を記録する記録制御手段と、
    視差が前記しきい値より大きいか否かに応じて、L画像とR画像の両方が記録されている前記第1の区間と、L画像とR画像のうちの一方が記録されている前記第2の区間とを含む前記3Dコンテンツを再生する再生手段と、
    前記3Dコンテンツを再生して得られた前記第2の区間の一方の画像に基づいて、前記3Dコンテンツの画像として記録されていない他方の画像を生成する生成手段と、
    前記第1の区間の画像を表示するとき、前記3Dコンテンツを再生して得られたL画像とR画像を表示し、前記第2の区間の画像を表示するとき、前記3Dコンテンツを再生して得られた前記一方の画像と、前記生成手段により生成された前記他方の画像を表示する表示制御手段と
    を備える記録再生装置。
JP2010154791A 2010-07-07 2010-07-07 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 Withdrawn JP2012019329A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010154791A JP2012019329A (ja) 2010-07-07 2010-07-07 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
US13/159,707 US8712212B2 (en) 2010-07-07 2011-06-14 Recording apparatus, recording method, reproducing apparatus, reproducing method, program, and recording/producing apparatus
EP20110171649 EP2405433A1 (en) 2010-07-07 2011-06-28 Recording apparatus, recording method, reproducing apparatus, reproducing method, program, and recording/producing apparatus
CN2011101893039A CN102376326A (zh) 2010-07-07 2011-06-30 记录装置和方法、再现装置和方法以及记录/再现装置
US13/765,230 US20130148941A1 (en) 2010-07-07 2013-02-12 Recording apparatus, recording method, reproducing apparatus, reproducing method, program, and recording/producing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010154791A JP2012019329A (ja) 2010-07-07 2010-07-07 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置

Publications (1)

Publication Number Publication Date
JP2012019329A true JP2012019329A (ja) 2012-01-26

Family

ID=44477972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010154791A Withdrawn JP2012019329A (ja) 2010-07-07 2010-07-07 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置

Country Status (4)

Country Link
US (2) US8712212B2 (ja)
EP (1) EP2405433A1 (ja)
JP (1) JP2012019329A (ja)
CN (1) CN102376326A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012001992A1 (ja) * 2010-07-02 2012-01-05 パナソニック株式会社 映像信号変換装置、映像信号変換方法
US9002180B2 (en) * 2012-06-01 2015-04-07 At&T Intellectual Property I, L.P. Media recorder

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787598B2 (ja) 1991-06-06 1995-09-20 株式会社エイ・ティ・アール視聴覚機構研究所 視差補正装置
JPH06215111A (ja) 1993-01-21 1994-08-05 Nippon Telegr & Teleph Corp <Ntt> 視差検出処理方法
JP3551467B2 (ja) 1994-04-13 2004-08-04 松下電器産業株式会社 視差演算装置、視差演算方法及び画像合成装置
JP2846834B2 (ja) 1994-09-22 1999-01-13 三洋電機株式会社 2次元映像を3次元映像に変換する方法
JP2002152647A (ja) 2000-11-08 2002-05-24 Toshiba Corp 録画予約対応の録画装置及び録画予約対応の録画方法
WO2003046914A2 (en) 2001-11-29 2003-06-05 Matsushita Electric Industrial Co., Ltd. Recording apparatus, recording program, and recording method
JP3643557B2 (ja) 2001-12-28 2005-04-27 株式会社東芝 記録再生装置
EP2315454B1 (en) * 2002-09-27 2012-07-25 Sharp Kabushiki Kaisha 3-D image display device
JP2005108282A (ja) 2003-09-29 2005-04-21 Funai Electric Co Ltd 情報記録装置
JP2006060630A (ja) 2004-08-23 2006-03-02 Hitachi Ltd 記録装置
JP3933167B2 (ja) * 2004-12-27 2007-06-20 ソニー株式会社 データ記録方法、データ記録装置及び撮像装置
US20070074251A1 (en) 2005-09-27 2007-03-29 Oguz Seyfullah H Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion
EP1946563A2 (en) 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
US8433181B2 (en) 2005-11-09 2013-04-30 Lg Electronics Inc. Apparatus and method for recording digital multimedia broadcasting
JP4649355B2 (ja) 2006-03-27 2011-03-09 富士通株式会社 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
JP4467012B2 (ja) 2006-04-05 2010-05-26 シャープ株式会社 コンテンツ記録再生装置及び同装置を利用したコンテンツ記録再生方法
JP4777274B2 (ja) 2007-02-19 2011-09-21 キヤノン株式会社 映像再生装置及びその制御方法
US20080250164A1 (en) 2007-04-04 2008-10-09 Jaan-Huei Chen Recording multimedia data on removable storage device
CN101415114B (zh) 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
US9426414B2 (en) 2007-12-10 2016-08-23 Qualcomm Incorporated Reference selection for video interpolation or extrapolation
KR101385884B1 (ko) 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
JP4314316B1 (ja) 2008-12-26 2009-08-12 日本グリーンファーム株式会社 家庭用の植物栽培装置
JP2011015191A (ja) * 2009-07-02 2011-01-20 Panasonic Corp 映像表示装置、映像視聴用眼鏡、及び映像システム

Also Published As

Publication number Publication date
US20120008920A1 (en) 2012-01-12
CN102376326A (zh) 2012-03-14
US8712212B2 (en) 2014-04-29
US20130148941A1 (en) 2013-06-13
EP2405433A1 (en) 2012-01-11

Similar Documents

Publication Publication Date Title
KR101194480B1 (ko) 삼차원 영상 변환 기록 장치, 삼차원 영상 변환 기록 방법, 기록 매체, 삼차원 영상 변환 장치, 및 삼차원 영상 전송 장치
JP4974984B2 (ja) 映像記録装置及び方法
JP2011109294A (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
JP2005094168A (ja) ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
US20100329640A1 (en) Recording/Reproducing Apparatus
JPWO2011080878A1 (ja) 画像再生装置及び表示装置
US8610763B2 (en) Display controller, display control method, program, output device, and transmitter
CN102450028A (zh) 影像处理装置
CA2844599A1 (en) Image processing system, transmitting device, receiving device, transmitting method, receiving method, and computer program
US20130010064A1 (en) Video processing device
JP2011228862A (ja) データ構造、画像処理装置、画像処理方法、およびプログラム
JP2012182785A (ja) 映像再生装置および映像再生方法
JP5415217B2 (ja) 三次元映像処理装置
US20110018979A1 (en) Display controller, display control method, program, output device, and transmitter
US20110280318A1 (en) Multiview video decoding apparatus and multiview video decoding method
US8818180B2 (en) Video reproducing apparatus, video reproducing method, and program
JP2012019329A (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
CN101926168A (zh) 多屏幕显示设备
JP5764895B2 (ja) 電子機器、再生システム、再生方法、プログラム
US20120027376A1 (en) Reproducing apparatus, reproducing method, and program therefor
JP6300576B2 (ja) 画像処理装置及び画像処理方法
JP2003169296A (ja) 動画像の再生方法
US20140049608A1 (en) Video processing device and video processing method
JP2008182723A (ja) 記録装置
JP2005245003A (ja) 記録装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131001