[go: up one dir, main page]

JP2015162718A - 画像処理方法、画像処理装置及び電子機器 - Google Patents

画像処理方法、画像処理装置及び電子機器 Download PDF

Info

Publication number
JP2015162718A
JP2015162718A JP2014035208A JP2014035208A JP2015162718A JP 2015162718 A JP2015162718 A JP 2015162718A JP 2014035208 A JP2014035208 A JP 2014035208A JP 2014035208 A JP2014035208 A JP 2014035208A JP 2015162718 A JP2015162718 A JP 2015162718A
Authority
JP
Japan
Prior art keywords
parallax
crosstalk
image
spatial frequency
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014035208A
Other languages
English (en)
Inventor
靖英 兵動
Yasuhide Hyodo
靖英 兵動
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014035208A priority Critical patent/JP2015162718A/ja
Priority to US14/626,251 priority patent/US9467677B2/en
Publication of JP2015162718A publication Critical patent/JP2015162718A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑える。
【解決手段】本開示に係る画像処理方法は、入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析することと、ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得することと、ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合することと、統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、を備える。
【選択図】図１６

Description

本開示は、画像処理方法、画像処理装置及び電子機器に関する。
近年、コンテンツを立体的に表示することが可能な立体視表示装置が普及しつつある。立体視表示装置では、ディスプレイ上に右目用画像及び左目用画像を水平方向にずらして表示し、そのずれの程度で視差量を調整し、これにより、奥行き方向の任意の距離にコンテンツを表示する。
２視点以上の視点画像を表示する立体視表示装置の場合、ディスプレイの光学特性上の理由から、近隣の視点画像から各視点画像へ光が漏れ込んでくる現象が発生する。この現象はクロストークといわれている。クロストークが生じると、左右両眼用の立体視表示画像として本来表示すべきでない画像が表示されるため、画質が著しく低下する。例えば、図２は、クロストークにより、見える画像にボケや二重像が発生した例を示す模式図である。図２に示すように、クロストークにより画像にボケや二重像が発生し、視差が大きくなるほどボケや二重像が増加する。
そこで、各視点画像をディスプレイ上に表示する前に、近隣の視点画像から各視点画像へ漏れ込んでくる光の漏れ量を各視点画像から予め差し引くことにより、クロストークを低減する技術が開発されている（例えば、特許文献１、非特許文献２参照）。このクロストーク低減処理では、近隣の視点画像からの漏れ量によってボケや二重像が発生する過程を線形の行列式でモデル化し、その逆問題を解く（逆行列処理によりコントラスト強調処理をする）ことによって、ボケや二重像を低減する手法が用いられる。
特開平０８−３３１６００号公報 特開２００６−１１５１９８号公報
「10.2:Crosstalk Suppression by Image Processing in 3D Display」,SID 10 DIGEST, ISSN 0097-966X/10/4101-0124-$1.00,2010 SID
しかしながら、画像の階調値にはレンジの制限（８ｂｉｔであれば２５６階調（０−２５５））があり、逆行列によって処理された結果、階調のレンジを超えてしまうことがある。このような場合、画像の階調値はレンジ内の範囲に収まるようにクリッピングされてしまい、モデルで意図した処理が成立しない。この場合、クロストーク低減処理後の画像において、不自然にコントラストが高まり、画像が不自然となることがある。また、図２に示すように、コンテンツの視差量が大きくなるほどクロストークによるボケ・二重像は増加するため、逆行列処理によるコントラスト強調の程度は強まる。したがって、視差が大きくなるほど階調のオーバーレンジの発生が多くなり、クロストーク低減の性能のボトルネックになってしまう。
一方、視差を制御することによってボケ・二重像の発生そのものを低減する手法が知られている（例えば、特許文献２）。この手法では、ディスプレイ特性を考慮することで、表示する各視点画像の視差の表示限界値を制限し、ユーザーの知覚するボケ・二重像の低減を実現している。しかしながら、画像によっては視差をより大きくすることができるにも関わらず、設定した視差の表示限界値によって、視差が制限してしまうことがある。逆に、視差の表示限界値を大きくした場合、画像によってはボケ・二重像が発生し、高臨場感な映像体験を阻害してしまうことがある。言い換えると、クロストークによって発生するボケ・二重像と画像特徴の相関を考慮していないため、ディスプレイの視差表示性能を充分に発揮できていなかった。
また、裸眼多視点画像を表示するディスプレイには、視差を生じさせる視差デバイス（パララックス素子、スリット）が設けられる。この視差デバイスの傾きの角度が3:1でない裸眼3Dディスプレイにおいては、ＲＧＢサブピクセルごとのクロストークが画素位置ごとに周期的に変動するため、色割れによる画質劣化が生じる問題がある。
そこで、視差表示性能を最大限発揮させつつ、色割れによる画質の劣化を最小限に抑えることが求められていた。
本開示によれば、入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析することと、ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得することと、ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合することと、統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、を備える、画像処理方法が提供される。
また、左右画像の視差に基づいて、算出した前記視差を位相差に変換することと、入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、を更に備えるものであっても良い。
また、前記データベースには、ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係は、各種画像の空間周波数に応じたコントラストと対応付けて、画像を表示する表示装置に設けられるパララックス素子の傾きに応じたＲＧＢの各画素のクロストーク比の種類毎に保存されるものであっても良い。
また、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を、画像を表示する表示装置に設けられるパララックス素子の傾きに応じた前記クロストーク比の種類毎に取得するものであっても良い。
また、前記データベースを学習により作成することを更に備え、前記データベースを学習により作成することは、入力された各種画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析することと、前記各種画像を空間周波数に応じたコントラストに基づいてＲＧＢの画素毎に分類して、クロストークモデル式によりＲＧＢの画素毎の前記クロストーク劣化量と前記視差遷移との関係を取得することと、を備えるものであっても良い。
また、本開示によれば、入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析する解析部と、ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得する視差遷移情報取得部と、ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合する統合部と、統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、を備える、画像処理装置が提供される。
また、本開示によれば、入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析する解析部と、ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得する視差遷移情報取得部と、ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合する統合部と、統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、を備える、電子機器が提供される。
また、本開示によれば、ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析することと、クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得することと、取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、
を備える、画像処理方法が提供される。
また、左目用画像と右目用画像の視差に基づいて、算出した前記視差を位相差に変換することと、入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、を更に備えるものであっても良い。
また、本開示によれば、ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析する解析部と、クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、を備える、画像処理装置が提供される。
また、本開示によれば、ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析する解析部と、クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、を備える、電子機器が提供される。
本開示によれば、視差表示性能を最大限発揮させつつ、色割れによる画質の劣化を最小限に抑えることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
クロストークのモデル式を示す模式図である。 クロストークにより、見える画像にボケや二重像が発生した例を示す模式図である。 クロストークによる劣化量の計算の方法を示す模式図である。 クロストーク劣化量ΔＩの視差依存性を示す模式図である。 クロストーク劣化量ΔＩのコントラスト／空間周波数依存性を示す模式図である。 クロストーク劣化量ΔＩの視差遷移グラフの学習方法の例を示す模式図である。 学習データの解析結果（クラスごとのサンプルデータの平均）を示す特性図である。 学習結果を用いて、未知の画像に対し、クロストーク劣化量ΔＩの視差遷移を推定する方法を示す模式図である。 視差制御アルゴリズムの処理フローを説明するための模式図である。 第５のステップにおいて、実際に表示する視点画像の位相差を決定する方法を示す。 視覚特性ＪＮＤと輝度との関係を示す特性図である。 空間周波数、画像中の物体の動き、及びコントラスト感度の関係を示す特性図である。 ＲＧＢのサブピクセルとそのクロストーク比を示す平面図であって、パララックス素子の傾きによるクロストーク比を示す模式図である。 ＲＧＢのサブピクセルとそのクロストーク比を示す平面図であって、パララックス素子の傾きによるクロストーク比を示す模式図である。 色割れによる縞模様が発生した例を示す模式図である。 第２の実施形態における視差制御アルゴリズムの処理フローを説明するための模式図である。 色割れが発生しない最大の視差量を推定する方法を示す模式図である。 電子機器を示す模式図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．クロストークのモデル式
１．２．学習によるクロストーク劣化量ΔＩの視差遷移の推定
１．３．視差制御アルゴリズムへの応用
１．４．本実施形態に係る電子機器
１．５．変形例について
２．第２の実施形態
１．第１の実施形態
［１．１．クロストークのモデル式］
本実施形態では、クロストークによって発生するボケのある画像、二重像（以下、ボケ・二重像という）と画像特徴の相関を考慮し、ディスプレイの視差表示性能を最大限発揮する視差制御を実現する。クロストークによって発生するボケ二重像と画像特徴の相関は、図１に示すクロストークのモデル式から導出される。
本実施形態の骨子を説明するため、先ず、ボケ・二重像の知覚の劣化モデルを説明する。一般的に、画質の劣化は、評価の基準となる基準画像Ｆと、評価の対象となる評価画像Ｇとの差分値で客観評価できる。これを立体視表示装置のボケ・二重像の発生に適用すると、基準画像Ｆは原画像（本来表示したい画像）であり、評価画像Ｇは視差をつけた場合に実際に見える画像となる。評価画像Ｇと基準画像Ｆの差分値がクロストークによる劣化量である。この計算は画像の階調値によって計算するが、画像の階調値と画素の物理的な輝度の関係はγ特性として明らかになっている。すなわち、クロストークによる劣化量は物理量（輝度）として定義される。以下では、画像の階調値での計算方法を示す。
図３は、クロストークモデル式による劣化量の計算の方法を示す模式図である。先ず、クロストークモデルを用いて、原画像Ｆから見える画像Ｇを計算する。クロストークモデルは、ディスプレイの輝度プロファイルから得ることができる。例えば、図３に示すように、視点５が見える位置に目がある場合、視点５の画像は支配的に見え、この強度を１とする。このとき、隣接する視点４、６はαだけ見え、さらに２つ隣りの視点３、７はβだけ見え、それ以上離れた視点はγだけ見える。視点５以外の位置に目がある場合もこれらの１、α、β、γの関係を得ることができる。この関係から、原画像Ｆと見える画像Ｇの関係を行列とし定義したものがクロストークモデル行列である。図３に示すように、クロストークモデル行列は１、α、β、γを要素にもつ対角行列として定義される。基準画像Ｆ（原画像）に対しクロストークモデル行列を積算すると、見える画像Ｇを生成することができる。クロストークモデル行列は画像のボケ・二重像を発生させる、ローパスフィルタとしての性質を持つ。
次に、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）の差分値、すなわち、クロストーク劣化量ΔＩを求める。図３の右下の図では、視点４に対し、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）の差分をとり、クロストーク劣化量ΔＩを求めている。クロストーク劣化量ΔＩは、輝度で表され、図３の右下の図において、輝度が明るい領域ほどクロストーク劣化量ΔＩが大きくなる。視差を変えて反復計算を繰り返すと、クロストーク劣化量ΔＩの視差遷移を画像データとして得ることができる。
図４は、クロストーク劣化量ΔＩの視差依存性を示す模式図である。図４では、視差を０ピクセル（ｐｉｘ）から１ピクセル（ｐｉｘ）、３ピクセル（ｐｉｘ）、６ピクセル（ｐｉｘ）と順次に増加させ、図２に示す見える画像Ｇのクロストークが劣化する様子を示している。例えば視差が０ピクセルの場合は２次元画像であり、視差が０より大きくなるほど３次元画像の場合は表示対象の深さ方向の位置が基準位置（ディスプレイ面）から離れていく。図４に示すように、視差を増加させると、クロストーク劣化量ΔＩは増加する傾向にある。クロストーク劣化量ΔＩが一定量の閾値を超えると、人はボケ・二重像を知覚し、画質が劣化したように知覚する。
本実施形態では、デバイスのクロストークと画像特徴を利用し、ボケ・二重像が発生する画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定する。
次に、具体的な実現方法について説明する。本実施形態は、学習によるクロストーク劣化量ΔＩの視差遷移の推定と、視差制御アルゴリズムへの応用の２つのパートを含む。これら２つのパートについて、順にそれぞれ説明する。
［１．２．学習によるクロストーク劣化量ΔＩの視差遷移の推定］
上記のように、各画素に対して図３の計算を反復計算し、画素毎にクロストーク劣化量ΔＩを求めることで、ボケ・二重像が発生する画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定することができる。しかしながら、図３に示した行列式を用いてリアルタイム動画像処理を実現すると、クロストーク劣化量ΔＩが前述したボケ・二重像の知覚閾値を超えるまで行列計算を反復して行わなければならないため、計算量が大きくなる。そこで、本実施形態では、クロストーク劣化量ΔＩの視差依存性に加え、クロストーク劣化量ΔＩのコントラスト／空間周波数への依存性を利用することで、クロストーク劣化量ΔＩの視差遷移を推定するフレームワークを構築する。
図５は、クロストーク劣化量ΔＩのコントラスト／空間周波数依存性を示す模式図である。図５は、図４と同様に多視点画像の視差を一様につけたときのクロストーク劣化量を示しており、一例として画面全体で５ピクセル（ｐｉｘ）の視差を付けた場合を示している。ここで、図５の上段の図は、図３に示した方法により、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）との差分から得たクロストーク劣化量ΔＩを示している。また、図５の下段の図は、基準画像Ｆ（原画像）を示している。図３と同様に、上段のクロストーク劣化量ΔＩを示す画像においては、白い部分がクロストーク劣化量の大きい部分を示している。
図５に示すように、クロストーク劣化量ΔＩは、コントラストが高いほど急激に増加し、空間周波数が高いほど急激に増加する。例えば、図５の左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）のクロストーク劣化量ΔＩを比較すると、花の茎周辺の領域Ａ２は、顔周辺の領域Ａ１と比較して図５の上段の図でより白くなっており、クロストーク劣化量ΔＩが大きい。一方、原画像において、領域Ａ１，Ａ２のコントラスト／空間周波数を比較すると、人の顔（領域Ａ１）と花の茎（領域Ａ２）は両方ともコントラスト（局所的な階調変化のダイナミックレンジ）は同程度であるが、人の顔は空間周波数が低く（階調の空間変化の間隔が広く）、花の茎は空間周波数が高い（階調の空間変化の間隔が狭い）。また、コントラストが低い領域は全体的にクロストーク劣化量ΔＩが小さいが、コントラストが同じであってもクロストーク劣化量ΔＩは空間周波数によって相違することになる。このように、クロストーク劣化量ΔＩは視差が増えるにつれて増加傾向で変化していき、また、変化の特性はコントラスト／空間周波数に対して依存性がある。従って、クロストーク量ΔＩの視差／コントラスト／空間周波数への依存性は、以下の式で表すことができる。
ただし、Ｃｓｆは空間周波数ごとにＮ個に分解されるコントラストベクトル、Ｃｉは空間周波数ｉのコントラスト、ｓｉはある視差におけるコントラストＣｉの劣化への影響度を表す係数、ｄｉｓｐは視差、Ｎ（σ）は残差である。さらに、数式１の第１項は以下のように表すことができる。

数式２のコントラスト／空間周波数を表すＣｓｆを固定して考えると、右辺の第１項（ΔＩハットと称する）は、Ｃｓｆにおけるクロストーク劣化量ΔＩの視差遷移の統計値と解釈することができる。この性質を利用し、予めオフラインでクロストーク劣化量ΔＩの視差遷移グラフを学習し、学習結果をリアルタイムの画像処理へ応用する。
図６は、クロストーク劣化量ΔＩの視差遷移グラフの学習方法の例を示す模式図である。ここでは、学習方法を４つのステップに分けて説明する。学習の第１のステップでは、原画像Ｆのコントラスト／空間周波数を解析する。具体的には、Ｎ個の帯域通過型の画像フィルタを用いて、原画像ＦをＮ個の空間周波数ごとのコントラストマップに分解する。ここで、帯域通過型フィルタとしては、例えば、Ｇａｂｏｒフィルタ、ＬＯＧフィルタなどの既存の帯域通過型の画像フィルタを用いることができる。これにより、Ｎ個のフィルタの出力として、空間周波数ごとにその成分がＮ個に分解され、コントラスト／空間周波数の関係を表すコントラストベクトルＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）が画素毎に得られる。コントラストベクトルＣｓｆの各成分（要素）は、空間周波数毎のコントラストを表している。
第２のステップとして、クロストーク劣化量ΔＩのマップを種々の視差で生成する。具体的には、視点画像間の視差量（画素のずれ量）を変えながら多視点画像を生成し、クロストークモデルを用いて視差毎にクロストーク劣化量ΔＩを求める。このステップでは、画像ごとにクロストーク劣化量ΔＩマップを種々の視差に対して計算する。つまり、数式２の統計値ΔＩハットを計算するための、サンプルデータを計算する。このサンプルデータ作成のためにのみ、図３のクロストークモデルを用いる。
第３のステップとして、クロストーク劣化量ΔＩの視差遷移をデータベース化する。具体的には、クロストーク劣化量ΔＩのコントラスト／空間周波数に対する依存性を利用し、コントラスト／空間周波数を表すＣｓｆごとにクラス分けをし、クラスごとにクロストーク劣化量ΔＩの視差遷移データを保持する。
一例として、図５で説明した左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）におけるクロストーク劣化量ΔＩの比較を説明する。先に説明したように、図５の左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）はコントラストが同程度であるが、空間周波数の分布が異なる。空間周波数分布については、人の顔の空間周波数は低い帯域が支配的で、花の茎の空間周波数は高い周波数が支配的である。
図７に基づいて、上述した第１〜第３のステップについて具体的に説明する。図７は、学習データの解析結果（クラスごとのサンプルデータの平均）を示す特性図である。図７では、フィルタ数をＮ＝４とし、同一コントラストでの比較のため、帯域通過型フィルタの応答を、支配的な空間周波数のコントラストを１として正規化し、各フィルタの応答の比率によってクラス分けをした例を示している。
図７に示す例では、４つのフィルタによって空間周波数毎にその成分が分解されたコントラストベクトルＣｓｆ＝（Ｃ０，Ｃ１，Ｃ２，Ｃ３）＝（ｒ１ｃｐｄ，ｒ２ｃｐｄ，ｒ４ｃｐｄ，ｒ８ｃｐｄ）が求められる（第１のステップ）。図７では、得られたコントラストベクトルの成分に応じて、人の顔の画像（領域Ａ１）に多いクラスと、花の茎など細線の画像（領域Ａ２）に多いクラスのそれぞれに該当するコントラストベクトルを示している。上述したように、人の顔の空間周波数は低い帯域が支配的で、花の茎の空間周波数は高い周波数が支配的である。従って、人の顔の画像に多いクラスに分類されたコントラストベクトルは、低い空間周波数の帯域に対応する成分が高い空間周波数の帯域に対応する成分よりも大きくなっている。また、花の茎など細線の画像に多いクラスに分類されたコントラストベクトルは、高い空間周波数の帯域に対応する成分が低い空間周波数の帯域に対応する成分よりも大きくなっている。
従って、コントラストベクトルの成分に基づいて画像のクラス分けを行うことができる。任意の画像にフィルタ処理を施すことで、当該任意の画像が、例えば人の顔（領域Ａ１）の画像のクラスに属する画像であるか、花の茎（領域Ａ２）の画像のクラスに属する画像か、あるいは他のクラスに属する画像であるかを判断することができる。
図７に示すように、人の顔の画像（領域Ａ１）に多いクラスと、花の茎など細線の画像（領域Ａ２）に多いクラスのそれぞれに該当するコントラストベクトルについて、視点画像間の視差量（画素のずれ量）を変えながら多視点画像を生成し、クロストークモデルを用いて視差毎にクロストーク劣化量ΔＩを求める（第３のステップ）。これによって、図７に示すように、空間周波数の違いによるクロストーク劣化量ΔＩの視差遷移グラフが、人の顔の画像（領域Ａ１）に多いクラス（図７中に実線で示す）と、花の茎など細線の画像（領域Ａ２）に多いクラス（図７中に破線で示す）のそれぞれについて作成される。２つの視差遷移グラフの比較を行うと、結果として、左の人の顔（領域Ａ１）に多く分布するコントラスト／空間周波数のクラスではクロストーク劣化量ΔＩの視差遷移が緩やかに増加傾向にあるのに対し、右の花の茎（領域Ａ２）に多く分布するコントラスト／空間周波数のクラスではクロストーク劣化量ΔＩの視差遷移が急激に増加する傾向にあることがわかる。これは、図５で説明した定性的な知見と一致する。
次に、第４のステップとして、第３のステップで得られたクラスごとのクロストーク劣化量ΔＩの視差遷移データに対して最小二乗法等による回帰分析を行い、クロストーク劣化量ΔＩの視差遷移を関数化する。回帰分析によって、クロストーク劣化量ΔＩが視差／コントラスト／空間周波数の関数、すなわちΔＩハットとして算出することができる。このステップでは、情報圧縮のため、クロストーク劣化量ΔＩを視差／コントラスト／空間周波数を引数とした関数化を行う。図７の例では、左の人の顔（領域Ａ１）に多く分布するコントラスト／空間周波数のクラスでは、視差（横軸）の増加量に対してクロストーク劣化量ΔＩ（縦軸）が緩やかに増加する関数（図７中に実線で示す）が得られる。また、右の花の茎（領域Ａ２）に多く分布するコントラスト／空間周波数のクラスでは、視差（横軸）の増加量に対してクロストーク劣化量ΔＩ（縦軸）急激に増加する関数（図７中に破線で示す）が得られる。これにより、クロストーク劣化量ΔＩは、以下の式により表すことができる。
ΔＩ＝Ａ（Ｃｓｔ）×ｄｉｓｐ
十分なデータ量のテーブルを保持できる場合であれば、クラスごとにクロストーク劣化量ΔＩの平均値を計算し、関数ではなくデータのテーブルとして保持することもできる。また、関数化においては線形・非線形などの方式や、折れ線、定義域・値域の保持などのいずれの方法をとってもよい。
図６の右下に示すグラフは、第４のステップで得られたグラフを示している。なお、図６では、クロストーク劣化量ΔＩと視差との関係を線形に関数化した例を示している。図６に示す例では、画像の種類に応じてクロストーク劣化量ΔＩと視差との関係を示す特性の傾きが変化する。上述のように、人の顔（領域Ａ１）に多く分布するクラスは傾きが小さい特性Ｃ１となり、花の茎（領域Ａ２）に多く分布するクラスは傾きが大きい特性Ｃ２となる。以上の４つのステップにより、数式２に示すΔＩハットを学習により計算することができる。
このように、学習により得られたΔＩハットは、コントラストベクトルＣｓｆ毎に、視差とクロストーク劣化量ΔＩとの関係を規定したデータベース（関数、又はテーブル等）として構築されることになる。
次に、学習結果に基づいて、未知の画像に対し、クロストーク劣化量ΔＩの視差遷移を推定する方法を説明する。図８は、学習結果を用いて、未知の画像に対し、クロストーク劣化量ΔＩの視差遷移を推定する方法を示す模式図である。図８に示すように、本実施形態に係る画像処理装置１０００は、クロストーク劣化量ΔＩの視差遷移を推定するアルゴリズムを有している。クロストーク劣化量ΔＩの視差遷移を推定するアルゴリズムは、コントラスト／空間周波数解析部２０２と、各画素に対してクラス分類を行うクラス分類部２０４と、各画素のクロストーク劣化量ΔＩの視差遷移を推定（取得）する視差推移推定（取得）部２０６と、を備える。まず、入力画像は、コントラスト／空間周波数解析部２０２へ入力される。コントラスト／空間周波数解析部２０２は、Ｎ個の帯域通過型フィルタによって入力画像をフィルタリングし、Ｎ個の空間周波数ごとのコントラストＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）を画素毎に得る。このフィルタリングは、学習時（第１のステップ）と同様に行われる。こうして得られた空間周波数ごとの成分を有するコントラストＣｓｆは、クラス分類部２０４へ入力される。
クラス分類部２０４は、学習結果のデータを参照し、入力された空間周波数ごとのコントラストＣｓｆを学習時に定義したコントラスト／空間周波数を表すＣｓｆによってクラス分類する。上述したように、学習によりコントラストベクトルＣｓｆ毎に、視差とクロストーク劣化量ΔＩとの関係を規定したΔＩハットのデータベースが構築されている。従って、入力画像のコントラストＣｓｆをその成分に基づいてクラス分類することで、データベース中の関数ΔＩハットの第一引数（Ｃｓｆ）が定まる。
従って、クラス分類部２０４は、関数ΔＩハットのデータベースから、入力画像のコントラストベクトルＣｓｆに対応する、視差を変数にもつ視差遷移グラフ（ΔＩ−ｄｉｓｐグラフ）を得ることができる。
推定部２０６は、クラス分類部２０４がデータベース３００から抽出した、入力画像のコントラストベクトルＣｓｆに対応する視差遷移グラフ（ΔＩ−ｄｉｓｐグラフ）に基づいて、入力画像の各画素に対してクロストーク量ΔＩの視差遷移を推定する。このように、学習による統計データを用いることで、未知の画像に対して、分類されたクラスに応じて、視差がどの位になれば、クロストーク劣化量ΔＩがどの程度になるかを推定することができる。
［１．３．視差制御アルゴリズムへの応用］
ここまで、学習によってクロストーク劣化量ΔＩの視差遷移を推定する方法について説明した。次に、この推定方法を用いて、ボケ・二重像が発生しないように視差を制御し、ディスプレイの視差表示性能を最大限発揮するアルゴリズムについて説明する。
図９は、本実施形態に係る視差制御アルゴリズムの処理フローを説明するための模式図である。この処理フローは５つのステップに大別される。第１のステップでは、上記と同様に、原画像をＮ個の帯域通過型フィルタで解析し、Ｎ種類の空間周波数ごとのコントラストＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）を画素毎に得る。
第２のステップでは、Ｎ種類の空間周波数ごとのコントラストＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）からクラス分類をし、学習データの中から該当するクラスのクロストーク劣化量ΔＩの視差遷移の関数、あるいはテーブルを画素毎に得る。クロストーク劣化量ΔＩの視差遷移の関数として、図６の右下に示すグラフのような線形の関数が得られる場合、関数の傾きＡ（Ｃｓｆ）が得られる。
第３のステップでは、第２のステップで得たクロストーク劣化量ΔＩの視差遷移の関数若しくはテーブルに対し、クロストーク劣化量ΔＩの知覚の閾値Ｔｈを設定する。そして、画素毎に、クロストーク劣化量ΔＩが知覚の閾値Ｔｈに達する視差は何ピクセルに相当するか、を算出する。具体的には、関数またはテーブルのクロストーク劣化量ΔＩに対して閾値Ｔｈを入力し、関数の場合は逆関数、テーブルの場合は対応する視差を探索し、対応する視差量を求める。ここで、クロストーク劣化量ΔＩは輝度で表されるため、劣化知覚の閾値Ｔｈは、光学的に測定される輝度によって設定される。一例として、３０ｃｄ／ｍ２に対応する階調値を劣化知覚の閾値Ｔｈとし、ΔＩ＝３０ｃｄ／ｍ２を閾値Ｔｈとする。
さらに、より人の知覚の特性を反映するため、人の視覚特性（コントラスト感度（ＣＳＦ）、Ｊｕｓｔ Ｎｏｔｉｃｅａｂｌｅ Ｄｉｆｆｅｒｅｎｃｅ（ＪＮＤ））を考慮し、画素毎に劣化知覚の閾値Ｔｈを適応的に決定することもできる。これにより、空間周波数の違いを考慮して閾値Ｔｈを設定することが可能となる。
図１１は、視覚特性ＪＮＤと輝度との関係を示す特性図である。図１１に示すように、人間の知覚は、輝度変化を、物理量通りに知覚せず、対数関数型の知覚をすることが知られている。具体的には、輝度が比較的の暗い領域では、輝度の物理量（ｃｄ／ｍ２）に増加に対して人の視覚特性は緩やかに上昇する。また、輝度が比較的明るい領域では、輝度の物理量（ｃｄ／ｍ２）に増加に対して人の視覚特性は暗い領域よりも急峻に上昇する。この適応的な閾値をａｄａＴｈとおくと、ａｄａＴｈは次式で求められる。なお、画素毎に閾値Ｔｈを決定するのは、画素毎に空間周波数が異なるためである。
ここで、Ｙａｖｅはある画素の周辺の照明輝度であり、画像をガウシアンフィルタなどの平滑化フィルタでフィルタリングすることによって求めることができる。数式３は、劣化知覚の適応的な閾値ａｄａＴｈは、コントラスト／空間周波数Ｃｓｆ、画素の周辺の照明輝度Ｙａｖｅ、劣化知覚の固定閾値Ｔｈ（定数）によって計算できることを定性的に意味する。なお、固定閾値Ｔｈは、一例として３０ｃｄ／ｍ２とすることができる。
さらに、数式３は、例えば、次の数式４のように計算することができる。
数式４は、劣化知覚の適応的な閾値ａｄａＴｈは、定数項Ｔｈと、画素の周辺の照明輝度Ｙａｖｅによって変動する知覚ゲインＪＮＤと、画像の持つ空間周波数毎のコントラストＣＳＦによって変動する知覚ゲインとの積算によって求められることを定性的に意味する。
更に、モーションブラーなど、物体の動き情報によって、コントラスト感度が変化することも知られている。図１２は、空間周波数、画像中の物体の動き、及びコントラスト感度の関係を示す特性図である。図１２の輝度刺激に対するモデルに示すように、物体の動きが大きくなるほど、コントラスト感度は増加する。すなわち、物体の動きが速くなると、ボケ・二重像は認識されにくくなる。
また、図１２に示すように、空間周波数が高すぎると、コントラスト感度を知覚しにくくなる。このため、空間周波数が高い場合は、輝度変化を知覚する閾値をより大きくすることができる。また、動きが速いとコントラスト感度を知覚しにくくなる。このため、動きが速い場合は輝度変化を知覚する閾値をより大きくすることができる。この場合、数式４のコントラスト感度関数（ＣＳＦ）の引数に動き情報を加え、コントラスト／空間周波数の知覚ゲインを変化させることができる。
以上のように、劣化知覚の輝度閾値ＴｈまたはａｄａＴｈが求まると、関数の場合は逆関数、テーブルの場合は対応する視差を探索し、閾値に対応する視差量が求まる。図９に示すように、第２のステップでクロストーク劣化量ΔＩの視差遷移の関数が得られている場合、閾値に対応する視差量として、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘが画素毎に求まる。テーブルの場合も同様に、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘを画素毎に求めることが可能である。
以上の第３のステップまででは、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘを計算するフローを説明した。例えば、図５の人の顔（領域Ａ１）と花の茎（領域Ａ２）の例で説明すると、人の顔は５ピクセル（ｐｉｘｅｌ）程度の視差を付けることが可能であり、花の茎は２ピクセル（ｐｉｘｅｌ）程度の視差を付けることが可能、といった情報を得ることができる。
一方、ここで得られる情報は、物体の前後関係を考慮していない。実際に３Ｄ画像の視差制御をする際には、物体の前後関係を保ちつつ、視差を制御する必要がある。そこで、視点画像の位相差の概念を導入する。例えば、ＬＲのステレオ画像において、Ｌ画像の位相を０．０、Ｒ画像の位相を１．０と定義する。このように位相の概念を導入すれば、表示する視点画像に対して、物体の前後関係を保ちつつ、劣化が知覚されない最大の視差量（位相差）を決定することができる。
そこで、第４のステップでは、第３のステップで求めた視差ｍａｘ＿ｄｓｐｘを、劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅに変換する。変換は画素毎に行い、具体的には以下の式で計算する。
ただし、数式５において、ｌｒ＿ｄｓｐｘはＬＲ画像の視差、ｃｌｉｐ＿ｐｈａｓｅは外部から設定された最大の位相差である。つまり、劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅの値域は、０≦ｍａｘ＿ｐｈａｓｅ≦ｃｌｉｐ＿ｐｈａｓｅとなる。最大の位相差ｍａｘ＿ｐｈａｓｅは、第３のステップで求めたｍａｘ＿ｄｓｐｘを左右（ＬＲ）画像の視差で除算した値となる。これにより、視差ｍａｘ＿ｄｓｐｘが左右画像の位相差ｍａｘ＿ｐｈａｓｅに変換され、物体の前後関係が考慮される。ＬＲ画像の視差ｌｒ＿ｄｓｐｘは、入力画像の各画素における左右の視差の値であり、画像処理装置１０００に別途入力されるＬＲ視差マップにより、入力画像の各画素毎に規定されている。
この例では、ＬＲ画像から多視点画像を生成するシステムを想定しているが、画像＋デプスマップなどの他の方法においても、デプスマップから視点画像生成する際に投影するずれ量（視差）に変換することで、同様に計算できる。これにより、画素毎の限界隣接視点間視差マップを３Ｄ画像の隣接視点間位相差マップ（ｐｈａｓｅ ｍａｐ：どこまで位相差をつけられるかのマップ）に変換することができる。
以上のようにして、第４のステップでは、劣化が知覚されない最大の位相差を画素毎に求めることができる。例えば、図５の人の顔（領域Ａ１）と花の茎（領域Ａ２）の例で説明すると、人の顔は最大で位相差０．２０程度に相当する視差が付けられる、花の茎は最大で位相差０．１０程度に相当する視差が付けられる、などの情報を得ることができる。
第５のステップでは、実際に表示する視点画像の位相差を決定する。このステップでは、第４のステップで求められた劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅのマップを用いて、劣化が知覚される画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定する。
図１０は、第５のステップにおいて、実際に表示する視点画像の位相差を決定する方法を示す。図１０に示すように、まず、第４のステップで求められたｍａｘ＿ｐｈａｓｅのマップの値に対して、各ｍａｘ＿ｐｈａｓｅ値の出現頻度をヒストグラムとして集計する。次に、ヒストグラムのｍａｘ＿ｐｈａｓｅ値が小さい頻度から順に累積和を計算していく。累積和が閾値ＣｕｔＴｈを超えた位相差を、実際に表示する視点画像の位相差ｏｐｔ＿ｐｈａｓｅとして決定する。
例えば、図５の人の顔（領域Ａ１）と花の茎（領域Ａ２）の例において、ＣｕｔＴｈ＝(全画素数)×１％と数値を設定した場合で説明する。ヒストグラムの累積を計算していくと、累積和が閾値ＣｕｔＴｈを超える位相差が０．１００程度になる。このとき、花の茎は画質劣化が知覚される最大の位相差に相当する視差をつけたことになり、その他の９９％の領域においても画質の劣化が知覚されない。つまり、画像全体としては画質劣化が知覚されない最大の位相差を表示していることとなり、ディスプレイの視差表示性能を充分に発揮することができる。
図９に示すように、画像処理装置１０００は、空間周波数解析部４００、視差遷移取得部４０２、隣接視点間視差算出部４０４、変換部４０６、位相差決定部４０８を有して構成される。視差制御アルゴリズムの第１〜第５のステップは、空間周波数解析部４００、視差遷移情報取得部４０２、隣接視点間視差算出部４０４、変換部４０６、位相差決定部４０８のそれぞれで行われる。上述したように、空間周波数解析部４００は、入力画像の空間周波数を解析する。視差遷移情報取得部４０２は、クロストーク劣化量ΔＩの視差遷移の関数またはテーブルを抽出する。隣接視点間視差算出部４０４は、閾値に基づいて隣接視点間視差を決定する。変換部４０６は、隣接視点間視差を位相差に変換する。位相差決定部４０８は、限界値を超える画素が一定の数以下となる位相差を決定する。なお、空間周波数解析部４００は、図６のコントラスト／空間周波数解析部２０２に対応し、視差遷移情報取得部４０２は、図６の視差推移推定（取得）部２０６に対応する。
［１．４．本実施形態に係る電子機器］
本実施形態に係る画像処理装置１０００で画像処理された入力画像は、図１８に示す液晶表示装置（ＬＣＤ）等の電子機器２０００の表示部２１００によって表示される。このため、本実施形態に係る電子機器２０００は、画像処理装置１０００と表示部２１００とを備える。電子機器２０００は、例えばテレビ受像機、携帯電話、スマートフォン等のモバイル機器、デジタルカメラ等の機器である。画像処理装置１０００で画像処理された入力画像を表示部に表示することで、視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑えることが可能となる。
［１．５．変形例について］
本実施形態では、説明の便宜上、多眼式の裸眼３Ｄディスプレイを想定し、観察者が設計視距離において視聴する場合の視差制御アルゴリズムを説明した。多眼式の裸眼３Ｄディスプレイの設計視距離では、ディスプレイ面内のクロストーク分布が一様であり、クロストークモデルが一意に定まるシンプルなケースである。しかしながら、本開示の適用対象は多眼式の裸眼３Ｄディスプレイに限定されるものではなく、本開示は、クロストークによってボケ・二重像が発生する裸眼３Ｄディスプレイの他方式（例えば、光線再生方式やインテグラルイメージング方式など）にも適用することができる。その際、ターゲットに応じて学習に適用するクロストークモデルを修正する。
ターゲットの決定要素は、デバイス特性（輝度／クロストーク角度分布）、表示方式（多眼式／光線再生方式／インテグラルイメージング方式）、視距離（設計視距離／その他の視距離での視聴）の３つに大別される。これらの決定要素により、クロストークのディスプレイ面内分布が変動する。この場合、クロストークのディスプレイ面内分布から代表値を選出してクロストークモデル行列を構築し、本実施形態の処理に適用する。
例えば、クロストークのディスプレイ面内分布から、クロストーク比が最大となる（画質が最も劣化しやすい）値を代表値として選出し、本開示に適用すれば、画質が最も劣化しやすい領域のディスプレイ特性に基づいて視差制御を行うことができ、画面全体としては画質が担保され、かつ、ディスプレイの視差表示性能を最大限発揮する視差制御を実現することができる。また、クロストークのディスプレイ面内分布から、クロストーク比が中間値となる（画質が最も悪い特性と画質が最も良い特性の中間の特性のクロストーク）値を代表値として選出し、本開示に適用すれば、画面全体の画質特性のトレードオフを考慮した処理を実現し、より視差を拡大することができる。
また、本実施形態によれば、正弦波パターンのテストパターンを入力画像とすることでコントラスト／空間周波数や画像の照明輝度を変化させ、本実施形態に係る処理が実施されているか否かを確認することができる。正弦波パターンの空間変化の周期が空間周波数を表し、振幅がコントラストを表す。また、正弦波パターンのＤＣ成分が画像の照明輝度（平均輝度）を表す。本実施形態を適用すると、正弦波パターンのコントラスト、空間周波数、視差、および画像の照明輝度によってクロストーク劣化量ΔＩが発生し、クロストーク劣化量ΔＩがコントラスト、空間周波数、および画像の照明輝度によって決定される輝度の閾値内に収まるように、視差が制御される。この様子は光学測定によって確認することができる。具体的には、強制的に視差を０にした場合の観測画像（基準画像）と、視差がついた場合の観測画像（評価画像）の輝度をそれぞれ光学的に測定し、輝度値の差分をとることで、実空間での物理量としてのクロストーク劣化量ΔＩを測定することができ、本実施形態の処理が実施されているか否かを確認することができる。
以上説明したように本実施形態によれば、ディスプレイ特性（クロストーク、輝度）に加え、画像特徴（コントラスト／空間周波数）を考慮し、ボケ・二重像が発生する限界の視差量を高精度に推定することで、ディスプレイの視差表示性能を最大限発揮することができる。
また、トレードオフの関係にあった立体感・奥行き感と画質の両立が最適化され、高臨場感な映像体験を実現できる。また、技術の汎用性が高く、設計が異なるディスプレイに対しても経験値によらない調整が可能となる。更に、ディスプレイ特性と画像特徴からクロストーク劣化量ΔＩ（輝度）を推定するため、設計が異なるディスプレイに対しても調整が容易となる。そして、視覚研究で定量化されている心理物理量を利用することで、さらに高精度な視差制御を実現できる。
２．第２の実施形態
次に、本開示の第２の実施形態について説明する。ディスプレイの視点数をVとし、ある視位置から見える視点kの光量をrkとする。ディスプレイの前面には、多視点画像を構成するためのパララックス素子（スリット）が設けられている。図１３及び図１４は、ＲＧＢのサブピクセルとそのクロストーク比を示す平面図であって、パララックス素子の傾きによるクロストーク比を示す模式図である。図１３では、パララックス素子の傾きが１：３とされ、一点鎖線Ｐの方向に沿ってパララックス素子（スリット）が設けられている。一方、図１４では、パララックス素子（スリット）の傾きが１：３ではなく、傾きが図１３よりも緩やかになっている。
パララックス素子の傾きが１：３の場合、クロストーク比ｒ＝（ｒ１, ｒ２, ｒ３, ｒ４,・・・， ｒＶ）は一意に定まる。一方，パララックス素子の傾きが１：３でない場合、クロストーク比ｒ＝（ｒ１, ｒ２, ｒ３, ｒ４,・・・，ｒＮ）は複数の種類だけ存在する。この種類をＭとする。
具体例について、図１３及び図１４に基づいて説明する。図１３及び図１４において、上段の図は各画素にマッピングされる視点の番号を示している。また、下段の図は、各画素のクロストーク比を示している。
図１３に示すように、パララックス素子（スリット）の位置（一点鎖線Ｐ上）でクロストーク比は最も小さい０．１となり、パララックス素子から離れるほどクロストーク比は大きくなる。そして、図１３に示すように、パララックス素子の傾きが１：３の場合、近接するＲＧＢサブピクセルの各成分のクロストーク比は等しくなる。つまり、図１３の下段において、カラム１（Ｃｏｌｕｍｎ１）に示したクロストーク比は、Ｒ，Ｇ，Ｂ成分のいずれも、ｒ＝（ｒ１， ｒ２， ｒ３， ｒ４，・・・，ｒ６）＝（０．１３, ０．３, １, ０．３, ０．１３, ０．１）となり、このクロストーク比が周期的に繰り返される。なお、視点数が６のため、１列目のカラム３（Ｃｏｌｕｍｎ３）以降は、ｒ＝（ｒ１， ｒ２， ｒ３， ｒ４，・・・，ｒ６）＝（０．１３, ０．３, １, ０．３, ０．１３, ０．１）が周期的に繰り返される。なお、輝度成分はＲＧＢ成分の線形和で表されるため、クロストーク比を近似的に輝度成分のみで説明してもよい。
一方、パララックス素子の傾きが１：３でない場合，近接するＲＧＢサブピクセルの各成分のクロストーク比は等しくない。例えば，図１４の下段において、カラム１（Ｃｏｌｕｍｎ１）に着目すると、Ｒ成分のクロストーク比はｒＲ＝（ｒＲ１, ｒＲ２, ｒＲ３, ｒＲ４,・・・， ｒＲ８）＝（０．１, ０．１１, ０．１６, ０．４５, ０．７３, ０．７１, ０．５５, ０．１９）、Ｇ成分のクロストーク比はｒＧ＝（ｒＧ１, ｒＧ２, ｒＧ３, ｒＧ４,・・・， ｒＧ８）＝（０．１, ０．１３, ０．２５, ０．６５, ０．７４, ０．６６, ０．３４, ０．１４）、Ｂ成分のクロストーク比はｒＢ＝（ｒＢ１, ｒＢ２, ｒＢ３, ｒＢ４,・・・， Ｂ８）＝（０．１, ０．１１, ０．１６, ０．４５, ０．７３, ０．７１, ０．５５, ０．１９）となり、ＲＧＢ成分のクロストーク比が異なる（この例ではＧ成分のみ異なる）。従って、このクロストーク比のバラつきが色割れの原因となる。このバラつきはディスプレイ面内の位置によって異なり、パララックス素子の傾きに応じて周期性を持つ。このため、クロストークによって周期的な色割れ縞模様が発生する。
図１５は、色割れによる縞模様が発生した例を示す模式図である。図１５において、左側の図はパララックス素子の傾きが１：３の場合を示しており、パララックス素子の傾きが１：３の場合は色割れによる縞模様は発生していない。一方、図１５の右側の図はパララックス素子の傾きが１：３でない場合を示している。図１５の右側の図に示すように、パララックス素子の傾きが１：３でない場合は、色割れにより縞模様が発生していることが判る。このように、パラックス素子の傾きが元々の設計上から１：３でないディスプレイは、色割れによる画質の劣化が生じてしまう。
第２の実施形態では、第１の実施形態に対してＲＧＢ成分の色割れを考慮して処理を行うことで、色割れによる模様の発生を抑止する。上述したように、第１の実施形態では、主として以下の３ステップにより学習を行っている。
（第１のステップ）輝度画像成分に対してクロストークモデルを適用し、視差を変えながらクロストーク劣化量ΔＩ画像を生成
（第２のステップ）輝度画像のコントラスト／空間周波数でクラスを定義し，ステップ1で生成した画像群から各クラスに対してクロストーク劣化量ΔＩの視差遷移のデータのサンプルを収集
（第３のステップ）各クラスにおけるサンプルデータを回帰分析して関数化又はテーブル化を行う。
上述したように、パララックス素子の傾きが１：３の場合はＲＧＢサブピクセルのクロストーク比が一定のため、ＲＧＢの線形和である輝度成分に対して第１の実施形態のように学習するだけで十分である。しかしながら、パララックス素子の傾きが１：３でない場合、ディスプレイ面の場所ごとにクロストーク比が異なり、クロストーク比はＭ種類存在する。したがって、第２の実施形態では、輝度成分に縮退せず、ＲＧＢの各成分画像に対し、Ｍ種類のクロストークモデルを利用して画質劣化を表すことにする。第２の実施形態による学習は以下の3ステップで行われる。
（第１のステップ）ＲＧＢ画像の各成分に対して、Ｍ種類のクロストーク比によるクロストークモデルを適用し、視差を変えながらクロストーク劣化量ΔR画像，ΔG画像，ΔB画像を生成する。なお、パララックス素子の傾きに応じてクロストーク比は変わるため、パララックス素子の傾きに応じたＭ種類のクロストーク比によるクロストークモデルから、Ｍ種類のそれぞれについてクロストーク劣化量ΔR画像，ΔG画像，ΔB画像を予め求めておく。なお、ディスプレイの輝度を直接計測して図１３及び図１４の下段に示すようなクロストーク比を測定することもできる。
（第２のステップ）ＲＧＢ画像の各成分に対してコントラスト／空間周波数でクラスを定義し，ステップ１で生成した画像群から各クラスに対してクロストーク劣化量ΔＩの視差遷移のデータのサンプルを収集
（第３のステップ）各クラスにおけるサンプルデータを回帰分析して関数化又はテーブル化する
以上の3ステップにより、次式で表される右辺の第１項（それぞれΔＩＲハット、ΔＩＧハット、ΔＩＢハットと称する）を学習によって求める。
但し、ＣＲ＿ｓｆは空間周波数ごとにＮ個に分解されるR成分コントラストベクトル，ＣＲ＿ｉはＲ成分画像の空間周波数ｉのコントラスト、数式６の右辺第１項のΔＩＲハットは、Ｒ成分画像におけるＣＲ＿ｓｆにおけるクロストーク劣化量ΔIの視差遷移の統計値（関数又はテーブル）である。
同様に、ＣＧ＿ｓｆは空間周波数ごとにＮ個に分解されるG成分コントラストベクトル、ＣＧ＿ｉはG成分画像の空間周波数iのコントラスト、数式７の右辺第１項のΔＩＧハットは、G成分画像におけるＣＧ＿ｓｆにおけるクロストーク劣化量ΔIの視差遷移の統計値（関数又はテーブル）である。また、ＣＢ＿ｓｆは空間周波数ごとにＮ個に分解されるB成分コントラストベクトル、ＣＢ＿ｉはB成分画像の空間周波数iのコントラスト、数式８の右辺第１項のΔＩＢハットは、B成分画像におけるＣＢ＿ｓｆにおけるクロストーク劣化量ΔIの視差遷移の統計値（関数又はテーブル）である。これらのΔＩＲハット、ΔＩＧハット、ΔＩＢハットをクロストーク比の種類（M種類）だけ生成する。より具体的には、インデックスjを０≦ｊ≦Ｍ−１の整数とし、ΔＩＲ ｊハット、ΔＩＧ ｊハット、ΔＩＢ ｊハットを各クロストーク比ごとに学習によって求める。
図９で説明したように、第１の実施形態では、以下の5ステップで処理を行った。
（第１のステップ）原画像のY成分に対して、Ｎ種類の帯域通過型フィルタ（Gaborフィルタ，LOGフィルタなど）により空間周波数解析を行い、コントラスト／空間周波数Ｃｓｆを画素毎に計算
（第２のステップ）コントラスト／空間周波数Ｃｓｆの情報からクラス分類し、学習結果のデータベース内のクラスデータと照合する。該当するクラスを確定後、ΔI-dispのモデル式を画素毎に保持する
（第３のステップ）劣化を知覚する閾値ThをΔI-dispのモデル式に対して入力し、画素毎に最大視差量を計算し、隣接視点間視差マップを生成する。
（第４のステップ）隣接視点間視差マップの各画素において、同じ座標のLR視差マップの値で除算し、隣接視点間位相差マップに変換する
（第５のステップ）隣接視点間位相差マップを位相差ごとの頻度ヒストグラムとして集計し、限界値を超える画素が一定の数以下になるような位相差を決定する
これに対し、第２の実施形態では、第１の実施形態の上記プロセスを色差成分に拡張し、図１６に示すように、色差成分におけるクロストーク劣化量ΔIを計算する。図１６に示すように、画像処理装置１０００は、空間周波数解析部６００、視差遷移取得部６０２、色差変換部６０４、隣接視点間視差算出部６０６、変換部６０８、位相差決定部６１０を有して構成される。第２の実施形態の画像処理装置１０００における処理プロセスは以下の6ステップである。
（第１のステップ：空間周波数解析部６００）原画像のＲＧＢの各成分に対して、Ｎ種類の帯域通過型フィルタ（Gaborフィルタ，LOGフィルタなど）により空間周波数解析を行い、コントラスト／空間周波数ＣＲ＿ｓｆ，ＣＧ＿ｓｆ，ＣＢ＿ｓｆを画素毎に計算
（第２のステップ：視差遷移取得部６０２）画素毎のクロストーク比の情報（予め整数j（０≦ｊ≦Ｍ−１）のインデックスマップとして保持）から、クロストーク比のインデックスjが決まる。ＲＧＢの各成分におけるコントラスト／空間周波数ＣＲ＿ｓｆ，ＣＧ＿ｓｆ，ＣＢ＿ｓｆの情報からそれぞれクラス分類し、クロストーク比のインデックスｊに該当する学習結果のデータベース内のクラスデータと照合する。該当するクラスを確定後、ΔＩＲ ｊハット、ΔＩＧ ｊハット、ΔＩＢ ｊハット（ＲＧＢの各成分におけるΔI-dispのモデル式）を画素毎に保持する
（第３のステップ：色差変換部６０４）ΔＩＲ ｊハット、ΔＩＧ ｊハット、ΔＩＢ ｊハットのグラフを統合し、新たに色差成分におけるΔI-dispモデル式を生成する。
（第４のステップ：隣接視点間視差算出部６０６）劣化を知覚する閾値Thを色差成分のΔI-dispモデル式に対して入力し、画素毎に最大視差量を計算し、隣接視点間視差マップを生成する
（第５のステップ：変換部６０８）隣接視点間視差マップの各画素において，同じ座標のＬＲ視差マップの値で除算し、隣接視点間位相差マップに変換する
（第６のステップ：位相差決定部６１０）隣接視点間位相差マップを位相差ごとの頻度ヒストグラムとして集計し，限界値を超える画素が一定の数以下になるような位相差を決定する
以上のように、第１、第２のステップにおいては，輝度成分に対するアルゴリズムであった第１の実施形態を拡張し、ＲＧＢ成分のクロストークを考慮する。更に、第３、第４のステップにおいて、人の色差成分への知覚を考慮する。第５、第６のステップにおいては、第１の実施形態と同じフレームワークで処理をできる。この処理プロセスの中で、第３、第４のステップにおける人の色差成分は様々な実施形態を取ることができる。以下。第３、第４のステップについて詳細に説明する。
ＲＧＢの色差をＹＣｂＣｒ空間のＣｂ成分、Ｃｒ成分で評価する。この場合、ＲＧＢからＹＣｂＣｒへの変換式は以下の式（数式９）で表される。
Ｙ＝０．２１２６＊Ｒ＋０．７１５２＊Ｇ＋０．０７２２＊Ｂ
Ｃｂ＝−０．１１４６＊Ｒ−０．３８５４＊Ｇ＋０．５０００＊Ｂ
Ｃｒ＝０．５０００＊Ｒ−０．４５４２＊Ｇ−０．０４５８＊Ｂ
上式は線形であることから、クロストークによる変化量であるΔＩＲ ｊハット、ΔＩＧ ｊハット、ΔＩＢ ｊハットを数式９のＲ,Ｇ,Ｂにそれぞれ当てはめ、色差成分のクロストーク劣化量の関数として以下を得ることができる。
なお、以下では、上記色差成分のクロストーク劣化量の関数のそれぞれをΔＩＣｂ ｊハット、ΔＩＣｒ ｊハットと称する。
数式１０は、Ｃｂ−Ｃｒ色差空間（2次元）における元の色差からの変化を距離で表している。つまり、図１７の左に示すΔＩＣｂ ｊハット、ΔＩＣｒ ｊハットの各グラフに対し、disp（視差）軸に沿ってスキャンし、視差に応じた、Ｃｂ−Ｃｒ色差空間（2次元）におけるΔＩＣｂとΔＩＣｒの距離を求める（図１７の中間の特性）。なお、色割れを表す評価関数は数式１０に限定されるものではない。例えば、Ｃｂ−Ｃｒ色差空間における原点（無彩色）からの角度ずれで定義することで，色相ずれを表す評価関数を定義してもよい。更に、本実施形態では色割れを表す色空間をＹＣｂＣｒ空間を用いて説明したが、より人の視覚における色知覚特性を考慮したＣＩＥ Ｌ＊ａ＊ｂ＊空間（非線形）で同様の処理を用いてもよい。
このようにして得られた色割れを評価するグラフ（図１７の最も右に示すグラフ）において、縦軸に対し色割れ知覚の閾値Thを入力することで、色割れを知覚しない最大視差量ｍａｘ＿ｄｉｓｐを計算することができる。
なお、第２の実施形態は、第１の実施形態と併用することができる。第１及び第２の実施形態はともに最大隣接視点間位相差マップを計算するが、画素毎にマップの値の大小関係を比較し、小さい値を新たに最大隣接視点間位相差マップの値として更新し、頻度ヒストグラムにより代表となる位相差決定の計算をすることで、ボケ・二重像の観点と色割れの観点の双方を考慮した視差制御が可能となる。
なお、第２の実施形態では、ＲＧＢの各成分の画像の空間周波数に応じたコントラストを解析する処理を行っているが、ＲＧＢ画像から輝度画像に変換した後、第１の実施形態の手法で空間周波数に応じたコントラストを解析することも可能である。この際、ＲＧＢ画像から輝度画像への変換は、例えばＲＧＢ画像を用いて線形変換により計算することができる。これにより、第１の実施形態と同様に、輝度成分の画質劣化を推定して、ボケ・二重像が発生しない最大の視差を推定し、視差を最適に調整することが可能となる。
以上説明したように第２の実施形態によれば、ディスプレイ特性（ＲＧＢ各成分におけるクロストーク）に加え、画像特徴（コントラスト／空間周波数）を考慮し、色割れが発生する限界の視差量を高精度に推定することで、ディスプレイの視差表示性能を最大限発揮することができる。これにより、トレードオフの関係にあった立体感・奥行き感と画質の両立が最適化され、高臨場感を有する映像表示を実現できる。また、技術の汎用性が高く、設計が異なるディスプレイに対しても経験値によらない調整が可能である。
更に、ディスプレイ特性と画像特徴からクロストーク劣化量ΔＩ（色差）を推定するため、設計が異なるディスプレイに対しても調整が容易となる。また、視覚研究で定量化されている心理物理量を利用することで、さらに高精度な視差制御を実現することもできる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１） 入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析することと、
ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得することと、
ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合することと、
統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、
を備える、画像処理方法。
（２） 左右画像の視差に基づいて、算出した前記視差を位相差に変換することと、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、
を更に備える、前記（１）に記載の画像処理方法。
（３） 前記データベースには、ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係は、各種画像の空間周波数に応じたコントラストと対応付けて、画像を表示する表示装置に設けられるパララックス素子の傾きに応じたＲＧＢの各画素のクロストーク比の種類毎に保存される、前記（１）又は（２）に記載の画像処理方法。
（４） 前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を、画像を表示する表示装置に設けられるパララックス素子の傾きに応じた前記クロストーク比の種類毎に取得する、前記（１）〜（３）のいずれかに記載の画像処理方法。
（５） 前記データベースを学習により作成することを更に備え、
前記データベースを学習により作成することは、
入力された各種画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析することと、
前記各種画像を空間周波数に応じたコントラストに基づいてＲＧＢの画素毎に分類して、クロストークモデル式によりＲＧＢの画素毎の前記クロストーク劣化量と前記視差遷移との関係を取得することと、
を備える、前記（１）〜（４）のいずれかに記載の画像処理方法。
（６） 入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析する解析部と、
ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得する視差遷移情報取得部と、
ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合する統合部と、
統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
を備える、画像処理装置。
（７） 入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析する解析部と、
ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得する視差遷移情報取得部と、
ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合する統合部と、
統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、
を備える、電子機器。
（８） ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析することと、
クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得することと、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、
を備える、画像処理方法。
（９） 左目用画像と右目用画像の視差に基づいて、算出した前記視差を位相差に変換することと、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、
を更に備える、前記（８）に記載の画像処理方法。
（１０） ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析する解析部と、
クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
を備える、画像処理装置。
（１１） ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析する解析部と、
クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、
を備える、電子機器。
１０００ 画像処理装置
６００ 空間周波数解析部
６０２ 視差遷移取得部
６０４ 色差変換部
６０６ 隣接視点間視差算出部
６０８ 変換部
６１０ 位相差決定部

Claims (11)

  1. 入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析することと、
    ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得することと、
    ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合することと、
    統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、
    を備える、画像処理方法。
  2. 左右画像の視差に基づいて、算出した前記視差を位相差に変換することと、
    入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、
    を更に備える、請求項１に記載の画像処理方法。
  3. 前記データベースには、ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係は、各種画像の空間周波数に応じたコントラストと対応付けて、画像を表示する表示装置に設けられるパララックス素子の傾きに応じたＲＧＢの各画素のクロストーク比の種類毎に保存される、請求項１に記載の画像処理方法。
  4. 前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を、画像を表示する表示装置に設けられるパララックス素子の傾きに応じた前記クロストーク比の種類毎に取得する、請求項１に記載の画像処理方法。
  5. 前記データベースを学習により作成することを更に備え、
    前記データベースを学習により作成することは、
    入力された各種画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析することと、
    前記各種画像を空間周波数に応じたコントラストに基づいてＲＧＢの画素毎に分類して、クロストークモデル式によりＲＧＢの画素毎の前記クロストーク劣化量と前記視差遷移との関係を取得することと、
    を備える、請求項１に記載の画像処理方法。
  6. 入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析する解析部と、
    ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得する視差遷移情報取得部と、
    ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合する統合部と、
    統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
    を備える、画像処理装置。
  7. 入力画像の空間周波数に応じたコントラストをＲＧＢの画素毎に解析する解析部と、
    ＲＧＢの画素毎のクロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係をＲＧＢの画素毎に取得する視差遷移情報取得部と、
    ＲＧＢの画素毎に取得した前記クロストーク劣化量と視差遷移との関係を統合する統合部と、
    統合した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
    左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
    入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
    前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、
    を備える、電子機器。
  8. ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析することと、
    クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得することと、
    取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、
    を備える、画像処理方法。
  9. 左目用画像と右目用画像の視差に基づいて、算出した前記視差を位相差に変換することと、
    入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、
    を更に備える、請求項８に記載の画像処理方法。
  10. ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析する解析部と、
    クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
    取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
    を備える、画像処理装置。
  11. ＲＧＢ画像を輝度画像に変換して得られる入力画像の空間周波数に応じたコントラストを解析する解析部と、
    クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
    取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
    左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
    入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
    前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、
    を備える、電子機器。
JP2014035208A 2014-02-26 2014-02-26 画像処理方法、画像処理装置及び電子機器 Pending JP2015162718A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014035208A JP2015162718A (ja) 2014-02-26 2014-02-26 画像処理方法、画像処理装置及び電子機器
US14/626,251 US9467677B2 (en) 2014-02-26 2015-02-19 Image processing method, image processing device, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014035208A JP2015162718A (ja) 2014-02-26 2014-02-26 画像処理方法、画像処理装置及び電子機器

Publications (1)

Publication Number Publication Date
JP2015162718A true JP2015162718A (ja) 2015-09-07

Family

ID=53883516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014035208A Pending JP2015162718A (ja) 2014-02-26 2014-02-26 画像処理方法、画像処理装置及び電子機器

Country Status (2)

Country Link
US (1) US9467677B2 (ja)
JP (1) JP2015162718A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727833B2 (en) 2019-12-27 2023-08-15 Sony Group Corporation Information processing apparatus and information processing method for suppressing crosstalk while suppressing degradation in image quality

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397190B2 (ja) 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5367846B2 (ja) * 2011-08-24 2013-12-11 株式会社東芝 画像処理装置、方法およびプログラム、並びに、立体画像表示装置
JP2015095779A (ja) 2013-11-12 2015-05-18 ソニー株式会社 画像処理装置、画像処理方法及び電子機器
JP2015154091A (ja) 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置、及び電子機器
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
US10008030B2 (en) * 2015-09-07 2018-06-26 Samsung Electronics Co., Ltd. Method and apparatus for generating images
US10284836B2 (en) * 2017-02-08 2019-05-07 Microsoft Technology Licensing, Llc Depth camera light leakage avoidance
CN111696076B (zh) * 2020-05-07 2023-07-07 杭州电子科技大学 一种新型立体图像舒适度预测方法
CN112165615B (zh) * 2020-10-09 2023-03-24 长春理工大学 一种立体图像观看舒适性客观评价方法
EP4094434A1 (en) * 2021-04-15 2022-11-30 Google LLC Crosstalk compensation for 3d lightfield displays
CN114418868B (zh) * 2021-12-21 2024-11-12 云南联合视觉科技有限公司 图像增强方法、装置、服务器及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096614B2 (ja) 1995-05-30 2000-10-10 三洋電機株式会社 立体映像表示装置の映像信号処理装置
JP4440066B2 (ja) 2004-10-14 2010-03-24 キヤノン株式会社 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
JP4403162B2 (ja) * 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
CA2768701A1 (en) * 2009-07-29 2011-02-03 Thomson Licensing Method for crosstalk correction for three-dimensional (3d) projection
CN103688288B (zh) * 2011-07-21 2017-09-29 图象公司 用于修改输入图像数据的方法以及投影系统
EP2600616A3 (en) * 2011-11-30 2014-04-30 Thomson Licensing Antighosting method using binocular suppression.
JP2014016526A (ja) * 2012-07-10 2014-01-30 Sony Corp 表示装置および電子機器
US9083948B2 (en) * 2012-07-18 2015-07-14 Qualcomm Incorporated Crosstalk reduction in multiview video processing
US9113025B2 (en) * 2013-03-15 2015-08-18 Samsung Electronics Co., Ltd. Image signal processor circuits and methods for correcting crosstalk artifacts
JP2015154101A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置及び電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727833B2 (en) 2019-12-27 2023-08-15 Sony Group Corporation Information processing apparatus and information processing method for suppressing crosstalk while suppressing degradation in image quality

Also Published As

Publication number Publication date
US9467677B2 (en) 2016-10-11
US20150245008A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
CA2727218C (en) Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
Liu et al. CID: IQ–a new image quality database
Ryu et al. No-reference quality assessment for stereoscopic images based on binocular quality perception
CN103250184B (zh) 基于全局运动的深度估计
US20080247670A1 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
TWI712990B (zh) 用於判定影像之深度圖之方法與裝置、及非暫時性電腦可讀取儲存媒體
CN103916669A (zh) 高动态范围图像压缩方法及装置
WO2012071356A1 (en) Depth estimation based on global motion
WO2016202837A1 (en) Method and apparatus for determining a depth map for an image
CN113596573A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR20140051333A (ko) 모델-기반 입체 및 멀티뷰 크로스토크 감소
US9813698B2 (en) Image processing device, image processing method, and electronic apparatus
Farid et al. Evaluating virtual image quality using the side-views information fusion and depth maps
US20170142394A1 (en) 3d system including a neural network
Boev et al. Visual-quality evaluation methodology for multiview displays
JP3969688B2 (ja) 両眼立体視画像評価装置、両眼立体視画像評価方法及び記録媒体
JP4535954B2 (ja) ２眼式立体表示装置およびプログラム
Poulakos et al. A computational model for perception of stereoscopic window violations
Barkowsky et al. Crosstalk measurement and mitigation for autostereoscopic displays
Peng et al. Quality assessment of stereoscopic video in free viewpoint video system
US10148932B2 (en) 3D system including object separation
Cho et al. Prediction of visual discomfort in watching 3D video using multiple features
US20170142395A1 (en) 3d system including pop out adjustment