[go: up one dir, main page]

JP2022019550A - デモザイク動作回路、イメージセンシング装置、及びその動作方法 - Google Patents

デモザイク動作回路、イメージセンシング装置、及びその動作方法 Download PDF

Info

Publication number
JP2022019550A
JP2022019550A JP2021079177A JP2021079177A JP2022019550A JP 2022019550 A JP2022019550 A JP 2022019550A JP 2021079177 A JP2021079177 A JP 2021079177A JP 2021079177 A JP2021079177 A JP 2021079177A JP 2022019550 A JP2022019550 A JP 2022019550A
Authority
JP
Japan
Prior art keywords
pixel
value
chroma
white
white pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021079177A
Other languages
English (en)
Other versions
JP7763598B2 (ja
Inventor
ス ラム チャ
Su Ram Cha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of JP2022019550A publication Critical patent/JP2022019550A/ja
Application granted granted Critical
Publication of JP7763598B2 publication Critical patent/JP7763598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Figure 2022019550000001
【課題】ホワイトピクセルが５０％であるイメージパターンに対してデモザイク動作を行う回路を提供する。
【解決手段】回路３００は、ピクセルアレイから提供されるソースピクセルデータを用いて方向別ピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定するホワイトピクセル値推定部３１０と、センタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整する微細調整部３２０と、ソースピクセルデータと調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定するクロマ推定部３３０と、微細調整部３２０で推定されたホワイトピクセル値及びクロマ推定部３３０で推定されたクロマ重み付けに基づいて色相を補正する色相補正部３４０とを備える。
【選択図】図１

Description

本発明は、半導体装置に関し、より詳細には、デモザイク動作回路、イメージセンシング装置、及びその動作方法に関する。
近年、コンピュータ環境に対するパラダイム（ｐａｒａｄｉｇｍ）が、いつ、どこでもコンピュータシステムを使用できるようにするユビキタスコンピューティング（ｕｂｉｑｕｉｔｏｕｓ ｃｏｍｐｕｔｉｎｇ）に切り換えられている。これにより、携帯電話、デジタルカメラ、ノートブックコンピュータなどのような携帯用電子装置の使用が急増している。
特に、映像機器の急速な発展により、イメージセンサが装着されたカメラ、カムコーダなどのイメージ撮影装置に対する開発が加速化されている。このようなイメージ撮影装置は、イメージを撮影して記録媒体に記録するとともに、いつでも再生させることができ、ユーザが急速に増加している。これにより、性能及び機能に対するユーザの要求も次第に高まっており、小型、軽量化、低電力化とともに、高性能化及び多機能化が追求されている。
本発明の実施形態等は、ＲＧＢＷパターンを備えたソースピクセルデータでホワイトピクセルが５０％であるイメージパターンに対してデモザイク動作を行うデモザイク動作回路、イメージセンシング装置、及びその動作方法を提供できる。
本発明においてなそうとする技術的課題は、以上で言及した技術的課題に制限されず、言及していないさらに他の技術的課題は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るであろう。
本発明は、デモザイク動作回路、イメージセンシング装置、及びその動作方法を提供する。
本発明の実施形態等に係るデモザイク動作回路は、複数のピクセルが備えられたピクセルアレイから提供されるソースピクセルデータを用いて方向別ピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定するホワイトピクセル値推定部と、センタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整する微細調整部と、前記ソースピクセルデータと前記調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定するクロマ推定部と、前記微細調整部で推定されたホワイトピクセル値及びクロマ推定部で推定されたクロマ重み付けに基づいて色相を補正する色相補正部とを備えることができる。
前記ホワイトピクセル値推定部は、前記ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値の絶対値に基づいて方向別ホワイトピクセルの傾き値を計算する方向別ホワイトピクセル値計算ブロックと、前記ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢチャネル平均値を計算するＲＧＢチャネル平均値計算ブロックと、前記方向別ホワイトピクセル値計算ブロックで計算された方向別ホワイトピクセルの傾き値及び前記ＲＧＢチャネル平均値計算ブロックで計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定するホワイトピクセル値推定ブロックとを備えることができる。
前記ホワイトピクセル値推定ブロックは、前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、水平方向フィルタと垂直方向フィルタとを用いてセンタピクセルに対応するホワイトピクセル値を推定できる。
前記微細調整部は、前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、前記ホワイトピクセル値推定部で推定されたホワイトピクセルの傾き値を用いてホワイトピクセル値を微細調整することができる。
前記クロマ推定部は、前記ソースピクセルデータから前記微細調整されたホワイトピクセル値を差し引いてクロマアレイを計算できる。
前記クロマ推定部は、前記クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度（ｓｉｍｉｌａｒｉｔｙ）によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定できる。
また、本発明の他の実施形態に係るイメージセンシング装置は、複数のピクセルを備えたイメージセンサと、前記イメージセンサの出力信号を処理するイメージ信号プロセッサとを備え、前記イメージセンサ及び前記イメージ信号プロセッサのうち、いずれか１つの内部にデモザイク動作回路が実現され、前記デモザイク動作回路は、複数のピクセルが備えられたピクセルアレイから提供されるソースピクセルデータを用いて方向別ホワイトピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定するホワイトピクセル値推定部と、センタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整する微細調整部と、前記ソースピクセルデータと前記微細調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定するクロマ推定部と、前記微細調整部で推定されたホワイトピクセル値及びクロマ推定部で推定されたクロマ重み付けに基づいて色相を補正する色相補正部とを備えることができる。
前記ホワイトピクセル値推定部は、前記ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値の絶対値に基づいて方向別ホワイトピクセルの傾き値を計算する方向別ホワイトピクセル値計算ブロックと、前記ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢチャネル平均値を計算するＲＧＢチャネル平均値計算ブロックと、前記方向別ホワイトピクセル値計算ブロックで計算された前記方向別ホワイトピクセルの傾き値及び前記ＲＧＢチャネル平均値計算ブロックで計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定するホワイトピクセル値推定ブロックとを備えることができる。
前記ホワイトピクセル値推定ブロックは、前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、水平方向フィルタと垂直方向フィルタとを用いてセンタピクセルに対応するホワイトピクセル値を推定できる。
前記微細調整部は、前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、前記ホワイトピクセル値推定部で推定されたホワイトピクセル値を用いてホワイトピクセル値を微細調整することができる。
前記クロマ推定部は、前記ソースピクセルデータから前記調整されたホワイトピクセル値を差し引いてクロマアレイを計算できる。
前記クロマ推定部は、前記クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定できる。
本発明の他の実施形態に係るイメージセンシング装置の動作方法は、ピクセルアレイから提供されるソースピクセルデータを用いて方向別ホワイトピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定するステップと、ピクセルアレイのセンタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整するステップと、前記ソースピクセルデータと前記微細調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定するステップと、前記微細調整部で推定されたホワイトピクセル値及びクロマ推定部で推定されたクロマ重み付けに基づいて色相を補正するステップとを含むことができる。
前記ホワイトピクセル値を推定するステップは、前記ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値に基づいて方向別ホワイトピクセルの傾き値を計算するステップと、前記ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢチャネル平均値を計算するステップとを含み、前記方向別ホワイトピクセル値の計算ステップで計算された方向別ホワイトピクセル値及び前記ＲＧＢチャネル平均値の計算ステップで計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定できる。
前記ホワイトピクセル値を推定するステップでは、前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、水平方向フィルタと垂直方向フィルタとを用いてセンタピクセルに対応するホワイトピクセル値を推定できる。
前記ホワイトピクセル値を微細調整するステップでは、前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、前記ホワイトピクセル値推定部で推定されたホワイトピクセル値を用いてホワイトピクセル値を微細調整することができる。
前記チャネル別クロマを推定するステップでは、前記ソースピクセルデータから前記調整されたホワイトピクセル値を差し引いてクロマアレイを計算できる。
前記チャネル別クロマを推定するステップでは、前記クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定できる。
本発明において得ることができる効果は、以上で言及した効果に制限されず、言及していないさらに他の効果は、下記の記載から本発明の属する分野における通常の知識を有する者に明確に理解され得るであろう。
本発明の実施形態等は、ホワイトピクセルが５０％で備えられた様々なＲＧＢＷパターンに対してデモザイク動作を実行できるので、イメージセンシング装置の適用性を向上させることができる。
本発明の一実施形態に係るデモザイク動作回路のブロック図を示す。 異なる色相を有するピクセル間の差値に基づいて方向別ホワイトピクセルの計算を説明する図である。 ホワイトピクセル間の差に基づいて方向別ホワイトピクセルの計算を説明する図である。 センタに位置したレッドピクセルの推定されたホワイトピクセルを示す図である。 ホワイトピクセルの微細調整を説明する図である。 クロマアレイの推定を説明する図である。 ホワイトピクセルゲイン、エッジゲイン、及び色相ゲインを示すグラフである。 本発明の他の実施形態に係るイメージセンシング装置のブロック図を示す。 本発明のさらに他の実施形態に係るイメージセンシング装置のブロック図を示す。 本発明のさらに他の実施形態に係るイメージセンシング装置の動作を説明するフローチャートである。 本発明の一実施形態に係るイメージセンシング装置が適用されたシステムの一実施形態を説明するブロック図を示す。
以下、本発明に係る望ましい実施形態を添付した図面を参照して詳細に説明する。下記の説明では、本発明に係る動作を理解するのに必要な部分のみが説明され、それ以外の部分の説明は、本発明の要旨を濁さないように省略されるであろうということに留意すべきである。
以下、図面を参照して本発明の実施形態等についてより具体的に説明する。
図１～図７を参照して本発明の一実施形態に係るデモザイク動作回路を説明する。
図１は、本発明の一実施形態に係るデモザイク動作回路のブロック図を示し、図２は、異なる色相を有するピクセル間の差に基づいてホワイトピクセルの推定を説明する図であり、図３は、ホワイトピクセル間の差に基づいてホワイトピクセルの推定を説明する図であり、図４は、センタに位置したレッドピクセルの推定されたホワイトピクセルを示す図であり、図５は、ホワイトピクセルの微細調整を説明する図であり、図６は、クロマアレイの推定を説明する図であり、図７は、ホワイトピクセルゲイン、エッジゲイン、及び色相ゲインを示すグラフである。
図１に示された本発明の一実施形態に係るデモザイク動作回路３００は、ホワイトピクセル値推定部３１０、微細調整部３２０、クロマ推定部３３０、及び色相補正部３４０を備えることができる。
ホワイトピクセル値推定部３１０は、複数のピクセルが備えられたピクセルアレイ（図示せず）から提供されるソースピクセルデータを用いて方向別ホワイトピクセルの傾き値（ｇｒａｄｉｅｎｔ ｖａｌｕｅ）及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定できる。ホワイトピクセル値推定部３１０は、方向別ホワイトピクセル値計算ブロック３１２、ＲＧＢチャネル平均値計算ブロック３１４、及びホワイトピクセル値推定ブロック３１６を備えることができる。
方向別ホワイトピクセル値計算ブロック３１２は、ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値に基づいて方向別ホワイトピクセルの傾き値を計算できる。
図２を参照すれば、数式１のように、互いに異なる色相を有するピクセル間の差値を用いて方向別ホワイトピクセルの傾き値が計算され得る。
Figure 2022019550000002
 このとき、ＤＥ ｐ３３は、ソースピクセルデータのうち、ピクセルＰ３３中心に東の方向に互いに異なる色相を有するピクセル間の差値の合計を表し、ＤＷ ｐ３３は、ピクセルＰ３３中心に西の方向に互いに異なる色相を有するピクセル間の差値の合計を表し、ＤＨ ｐ３３は、ピクセルＰ３３中心に水平方向のピクセル間の差値の合計を表し、ＤＶ ｐ３３は、ピクセルＰ３３中心に垂直方向のピクセル間の差値の合計を表し、Ｗ１ｓｔ ｐ３３は、ピクセルＰ３３の１次推定されたホワイトピクセル値を表し、ΔＥは、東の方向ホワイトピクセルの傾き値を表す。
また、前記数式１と同じ方式にて西の方向ホワイトピクセルの傾き値、南の方向ホワイトピクセルの傾き値、北の方向ホワイトピクセルの傾き値を求めることができる。
図３を参照すれば、下記の数式２のように、ホワイトピクセル間の差値を用いて方向別ホワイトピクセルの傾き値が計算され得る。
Figure 2022019550000003
 このとき、ΔＥは、東の方向ホワイトピクセルの傾き値を表し、前記数式２と同じ方式にて西の方向ホワイトピクセルの傾き値、南の方向ホワイトピクセルの傾き値、北の方向ホワイトピクセルの傾き値を求めることができる。
ＲＧＢチャネル平均値計算ブロック３１４は、ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢの各チャネルの平均値を計算できる。
ホワイトピクセル値推定ブロック３１６は、方向別ホワイトピクセル値計算ブロック３１２で計算された方向別ホワイトピクセルの傾き値及び前記ＲＧＢチャネル平均値計算ブロック３１４で計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定できる。
推定された水平方向ホワイトピクセル値は、下記の数式３のように計算されて推定されることができる。
Figure 2022019550000004
 このとき、ΔＥは、東の方向ホワイトピクセルの傾き値を表し、ΔＷは、西の方向ホワイトピクセルの傾き値を表し、ＷＷ Ｐ３４は、ピクセルＰ３４で西の方向ホワイトピクセル値を表し、ＷＥ Ｐ３２は、ピクセルＰ３２で東の方向ホワイトピクセル値を表し、Ｗ～ Ｐ３３は、ピクセルＰ３３で推定された水平方向ホワイトピクセル値を表す。
推定された垂直方向ホワイトピクセル値は、下記の数式４のように計算されて推定されることができる。
Figure 2022019550000005
 このとき、ΔＮは、北の方向ホワイトピクセルの傾き値を表し、ΔＳは、南の方向ホワイトピクセルの傾き値を表し、ＷＳ Ｐ４３は、ピクセルＰ４３で南の方向ホワイトピクセル値を表し、ＷＮ Ｐ２３は、ピクセルＰ２３で北の方向ホワイトピクセル値を表し、Ｗ～ Ｐ３３は、ピクセルＰ３３で推定された垂直方向ホワイトピクセル値を表す。
推定された水平／垂直方向ホワイトピクセル値は、下記の数式５のように計算されて推定されることができる。
Figure 2022019550000006
 このとき、ＷＳ Ｐ４３は、ピクセルＰ４３で南の方向ホワイトピクセル値を表し、ＷＮ Ｐ２３は、ピクセルＰ２３で北の方向ホワイトピクセル値を表し、Ｗ～ Ｐ３３は、ピクセルＰ３３で推定された水平／垂直方向ホワイトピクセル値を表す。
微細調整部３２０は、センタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整することができる。
例えば、図４に示されたように、７×７カーネル（ｋｅｒｎｅｌ）のセンタに位置したレッドピクセルで推定されたホワイトピクセル値Ｗｃを微細調整することができる。
特に、センタピクセルがレッドピクセル（Ｒｅｄ ｐｉ×ｅｌ）、ブルーピクセル（Ｂｌｕｅ ｐｉ×ｅｌ）、またはグリーンピクセル（Ｇｒｅｅｎ ｐｉ×ｅｌ）である場合、ホワイトピクセル値推定部３１０で推定されたホワイトピクセル値を用いて水平フィルタ、垂直フィルタ、または水平／垂直フィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整することができる。
図５に示すように、東の方向ホワイトピクセルの傾き値と西の方向ホワイトピクセルの傾き値との合計に所定の重み付けαをかけた値が南の方向ホワイトピクセルの傾き値と北の方向ホワイトピクセルの傾き値との合計より小さければ、水平フィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整することができる。
また、東の方向ホワイトピクセルの傾き値と西の方向ホワイトピクセルの傾き値との合計に所定の重み付けαをかけた値が南の方向ホワイトピクセルの傾き値と北の方向ホワイトピクセルの傾き値との合計より大きければ、垂直フィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整することができる。
また、東の方向ホワイトピクセルの傾き値と西の方向ホワイトピクセルの傾き値との合計に所定の重み付けαをかけた値が南の方向ホワイトピクセルの傾き値と北の方向ホワイトピクセルの傾き値との合計と同一であれば、水平／垂直フィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整することができる。
クロマ推定部３３０は、ソースピクセルデータと調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定できる。
より具体的に、図６に示されたように、クロマ推定部３３０は、ベイヤパターンのソースピクセルデータから調整されたホワイトピクセル値（Ｗｈｉｔｅ）を差し引いてクロマアレイを計算し、クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度（ｓｉｍｉｌａｒｉｔｙ）によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定できる。
チャネル別クロマは、下記の数式６によって推定されることができる。
Figure 2022019550000007
 このとき、Ｒｃ ｃｈｒｏｍａは、センタに位置したレッドピクセルの推定されたクロマを表し、Ｇｃ ｃｈｒｏｍａは、センタに位置したグリーンピクセルの推定されたクロマを表し、Ｂｃ ｃｈｒｏｍａは、センタに位置したブルーピクセルの推定されたクロマを表し、ｗｇｔは、重み付けを表し、（ｉ、ｊ）は、レッドピクセル、グリーンピクセル、ブルーピクセルの位置を表す。
色相補正部３４０は、微細調整部３２０で推定されたホワイトピクセル値及びクロマ推定部３３０で推定されたクロマ重み付けに基づいて色相を補正できる。
図７に示すように、ホワイトピクセルゲイン（ＤＹｇａｉｎ）、エッジゲイン（Ｅｄｇｅｇａｉｎ）、色相ゲイン（Ｃｏｌｏｒｇａｉｎ）に対するグラフを介して色相補正を最適化できる。
すなわち、下記の数式７のように、色相補正を計算することができる。
Figure 2022019550000008
 このとき、ｆｃｓｇａｉｎは、エラー色相補正ゲインを表し、ＤＹｇａｉｎは、ホワイトピクセルゲインを表し、Ｅｄｇｅｇａｉｎは、エッジゲインを表し、Ｃｏｌｏｒｇａｉｎは、色相ゲインを表し、Ｒｏｕｔは、センタに位置したレッドピクセルの微細調整されたホワイトピクセル値と推定されたクロマ値との合計を表し、Ｇｏｕｔは、センタに位置したグリーンピクセルの微細調整されたホワイトピクセル値と推定されたクロマ値との合計を表し、Ｂｏｕｔは、センタに位置したブルーピクセルの微細調整されたホワイトピクセル値と推定されたクロマ値との合計を表し、Ｒｅｓｔは、レッドピクセルの補正された色相を表し、Ｂｅｓｔは、ブルーピクセルの補正された色相を表す。
図８は、本発明の一実施形態に係るイメージセンシング装置のブロック図を示す。
図８に示すように、イメージセンシング装置１０は、イメージセンサ１００及びイメージ信号プロセッサ（ＩＳＰ）４００を備えることができる。
イメージセンシング装置１０は、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）またはモバイルコンピューティング装置で実現されることができる。前記イメージセンシング装置は、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、移動電話機、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）ＰＣ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、モバイルインターネット装置（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ（ＭＩＤ））、ウェアラブルコンピュータ、モノのインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ（ＩｏＴ））装置、または万物のインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｅｖｅｒｙｔｈｉｎｇ（ＩｏＥ））装置で実現されることができる。
図８に示されたイメージセンサ１００は、ピクセルアレイ２００とデモザイク動作回路３００とを備えることができる。
ピクセルアレイ２００は、複数のピクセルを備えることができる。ここで、ピクセル（ｐｉｘｅｌ）は、ピクセルデータを意味することができ、ＲＧＢデータフォーマット、ＹＵＶデータフォーマット、またはＹＣｂＣｒデータフォーマットを有することができるが、これに限定されるものではない。
デモザイク動作回路３００は、ホワイトピクセルが５０％を占めるＲＧＢＷパターンのデモザイク（ｄｅｍｏｓａｉｃ）動作を行う。
デモザイク動作回路３００の詳細構成及び動作は、図１～図７に示されたデモザイク（ｄｅｍｏｓａｉｃ）動作回路３００の構成及び動作と実質的に同様であるか、類似するので、これについての詳細な説明は省略する。
イメージ信号プロセッサ４００は、プロセッサの一実施形態であって、集積回路、システムオンチップ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ（ＳｏＣ））、またはモバイルＡＰで実現されることができる。イメージ信号プロセッサ４００は、前記イメージセンサ１００の出力信号を処理する。すなわち、イメージセンサ１００内に備えられたデモザイク動作回路３００でホワイトピクセルが５０％を占めるＲＧＢＷパターンのデモザイク（ｄｅｍｏｓａｉｃ）動作を行ったイメージ出力信号を提供されて処理する。
詳細には、イメージ信号プロセッサ４００は、ピクセルデータに対応するベイヤパターン（ＢＡＹＥＲ）を処理してＲＧＢイメージデータを生成できる。例えば、イメージ信号プロセッサ４００は、イメージデータ（ＩＤＡＴＡ）がディスプレイでディスプレイされ得るようにベイヤパターン（ＢＡＹＥＲ）を加工（または、処理）し、加工（または、処理）されたイメージデータをインターフェースに送信することができる。
実施形態によって、イメージセンサ１００とイメージ信号プロセッサ４００とは、各々チップで実現され、１つのパッケージ、例えば、マルチ－チップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ（ＭＣＰ））で実現されることができる。他の実施形態によって、イメージセンサ１００とイメージ信号プロセッサ４００とは、１つのチップで実現されることもできる。
図９は、本発明の他の実施形態に係るイメージセンシング装置のブロック図を示す。
図９に示すように、イメージセンシング装置１０は、イメージセンサ１００及びイメージ信号プロセッサ（ＩＳＰ）４００を備えることができる。
デモザイク動作回路３００は、イメージセンサ１００内に実現されず、イメージ信号プロセッサ４００内に実現されたことを除くと、図９のイメージセンシング装置１０の構造と動作は、図８のイメージセンシング装置１０の構造と動作と実質的に同様であるか、類似するので、詳細な説明を省略する。
以下、図１０を参照して本発明のさらに他の実施形態に係るイメージセンシング装置の動作を説明する。図１０は、本発明のさらに他の実施形態に係るイメージセンシング装置の動作を説明するフローチャートである。
図１０に示されたイメージセンシング装置の動作は、ホワイトピクセル値を推定するステップ（Ｓ１０００）、推定されたホワイトピクセル値を微細調整するステップ（Ｓ１１００）、チャネル別クロマを推定するステップ（Ｓ１２００）、及び色相を補正するステップ（Ｓ１３００）を含む。
ホワイトピクセル値を推定するステップ（Ｓ１０００）では、ピクセルアレイから提供されるソースピクセルデータを用いて方向別ホワイトピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定できる。
前記ホワイトピクセル値を推定するステップは、方向別ホワイトピクセルの傾き値を計算するステップ（Ｓ１０１０）、ＲＧＢチャネル平均値を計算するステップ（Ｓ１０２０）、及びホワイトピクセル値の推定ステップ（Ｓ１０３０）を含むことができる。
方向別ホワイトピクセルの傾き値を計算するステップ（Ｓ１０１０）では、ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値に基づいて方向別ホワイトピクセルの傾き値を計算できる。
ＲＧＢチャネル平均値を計算するステップでは、ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢチャネル平均値を計算できる。
ホワイトピクセル値の推定ステップでは、方向別ホワイトピクセル値の計算ステップで計算された方向別ホワイトピクセルの傾き値及びＲＧＢチャネル平均値の計算ステップで計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定できる。
このとき、センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、水平方向フィルタと垂直方向フィルタとを用いてセンタピクセルに対応するホワイトピクセル値を推定できる。
ホワイトピクセル値を微細調整するステップ（Ｓ１１００）では、ピクセルアレイのセンタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整することができる。
このとき、センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、ホワイトピクセル推定ステップで推定されたホワイトピクセル値を用いてホワイトピクセル値を微細調整することができる。
クロマを推定するステップ（Ｓ１２００）では、ソースピクセルデータと微細調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定できる。
このとき、クロマアレイは、ソースピクセルデータから前記調整されたホワイトピクセル値を差し引いて計算されることができる。
また、クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度（ｓｉｍｉｌａｒｉｔｙ）によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定できる。
以下、本発明の一実施形態に係るイメージセンシング装置が適用されたシステムの一実施形態を説明する。図１１は、本発明の一実施形態に係るイメージセンシング装置が適用されたシステムの一実施形態を説明するブロック図を示す。
図１１に示されたシステムは、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップまたはノートブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピューティングデバイス、セルラーフォン、スマートフォン、モバイルフォン、ワークステーション、ネットワークコンピュータ、消費者デバイス、アプリケーションサーバ、格納デバイス、知能型ディスプレイ、周辺装置デバイス、例えば、スイッチ、モデム、ルータ、その他、または一般的に任意の類型のコンピューティングデバイスを含むが、これに制限されない様々な類型等のコンピューティングデバイスのうち、いずれであることができる。
一実施形態によって、図１１に例示されたシステムは、システム－オン－チップ（ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、ＳＯＣ）を示すことができる。名前から暗示されるように、ＳＯＣ（１０００）のコンポーネント等は、集積回路「チップ」のように単一半導体基板上に集積されることができる。いくつかの実施形態において、コンポーネント等は、システムで２つ以上の別のチップ上に実現されることができる。ＳＯＣ（１０００）は、本明細書において例示として使用されるであろう。
例示された実施形態において、ＳＯＣ（１０００）のコンポーネント等は、中央プロセシングユニット（ＣＰＵ）コンプレックス１０２０、オン－チップ周辺装置コンポーネント等１０４０Ａ及び１０４０Ｂ（より簡略に、「周辺装置等」）、メモリ制御機（ＭＣ）１０３０、イメージ信号プロセッサ４００、及び通信ファブリック（ｆａｂｒｉｃ）１０１０を備えることができる。
ＳＯＣ（１０００）は、さらに追加コンポーネント等に、例えば、メモリ１８００及びイメージセンサ１００に結合されることができる。コンポーネント等（１０２０、１０３０、１０４０Ａ及び１０４０Ｂ、そして２００）の全ては、通信ファブリック１０１０に結合されることができる。メモリ制御機１０３０は、使用中にメモリ１８００に結合されることができ、周辺装置１０４０Ｂは、使用中に外部インターフェース１９００に結合されることができる。
例示される実施形態において、ＣＰＵコンプレックス１０２０は、１つ以上のプロセッサ１０２４及びレベル２（Ｌ２）キャッシュ１０２２を備えることができる。周辺装置等１０４０Ａ及び１０４０Ｂは、ＳＯＣ（１０００）に含まれた追加ハードウェア機能性の任意のセットであることができる。例えば、周辺装置等１０４０Ａ及び１０４０Ｂは、１つ以上のディスプレイデバイス上にビデオデータをディスプレイするように構成されたディスプレイ制御機、グラフィックプロセシングユニット（ＧＰＵ）、ビデオエンコーダ／デコーダ、スケーラ（ｓｃａｌｅｒ）、ロテータ（ｒｏｔａｔｏｒ）、ブレンダー（ｂｌｅｎｄｅｒ）、その他を備えることができる。
イメージ信号プロセッサ４００は、イメージセンサ１００（または、他のイメージセンサ）からイメージキャプチャデータをプロセシングすることができる。イメージ信号プロセッサ４００及びイメージセンサ１００は、図１～図１０に示されたイメージ信号プロセッサ４００とイメージセンサ１００の構成及び動作が適用され得る。
周辺装置等は、さらにオーディオ周辺装置等、例えば、マイクロホン、スピーカ、マイクロホン及びスピーカに対するインターフェース、オーディオプロセッサ、デジタル信号プロセッサ、ミキサ、その他を含むことができる。周辺装置等は、インターフェース、例えば、汎用直列バス（ＵＳＢ）、ＰＣＩエクスプレス（ＰＣＩｅ）を含む周辺装置コンポーネントインターコネクト（ＰＣＩ）、直列及び並列ポート、その他を含むＳＯＣ（１０００）の外部の様々なインターフェース１９００に対する周辺装置インターフェース制御機（例えば、周辺装置１０４０Ｂ）を備えることができる。周辺装置等は、ネットワーキング周辺装置等、例えば、メディアアクセス制御機（ＭＡＣ）をさらに備えることができる。一般的に、任意のセットのハードウェアが様々な実施形態等によって含まれることができる。
ＣＰＵコンプレックス１０２０は、ＳＯＣ（１０００）のＣＰＵ役割をする１つ以上のＣＰＵプロセッサ１０２４を備えることができる。システムのＣＰＵは、システム、例えば、運営体制のメイン制御ソフトウェアを実行するプロセッサ（等）を備えることができる。一般的に、使用中、ＣＰＵにより実行されるソフトウェアは、システムの他のコンポーネントを制御して所期のシステムの機能性を実現できる。プロセッサ１０２４は、さらに、他のソフトウェア、例えば、アプリケーションプログラムを実行できる。アプリケーションプログラムは、ユーザ機能性を提供でき、低レベルデバイス制御のために運営体制に依存することができる。したがって、プロセッサ１０２４は、さらにアプリケーションプロセッサと称されることができる。
ＣＰＵコンプレックス１０２０は、他のハードウェア、例えば、Ｌ２キャッシュ１０２２及び／又はシステムの他のコンポーネント等に対するインターフェース（例えば、通信ファブリック１０１０に対するインターフェース）をさらに含むことができる。
一般的に、プロセッサは、プロセッサにより実現された命令語セットアーキテクチャに定義された命令語を実行するように構成された任意の回路及び／又はマイクロコードを含むことができる。命令語を実行させることに応答してプロセッサ上により動作される命令語及びデータは、メモリ１８００に一般的に格納されることができるが、所定の命令語も周辺装置等への直接的なプロセッサアクセスに対して定義されることができる。プロセッサは、システムオンチップ（ＳＯＣ（１０００））または他のレベル等の統合部として他のコンポーネント等とともに集積回路上で実現されたプロセッサコアを網羅することができる。プロセッサは、別のマイクロプロセッサ、プロセッサコア、及び／又はマルチチップモジュール実現部内に集積化されたマイクロプロセッサ、複数の集積回路として実現されたプロセッサ、その他をさらに網羅することができる。
メモリ制御機１０３０は、一般的にＳＯＣ（１０００）の他のコンポーネント等からメモリ動作を受信し、メモリ１８００にアクセスしてメモリ動作を果たすための回路を含むことができる。メモリ制御機１０３０は、任意の類型のメモリ１８００にアクセスするように構成されることができる。例えば、メモリ１８００は、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、例えば、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３、その他）ＤＲＡＭを含むＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）であることができる。低電力／モバイルバージョン等のＤＤＲ ＤＲＡＭ（例えば、ＬＰＤＤＲ、ｍＤＤＲ、その他）が支援され得る。メモリ制御機１０３０は、動作を指示し（そして、潜在的に再指示し）、動作をメモリ１８００に提示する、メモリ動作のためのキューなどを含むことができる。メモリ制御機１０３０は、メモリへの書き込みを待つ書き込みデータ及びメモリ動作のソースへの復帰を待つ読み取りデータを格納するデータバッファをさらに備えることができる。
いくつかの実施形態等において、メモリ制御機１０３０は、最近にアクセスされたメモリデータを格納するメモリキャッシュを備えることができる。ＳＯＣ実現例において、例えば、メモリキャッシュは、再度直ちにアクセスされると予想される場合に、メモリ１８００からのデータの再－アクセスを避けることにより、ＳＯＣにおける電力費を減少させることができる。一部の場合において、メモリキャッシュは、さらに所定のコンポーネント等だけを補助するプライベートキャッシュ、例えば、プロセッサ１０２４のＬ２キャッシュ１０２２またはキャッシュ等と相反するような、システムキャッシュとして称されることができる。追加的に、いくつかの実施形態において、システムキャッシュは、メモリ制御機１０３０内に位置する必要がない。
実施形態において、メモリ１８００は、チップ－オン－チップまたはパッケージ－オン－パッケージ構成でＳＯＣ（１０００）とともにパッケージングされることができる。ＳＯＣ（１０００）及びメモリ１８００のマルチチップモジュール構成も使用されることができる。そのような構成等は、システム内の他のコンポーネント等への（例えば、終点１６Ａ及び１６Ｂへの）送信より（データ観測面で）相対的により安定的であることができる。したがって、保護データは、メモリ１８００に暗号化されていない状態で常駐できることに対し、保護データは、ＳＯＣ（１０００）と外部終点との間での交換のために暗号化されることができる。
通信ファブリック１０１０は、ＳＯＣ（１０００）のコンポーネントのうち、通信のための任意の通信インターコネクト及びプロトコルであることができる。通信ファブリック１０１０は、共有バス構成、クロスバー（ｃｒｏｓｓ ｂａｒ）構成、及びブリッジを有する階層的バスを含むバスに基づくことができる。通信ファブリック１０１０は、さらにパケットに基づくことができ、ブリッジを有する階層であるか、クロスバー、地点間連結（ｐｏｉｎｔ－ｔｏ－ｐｏｉｎｔ）、または他のインターコネクトであることができる。図９に示された個数より多いか、少ないそれぞれのコンポーネント／サブコンポーネントがありうる。
いくつかの実施形態において、本明細書において記述された方法は、コンピュータプログラム製品、またはソフトウェアにより実現されることができる。いくつかの実施形態において、非－一時的な、コンピュータ－読み取り可能格納媒体は、コンピュータシステム（または、他の電子デバイス）をプログラムして、本明細書に記述された技法のうち、いくつかまたは全てを行うために使用され得る命令語を格納することができる。コンピュータ－読み取り可能格納媒体は、機械（例えば、コンピュータ）により読み取り可能な形態（例えば、ソフトウェア、プロセシングアプリケーション）で情報を格納する任意のメカニズムを含むことができる。機械－読み取り可能媒体は、磁気格納媒体（例えば、フロッピーディスケット）と、光格納媒体（例えば、ＣＤ－ＲＯＭ）と、光磁気格納媒体と、読み取り専用メモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、消去及びプログラム可能メモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）と、フラッシュメモリと、電気またはプログラム命令語を格納するのに適した他の類型等の媒体を含むことができるが、これに制限されない。さらに、プログラム命令語は、光、音響、または他の形態の伝播された信号（例えば、搬送波、赤外線信号、デジタル信号、その他）を使用して通信されることができる。
コンピュータシステム１０００は、１つ以上のモジュール、例えば、同じコンピュータシステムのメモリ１８００に格納されたプログラム命令語内に存在することができるか、コンピュータシステム１０００と類似するか、互いに異なるさらに他のコンピュータシステムのメモリ内に格納されたプログラム命令語内に存在することができる、ノイズ除去回路を実行するように構成され得るプロセッサユニット１０２０（可能であれば、複数のプロセッサ、シングル－スレッド（ｔｈｒｅａｄｅｄ）プロセッサ、マルチ－スレッドプロセッサ、マルチ－コアプロセッサ、その他を備える）を備えることができる。
一方、本発明の詳細な説明では、具体的な実施形態について説明したが、本発明の範囲から逸脱しない限度内で様々な変形が可能であることはもちろんである。したがって、本発明の範囲は、説明された実施形態に限定されて決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどにより決められなければならない。
１０ イメージセンシング装置
１００ イメージセンサ
２００ ピクセルアレイ
３００ デモザイク動作回路
３１０ ホワイトピクセル値推定部
３２０ 微細調整部
３３０ クロマ推定部
３４０ 色相補正部
４００ イメージ信号プロセッサ

Claims (20)

  1. 複数のピクセルが備えられたピクセルアレイから提供されるソースピクセルデータを用いて方向別ピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定するホワイトピクセル値推定部と、
    センタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整する微細調整部と、
    前記ソースピクセルデータと前記調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定するクロマ推定部と、
    前記微細調整部で推定されたホワイトピクセル値及びクロマ推定部で推定されたクロマ重み付けに基づいて色相を補正する色相補正部と、
    を備えるデモザイク動作回路。
  2. 前記ホワイトピクセル値推定部は、
    前記ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値の絶対値に基づいて方向別ホワイトピクセルの傾き値を計算する方向別ホワイトピクセル値計算ブロックと、
    前記ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢチャネル平均値を計算するＲＧＢチャネル平均値計算ブロックと、
    前記方向別ホワイトピクセル値計算ブロックで計算された方向別ホワイトピクセルの傾き値及び前記ＲＧＢチャネル平均値計算ブロックで計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定するホワイトピクセル値推定ブロックと、
    を備える請求項１に記載のデモザイク動作回路。
  3. 前記ホワイトピクセル値推定ブロックは、
    前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、水平方向フィルタと垂直方向フィルタとを用いてセンタピクセルに対応するホワイトピクセル値を推定する請求項２に記載のデモザイク動作回路。
  4. 前記微細調整部は、
    前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、前記ホワイトピクセル値推定部で推定されたホワイトピクセルの傾き値を用いてホワイトピクセル値を微細調整する請求項３に記載のデモザイク動作回路。
  5. 前記クロマ推定部は、
    前記ソースピクセルデータから前記微細調整されたホワイトピクセル値を差し引いてクロマアレイを計算する請求項１に記載のデモザイク動作回路。
  6. 前記クロマ推定部は、
    前記クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度（ｓｉｍｉｌａｒｉｔｙ）によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定する請求項５に記載のデモザイク動作回路。
  7. 下記の数式によって前記チャネル別クロマを推定する請求項６に記載のデモザイク動作回路。
    Figure 2022019550000009
     このとき、Ｒｃ ｃｈｒｏｍａは、センタに位置したレッドピクセルの推定されたクロマを表し、Ｇｃ ｃｈｒｏｍａは、センタに位置したグリーンピクセルの推定されたクロマを表し、Ｂｃ ｃｈｒｏｍａは、センタに位置したブルーピクセルの推定されたクロマを表し、ｗｇｔは、重み付けを表し、（ｉ、ｊ）は、レッドピクセル、グリーンピクセル、ブルーピクセルの位置を表す。
  8. 前記色相補正部は、下記の数式によって色相を補正する請求項７に記載のデモザイク動作回路。
    Figure 2022019550000010
     このとき、ｆｃｓｇａｉｎは、エラー色相補正ゲインを表し、ＤＹｇａｉｎは、ホワイトピクセルゲインを表し、Ｅｄｇｅｇａｉｎは、エッジゲインを表し、Ｃｏｌｏｒｇａｉｎは、色相ゲインを表し、Ｒｏｕｔは、センタに位置したレッドピクセルの微細調整されたホワイトピクセル値と推定されたクロマ値との合計を表し、Ｇｏｕｔは、センタに位置したグリーンピクセルの微細調整されたホワイトピクセル値と推定されたクロマ値との合計を表し、Ｂｏｕｔは、センタに位置したブルーピクセルの微細調整されたホワイトピクセル値と推定されたクロマ値との合計を示し、Ｒｅｓｔは、レッドピクセルの補正された色相を表し、Ｂｅｓｔは、ブルーピクセルの補正された色相を表す。
  9. 複数のピクセルを備えたイメージセンサと、
    前記イメージセンサの出力信号を処理するイメージ信号プロセッサと、
    を備え、
    前記イメージセンサ及び前記イメージ信号プロセッサのうち、いずれか１つの内部にデモザイク動作回路が実現され、
    前記デモザイク動作回路は、
    複数のピクセルが備えられたピクセルアレイから提供されるソースピクセルデータを用いて方向別ホワイトピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定するホワイトピクセル値推定部と、
    センタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整する微細調整部と、
    前記ソースピクセルデータと前記微細調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定するクロマ推定部と、
    前記微細調整部で推定されたホワイトピクセル値及びクロマ推定部で推定されたクロマ重み付けに基づいて色相を補正する色相補正部と、
    を備えるイメージセンシング装置。
  10. 前記ホワイトピクセル値推定部は、
    前記ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値の絶対値に基づいて方向別ホワイトピクセルの傾き値を計算する方向別ホワイトピクセル値計算ブロックと、
    前記ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢチャネル平均値を計算するＲＧＢチャネル平均値計算ブロックと、
    前記方向別ホワイトピクセル値計算ブロックで計算された前記方向別ホワイトピクセルの傾き値及び前記ＲＧＢチャネル平均値計算ブロックで計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定するホワイトピクセル値推定ブロックと、
    を備える請求項９に記載のイメージセンシング装置。
  11. 前記ホワイトピクセル値推定ブロックは、
    前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、水平方向フィルタと垂直方向フィルタとを用いてセンタピクセルに対応するホワイトピクセル値を推定する請求項１０に記載のイメージセンシング装置。
  12. 前記微細調整部は、
    前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、前記ホワイトピクセル値推定部で推定されたホワイトピクセル値を用いてホワイトピクセル値を微細調整する請求項１１に記載のイメージセンシング装置。
  13. 前記クロマ推定部は、
    前記ソースピクセルデータから前記調整されたホワイトピクセル値を差し引いてクロマアレイを計算する請求項９に記載のイメージセンシング装置。
  14. 前記クロマ推定部は、
    前記クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定する請求項１３に記載のイメージセンシング装置。
  15. ピクセルアレイから提供されるソースピクセルデータを用いて方向別ホワイトピクセルの傾き値及びＲＧＢチャネル平均値を取得し、これに基づいてホワイトピクセル値を推定するステップと、
    ピクセルアレイのセンタピクセルと周辺ホワイトピクセルとの傾きによって互いに異なるように割り当てられた重み付けに基づいて互いに異なるフィルタを介してノイズを除去し、推定されたホワイトピクセル値を微細調整するステップと、
    前記ソースピクセルデータと前記微細調整されたホワイトピクセル値に基づいてクロマアレイを計算し、チャネル別クロマを推定するステップと、
    前記微細調整するステップで推定されたホワイトピクセル値及び前記クロマを推定するステップで推定されたクロマ重み付けに基づいて色相を補正するステップと、
    を含むイメージセンシング装置の動作方法。
  16. 前記ホワイトピクセル値を推定するステップは、
    前記ピクセルアレイから提供されるソースピクセルデータのうち、互いに異なる色相を有するピクセル間の差値及びホワイトピクセル間の差値に基づいて方向別ホワイトピクセルの傾き値を計算するステップと、
    前記ピクセルアレイから提供されるソースピクセルデータのうち、センタピクセルの位置に応じてＲＧＢチャネル平均値を計算するステップと、
    を含み、
    前記方向別ホワイトピクセル値の計算ステップで計算された方向別ホワイトピクセル値及び前記ＲＧＢチャネル平均値の計算ステップで計算されたＲＧＢチャネル平均値に基づいてホワイトピクセル値を推定する請求項１５に記載のイメージセンシング装置の動作方法。
  17. 前記ホワイトピクセル値を推定するステップでは、
    前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、水平方向フィルタと垂直方向フィルタとを用いてセンタピクセルに対応するホワイトピクセル値を推定する請求項１６に記載のイメージセンシング装置の動作方法。
  18. 前記ホワイトピクセル値を微細調整するステップでは、
    前記センタピクセルがグリーンピクセル、レッドピクセル、またはブルーピクセルである場合に、前記ホワイトピクセル値を推定するステップで推定されたホワイトピクセル値を用いてホワイトピクセル値を微細調整する請求項１７に記載のイメージセンシング装置の動作方法。
  19. 前記チャネル別クロマを推定するステップでは、
    前記ソースピクセルデータから前記調整されたホワイトピクセル値を差し引いてクロマアレイを計算する請求項１５に記載のイメージセンシング装置の動作方法。
  20. 前記チャネル別クロマを推定するステップでは、
    前記クロマアレイのうち、センタピクセルのクロマ値を中心にチャネル別クロマ類似度によってクロマ重み付けを割り当て、重み付けに応じてチャネル別クロマを推定する請求項１９に記載のイメージセンシング装置の動作方法。
JP2021079177A 2020-07-17 2021-05-07 デモザイク動作回路、イメージセンシング装置、及びその動作方法 Active JP7763598B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0088976 2020-07-17
KR1020200088976A KR102739817B1 (ko) 2020-07-17 2020-07-17 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
JP2022019550A true JP2022019550A (ja) 2022-01-27
JP7763598B2 JP7763598B2 (ja) 2025-11-04

Family

ID=79293616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021079177A Active JP7763598B2 (ja) 2020-07-17 2021-05-07 デモザイク動作回路、イメージセンシング装置、及びその動作方法

Country Status (4)

Country Link
US (1) US11750783B2 (ja)
JP (1) JP7763598B2 (ja)
KR (1) KR102739817B1 (ja)
CN (1) CN113949850B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230046816A (ko) 2021-09-30 2023-04-06 에스케이하이닉스 주식회사 이미지 센싱 장치
US12530736B2 (en) * 2022-02-15 2026-01-20 Mediatek Inc. Image signal processing with an RGBW color filter array
CN115442573B (zh) * 2022-08-23 2024-05-07 深圳市汇顶科技股份有限公司 图像处理方法、装置和电子设备
KR20240036924A (ko) 2022-09-14 2024-03-21 에스케이하이닉스 주식회사 이미지 센서, 이미지 처리 시스템 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2012080553A (ja) * 2011-11-07 2012-04-19 Sony Corp 半導体装置および撮像装置
JP2013198160A (ja) * 2012-03-19 2013-09-30 Aptina Imaging Corp 透明フィルタピクセルを備えるイメージングシステム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP4059686B2 (ja) * 2002-02-08 2008-03-12 富士通株式会社 白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサ
US7333678B1 (en) 2003-05-20 2008-02-19 Micronas Usa, Inc. Edge adaptive demosaic system and method
US7525584B2 (en) 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
US7554696B2 (en) * 2004-02-26 2009-06-30 Sharp Laboratories Of America, Inc. Dot-gain reduction method for multi-level halftoning
JP4290193B2 (ja) 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置
US20080253652A1 (en) 2007-04-10 2008-10-16 Aricent Inc. Method of demosaicing a digital mosaiced image
JP2009044367A (ja) 2007-08-08 2009-02-26 Fujifilm Corp 撮影方法及び撮影装置
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
CN101399996B (zh) 2007-09-27 2010-09-29 比亚迪股份有限公司 一种彩色滤镜阵列插值方法
JP2009290795A (ja) 2008-05-30 2009-12-10 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器
JP2010021908A (ja) 2008-07-14 2010-01-28 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
WO2013100033A1 (ja) 2011-12-28 2013-07-04 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2013111449A1 (ja) 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102663719B (zh) 2012-03-19 2014-06-04 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
JP6362333B2 (ja) 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
CN103841388A (zh) 2014-03-04 2014-06-04 华为技术有限公司 一种去马赛克的方法及装置
US9219896B1 (en) 2014-06-12 2015-12-22 Himax Imaging Limited Method of color processing using a color and white filter array
JP2016015017A (ja) 2014-07-02 2016-01-28 ソニー株式会社 撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラム
WO2016041133A1 (en) 2014-09-15 2016-03-24 SZ DJI Technology Co., Ltd. System and method for image demosaicing
US10412356B2 (en) 2015-03-26 2019-09-10 Sony Corporation Image processing apparatus and image processing method
CN105430357B (zh) 2015-11-26 2017-07-18 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
US10148926B2 (en) 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
JP6758859B2 (ja) * 2016-03-01 2020-09-23 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
US10638060B2 (en) 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
US10262399B2 (en) 2017-01-09 2019-04-16 Samsung Electronics Co., Ltd. Image denoising with color-edge contrast preserving
US10848730B2 (en) 2017-06-15 2020-11-24 Blackmagic Design Pty Ltd Raw image processing system and method
KR102018246B1 (ko) 2017-09-27 2019-11-04 인천대학교 산학협력단 그라디언트 기반 rgbw cfa 디모자킹 장치 및 방법
CN108171668A (zh) 2017-12-29 2018-06-15 南京邮电大学盐城大数据研究院有限公司 一种基于定向加权插值的cfa图像去马赛克方法
US10984504B2 (en) 2019-06-26 2021-04-20 Intel Corporation Advanced demosaicing with angle compensation and defective pixel correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2012080553A (ja) * 2011-11-07 2012-04-19 Sony Corp 半導体装置および撮像装置
JP2013198160A (ja) * 2012-03-19 2013-09-30 Aptina Imaging Corp 透明フィルタピクセルを備えるイメージングシステム

Also Published As

Publication number Publication date
JP7763598B2 (ja) 2025-11-04
CN113949850B (zh) 2023-08-01
KR20220010285A (ko) 2022-01-25
US11750783B2 (en) 2023-09-05
CN113949850A (zh) 2022-01-18
US20220021857A1 (en) 2022-01-20
KR102739817B1 (ko) 2024-12-09

Similar Documents

Publication Publication Date Title
JP2022019550A (ja) デモザイク動作回路、イメージセンシング装置、及びその動作方法
TWI557690B (zh) 使用局部色調曲線計算之影像色調調整
US10467496B2 (en) Temporal filtering of independent color channels in image data
US9554048B2 (en) In-stream rolling shutter compensation
US9986171B2 (en) Method and apparatus for dual exposure settings using a pixel array
JP7806070B2 (ja) 低レイテンシフレーム配信
CN114514552B (zh) 电子装置和电子装置的图像处理方法
JP2022019533A (ja) エッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法
KR102412020B1 (ko) 이미지 센서의 파라미터 제어 방법
KR102710388B1 (ko) 로컬 톤 맵핑 회로, 이미지 센싱 장치 및 그 동작방법
JP7710310B2 (ja) スマートビニング回路、イメージセンシング装置、及びその動作方法
US12217399B2 (en) Tone mapping circuit, image sensing device and operation method thereof
US9374526B2 (en) Providing frame delay using a temporal filter
CN114727082B (zh) 图像处理装置、图像信号处理器、图像处理方法和介质
CN113691749B (zh) 网格增益计算电路、图像感测装置及其操作方法
US11647308B2 (en) Analog-to-digital converting circuit, image sensing device and operation method thereof
TWI445398B (zh) 影像校正裝置及影像校正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251022

R150 Certificate of patent or registration of utility model

Ref document number: 7763598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150