JP2001275015A - 画像処理回路及び画像処理方法 - Google Patents
画像処理回路及び画像処理方法Info
- Publication number
- JP2001275015A JP2001275015A JP2000087053A JP2000087053A JP2001275015A JP 2001275015 A JP2001275015 A JP 2001275015A JP 2000087053 A JP2000087053 A JP 2000087053A JP 2000087053 A JP2000087053 A JP 2000087053A JP 2001275015 A JP2001275015 A JP 2001275015A
- Authority
- JP
- Japan
- Prior art keywords
- pixel value
- image
- image processing
- input image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
関し、例えばビデオカメラ、電子スチルカメラ等に適用
して、コントラスト感の低下、不自然なエッジ強調を有
効に回避して、高い圧縮率でダイナミックレンジを圧縮
することができるようにする。 【解決手段】 本発明は、エッジを保存したまま入力画
像Xを平滑化してゲイン補正係数Gを求め、このゲイン
補正係数Gにより入力画像Xの画素値x(i,j)を補
正する。
Description
画像処理方法に関し、例えばビデオカメラ、電子スチル
カメラ等における撮像結果の処理、記録、液晶表示装置
等における画像表示、パーソナルコンピュータ等による
画像処理、画像合成、さらにはこれらによる画像の伝送
に適用することができる。本発明は、エッジを保存した
まま入力画像を平滑化してゲイン補正係数を求め、この
ゲイン補正係数により入力画像の画素値を補正すること
により、コントラスト感の低下、不自然なエッジ強調を
有効に回避して、高い圧縮率でダイナミックレンジを圧
縮することができるようにする。
においては、画像のダイナミックレンジを圧縮して記
録、再生等の種々の処理を実行するようになされてい
る。
処理としては、画像全体の階調を補正する方法と、画像
の低周波数成分についてのみ階調を補正する方法とがあ
り、前者においては、ガンマ補正、ニー補正、さらには
いわゆるヒストグラム等価等により階調を補正してダイ
ナミックレンジを圧縮するようになされている。これに
対して後者においては、ガンマ補正、ニー補正等により
ダイナミックレンジを圧縮するようになされている。
ダイナミックレンジ圧縮法にあっては、実用上未だ不十
分な問題があった。
ー補正等により補正する方法にあっては、ハイライト部
やヒストグラムの少ない輝度域等の、コントラストの圧
縮対象である輝度域において、ダイナミックレンジと同
時に被写体のコントラストも圧縮される。これによりこ
の方法の場合では、ダイナミックレンジの圧縮率を大き
くすることが困難で、またダイナミックレンジの圧縮に
よりコントラストの劣化したメリハリのない画像が生成
される問題があった。
のみガンマ補正、ニー補正等により階調を補正する方法
にあっては、ダイナミックレンジの圧縮により画像の低
周波成分と高周波成分との比率が変化する。これにより
この方法の場合では、ダイナミックレンジの圧縮により
エッジが不自然に強調され、品位のない画像が生成され
る問題があった。
で、コントラスト感の低下、不自然なエッジ強調を有効
に回避して、高い圧縮率でダイナミックレンジを圧縮す
ることができる画像処理回路及び画像処理方法を提案し
ようとするものである。
め請求項1又は請求項2の発明においては、画像処理回
路又は画像処理方法に適用して、入力画像のエッジを保
存して入力画像の画素値を平滑化し、この平滑化の出力
値に応じてゲイン補正係数を生成して入力画像の画素値
を補正する。
力画像のエッジを保存して入力画像の画素値を平滑化す
れば、入力画像から、画像のダイナミックレンジを決定
付ける成分だけを独立して取り出することができる。こ
れによりこの平滑化の出力値に応じてゲイン補正係数を
生成して入力画像の画素値を補正すれば、画像のダイナ
ミックレンジとは独立な、圧縮せずに保存しておくこと
が望まれる被写体のコントラストについては劣化を有効
に回避して、所望の圧縮率によりダイナミックレンジを
圧縮することができる。また被写体のコントラストにつ
いては劣化を有効に回避できることにより、不自然なエ
ッジ強調も防止することができ、これらにより入力画像
の品位を維持したまま、高い圧縮率により入力画像のダ
イナミックレンジを圧縮することができる。
発明の実施の形態を詳述する。
を示すブロック図である。この画像処理回路1は、ビデ
オカメラ、電子スチルカメラ等の撮像装置、種々の画像
処理装置、画像伝送装置、さらにはパーソナルコンピュ
ータにおける画像処理等に適用され、入力画像Xのダイ
ナミックレンジを圧縮して出力画像Yをする。
2次元デジタル画像であり、以下においては、水平方向
及び垂直方向における画素の位置をそれぞれ符号i及び
jにより表して、それぞれ入力画像X及び出力画像Yの
画素値をx(i、j)及びy(i、j)により表す。ま
たこれら画素値x(i、j)及びy(i、j)に対応す
る各処理値を同様に符号i及びjを用いて示す。
化器2は、図2(A)に示すように、大きなダイナミッ
クレンジによる入力される入力画像Xの画素値x(i、
j)を平滑化して、画素値s(i、j)(図2(B))
による平滑化画像Sを出力する。この平滑化の処理にお
いて、非線型平滑化器2は、入力画像の画素値情報と空
間情報とから、各画素値x(i、j)がエッジにおける
ものか否か判定して処理することにより、小振幅成分の
みを平滑化し、大きなエッジ成分については、平滑化の
処理を実行しないようにする。これにより非線型平滑化
器2は、エッジを保存したまま入力画像Xの画素値x
(i、j)を平滑化し、画像のダイナミックレンジを決
定付ける成分だけを独立して取り出すようになされてい
る。
線型平滑化器2から出力される平滑化画像Sの画素値s
(i、j)を基準にして入力画像Xの画素値x(i、
j)を補正するためのゲイン補正係数g(i、j)(図
2(C))を出力する。ここで画像処理回路1では、こ
のゲイン補正係数g(i、j)により入力画像Xの画素
値x(i、j)を補正してダイナミックレンジを圧縮す
ることにより、ルックアップテーブル3は、例えば図3
に示すような単調減少特性を有する入出力特性によりこ
のゲイン補正係数g(i、j)を出力する。なおここで
この図3に示す入出力特性においては、平滑化画像Sの
画素値s(i、j)が所定値s1より小さい場合には、
値1、0のゲイン補正係数g(i、j)を出力し、平滑
化画像Sの画素値s(i、j)がこの所定値s1より増
大するに伴って指数関数的にゲイン補正係数g(i、
j)が減少し、画素値s(i、j)の最大値s max
でゲイン補正係数g(i、j)が値g1となる特性であ
る。
プテーブル3は、例えば図2(A)に示したような小さ
な画素値の変化を伴ってエッジの前後で入力画像Xの画
素値x(i、j)が立ち上がっている場合には、小さな
画素値の変化が取り除かれてなる平滑化画像Sの画素値
s(i、j)が得られ、この平滑化画像Sの画素値s
(i、j)の小さな部位ほど値の小さなゲイン補正係数
g(i、j)(図2(C))を出力する。このとき平滑
化画像Sの画素値s(i、j)においてエッジが保存さ
れていることにより、ルックアップテーブル3は、エッ
ジの部分では値が急激に変化するようにゲイン補正係数
g(i、j)を出力する。
アップテーブル3における画像データの処理に要する時
間の分だけ、入力画像Xを構成する画像データを所定時
間遅延させ、これによりルックアップテーブル3から出
力されるゲイン補正係数g(i、j)に対して入力画像
Xの画素値x(i、j)をタイミング合わせして出力す
る。
入力画像Xの画素値x(i、j)をゲイン補正係数g
(i、j)で乗算することにより、入力画像Xの画素値
x(i、j)をゲイン補正係数g(i、j)により補正
して画素値z(i、j)による画像Zを出力する。
補正係数g(i、j)が値1以下に設定されていること
により、乗算回路5は、図2(D)に示すように、入力
画像Xのダイナミックレンジを圧縮してなる画素値z
(i、j)による画像Zを出力することになる。さらに
エッジを保存したまま小さな画素値の変化が取り除かれ
てなる平滑化画像Sより、エッジの部分では値が急激に
変化するようにゲイン補正係数g(i、j)が生成され
ることにより、エッジを除く他の部分では、入力画像X
における小さな画素値の変化を保存したまま、エッジの
部分だけ画素値の変化を圧縮した傾向により画素値z
(i、j)による画像Zが生成される。すなわち画像の
大局的なダイナミックレンジのみ選択的に圧縮して画像
Zが生成される。
素値の変化が圧縮されてなるコントラスト感の低下、周
波数特性の変化による不自然なエッジ強調を有効に回避
して、高い圧縮率でダイナミックレンジを圧縮してなる
画像Zを出力するようになされている。
のようにしてダイナミックレンジを圧縮してなる画像Z
の特性を最終的に設定して出力画像Yを生成する。すな
わちルックアップテーブル6は、図4に示すように、黒
近傍、白近傍の階調を圧縮する入出力特性に設定され
る。これによりルックアップテーブル6は、乗算回路5
から出力される画像データのダイナミックレンジにおい
て、出力画像Yのダイナミックレンジを越える部分にお
ける階調の飽和を防止し、出力画像Yにおいて黒近傍又
は自近傍において階調が失われるような状況を有効に回
避するようになされている。
る。この非線型平滑化器2において、ローパスフィルタ
(LPF)11は、入力画像Xを平滑化する二次元の線
形ローパスフィルタにより構成され、入力画像Xにおけ
る画素値x(i、j)を事前にある程度平滑化すること
により、以降の処理により点状のノイズの発生を防止す
る。なおローパスフィルタ(LPF)11は、入力画像
Xの水平方向、垂直方向に対してそれぞれ1次元の線形
ローパスフィルタを適用することもよっても、同様の処
理を実行することができる。
ローパスフィルタ(LPF)11より出力される画像デ
ータF1の画素値を対数変換して出力し、これにより続
く以降の処理において対数化された画素値により画素値
を平滑化し、画素値によって平滑化の程度が異ならない
ようにする。
と呼ばれる非線型平滑化フィルタの一部を変更したフィ
ルタであり、ルックアップテーブル12より入力される
入力画像L1の水平方向について、エッジを保存したま
ま画素値を平滑化して出力する。
εフィルタ13AXと同様の非線型平滑化フィルタであ
り、改良型εフィルタ13AXより入力される入力画像
L2の水平方向について、エッジを保存したまま画素値
を平滑化して出力する。改良型εフィルタ13BXは、
後述する遅延回路における遅延時間が改良型εフィルタ
13AXと異なることにより、平滑化の処理に供するサ
ンプリングピッチが改良型εフィルタ13BXと異なる
点を除いて、改良型εフィルタ13BXと同一に構成さ
れる。
の処理に供するサンプリングピッチが異なる改良型εフ
ィルタを所定段数だけ直列に接続して配置する。これに
より非線型平滑化器2では、各サンプリングピッチに対
応する各周波数成分の画素値の変動に対してそれぞれ平
滑化の処理を実行し、周波数帯域全体として見たとき
に、広い周波数帯域にわたって十分に平滑化の処理を実
行するようになされている。
…は、垂直方向について平滑化の処理を実行する点を除
いて、改良型εフィルタ13AX、13BX、……と同
一に構成される。このためこれら改良型εフィルタ13
AY、13BY、……の初段である改良型εフィルタ1
3AYは、図示しないメモリを介して画像データの配列
が変更されて入力されるようになされている。これらに
より非線型平滑化器2は、水平方向及び垂直方向に、エ
ッジを保存したまま広い周波数帯域で平滑化の処理を実
行する。
改良型εフィルタ13AY、13BY、……により平滑
化された画像データに対して、ルックアップテーブル1
2とは逆に、逆対数変換の処理を実行して出力する。ロ
ーパスフィルタ(LPF)15は、ローパスフィルタ1
1と同様の線形ローパスフィルタであり、エッジを保存
して平滑化されてなるルックアップテーブル14の出力
画像L2に対して、僅かにエッジを鈍らせ、これにより
出力画像Yのエッジ近傍領域を滑らかにして、一連の処
理による違和感を防止する。
を一部変更したフィルタであることにより、以下におい
てはεフィルタとの対比により改良型εフィルタ13A
Xの構成を説明する。なお改良型εフィルタ13BX、
……は、平滑化の処理に供するサンプリングピッチが異
なる点を除いて、改良型εフィルタ13AXと同一の構
成であることにより、ここではこの異なる構成に係る部
位について適宜説明し、重複した説明は省略する。また
改良型εフィルタ13AY、13BY、……について
は、処理対象である画像データの入力順序が異なる点を
除いて、改良型εフィルタ13AX、13BX、……と
同一構成であることにより、ここでは重複した説明を省
略する。
2N+1タップの場合、次式により入出力特性を表する
ことができる。なおここでsn は出力値であり、rn は
入力値であり、εは所定の基準値である。またrn は処
理対象の中心の入力値であり、ak は重み付け係数であ
る。また第2式のシグマの範囲は、k=−Nからk=N
の範囲である。
示すように、画素値rn である画素pn について出力値
sn を計算する場合、計算の対象である画素p1 〜p
2N+1のうちで、中心画素値rn に対する画素値差分の絶
対値│rn −rn-k │が基準値εより大きな画素pn-k
については、その画素値rn-k が中心画素値rn に置き
換えられて、またこの画素値差分の絶対値│rn −r
n-k │が基準値ε以下の画素pn-k については、この画
素pn-k の画素値rn-k が使用されて、重み付け加算の
処理が実行される。
すように、画素Pn の出力値sn を計算する場合に、こ
の画素Pn の前後の画素の中で、基準値εを判定基準と
して、画素Pn より大きく画素値rm が異なる画素pm
については、画素値rm を画素値rn に置き換えて計算
するものであり、これにより単なる線型ローパスフィル
タによる処理との比較により図6(B)に示すように、
エッジを保存したまま、小さな画素値の変化を抑圧す
る。
る画素Pn の値rn を中心にして基準値εにより画素値
を判定し、画素Pn の画素値rn との置き換えにより重
み付け加算して出力値sn を計算することにより、図6
の示したエッジの両側のように、ほぼ一定の直流レベル
により画素値xが変化している場合には、エッジを保存
して小さな画素値の変化を抑圧することができるのに対
し、図7に示すように、直流レベルが変化している場合
には、十分に平滑化することが困難になる。
大又は減少している場合には、出力値sn を算出するP
n より遠ざかるに従って基準値εによる領域に含まれる
画素数が少なくなる。またこの場合に、画素Pn の値r
n の置き換えにより重み付け加算しても、正しく直流レ
ベルの変化を反映して平滑化の処理を実施していないこ
とになる。
の対比により次式により示すように、直流レベルの変化
を一定の関数により近似し、画素Pn の画素値rn を中
心にしてこの関数により領域(2ε1)を設定して画素
値を判定する。またこの領域より飛び出す画素について
は、この関数上における画素値に置き換えて平滑化の処
理を実行する。なおここで(2)式中の第2式のシグマ
の範囲は、k=−Nからk=Nの範囲であり、(3)式
中の第2式のシグマの範囲は、s=−Mからs=M−1
の範囲である。
のような直流レベルの変化を直線近似して処理する。す
なわち出力値sn を計算する前後2M画素間で、隣接す
る画素間を結ぶ直線の傾きの平均値Ka を求め、さらに
この傾きの平均値Ka を基準にして領域を設定して画素
値を判定し、さらにはこの直線上に位置するように画素
値を置き換える。これによりこの実施の形態では、従来
に比して一段と確実にエッジを保存しつつ平滑化の処理
を実行できるようになされている。なお改良型εフィル
タのKa =0の場合が、図6について説明した一般のε
フィルタによる特性である。
ブロック図である。この改良型εフィルタ13AXは、
所定の遅延時間による遅延回路(D)21A〜21Fに
平滑処理に、係る画素値rを順次入力し、これにより7
タップにより構成される。ここでこれら遅延回路21A
〜21Fは、図9に示すように、所定段数(m個)のレ
ジスタ22A〜22Nを直列接続して構成される。これ
により改良型εフィルタ13AXは、レジスタ列22A
〜22Nの段数(すなわち遅延回路21A〜21Fの遅
延時間に対応する)に応じたサンプリングピッチによ
り、7サンプリングの画素値r(i,j)を選択できる
ようになされている。
は、このようにレジスタ22A〜22Nの段数に対応す
るサンプリングピッチにより画素値rを選択して処理す
ることにより、その分、出力値sを計算する画素の前
後、広い範囲の画素値を使用して平滑化の処理を実行
し、この広い範囲に対応する後段の処理を簡略化するよ
うになされている。なお、このように広い範囲の画素値
を使用して平滑化の処理を実行すれば、その分低い周波
数による画素値の変化を十分に抑圧することができる。
いては、この改良型εフィルタ13AXとはこのレジス
タの段数が異なるよう構成されて対応する遅延回路21
A〜21Fの遅延時間がこの改良型εフィルタ13AX
とは異なるように設定され、これによりこの改良型εフ
ィルタ13AXとは異なる周波数特性により平滑化の処
理を実行するようになされている。
回路21Aに入力される画素値をこれら遅延回路21A
〜21Fの出力値と共に入力することにより、遅延回路
21A〜21Fの遅延時間に対応する7サンプリングの
r(i,j)を入力し、(3)式の演算処理を実行する
ことにより傾きの平均値kaを計算して出力する。
回路21A〜21Fより出力される7タップの画素値の
うち、中心タップの出力値rn を除く各タップ出力r
n-3m、rn-2m、rn-m 、rn+m 、rn+2m、rn+3mについ
て、(2)式中の第3式及び第4式の演算処理を実行
し、演算結果wn-3m、wn-2m、wn-m 、wn+m 、
wn+2m、wn+3mを出力する。なおここでmは、遅延回路
21A〜21Fにおけるレジスタの段数である。
F)は、図10に示すように、乗算回路28に傾きの平
均値kaを入力し、ここでそれぞれ各タップ出力
rn-3m、rn-2m、rn-m 、rn+m 、rn+2m、rn+3mに対
応する中心タップからの距離kを乗算し、これにより傾
きKa による一次関数について、各タップ出力rn-3m、
rn-2m、rn-m 、rn+m 、rn+2m、rn+3mのサンプリン
グ点における中心タップ出力rn からの偏差Ka kを計
算する((2)式及び(3)式参照)。
値Ka kを各タップ出力rn-3m、rn-2m、rn-m 、r
n+m 、rn+2m、rn+3mより減算することにより(2)式
中のvn-k を計算して出力する。
値vn-k を中心タップ出力rn から減算することによ
り、(2)式中の(rn −vn-k )を計算して出力す
る。
出力値(rn −vn-k )を絶対値化することにより、
(2)式中の│rn −vn-k │を計算して出力する。
回路31の出力値│rn −vn-k │と図7について上述
した領域設定用の基準値ε1とを比較することにより、
(2)式における大小判定の処理を実行し、判定結果を
セレクタ(SEL)の切り換え信号として出力する。
算回路28の出力値Ka kを加算することにより、
(2)式中のrn +Ka ・kを計算して出力する。
れる切り換え信号SELにより、各各タップ出力
rn-3m、rn-2m、rn-m 、rn+m 、rn+2m、rn+3m又は
加算回路34の出力値rn +Ka ・kを選択的に出力す
る。
路24で計算された傾きによる一次関数が出力値sを計
算する画素pn の画素値rn の位置を通過するように配
置すると共に、この配置による直線の上下に値ε1の領
域を設定し、この領域より画素値が飛び出す画素につい
ては、エッジと判定してこの直線上における画素値を置
き換え、この領域内の画素については、この画素本来の
画素値により演算結果を出力する。
それぞれ各タップ出力に対応する重み付け係数により演
算回路25A〜25Fの出力値又は中央タップの出力値
を重み付けして出力し、これにより(2)式中の第1式
におけるシグマの各項の演算処理を実行する。
A〜36Gの出力値を加算し、これにより(2)式中の
第1式の演算処理を実行し、処理結果を出力する。
分の階調変換特性を示す特性曲線図である。ルックアッ
プテーブル3は、図11に示す階調変換特性により入出
力特性が設定される。
うに、この画像処理回路1において、最も大きな値によ
り低周波数成分による画素値s maxが入力された場
合に、対応する出力値がs cmpとなるようにする。
この場合ダイナミックレンジの圧縮率g1は、s cm
p/s maxで表される。符号L2により表されるよ
うに、低周波数成分による画素値s1までの範囲におい
ては、入力値に対して利得1による出力値を出力するよ
うにする。なお画素値s1は、出力画像のダイナミック
レンジの上限値より小さな値とし、入力画像Xにおいて
値s1以下の画素値については、敢えて階調を圧縮する
必要が無いものとする。
1までの変換特性である利得1の変換特性(符号L1に
より示す)を用いて、各縦軸の値をこの符号L1による
変換特性により割り算して符号L2/L1により表され
る演算により入出力特性が設定されるようになされてい
る。
1)、撮像結果等による入力画像Xが非線型平滑化器2
に入力され(図2(A)及び(B))、ここでエッジを
保存したまま平滑化処理されて平滑化画像Sが生成され
る。ここでこの平滑化画像Sにおいては、エッジを保存
したまた平滑化処理されていることにより、画像のダイ
ナミックレンジとは独立な、圧縮せずに保存しておくこ
とが望まれる被写体のコントラストを決定付ける成分が
除去されて、画像のダイナミックレンジを決定付ける成
分だけを独立して取り出されていることになる。
像Sによりルックアップテーブル3をアクセスしてゲイ
ン補正係数g(i,j)が順次生成され(図2(C)及
び図3)、遅延回路4を介して入力される入力画像Xの
画素値x(i,j)が乗算回路5で乗算されて入力画像
Xのダイナミックレンジが圧縮される(図2(D))。
このとき入力画像Xにおいては、画像のダイナミックレ
ンジを決定付ける成分だけである平滑化画像Sによるゲ
イン補正係数g(i,j)により画素値x(i,j)が
補正されることにより、局所的な画素値の変化、画像の
エッジについては保存されたまま、大局的な画素値の変
化のみ選択的に圧縮されて生成され、これにより見た目
のコントラストであるコントラスト感の劣化を防止して
ダイナミックレンジが十分に圧縮されてなる画像Zが生
成される。またエッジについても、周波数特性の変化が
防止され、これによりエッジの不自然な強調が防止され
る。
てダイナミックレンジが圧縮されてなる画像Zの画素値
によるルックアップテーブル6のアクセスにより(図1
及び図4)、黒近傍、白近傍の階調が選択的に圧縮さ
れ、これにより極めて大きなダイナミックレンジによる
入力画像Xが入力された場合であっても、黒近傍、白近
傍で階調が失われる状況を有効に回避して出力画像Yが
出力される。
えばビデオカメラ、電子スチルカメラ等の撮像装置にお
いて、撮像結果よりダイナミックレンジの狭い記録再生
系で撮像結果を記録再生して撮像結果の品位の劣化を防
止することができる。なお撮像装置においては、撮像素
子の選定により、また感度の異なる画像の合成等によ
り、このような通常に比してダイナミックレンジに広い
撮像結果を得ることができる。また画像表示装置に適用
して、このようなダイナミックレンジの広い画像を表示
する場合に、高品位の画像を表示することができる。
による画像合成、画像処理に適用して、広いダイナミッ
クレンジによる画像を種々に処理しても、品位の劣化を
防止して処理結果を伝送、記録、再生することができる
ことにより、このような種々の処理についても高品位に
処理することができる。また画像伝送装置に適用した場
合には、画質の劣化を有効に回避して高速度で画像伝送
することができる。
値を平滑化するにつき、画像処理回路1では(図5)、
非線型平滑化器2において、ローパスフィルタ11によ
り入力画像Xの画素値x(i,j)を帯域制限した後、
改良型εフィルタ13AX、……によりエッジを保存し
た平滑化の処理が実行され、これにより出力画像Yにお
ける点状のノイズが防止される。
パスフィルタ15によって平滑化画像Sを帯域制限する
ことにより、エッジ近傍の不自然な画素値の変化が低減
され、これによりエッジ近傍が滑らかに表現されてなる
出力画像Yが得られる。
素値x(i,j)を対数変換してエッジを保存した平滑
化の処理を実行した後、ルックアップテーブル14によ
り逆対数変換して平滑化画像Sが生成され、これにより
平滑化の処理結果における画素値による処理結果の相違
が防止され、出力画像Yにおける不自然なダイナミック
レンジの圧縮が防止される。
X、……により、順次エッジを保存して高周波数成分を
抑圧するフィルタリングの処理が水平方向に実行された
後、続く改良型εフィルタ13AY、13AY、……に
より、同様の処理が垂直方向に実行され、これにより垂
直、水平方向、さらには斜め方向に、十分なコントラス
ト感を確保し、かつエッジの不自然さを防止してなる出
力画像Yを生成することが可能となる。
存したフィルタリング処理を実行する改良型εフィルタ
13AX、13AX、……、13AY、13AY、……
において、異なるサンプリングピッチによりフィルタリ
ングの処理を繰り返し実行し、これにより画像処理回路
1では、エッジの情報を保存したまま広い周波数帯域で
十分平滑化されてなる平滑化画像Sが生成される。これ
により画像処理回路1では、このような平滑化画像Sに
特定周波数成分のみが選択的に残らないように平滑化の
処理を実行することができ、その分出力画像Yの画質劣
化を有効に回避することができる。
……、13AY、13AY、……においては(図7及び
図8)、遅延回路21A〜21Fの直列回路に順次画素
値rが入力され、この遅延回路21A〜21Fよる7つ
のタップ出力について、中心タップ出力を基準にして他
の各タップ出力の値がそれぞれ演算回路25A〜25F
で判定される(図10)。さらにこの判定により、中心
タップ出力に対して大きく画素値が異なる場合にはエッ
ジを跨ぐものと判定され、この大きく異なる画素値が所
定値に置き換えられ、これら中心タップ出力と他のタッ
プ出力との間の重み付け加算が重み付け回路36A〜3
6F、加算回路37により実行されて平滑化の処理が実
行される。
AX、13AX、……、13AY、13AY、……にお
いては、各遅延回路21A〜21Fがレジスタ22A〜
22Nの直列回路により構成されていることにより、連
続する画素値をこの直列接続したレジスタ数によるピッ
チによりサンプリングして平滑化の処理が実行される。
これにより演算回路25A〜25F、重み付け回路36
A〜36F、加算回路37については、このタップ出力
に対応する数だけ配置して平滑化の処理を実行でき、そ
の分全体構成を簡略化することができる。また平滑化の
処理対象である画素値については、これら演算回路25
A〜25F、重み付け回路36A〜36F、加算回路3
7の構成に比して、広い範囲の画素値を用いて平滑化の
処理を実行することができ、これにより例えば低い周波
数による脈動についても十分に平滑化することができ
る。
ィルタ13AX、13AX、……、13AY、13A
Y、……において、この遅延回路21A〜21F構成す
るレジスタ22A〜22Nの段数が異なるように設定さ
れていることにより、上述したように、異なるサンプリ
ングピッチによりフィルタリングの処理を繰り返し実行
し、出力画像Yの画質劣化が防止される。
てエッジ判定して画素値を置き換える処理において、各
改良型εフィルタ13AX、13AX、……、13A
Y、13AY、……においては、各タップ出力の低周波
数成分を所定の関数に近似し、中心タップ出力を基準に
してこの関数により領域(2ε1)が設定され(図
7)、この領域の属するか否かによりエッジ判定され
る。これにより各改良型εフィルタ13AX、13A
X、……、13AY、13AY、……においては、画素
値が徐々に増大傾向にある場合、減少傾向にある場合に
あっても、このような変化の傾向が見られない場合と同
様に、エッジを判定することができ、これによりこのよ
うな判定の変化による出力画像Yの劣化を防止すること
ができる。
換える場合でも、このようにして求められた関数を基準
にして置き換えの画素値が決定され、これにより画素値
を置き換えて求められる重み付け処理結果にこのような
低い周波数による画素値の変化を反映して出力画像をさ
らに一層高品位なものとすることができる。
て一次関数が適用されることにより、単に直線の傾きを
求め、さらにはこの傾きにより判定等の処理を実行する
だけの簡易な構成により一連の処理を実行することがで
きる。
3AX、……、13AY、13AY、……においては、
傾き計算回路24において、7つのタップ出力の中から
隣接するタップ出力間で差分値が計算され、この差分値
の平均化により傾きの平均値Ka が計算される。さらに
各演算回路25A〜25Fにおいて、中心タップを除く
他のタップ出力のサンプリング位置について、この傾き
の平均値Ka と、中心タップ位置からの距離kにより、
この傾きによる場合の中心タップ出力からの差分値Ka
kが乗算回路28で計算され、続く減算回路29、30
でこの傾きKaによる関数上における画素値と実際のタ
ップ出力による画素値との差分値が計算され、比較回路
32において、この差分値が基準値ε1より大きいか否
か判定される。これにより一次関数による近似関数を用
いて、エッジか否かの判定処理が実行される。
の傾きKa による関数上における画素値が計算され、比
較回路32における判定結果に応じて、実際のタップ出
力とこのようにして計算された関数上における画素値と
が選択出力され、これによりエッジを跨ぐ場合には、一
次関数による近似関数を用いて計算した画素値に置き換
えられて各タップ出力が対応する重み付け回路に出力さ
れる。
ミックレンジの広い種々の画質による入力画像Xについ
て、エッジの劣化、コントラスト感の低下を防止して十
分にダイナミックレンジを圧縮することができる。
を平滑化してゲイン補正係数gを求め、このゲイン補正
係数gにより入力画像の画素値を補正することにより、
コントラスト感の低下、不自然なエッジ強調等を有効に
回避して、高い圧縮率でダイナミックレンジを圧縮する
ことができるようにする。
圧縮した後、さらにルックアップテーブル6により階調
を補正することにより、黒近傍、白近傍における階調の
喪失を有効に回避することができる。
画像Xを平滑化する際に、ローパスフィルタにより帯域
制限した後、対数変換して処理し、また処理結果を逆対
数変換することにより、点状のノイズの発生を防止し、
また画素値による処理結果の相違を防止することができ
る。
平滑化する際に、サンプリングピッチが異なる複数のフ
ィルタリングを繰り返すことにより、広い周波数帯域で
一様に平滑化することができ、これにより高い品位によ
る出力画像Yを出力することができる。
プリングしてこの平滑化の処理を実行することにより、
簡易な構成により広い範囲の画素値をサンプリングして
平滑化の処理を実行することができ、これにより低い周
波数についても十分に平滑化の処理を実行して、高品位
の出力画像Yを得ることができる。
より関数を近似し、この関数により領域を設定してエッ
ジ判定することにより、さらにこの関数を利用して置き
換えの画素値を計算することによっても、高品位の出力
画像Yを得ることができる。
り、全体構成を簡略化することができる。
態に係る画像処理回路を示すブロック図である。この画
像処理回路41において、画像処理回路1との同一の構
成は、対応する符号を付して示し、重複した説明は省略
する。
と同様に、図13に示すように、画素値x(i,j)に
よる入力画像X(図13(A))を平滑化して平滑化画
像Sを生成し(図13(B))、この平滑化画像Sの画
素値s(i,j)より生成されるゲイン補正係数g
(i,j)(図13(C))により入力画像Xのダイナ
ミックレンジを圧縮する。この処理において、画像処理
回路41は、平滑化処理による出力値s(i,j)を入
力画像Xの画素値x(i,j)より減算して得られる減
算値x(i,j)−s(i,j)を用いて、出力画像Y
の画素値y(i,j)の変化を強調する。
路4及び乗算回路5間に、順次減算回路42、乗算回路
43、加算回路44が配置される。ここで減算回路42
は、入力画像Xの画素値x(i,j)より平滑化処理に
よる出力値s(i,j)を減算し、減算値x(i,j)
−s(i,j)を出力する(図13(D))。続く乗算
回路43は、この減算値x(i,j)−s(i,j)を
所定利得Kにより増幅し(図13(E))、加算回路4
4は、この乗算回路43の出力値に平滑化画像Sの画素
値s(i,j)を加算する。これによりこの画像処理回
路41は、入力画像Xに比して、非線型平滑化器2によ
り除去される小さな脈動を強調してなる加算回路44の
加算結果を乗算回路5で乗算して出力画像Yを生成し、
このように小さな脈動を強調してなる画像を処理する
分、図1について上述した画像処理回路1に比していわ
ゆるシャープな画像を出力することができるようになさ
れている。
よる出力値s(i,j)を入力画像Xの画素値x(i,
j)より減算して得られる減算値x(i,j)−s
(i,j)を用いて出力画像Yの画素値y(i,j)の
変化を強調することにより、第1の実施の形態の効果に
加えて、一段とシャープな画像を出力することができ
る。
形態に係る画像処理回路を示すブロック図である。この
画像処理回路51において、画像処理回路41との同一
の構成は、対応する符号を付して示し、重複した説明は
省略する。
の出力値s(i、j)によりルックアップテーブル(L
UT)52をアクセスして乗算回路43における利得を
設定する。ここでこのルックアップテーブル52におい
ては、図15に示すように入出力特性が設定される。こ
れによりルックアップテーブル52は、出力値s(i、
j)が所定値以下の場合には、乗算回路43を一定利得
に設定し、この所定値以上に出力値s(i、j)が増大
すると、徐々に値1に近づくように利得を設定する。
の大きな領域については、コントラストを強調する程度
を低減するようになされている。すなわち画像一般にお
いては、大きい画素値を持つ画素近傍程、コントラスト
も十分に大きい場合が多く、一様にコントラストを強調
したのでは、このような画素近傍では必要以上にコント
ラストを強調することになり、その分処理結果において
は、品位が劣化して観察される。ところがこの実施の形
態のように、画素値の大きな領域について、コントラス
トを強調する程度を低減すれば、全体として自然な品位
の高い画像を出力することができる。
て強調する程度を可変することにより、さらに一段と品
位の高い画像を出力することができる。
形態に係る画像処理回路を示すブロック図である。
うに、ノイズ除去フィルタ62により入力画像Xのノイ
ズを事前に除去した後、続く乗算回路63により、一様
な利得により乗算してダイナミックレンジを拡大し(図
17(A)及び(B))、画像処理回路1によりダイナ
ミックレンジを圧縮して元の入力画像Xのダイナミック
レンジにより出力する(図17(C))。
なコアリング処理、メディアンフィルタ、εフィルタ又
は改良型εフィルタが適用される。またこの実施の形態
において、画像処理回路1は、図3について上述した特
性とは逆に、所定の画素値以上では一定の利得により画
素値を補正し、所定の画素値以下の範囲では利得が低下
するように画素値を補正する。
などコントラストが極端に高い画像について、画質の劣
化を有効に回避して階調の補正等の処理を実行すること
ができる。
回路においては、図3に示すような単調減少による特性
により画素値を補正することにより、入力画像Xの暗い
部分の明度は下げずに、明るい部分のみ明度を下げてダ
イナミックレンジを圧縮することになる。ところがこの
実施の形態では、これとは逆の特性によりダイナミック
レンジを圧縮することにより、入力画像Xの適度な明る
さを持つ部分はそれ以上明るくならないようにしなが
ら、暗い部分のみ明度を上げて全体のコントラストを圧
縮することができる。これにより逆光補正等の処理を実
行することができる。
路を示すブロック図である。この画像処理回路71にお
いて、マトリクス回路72は、赤色、青色、緑色の色信
号R、B、Gを演算処理して輝度信号Y、色差信号R−
Y、B−Yを生成する。
的に処理することにより、輝度信号Yのダイナミックレ
ンジを圧縮して出力する。かくするにつき、この画像処
理回路71は、このように輝度信号Yについてのみ画像
処理回路1で選択的にダイナミックレンジを圧縮するこ
とにより、赤色、青色、緑色の色信号R、B、G間にお
ける信号レベルの比率の変化を防止し、この比率の変化
による色相の変化を防止するようになされている。
R−Y、B−Yを輝度信号Yにより割り算することによ
り、色差信号R−Y、B−Yを輝度信号Yにより正規化
する。遅延回路77及び78は、この除算器73及び7
4から出力される色差信号R−Y、B−Yを画像処理回
路1における処理の分、遅延させて出力する。乗算回路
77及び78は、それぞれ遅延回路77及び78から出
力される色差信号R−Y、B−Yに、画像処理回路1か
ら出力される輝度信号Yを乗算することにより、除算器
73及び74により正規化処理された色差信号の画素値
を補正する。
レンジを圧縮した場合であっても、色差信号において
は、輝度信号と色信号との差分信号であることにより、
何ら色差信号の信号レベルを補正しない場合、対応する
輝度レベルで彩度の成分の比率が上がり、結局画像全体
として見たとき彩度が高くなってしまう。
成分により色差信号成分を事前に正規化して輝度信号成
分のダイナミックレンジを圧縮した後、この輝度信号成
分による画素値で正規化処理された色差信号成分の画素
値を補正することにより、このような彩度の変化を防止
してカラーによる映像信号のダイナミックレンジを良好
に抑圧するようになされている。
おいて、1次関数の近似によりエッジ判定し、また画素
値を置き換える場合について述べたが、本発明はこれに
限らず、例えば2次関数等により近似してこれらの処理
を実行してもよい。
εフィルタにおいて、関数の近似によりエッジ判定し、
また画素値を置き換える場合について述べたが、本発明
はこれに限らず、エッジの判定だけ、又は画素値の置き
換えだけに関数による近似を利用してもよい。
εフィルタにおいて、連続する画素値を所定のサンプリ
ングピッチによりサンプリングして処理する場合につい
て述べたが、本発明はこれに限らず、実用上十分な回路
規模を確保することができる場合等にあっては、連続す
る画素をそのまま処理するようにしてもよい。
εフィルタによる繰り返しの処理により入力画像を平滑
化する場合について述べたが、本発明はこれに限らず、
実用上十分な特性を得ることができる場合、繰り返しの
処理を省略してもよい。
εフィルタにより非線型平滑化器を構成する場合につい
て述べたが、本発明はこれに限らず、通常のεフィルタ
により非線型平滑化器を構成してもよい。
にルックアップテーブル6により入出力特性を補正する
場合について述べたが、本発明はこれに限らず、このル
ックアップテーブル6による処理を省略してもよく、ま
たルックアップテーブル3により併せて特性を補正する
ようにしてもよい。
ブロックで画素値等を処理して画像処理回路を構成する
場合について述べたが、本発明はこれに限らず、全体又
は一部を演算処理により構成するようにしてもよい。
保存したまま入力画像を平滑化してゲイン補正係数を求
め、このゲイン補正係数により入力画像の画素値を補正
することにより、コントラスト感の低下、不自然なエッ
ジ強調を有効に回避して、高い圧縮率でダイナミックレ
ンジを圧縮することができる。
を示すブロック図である。
ムチャートである。
の特性を示す特性曲線図である。
の特性を示す特性曲線図である。
ロック図である。
イムチャートである。
明に供するタイムチャートである。
すブロック図である。
ック図である。
ロック図である。
3の特性の説明に供する特性曲線図である。
路を示すブロック図である。
タイムチャートである。
路を示すブロック図である。
ル52の説明に供する特性曲線図である。
路を示すブロック図である。
タイムチャートである。
路を示すブロック図である。
非線型平滑化器、3、6、12、14、52……ルック
アップテーブル、11、15……ローパスフィルタ、1
3AX、13BX、13AY、13BY……改良型εフ
ィルタ、24……傾き検出回路、25A〜25F……演
算回路、62……雑音除去フィルタ
Claims (14)
- 【請求項1】入力画像のダイナミックレンジを圧縮する
画像処理回路において、 前記入力画像のエッジを保存して前記入力画像の画素値
を平滑化する平滑化手段と、 前記平滑化手段の出力値に応じてゲイン補正係数を生成
する補正係数生成手段と、 前記ゲイン補正係数により前記入力画像の画素値を補正
する画素値補正手段とを備えることを特徴とする画像処
理回路。 - 【請求項2】入力画像のダイナミックレンジを圧縮する
画像処理方法において、 前記入力画像による画像のエッジを保存して前記入力画
像の画素値を平滑化する平滑化処理と、 前記平滑化処理の出力値に応じてゲイン補正係数を生成
する補正係数生成処理と、 前記ゲイン補正係数により前記入力画像の画素値を補正
する画素値補正処理とを有することを特徴とする画像処
理方法。 - 【請求項3】前記画素値補正処理により補正された画素
値の階調を補正する階調補正処理を有することを特徴と
する請求項2に記載の画像処理方法。 - 【請求項4】前記平滑化処理による出力値を前記入力画
像の画素値より減算して得られる減算値を用いて、前記
画素値補正処理により補正される画素値の変化を強調す
る画像強調処理を有することを特徴とする請求項2に記
載の画像処理方法。 - 【請求項5】前記入力画像のノイズを事前に除去するノ
イズ除去処理と、 前記ノイズ除去処理した前記入力画像の画素値を一様な
利得により乗算してダイナミックレンジを拡大し、前記
平滑化処理及び前記画素値補正処理に供給するダイナミ
ックレンジ拡大処理とを有することを特徴とする請求項
2に記載の画像処理方法。 - 【請求項6】前記平滑化処理は、 前記入力画像より低周波数成分を抽出するフィルタリン
グ処理と、 前記フィルタリング処理した画素値を対数変換する対数
変換処理と、 前記対数変換処理した画像のエッジを保存して高周波数
成分を抑圧する非線型のフィルタリング処理と、 前記非線型のフィルタリング処理による画素値を逆対数
変換する逆対数変換処理とを有することを特徴とする請
求項2に記載の画像処理方法。 - 【請求項7】前記非線型のフィルタリング処理は、 前記入力画像における画素値のサンプリングピッチが異
なり、かつ画像のエッジを保存して高周波数成分を抑圧
する複数のフィルタリングを繰り返して実行されること
を特徴とする請求項6に記載の画像処理方法。 - 【請求項8】前記非線型のフィルタリング処理は、 連続する画素を所定ピッチによりサンプリングして実行
されることを特徴とする請求項6に記載の画像処理方
法。 - 【請求項9】前記非線型のフィルタリング処理は、 処理対象の画素を基準とした所定範囲の画素について、
該画素の画素値の低周波数成分を近似する所定の近似関
数を生成する近似関数生成の処理と、 前記近似関数を基準にして、前記低周波数成分に対応す
る領域を設定する領域設定の処理と、 前記処理対象の画素を基準とした所定範囲の画素のそれ
ぞれについて、画素値が前記領域に属するか否か判定
し、該判定結果に応じて前記近似関数による対応する画
素値に、該判定に係る画素値を選択的に置き換える画素
値の置き換え処理と、 前記画素値の置き換え処理による画素値を重み付け加算
する重み付け加算の処理とを有することを特徴とする請
求項6に記載の画像処理方法。 - 【請求項10】前記平滑化処理の出力値に対する前記ゲ
イン補正係数の特性が単調減少特性であることを特徴と
する請求項2に記載の画像処理方法。 - 【請求項11】前記ノイズ除去処理が、コアリング処理
であることを特徴とする請求項5に記載の画像処理方
法。 - 【請求項12】前記ノイズ除去処理が、メディアンフィ
ルタによる処理であることを特徴とする請求項5に記載
の画像処理方法。 - 【請求項13】前記ノイズ除去処理が、 処理対象の画素を基準とした所定範囲の画素について、
前記処理対象の画素の画素値を基準にした判定に応じ
て、該判定に係る画素値を選択的に置き換える画素値の
置き換え処理と、 前記画素値の置き換え処理による画素値を重み付け加算
する重み付け加算の処理とを有することを特徴とする請
求項6に記載の画像処理方法。 - 【請求項14】前記入力画像の輝度信号成分により前記
入力画像の色差信号成分を事前に正規化し、前記輝度信
号成分による画素値を前記平滑化処理及び前記画素値補
正処理に供給する正規化処理と、 前記画素値補正処理された輝度信号成分による画素値に
より、前記正規化処理された色差信号成分の画素値を補
正する色差信号補正処理とを有することを特徴とする請
求項2に記載の画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000087053A JP4556276B2 (ja) | 2000-03-23 | 2000-03-23 | 画像処理回路及び画像処理方法 |
| EP01107279A EP1137258B1 (en) | 2000-03-23 | 2001-03-23 | Image processing circuit and method for processing image |
| US09/816,043 US6965416B2 (en) | 2000-03-23 | 2001-03-23 | Image processing circuit and method for processing image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000087053A JP4556276B2 (ja) | 2000-03-23 | 2000-03-23 | 画像処理回路及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001275015A true JP2001275015A (ja) | 2001-10-05 |
| JP4556276B2 JP4556276B2 (ja) | 2010-10-06 |
Family
ID=18603126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000087053A Expired - Fee Related JP4556276B2 (ja) | 2000-03-23 | 2000-03-23 | 画像処理回路及び画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6965416B2 (ja) |
| EP (1) | EP1137258B1 (ja) |
| JP (1) | JP4556276B2 (ja) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100444997B1 (ko) * | 2002-02-21 | 2004-08-21 | 삼성전자주식회사 | 윤곽 보정 방법 및 이에 적합한 장치 |
| WO2004097738A1 (ja) * | 2003-04-25 | 2004-11-11 | Sony Corporation | 信号処理装置および方法、記録媒体、並びにプログラム |
| JP2006209578A (ja) * | 2005-01-31 | 2006-08-10 | Konica Minolta Holdings Inc | 画像処理方法および画像処理装置ならびに画像処理プログラム |
| JP2007020176A (ja) * | 2005-07-05 | 2007-01-25 | Xerox Corp | 画像のコントラスト強調方法、画像のコントラスト強調システム、及び画像が局所的コントラスト強調を受けるかどうかを判定する方法 |
| WO2008020487A1 (en) * | 2006-08-17 | 2008-02-21 | Fujitsu Limited | Image processing device, image processing program, and image processing method |
| US7471847B2 (en) | 2003-07-18 | 2008-12-30 | Canon Kabushiki Kaisha | Image processing method and apparatus for correcting image brightness distribution |
| WO2009093673A1 (ja) * | 2008-01-25 | 2009-07-30 | Sony Corporation | 画像処理装置および方法、並びにプログラム |
| US7590285B2 (en) | 2004-11-29 | 2009-09-15 | Sony Corporation | Imaging apparatus and method of processing images |
| JP2009211709A (ja) * | 2003-09-11 | 2009-09-17 | Panasonic Corp | 視覚処理装置、視覚処理方法、テレビジョン、情報携帯端末、カメラおよびプロセッサ |
| JP2009232468A (ja) * | 2005-10-12 | 2009-10-08 | Panasonic Corp | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ |
| KR20090117617A (ko) * | 2008-05-09 | 2009-11-12 | 후지필름 가부시키가이샤 | 화상 처리 장치, 방법, 및 프로그램 |
| JP2010028694A (ja) * | 2008-07-24 | 2010-02-04 | Yamaha Corp | ダイナミックレンジ圧縮装置およびプログラム |
| CN1672175B (zh) * | 2002-07-23 | 2010-04-28 | 株式会社日立医药 | 图像处理设备 |
| JP2011018141A (ja) * | 2009-07-08 | 2011-01-27 | Casio Computer Co Ltd | 画像処理装置、及び画像処理プログラム |
| US7881550B2 (en) | 2006-04-28 | 2011-02-01 | Panasonic Corporation | Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit |
| US7881549B2 (en) | 2005-10-12 | 2011-02-01 | Panasonic Corporaiton | Visual processing device, display device, visual processing method, program, and integrated circuit |
| US7889904B2 (en) | 2004-01-15 | 2011-02-15 | Canon Kabushiki Kaisha | Image processing device, image processing method, program, storage medium and image processing system |
| US7894684B2 (en) | 2006-04-19 | 2011-02-22 | Panasonic Corporation | Visual processing device, visual processing method, program, display device, and integrated circuit |
| US7916936B2 (en) | 2005-08-30 | 2011-03-29 | Brother Kogyo Kabushiki Kaisha | Image-processing method |
| JP2011205209A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置および方法、プログラム |
| WO2011155135A1 (ja) | 2010-06-07 | 2011-12-15 | コニカミノルタオプト株式会社 | 撮像装置 |
| WO2011155136A1 (ja) | 2010-06-07 | 2011-12-15 | コニカミノルタオプト株式会社 | 撮像装置 |
| US8564862B2 (en) | 2008-11-27 | 2013-10-22 | Sony Corporation | Apparatus, method and program for reducing deterioration of processing performance when graduation correction processing and noise reduction processing are performed |
| US8582923B2 (en) | 2010-03-24 | 2013-11-12 | Sony Corporation | Image processing apparatus, image processsing method, and program |
| JP2014056477A (ja) * | 2012-09-13 | 2014-03-27 | Ikegami Tsushinki Co Ltd | ダイナミックレンジ拡大方法 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3713574B2 (ja) * | 2001-05-29 | 2005-11-09 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP4649781B2 (ja) * | 2001-06-20 | 2011-03-16 | ソニー株式会社 | 画像処理方法および装置 |
| JP2003134352A (ja) * | 2001-10-26 | 2003-05-09 | Konica Corp | 画像処理方法及び装置並びにプログラム |
| US7302104B2 (en) * | 2001-12-28 | 2007-11-27 | Ricoh Co., Ltd. | Smoothing tile boundaries of images encoded and decoded by JPEG 2000 |
| JP4133029B2 (ja) * | 2002-06-25 | 2008-08-13 | 富士フイルム株式会社 | 画像処理方法および装置 |
| US20040091173A1 (en) * | 2002-07-17 | 2004-05-13 | Hiroshi Akimoto | Method, apparatus and system for the spatial interpolation of color images and video sequences in real time |
| JP2004246644A (ja) * | 2003-02-14 | 2004-09-02 | Pentax Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| KR100555866B1 (ko) * | 2004-06-08 | 2006-03-03 | 삼성전자주식회사 | 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법 |
| WO2005122552A1 (ja) * | 2004-06-10 | 2005-12-22 | Sony Corporation | 画像処理装置および方法、並びにプログラム |
| JP4257287B2 (ja) * | 2004-11-16 | 2009-04-22 | Necディスプレイソリューションズ株式会社 | 画質改善装置および画質改善方法 |
| JP4127262B2 (ja) * | 2004-11-29 | 2008-07-30 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP4678218B2 (ja) * | 2005-03-24 | 2011-04-27 | コニカミノルタホールディングス株式会社 | 撮像装置及び画像処理方法 |
| JP2007096509A (ja) * | 2005-09-27 | 2007-04-12 | Fujifilm Corp | 画像処理装置、および画像処理方法 |
| JP4240032B2 (ja) * | 2005-11-02 | 2009-03-18 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
| IL173418A (en) * | 2006-01-29 | 2013-10-31 | Rafael Advanced Defense Sys | Correction of unevenness of characters produced by staring detectors |
| ES2607902T3 (es) * | 2006-07-11 | 2017-04-04 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Procedimiento y aparato para ajustar el contraste de una imagen |
| JP4483841B2 (ja) * | 2006-09-06 | 2010-06-16 | カシオ計算機株式会社 | 撮像装置 |
| US8837849B2 (en) * | 2007-06-26 | 2014-09-16 | Google Inc. | Method for noise-robust color changes in digital images |
| US7995857B2 (en) * | 2007-09-03 | 2011-08-09 | Himax Technologies Limited | Method and apparatus utilizing step-wise gain control for image processing |
| JP4656168B2 (ja) * | 2008-03-05 | 2011-03-23 | カシオ計算機株式会社 | 画像合成装置 |
| WO2010007726A1 (ja) * | 2008-07-17 | 2010-01-21 | 株式会社ニコン | 撮像装置、画像処理プログラム、画像処理装置、および画像処理方法 |
| JP5348145B2 (ja) * | 2009-01-28 | 2013-11-20 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
| JP4575500B2 (ja) * | 2009-02-25 | 2010-11-04 | 株式会社東芝 | 映像信号処理装置及びその制御方法及びテレビジョン信号受信装置 |
| JP5249166B2 (ja) * | 2009-10-06 | 2013-07-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP4703759B2 (ja) * | 2009-11-27 | 2011-06-15 | 株式会社東芝 | 画像処理装置および同装置における画像処理方法 |
| KR101113483B1 (ko) * | 2010-04-09 | 2012-03-06 | 동아대학교 산학협력단 | 컬러 영상의 가시성 향상 장치 및 방법 |
| JP2012141812A (ja) * | 2010-12-29 | 2012-07-26 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
| CN103299609A (zh) * | 2011-01-07 | 2013-09-11 | Tp视觉控股有限公司 | 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备 |
| BR112013024733A2 (pt) * | 2011-03-28 | 2016-12-27 | Koninkl Philips Nv | método para processamento de uma ou mais imagens reconstruídas e sistema |
| JP6097588B2 (ja) * | 2013-02-13 | 2017-03-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| KR102025184B1 (ko) * | 2013-07-31 | 2019-09-25 | 엘지디스플레이 주식회사 | 데이터 변환 장치 및 이를 이용한 디스플레이 장치 |
| US20150146981A1 (en) * | 2013-09-05 | 2015-05-28 | Tp Vision Holding B.V. | Apparatus and method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device |
| TWI600324B (zh) * | 2014-06-23 | 2017-09-21 | Infrared Focal Plane Array Module Performance Parameters Measurement Method and Detection of Dead pixels | |
| JP2016111489A (ja) * | 2014-12-05 | 2016-06-20 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 画像処理装置、画像処理方法、及びプログラム |
| KR102282455B1 (ko) * | 2017-07-11 | 2021-07-28 | 한화테크윈 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04150171A (ja) * | 1990-10-09 | 1992-05-22 | Matsushita Electric Ind Co Ltd | 階調補正方法および階調補正装置 |
| JPH05167889A (ja) * | 1991-04-25 | 1993-07-02 | Olympus Optical Co Ltd | 画像信号処理装置 |
| JPH06105184A (ja) * | 1992-09-17 | 1994-04-15 | Olympus Optical Co Ltd | 画像信号処理装置 |
| JPH06169437A (ja) * | 1992-11-30 | 1994-06-14 | Hitachi Ltd | テレビジョン受像機 |
| JPH06319149A (ja) * | 1993-03-12 | 1994-11-15 | Olympus Optical Co Ltd | 画像処理装置 |
| JPH06350875A (ja) * | 1993-06-03 | 1994-12-22 | Matsushita Electric Ind Co Ltd | ビデオ信号の階調補正回路 |
| JPH09331539A (ja) * | 1996-04-12 | 1997-12-22 | Sony Corp | ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法 |
| JPH11250246A (ja) * | 1998-02-27 | 1999-09-17 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
| JPH11289505A (ja) * | 1998-04-06 | 1999-10-19 | Sony Corp | 映像信号処理回路 |
| JP2000156797A (ja) * | 1998-11-18 | 2000-06-06 | Sony Corp | 画像処理装置及び画像処理方法 |
| JP2000156872A (ja) * | 1998-11-19 | 2000-06-06 | Sony Corp | 画像処理装置及び画像処理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2589298B2 (ja) | 1987-01-28 | 1997-03-12 | キヤノン株式会社 | 符号化画像データの復号化装置 |
| JP2993014B2 (ja) * | 1989-08-30 | 1999-12-20 | 富士ゼロックス株式会社 | 画像処理装置の画質制御方式 |
| US5442462A (en) * | 1992-06-10 | 1995-08-15 | D.V.P. Technologies Ltd. | Apparatus and method for smoothing images |
| JP3467285B2 (ja) | 1993-04-02 | 2003-11-17 | コニカミノルタホールディングス株式会社 | 放射線画像処理方法 |
| US5835618A (en) * | 1996-09-27 | 1998-11-10 | Siemens Corporate Research, Inc. | Uniform and non-uniform dynamic range remapping for optimum image display |
| US6055340A (en) * | 1997-02-28 | 2000-04-25 | Fuji Photo Film Co., Ltd. | Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness |
-
2000
- 2000-03-23 JP JP2000087053A patent/JP4556276B2/ja not_active Expired - Fee Related
-
2001
- 2001-03-23 US US09/816,043 patent/US6965416B2/en not_active Expired - Lifetime
- 2001-03-23 EP EP01107279A patent/EP1137258B1/en not_active Expired - Lifetime
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04150171A (ja) * | 1990-10-09 | 1992-05-22 | Matsushita Electric Ind Co Ltd | 階調補正方法および階調補正装置 |
| JPH05167889A (ja) * | 1991-04-25 | 1993-07-02 | Olympus Optical Co Ltd | 画像信号処理装置 |
| JPH06105184A (ja) * | 1992-09-17 | 1994-04-15 | Olympus Optical Co Ltd | 画像信号処理装置 |
| JPH06169437A (ja) * | 1992-11-30 | 1994-06-14 | Hitachi Ltd | テレビジョン受像機 |
| JPH06319149A (ja) * | 1993-03-12 | 1994-11-15 | Olympus Optical Co Ltd | 画像処理装置 |
| JPH06350875A (ja) * | 1993-06-03 | 1994-12-22 | Matsushita Electric Ind Co Ltd | ビデオ信号の階調補正回路 |
| JPH09331539A (ja) * | 1996-04-12 | 1997-12-22 | Sony Corp | ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法 |
| JPH11250246A (ja) * | 1998-02-27 | 1999-09-17 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
| JPH11289505A (ja) * | 1998-04-06 | 1999-10-19 | Sony Corp | 映像信号処理回路 |
| JP2000156797A (ja) * | 1998-11-18 | 2000-06-06 | Sony Corp | 画像処理装置及び画像処理方法 |
| JP2000156872A (ja) * | 1998-11-19 | 2000-06-06 | Sony Corp | 画像処理装置及び画像処理方法 |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100444997B1 (ko) * | 2002-02-21 | 2004-08-21 | 삼성전자주식회사 | 윤곽 보정 방법 및 이에 적합한 장치 |
| CN1672175B (zh) * | 2002-07-23 | 2010-04-28 | 株式会社日立医药 | 图像处理设备 |
| KR101007840B1 (ko) | 2003-04-25 | 2011-01-14 | 소니 주식회사 | 신호 처리 장치 및 방법, 기록 매체 |
| WO2004097738A1 (ja) * | 2003-04-25 | 2004-11-11 | Sony Corporation | 信号処理装置および方法、記録媒体、並びにプログラム |
| US7773824B2 (en) | 2003-04-25 | 2010-08-10 | Sony Corporation | Signal processing device and method, recording medium, and program |
| US7471847B2 (en) | 2003-07-18 | 2008-12-30 | Canon Kabushiki Kaisha | Image processing method and apparatus for correcting image brightness distribution |
| US8165417B2 (en) | 2003-09-11 | 2012-04-24 | Panasonic Corporation | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, image-capturing device, and portable information terminal |
| JP2009211709A (ja) * | 2003-09-11 | 2009-09-17 | Panasonic Corp | 視覚処理装置、視覚処理方法、テレビジョン、情報携帯端末、カメラおよびプロセッサ |
| US7889904B2 (en) | 2004-01-15 | 2011-02-15 | Canon Kabushiki Kaisha | Image processing device, image processing method, program, storage medium and image processing system |
| US7590285B2 (en) | 2004-11-29 | 2009-09-15 | Sony Corporation | Imaging apparatus and method of processing images |
| JP2006209578A (ja) * | 2005-01-31 | 2006-08-10 | Konica Minolta Holdings Inc | 画像処理方法および画像処理装置ならびに画像処理プログラム |
| JP2007020176A (ja) * | 2005-07-05 | 2007-01-25 | Xerox Corp | 画像のコントラスト強調方法、画像のコントラスト強調システム、及び画像が局所的コントラスト強調を受けるかどうかを判定する方法 |
| US7916936B2 (en) | 2005-08-30 | 2011-03-29 | Brother Kogyo Kabushiki Kaisha | Image-processing method |
| US7881549B2 (en) | 2005-10-12 | 2011-02-01 | Panasonic Corporaiton | Visual processing device, display device, visual processing method, program, and integrated circuit |
| US7773158B2 (en) | 2005-10-12 | 2010-08-10 | Panasonic Corporation | Visual processing device, display device, and integrated circuit |
| US8368814B2 (en) | 2005-10-12 | 2013-02-05 | Panasonic Corporation | Visual processing device, display device, and integrated circuit for adjusting the contrast of an image |
| US8311357B2 (en) | 2005-10-12 | 2012-11-13 | Panasonic Corporation | Visual processing device, display device, visual processing method, program, and integrated circuit |
| US7880814B2 (en) | 2005-10-12 | 2011-02-01 | Panasonic Corporation | Visual processing device, display device, and integrated circuit |
| JP2009232468A (ja) * | 2005-10-12 | 2009-10-08 | Panasonic Corp | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ |
| JP2012010361A (ja) * | 2005-10-12 | 2012-01-12 | Panasonic Corp | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ |
| US8406547B2 (en) | 2006-04-19 | 2013-03-26 | Panasonic Corporation | Visual processing device, visual processing method, program, display device, and integrated circuit |
| US7894684B2 (en) | 2006-04-19 | 2011-02-22 | Panasonic Corporation | Visual processing device, visual processing method, program, display device, and integrated circuit |
| US7903898B2 (en) | 2006-04-28 | 2011-03-08 | Panasonic Corporation | Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit |
| US8401324B2 (en) | 2006-04-28 | 2013-03-19 | Panasonic Corporation | Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit |
| US7881550B2 (en) | 2006-04-28 | 2011-02-01 | Panasonic Corporation | Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit |
| US8213736B2 (en) | 2006-08-17 | 2012-07-03 | Fujitsu Limited | Image processing device and image processing method |
| JPWO2008020487A1 (ja) * | 2006-08-17 | 2010-01-07 | 富士通株式会社 | 画像処理装置、画像処理プログラム、および画像処理方法 |
| JP4847531B2 (ja) * | 2006-08-17 | 2011-12-28 | 富士通株式会社 | 画像処理装置、画像処理プログラム、および画像処理方法 |
| WO2008020487A1 (en) * | 2006-08-17 | 2008-02-21 | Fujitsu Limited | Image processing device, image processing program, and image processing method |
| WO2009093673A1 (ja) * | 2008-01-25 | 2009-07-30 | Sony Corporation | 画像処理装置および方法、並びにプログラム |
| JP2009177558A (ja) * | 2008-01-25 | 2009-08-06 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US8345121B2 (en) | 2008-05-09 | 2013-01-01 | Fujifilm Corporation | Image processing apparatus, method, and program |
| KR101650050B1 (ko) | 2008-05-09 | 2016-08-22 | 후지필름 가부시키가이샤 | 화상 처리 장치, 방법, 및 프로그램 |
| JP2009272983A (ja) * | 2008-05-09 | 2009-11-19 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| KR20090117617A (ko) * | 2008-05-09 | 2009-11-12 | 후지필름 가부시키가이샤 | 화상 처리 장치, 방법, 및 프로그램 |
| JP2010028694A (ja) * | 2008-07-24 | 2010-02-04 | Yamaha Corp | ダイナミックレンジ圧縮装置およびプログラム |
| US8564862B2 (en) | 2008-11-27 | 2013-10-22 | Sony Corporation | Apparatus, method and program for reducing deterioration of processing performance when graduation correction processing and noise reduction processing are performed |
| KR101099401B1 (ko) * | 2009-07-08 | 2011-12-27 | 가시오게산키 가부시키가이샤 | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 |
| JP2011018141A (ja) * | 2009-07-08 | 2011-01-27 | Casio Computer Co Ltd | 画像処理装置、及び画像処理プログラム |
| US8208039B2 (en) | 2009-07-08 | 2012-06-26 | Casio Computer Co., Ltd. | Image processing apparatus and computer-readable medium |
| US8582923B2 (en) | 2010-03-24 | 2013-11-12 | Sony Corporation | Image processing apparatus, image processsing method, and program |
| JP2011205209A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置および方法、プログラム |
| WO2011155136A1 (ja) | 2010-06-07 | 2011-12-15 | コニカミノルタオプト株式会社 | 撮像装置 |
| WO2011155135A1 (ja) | 2010-06-07 | 2011-12-15 | コニカミノルタオプト株式会社 | 撮像装置 |
| JP2014056477A (ja) * | 2012-09-13 | 2014-03-27 | Ikegami Tsushinki Co Ltd | ダイナミックレンジ拡大方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1137258A2 (en) | 2001-09-26 |
| EP1137258A3 (en) | 2004-12-01 |
| EP1137258B1 (en) | 2011-07-27 |
| US20020047911A1 (en) | 2002-04-25 |
| JP4556276B2 (ja) | 2010-10-06 |
| US6965416B2 (en) | 2005-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001275015A (ja) | 画像処理回路及び画像処理方法 | |
| US6724943B2 (en) | Device and method for image processing | |
| US7570390B2 (en) | Image processing device and method | |
| JP4415236B2 (ja) | 画像処理装置及び画像処理方法 | |
| US8654221B2 (en) | Image processing device and method, and program | |
| US7551794B2 (en) | Method apparatus, and recording medium for smoothing luminance of an image | |
| EP1111907B1 (en) | A method for enhancing a digital image with noise-dependent control of texture | |
| JP3828251B2 (ja) | 映像のダイナミックレンジ拡大装置 | |
| JP3070860B2 (ja) | 画像データの増強方法およびカラー画像データの増強方法 | |
| JP4214457B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2001229377A (ja) | 適応帰納的フィルタでディジタル画像のコントラストを調整する方法 | |
| KR20100106902A (ko) | 화상처리장치 및 방법과 프로그램 | |
| US20090002562A1 (en) | Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon | |
| WO2001041425A1 (fr) | Dispositif de correction de contour | |
| JP2000156797A (ja) | 画像処理装置及び画像処理方法 | |
| JP2005039460A (ja) | 画像処理方法および装置 | |
| JP2004221645A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP6335614B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JP5295854B2 (ja) | 画像処理装置及び画像処理プログラム | |
| US7587089B2 (en) | Method and apparatus for image processing | |
| JP2004172726A (ja) | 画像処理装置および方法 | |
| JP2000149014A (ja) | 画像処理装置及び画像処理方法 | |
| JP4632100B2 (ja) | 画像処理装置、画像処理方法、記録媒体、およびプログラム | |
| JP2004172815A (ja) | 映像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070118 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090331 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090402 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4556276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |