[go: up one dir, main page]

JP2003179762A - カラー画像からグレー値画像への変換 - Google Patents

カラー画像からグレー値画像への変換

Info

Publication number
JP2003179762A
JP2003179762A JP2002227260A JP2002227260A JP2003179762A JP 2003179762 A JP2003179762 A JP 2003179762A JP 2002227260 A JP2002227260 A JP 2002227260A JP 2002227260 A JP2002227260 A JP 2002227260A JP 2003179762 A JP2003179762 A JP 2003179762A
Authority
JP
Japan
Prior art keywords
color
image
gray
digital
gray value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002227260A
Other languages
English (en)
Other versions
JP4160335B2 (ja
Inventor
Paul Michiel Hofman
ミシール ホフマン パウル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Production Printing Netherlands BV
Original Assignee
Oce Technologies BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oce Technologies BV filed Critical Oce Technologies BV
Publication of JP2003179762A publication Critical patent/JP2003179762A/ja
Application granted granted Critical
Publication of JP4160335B2 publication Critical patent/JP4160335B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40012Conversion of colour to monochrome

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)
  • Color Electrophotography (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 デジタルカラー画像をデジタルグレー値画像
に変換する方法を提供する。 【解決手段】カラー画像にける異なる色が、グレー値画
像においても区別されるように再生され、デジタルカラ
ー画像は、それぞれがカラー値を有するピクセルの集合
から構成され、デジタルグレー値画像は、それぞれがグ
レー値を有するピクセルの集合から構成されるところの
方法において、ピクセルのカラー値は、デジタルカラー
画像における色差と、これに対応するデジタルグレー値
画像におけるグレー値の差との対比に基づいて最適化さ
れる動的調整変換関数によってグレー値に変換されるこ
とを特徴とする方法。このようにして一般の変換方法で
は同一あるいはほぼ同一のグレー値で画像化されてしま
う色でも本発明の実施では区別できるよう再生されるこ
とが可能である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は一般にデジタルカラ
ー画像をグレー値画像に変換する方法に関し、より詳細
にはカラー画像における異なる色を区別できるよう再生
するのに適する上記の方法に関する。
【0002】
【従来の技術】カラー画像をグレー値画像に変換すると
いう操作は非常に頻繁に行われている。これは例えばカ
ラー写真を一般的なコピー機によって白黒画像に複写す
る場合や、カラー画像をプリンターによって白黒画像に
印刷する場合などである。
【0003】現代のコピー機において、写真の画像はス
キャナ又はその他のイメージセンサー装置によってデジ
タル画像に変換される。多くの場合ここで用いられるス
キャナはこの画像をデジタルカラー画像に変換する。こ
こで画像はそれぞれがカラー値を有するピクセルの集合
に変換される。この場合このカラー値をR,G,B値で
表すことが一般的である。この画像をグレー値画像とし
て印刷するのにこのコピー機は、上記のR,G,B値を
グレー値に変換する。この目的のためにR,G,B値は
例えば加重などによって平均されることが多い。これは
例えば欧州特許EP-A-500327において記載される。好適
には次にカラー信号の輝度が用いられる。このように輝
度に基づいて行われるカラー値からグレー値への変換、
及びR,G,Bなどのカラー値の(加重)平均を算出す
ることによる変換は以下においては「無知」
【0004】
【外1】 変換と呼ぶ。このような変換は、変換されるピクセルの
背景状況あるいは環境を考慮しない。
【0005】カラー値からグレー値への変換において
は、3次元が1次元に投影されることになる。したがって
上述のRGB値の平均では、全く異なる色が同一あるい
はほぼ同一のグレー値に投影されてしまうことが確実で
ある。その結果異なる色のオブジェクトが、グレー値画
像においては区別が付かなくなってしまう可能性があ
る。そのためカラー画像において存在する色差をグレー
値画像においても区別できるようにする変換方法が必要
である。
【0006】この要件は米国特許US-A 4 369 461におい
て記載され、ここではこの問題の解決法としてはカラー
画像における色をそれぞれが明確に区別されうる例えば
斜め線などの白黒模様に替えるという方法が提案されて
いる。
【0007】上記の文献EP-A-500327もこれと同様の解
決法を提案していて、ここでは色に替わる模様がユーザ
ーによってプログラムされることも可能である。
【0008】このような方法で変換された画像ではもと
の色を区別することが可能であるが、ここでは画像品質
が著しく低下してしまうことにもなる。さらに異なるコ
ード模様のそれぞれにおける色の範囲の分布は予めプロ
グラムされたものであるためどのカラー画像を変換する
のにも適しているとは限らない。その結果カラー画像に
おいては充分区別可能である色がグレー画像では同一の
模様にされてしまうということがやはりここでも起こり
うる。
【0009】ユーザーによって制御可能であるカラー値
からグレー値への変換方法は米国特許US-5 898 819にお
いて記載され、ここでは画像が、テキスト、ロゴ、イメ
ージ、などのドキュメント要素に分類されるところにお
いてユーザーが各要素について異なる解決法を選択する
ことができる。ここでグレー計量が選択されることも可
能であり、これはカラー値を平均することと同等であ
る。これらのどの選択においても予めプログラムされた
関数が用いられ、これらは変換されるイメージによって
の調整を許容しない。したがってここでもカラー画像に
おいては充分区別可能である色がグレー画像においては
同一のグレー値で画像化されてしまう可能性がある。
【0010】
【発明が解決しようとする課題】本発明の課題の1つ
は、デジタルカラー画像からグレー値画像への変換方法
を改善することであり、特にもとの画像において区別さ
れる色がそれぞれ区別可能なグレー値に変換されるよう
な変換方法を提供することである。
【0011】
【課題を解決するための手段】この目的を達成するため
に本発明は、デジタルカラー画像をデジタルグレー値画
像に変換する方法であって、カラー画像にける異なる色
が、グレー値画像においても区別できるように再生さ
れ、デジタルカラー画像は、それぞれがカラー値を有す
るピクセルの集合から構成され、デジタルグレー値画像
は、それぞれがグレー値を有するピクセルの集合から構
成されるところの方法において、ピクセルのカラー値
は、デジタルカラー画像における色差と、前記の色差に
対応するデジタルグレー値画像におけるグレー値の差と
の対比に基づいて最適化される動的調整変換関数によっ
てグレー値に変換されることを特徴とする方法を提供す
る。
【0012】本発明の実施における一形態において前記
の変換関数は、この変換関数によって変換された後のデ
ジタルグレー値画像におけるグレー値と、予め定義され
た無知変換関数によって変換されたデジタル画像におい
て同じピクセルに対応するグレー値との対比に基づいて
最適化される。
【0013】もとのカラー画像からグレー値画像への変
換において重要なのは、人間にとって充分見分のつく色
がグレー値画像でも区別されていることである。このた
めには変換関数をもとの画像の色内容に合わせて調整さ
せることとなり、したがってこの関数は各々のカラー画
像あるいはカラー画像の集合について固有のものとな
る。
【0014】しかし無知変換(これは観察する人間の輝
度感覚におおよそ対応する)から大幅にずれることはあ
まり望ましくないため、この変換関数の調整はできる限
り無知変換に近いものとして最適化される。
【0015】本発明の実施における一形態に従うと、前
記の最適化は限られた数のカラー値の中での色差に基づ
いてなされる。これらの色はカラー画像の色をクラスタ
ー分析することによって定義され、以下においてこれら
の色を主要色と呼ぶ。
【0016】この実施形態においてカラー画像における
カラー値は、クラスターと呼ばれる限られた数のグルー
プに分けられ、このクラスターにはそれぞれ主要色と呼
ばれる1つのカラー値が選択される。この主要色はクラ
スターにおけるカラー値の平均である。あるいは例えば
クラスターにおけるカラー値の「質量中心」など、これ
以外のカラー値がクラスターを象徴する主要色として用
いられることも可能である。そして変換関数の最適化は
それぞれのクラスターの主要色についてのみ実行され
る。この方法は多くの演算作業を省略するにもかかわら
ずとても効果的である。
【0017】また本発明はグレー値に関する。グレー値
はモニター画面においてピクセルの密度の高さあるいは
低さに応じて得られる。印刷物においてグレー値は多く
の場合中間調色(half toning)によって得られる。ここ
においてグレー領域は点によって埋められる。この点の
大きさがグレーの色合いを濃くあるいは薄くする。本発
明は、例えばモニター画面上において画像化を行うのに
適切なグレー値画像への画像変換に関するが、デジタル
印刷機あるいはパソコンに接続されるプリンターなどの
単純なプリンターによって印刷を行うのに適切な画像変
換にも関する。
【0018】本発明の実施における一形態において変換
関数は、予め定義された無知グレー値変換と局部的修正
関数との組み合わせである。この修正関数の値は、色空
間において変換される色と主要色との間の距離が知事丸
につれて小さくなる。このようにして問題が生じる局部
に限って調整を行うことが可能になる。例えば調整変換
関数は、無知変換関数と修正変換関数との和であってよ
い。
【0019】さらに本発明は上述の方法が適用されるデ
ジタルカラー画像をグレー値画像に変換するためのアレ
ンジメント及びコピー機並びにプリンターに関する。最
後に本発明はデジタルカラー画像をグレー値画像に変換
するためのコンピュータソフトウェアに関する。
【0020】
【発明の実施形態】以下においては、本発明の実施例が
添付の図面を参照にしながらより詳細に説明される。な
お、この実施例は本発明の実施形態を例示するためのも
のであって、本発明の範囲を限定するものとして捉えら
れるべきではない。
【0021】画像点あるいはピクセルから構成されるデ
ジタル画像において、各ピクセルの色は3次元の色空間
におけるベクトルとして表現される。一般的には、これ
らの色
【0022】
【外2】 は、例えばRGB値によって表現され、括弧表記では
【0023】
【数1】 として表現され、ベースベクトル
【0024】
【外3】
【0025】
【外4】
【0026】
【外5】 の形式では
【0027】
【数2】 として表現される。これらのカラー値からグレー値
【0028】
【外6】 への無知グレー値変換の1例において、このグレー値
は、加重したR,G,及びBチャンネルの値の一次結合
から構成され、加重係数には相互に等しいものが選ば
れ、これは3つのチャンネルを平均することに対応す
る:
【0029】
【数3】 これらの状況においては、異なるr、g、及びbの組み
合わせが同じグレー値をもたらしてしまう可能性があ
る。ここにおいて、もとのカラー画像ではまったく異な
る色であるものが同じグレー値で表されてしまうときに
問題が生じる。例えば次の色、赤
【0030】
【数4】 及び、緑
【0031】
【数5】 がグレー値画像において同じグレー値
【0032】
【数6】 をもたらしたとすると、このカラー画像における赤と緑
の領域は、無知グレー値変換によって変換されたグレー
値画像においては区別できなくなる。これは特に前記の
2つの領域が隣接しているときに問題になる。この問題
は図1A及び図1Bにおいて示される。ここで図1Aは
デジタルカラー画像を示し、図1Bはグレー値に変換さ
れた画像を示す。そして驚くことにカラー画像では緑の
領域において赤い部分を示していたものがグレー値画像
では区別されなくなってしまう。 〔修正されたグレー値変換〕本発明は、個々の画像の色
内容に応じて調整される、デジタルカラー画像からグレ
ー値画像への変換方法を提供する。この方法の実施にお
ける一形態は、図2のフローチャートにおいて図式的に
示される。
【0033】図2のステップ2ではカラー画像が、処理
を施されるために提供される。このステップは例えばワ
ーキングメモリにカラー画像データのファイルを入力す
ることによって実現される。カラー画像はたいてい非常
に多くの色を有し、これらすべての色について調整され
た変換法を算出したのでは相当な演算能力が要されるた
めあまり好都合でない。したがってまずはカラー画像に
おける色の分析が行われる。たいていの場合カラー画像
には、ある程度関連し合う色のグループがいくつか存在
し、これらは3次元の色空間(この例ではr、g、b空
間)において「雲」の形を形成する。このような雲の形
をする色のグループは以下においてクラスターと呼ぶ。
操作の施される色空間は、上述のような分析において、
例えばそれぞれ1つのクラスターを有する限られた数の
サブ空間に分割される。この次に例えばサブ空間におけ
る色を平均するなどによって各クラスターを代表するカ
ラー値が選択される。これらのカラー値は以下において
主要色と呼ばれる(ステップ4)。
【0034】このアプローチの目的は、まずは限られた
数の色についての調整された変換法を算出し、それから
この調整された変換法を色空間全体に及ぼすことであ
る。このようにして必要とされる演算時間がだいぶ短縮
されうる。
【0035】そして次のステップ6では主要色が、例え
ば等式(2)で示されるような予めプログラムされた無
知変換(関数)Lによってグレー値に変換される。
【0036】次にステップ8では、異なる主要色の対の
各々について、色空間における相互間の距離及びこれに
対応する前記色空間のグレー値軸におけるグレー値の相
互間の距離が算出される。続いてこの結果は予め定義さ
れた限度と対比され、変換関数の調整が必要であるか否
かが判断される(ステップ10)。これが必要でないよ
うな場合(すべての色差が、この差の度合いに応じたグ
レー値の差に対応するようである場合)、ステップ12
においてカラー画像データは無知変換関数Lによって
グレー値画像データに変換され、その後この処理は完了
する。
【0037】ステップ10において区別可能な主要色の
差が区別不可能なグレー値の差に変換されていることが
発覚した場合、ステップ16においてこれらの主要色の
ための調整された変換関数Lが算出される。次にこの
変換関数Lに基づいて、ステップ18では調整された
変換関数Lが算出され、これがすべての色について有効
になる。これは変換関数Lに基づく修正係数を用い
て、局部的に無知変換関数Lを調整することによって
成立される。
【0038】次にステップ20においてデジタルカラー
画像は、調整された変換関数Lによってデジタルグレー
値画像に変換され、その後この処理は完了する。
【0039】ステップ8からステップ14までの工程は
省略されてもよい。すなわちこれらの工程はこの処理に
とって不可欠なものではないが、すべての画像を処理す
る必要性はないという理由からこれらのステップを用い
ることにより演算時間を短縮することが可能である。
【0040】以下においてより詳細なこの処理の説明が
なされる。 〔主要色を求める〕
【0041】
【外7】 まずデジタルカラー画像(ピクセルから構成される)に
おける色内容は、多数ある色を代表的な色に限定するた
めに分析される。以下においてこれらの代表的な色を主
要色と呼ぶ。このようにして簡素でコンパクトな画像に
おける色内容の表示が実現され、これは以後の分析を簡
素化する。
【0042】すべてのピクセルにおけるそれぞれの色
(r、g、b)は、グレー軸に垂直な平面上に投影さ
れ、これは特に色の色調や彩度の差を区別するのに適切
である。
【0043】たいていの場合、ある画像における色は、
観察者がその画像において認識する色に対応するような
いくつかの色のグループ(クラスター)にまとまってい
るようにみえる。主要色は異なるクラスターを識別する
ことによって求められる。
【0044】この2次元の投影平面は、2つの直交単位
ベクトル
【0045】
【外8】
【0046】
【外9】 及びグレー軸の方角における第3直交単位ベクトル
【0047】
【外10】 によって定義される。そしてこの投影は事実上RGB座
標(r、g、b)からUVW座標(u、v、w)への変
換から構成されることとなる。それゆえにここにおける
(u、v)の構成要素は、UV平面上の投影を表す。当
該の座標変換は以下のように定義される。
【0048】
【数7】 次にこのUV平面において個別のクラスターが識別され
る。ここにおける主要色は色の平均あるいは「質量中
心」に対応する。
【0049】図3Aはある特定の画像における色の投影
の一例を示し、ここでは8つの異なるクラスターが識別
される。図3Bではそれぞれのクラスターにおけるグレ
ー値を示す棒グラフが提供される。ここでいくつかの異
なる色のクラスターが同じグレー値を有することが明ら
かになる。またこの画像における中心クラスターは白と
黒の2つのクラスターから構成されることに注意すべき
である(図3B最上列参照)。これらのクラスターの境
界線はUV平面においてそれぞれの「雲」を囲む等高線
によって示される。そして次にこれらのクラスターが実
際には
【0050】
【外11】 の方角において(グレー軸に沿って)複数のクラスター
を有していないかがチェックされる。この図面の例にお
ける画像では複数クラスターは白、黒、灰色を示す
(n,v)=(0,0)付近でしか見られない。
【0051】本明細書において、これらの異なる主要色
(識別されたクラスター)の色座標は
【0052】
【外12】 として表される。ここでの指数kは個々の主要色を表
し、これは範囲[1,…,N]の間にある数に相当する。ここ
におけるNは識別された主要色の合計数である。
【0053】オランダ特許番号1013669は、自動的に主
要色を検索するまた別の方法について記載する。そして
本発明にこれらの方法が適用されることも可能である。 〔主要色についての無知変換の分析〕主要色は検出され
た後、上述の無知変換関数Lによってグレー値に変換
される。そして次に主要色に対応するグレー値間で不都
合な重複が存在しないかがチェックされる。不都合な重
複の存在が認められるのは、それぞれの主要色の対では
【0054】
【外13】 が相当異なるにもかかわらず、これらに対応するグレー
【0055】
【外14】 が全くあるいはほとんど変わらない場合である。
【0056】グレー値の重複の度合いを定量化するた
め、すなわち2つの色の類似性とこれらに対応するグレ
ー値の類似性を、相互間のUV平面における距離とグレ
ー軸上における差に基づいて計るために、ペナルティ関
数Pが用いられる。
【0057】2つの異なるクラスターk、l、の主要色
間における「色」の差
【0058】
【外15】 及び、グレー値の差
【0059】
【外16】 は、この例では以下のように示される:
【0060】
【数8】 ここにおいてもとのグレー値は、
【0061】
【数9】 によって示される。
【0062】ペナルティ関数
【0063】
【外17】 は、色の差
【0064】
【外18】 の値が大きくてかつグレー値の差
【0065】
【外19】 の値が小さいときに、高い値になるように定義される。
ペナルティ関数
【0066】
【外20】 は、この基本的な要件を満しさえすればどんな関数であ
ってもよい。例えばこのペナルティ関数は、(尺度の付
いた)シグモイド双曲正接関数
【0067】
【数10】 によって定義されることが可能である。この関数はxの
増大に伴って単調に増大する。したがってペナルティ関
【0068】
【外21】 は、以下のように表される。
【0069】
【数11】 ここにおいて定数a,b,c,及びd(すべて>0)
は、色差
【0070】
【外22】 が「大きい」として示される値と、グレー値の差
【0071】
【外23】 が「小さい」として示される値との限度を規定する。
【0072】全体のペナルティ関数Pは、クラスター
のすべての対についての等式(6)の総和によって得ら
れ、以下のように示される:
【0073】
【数12】 なお、この総和は同一クラスターの対(k=l)は含ま
ず、各々のクラスターの対(k、l)はそれぞれ1度に
限ってこの計算に導入される。そして関数Pが大きな
ペナルティ値を有するとき、これは異なる主要色
【0074】
【外24】 が同一のグレー値Lで画像化されている可能性がある
ことを示唆し、逆にペナルティ値が低い場合、これは主
要色が異なるグレー値に投影されることを示す。
【0075】次にペナルティ関数Pの値は所定の閾値
と対比される。この値が閾値よりも低かった場合は変換
を調整する必要がなく、無知変換Lからのグレー値が
用いられる。これに対してペナルティ値が閾値を上回っ
ている場合は、問題となる主要色が区別可能なグレー値
に変換されるように変換関数が調整される。この調整に
おいて上記のペナルティ関数Pは用いられる。 〔主要色についての無知変換に対する修正〕カラーから
グレー値への変換の調整は以下のように実行される:ま
ず主要色に対応するグレー値のグレー軸における位置が
変更される;次にペナルティ関数が再び算出されこの結
果が最初の値と対比される。この反復実行においてペナ
ルティ関数の値の最小化を図ることよってグレー値にと
っての最適な位置の変更が検索される。
【0076】グレー値{L}についての関数Pの最
小化は、さまざまな方法によって実行されることが可能
であり、このうちの1つが傾斜下降法である。この方法
はグレー値に対するペナルティ関数の負の導関数に比例
する小さなステップによって修正を繰り返す:
【0077】
【数13】 ここにおいて、L’は各クラスターkの更新されたグ
レー値を表し、αは一定の係数を表す(α>0)。
【0078】またペナルティ関数Pの調整効果を規制
することによってさらに良好な結果を得ることが可能で
ある。この規制なしでは新たなグレー値はもとのグレー
値を全く考慮しないでどんな値をとってもよいことにな
る。例えば画像が2つの主要色だけから構成されるとす
ると、ここでの最小のペナルティ値はグレー値の差を最
大限にすることによって得られる、すなわち1つの主要
色には黒が割り当てられ、もう1つの主要色には白が割
り当てられることになる。
【0079】このような問題を未然に防ぐために第2の
ペナルティ関数Pが導入される。ペナルティ関数P
は、新たなグレー値と無知変換から算出されたグレー値
との差が大きくなるにつれて増大する。例えばPは、
新たな値と無知変換における値との間の2次差分によっ
て定義される:
【0080】
【数14】 次にペナルティ関数Pの合計が、ペナルティ関数P
との加重合計として定義される:
【0081】
【数15】 ここにおいてA及びB(正の数)は、それぞれのペナル
ティ関数の相対的な加重度を表す。ある実施例において
ペナルティ関数Pは以下の傾斜下降法則に従って最小化
される:
【0082】
【数16】 ここにおいてα及びβは正の定数である。この定数α及
びβは、グレー値の調整と、もとの画像への近似性との
適当なバランスをとるために試行錯誤に基づいて最適化
されることが可能である。 〔すべての色についての無知変換に対する修正〕新たに
割り当てられた各々の主要色
【0083】
【外25】 のグレー値Lに基づいて、無知変換関数
【0084】
【外26】 は修正され、その結果新たな変換関数
【0085】
【外27】 が算出される。この新たな変換関数は、いくつかの的性
質を含まなければならない。まずこの変換関数は、主要
色kに近い色
【0086】
【外28】 にはこの主要色に割り当てられたグレー値Lに近いグ
レー値を割り当てなければならない。次にすべての主要
色から離れた色
【0087】
【外29】 については無知変換を調整する必要がないため、これら
の色
【0088】
【外30】 については無知変換関数に近い変換関数が適用されるべ
きである。
【0089】以下に示される変換関数は上記の条件を満
たす。ここでは主要色
【0090】
【外31】 及びそれぞれに対応するグレー値Lによって左右する
修正係数が無知変換
【0091】
【外32】 に付加される:
【0092】
【数17】 ここにおいてwは、一定の加重係数であり、
【0093】
【外33】 は加重関数である。この関数の最低値は
【0094】
【数18】 において得られ、
【0095】
【外34】 の値が小さくなるにつれてこの関数の値も小さくなる。
【0096】
【外35】 においてはさまざまな選択が可能である。例えばこの加
重関数には次のようなものが適用されることが可能であ
る:
【0097】
【数19】 ここにおいてAは、
【0098】
【外36】 の最大範囲を表し、定数σはクラスター中心
【0099】
【外37】 の周辺領域であって加重関数
【0100】
【外38】 がwよりも大きい値を有するところの領域の広さを表
す。
【0101】次に公式(12)における修正された変換
関数
【0102】
【外39】 が上記の必要条件を満たすことを以下において説明す
る。
【0103】
【外40】 がクラスター中心
【0104】
【外41】 付近に位置されるところにおいて
【0105】
【数20】 であり、その結果
【0106】
【外42】 はwよりも大きい値を有する。このときクラスター同
士がはっきりと区別されていると仮定すると、これ以外
の色についての加重値は小さくなる、すなわちk≠jに
おいては
【0107】
【数21】 である。したがって変換関数
【0108】
【外43】 は、以下のように概算され、これによって第1要件は満
たされる:
【0109】
【数22】
【0110】
【外44】 がすべてのクラスター中心
【0111】
【外45】 から離れている場合
【0112】
【外46】 は大きな数値になり、したがって
【0113】
【外47】 は、すべてのkについてwよりも小さくなる。そして
等式(12)における修正関数は小さくなり、
【0114】
【数23】 になる。これによって上記の第2の要件が満たされる。
【0115】図4は、修正された変換関数が色空間にお
いてどのように作用するかを例示するために、無知変換
関数(15)
【0116】
【外48】 及び調整された変換関数(20)
【0117】
【外49】 の等グレー線を示す。
【0118】図4は、横の赤軸25及び縦の緑軸30に
おける2次元色空間を示す。ここでは変換関数を2次元
グラフによって表現するために青のチャンネルは無視さ
れる。グレー軸35はこのグラフにおいて斜めに伸び
る。
【0119】このRG平面においては4つのクラスター
がそれぞれ異なる場所に示される(番号付の丸印によっ
て表示)。ここで問題となるのは2と3の色である。こ
こではRG平面におけるこの2つの色の間の大きな距離
がこれに対応するカラーからグレーへの無知変換に従っ
たグレー値の差においては表現されていない。すなわち
これらの色はほとんど同等のグレー値を有する(細線1
5参照)。そこで調整変換関数は特にこれら2つの色の
不適切表示に対処するために修正され、その結果色2に
は高いグレー値が割り当てられ、色3には低いグレー値
が割り当てられる(太線20参照)。この新しい変換関
数によって上記の2つのクラスターにおけるカラー値は
明確に区別される。
【0120】上記の説明において導入される定数は当業
者の試行錯誤によって定められることが可能である。以
下に示される数値は、好ましい結果を得るための上記定
数の設定例である。しかしこれらはあくまでも例示に過
ぎない。 公式(6): a=6 b=0.25 c=6 d=0.75 公式(11): α=0.005 β=0.0005 公式(12): w=1 A=50 公式(13): σ=0.15 〔本発明の応用〕図5は、上述の実施形態が適用される
際にデジタルコピー機で最も重要である構成部分を図示
する。
【0121】この機械には、記憶された画像をデジタル
画像に変換する装置を有するスキャナ1、デジタル画像
を記憶するためのメモリ2、デジタル画像を処理するた
めの処理ユニット3、及び処理されたデジタル画像を紙
に印刷するための印刷ユニット4が備わっている。この
印刷はカラー印刷であってよいが、多くの場合は白黒あ
るいはグレー値で印刷される。多くの印刷ユニットは実
際にグレー値を印刷することはできないが、ディザリン
グあるいはエラー拡散などのラスタ技術を用いてグレー
値を真似ることができる。
【0122】またこの機械にはオペレータ・インタフェ
ース5と、他の場所で生成されたデジタル画像を受信す
るための入力ユニット6、及びこれが介するネットワー
ク7が備わっていて、これによってこの機械はプリンタ
ーとしても利用されることが可能である。
【0123】スキャナ1あるいは入力ユニット6からの
入力画像はカラー画像であってよい。グレー値画像を生
成するには、このカラー画像をグレー値画像に変換しな
ければならない。このために処理ユニット3は本発明の
実施形態に従ってカラー画像をグレー値画像に変換する
モジュールを備え持っている。
【0124】処理ユニット3は、オペレータ・ユニット
(ユーザー・インタフェース)5に接続されている。こ
のオペレータ・ユニット5は、本発明の実施に従った変
換調整(機能)をオンあるいはオフにスイッチするため
の選択手段から構成され、さらに変換関数の設定パラメ
ーターを例えばスライドまたはボタンなどによって手動
で設定するための設定手段から構成されることも可能で
ある。また、ユーザー・インタフェース5はユーザーが
対話式に自動あるいは手動による変換調整の結果を評価
するために用いる例えばモニターなどの再生手段を備え
持つこともできる。この一方で、ユーザーの干渉なしで
完全に自動的に最適化を行うようにアレンジすることも
可能であり、あるいはユーザーが変換の最適化をオンか
オフにスイッチすることだけを可能にすることもでき
る。
【0125】本発明が、プリンター(例えば独立ネット
ワーク・プリンター又はプリンターとして機能している
上述のデジタルコピー機など)において適用される際、
ユーザーは例えば自分のワークステーションにあるプリ
ンター・ドライブによってカラー画像がグレー値画像に
変換される必要があることを示すことができる。この場
合は、プリンターにおける処理装置がデジタルカラー画
像をグレー値画像に変換し、後者を印刷する。
【0126】また、この変換を例えばユーザーのワーク
ステーションなどの別個のコンピュータで実施し、この
変換されたデジタル画像をプリンターに送信するあるい
は大量メモリに記憶することも可能である。
【0127】本発明の実施形態は上記の実施例によって
例示的に示されてきたが、本発明の範囲はこれに限定さ
れるわけではない。当業者には自明であるように、本発
明の範囲内で上記以外の実施形態を適用することも可能
である。
【図面の簡単な説明】
【図1A】カラー画像を示す図である。
【図1B】従来技術によって図1Aのカラー画像を変換
することによって作成されたグレー値画像を示す図であ
る。
【図2】本発明の実施形態に従った変換を示すフローチ
ャートである。
【図3A】グレー値軸に垂直な色空間における平面に投
影される画像におけるすべてのピクセルの色を示す投影
図である。
【図3B】図3Aで示される異なるクラスターにおける
グレー値を示す棒グラフである。
【図4】本発明の実施形態に従ったグレー値調整を示す
等グレー曲線である。
【図5】デジタルコピー機を示すブロック図である。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2C262 AA24 AA26 AB13 BA17 BA20 BC11 CA07 EA04 5B057 CA01 CA08 CA16 CB02 CB08 CB16 CE11 CE16 CH01 CH11 5C077 MP01 MP08 PP15 PP32 PQ12 PQ22 TT02 TT06 5C079 HA11 HB01 HB04 LA02 LB02 MA01 MA11 PA02 PA03

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 デジタルカラー画像をデジタルグレー値
    画像に変換する方法であり、前記カラー画像における異
    なる色が、前記グレー値画像においても区別できるよう
    に再生され、デジタルカラー画像は、それぞれがカラー
    値を有するピクセルの集合から構成され、デジタルグレ
    ー値画像は、それぞれがグレー値を有するピクセルの集
    合から構成されるところの方法において:前記ピクセル
    のカラー値は、デジタルカラー画像における色差と、前
    記の色差に対応するデジタルグレー値画像におけるグレ
    ー値の差との対比に基づいて最適化される動的調整変換
    関数によってグレー値に変換されることを特徴とする方
    法。
  2. 【請求項2】 請求項1に記載の方法において:前記の
    最適化は、所定の判断基準に従って自動的に実行される
    ことを特徴とする方法。
  3. 【請求項3】 請求項1に記載の方法において:前記の
    最適化は、変換される各カラー画像又は各カラー画像の
    集合についてそれぞれ別々に所定の判断基準に従って自
    動的に実行されることを特徴とする方法。
  4. 【請求項4】 請求項1に記載の方法において:前記の
    変換関数はさらに、前記の変換関数によって変換された
    デジタルグレー値画像におけるグレー値と、予め定義さ
    れた無知変換関数によって変換されたデジタル画像にお
    ける同じピクセルに対応するグレー値との対比に基づい
    て最適化されることを特徴とする方法。
  5. 【請求項5】 請求項2乃至4のいずれかの請求項に記
    載の方法において:前記の最適化は、前記カラー画像の
    色をクラスター分析することによって定義される限られ
    た数のカラー値(以下において「主要色(値)」と呼
    ぶ)間の色差に基づいてなされることを特徴とする方
    法。
  6. 【請求項6】 請求項5に記載の方法において:前記の
    変換関数は、予め定義された無知グレー値変換と局部的
    修正関数との組み合わせであり、前記の修正関数の値
    は、色空間において変換される色と主要色との間の距離
    が縮まるにつれて小さくなることを特徴とする方法。
  7. 【請求項7】 ピクセルから構成されるデジタルカラー
    画像をグレー値画像に変換する方法であり、前記カラー
    画像における異なる色を区別できるように再生する方法
    であって: a.色空間におけるピクセルの色のクラスター分析によ
    り前記デジタルカラー画像の主要色値を決定するステッ
    プ; b.予め定義された無知変換関数によって前記の主要色
    値をグレー値に変換するステップ; c.色空間における主要色値相互間の距離(以下におい
    て「色距離」と呼ぶ)を算出するステップ; d.グレー値の尺度で前記の主要色値に対応するグレー
    値相互間の距離(以下において「グレー距離」と呼ぶ)
    を算出するステップ; e.前記の色距離と対応するグレー距離との調和の最適
    化を図るための調整変換関数を編成するステップ; から構成されることを特徴とする方法。
  8. 【請求項8】 請求項7に記載の方法において:前記ス
    テップeは、前記の主要色の色距離と対応するグレー距
    離との調和の最適化によって局部的修正関数を算出し、
    前記の無知変換関数と局部的修正関数を複合する工程か
    ら構成されることを特徴とする方法。
  9. 【請求項9】 デジタルカラー画像をデジタルグレー値
    画像に変換する装置であり、デジタルカラー画像を記憶
    するメモリ及びデジタル画像データを処理する処理ユニ
    ットから構成される装置であって: a.色空間におけるピクセルの色をクラスター分析する
    ことにより前記デジタルカラー画像の主要色値を決定す
    るためのクラスター・モジュール; b.変換関数によって前記の主要色値をグレー値に変換
    するための変換モジュール; c.色空間においてカラー値の色距離を算出するための
    色距離モジュール; d.グレー値の尺度でグレー値のグレー距離を算出する
    ためのグレー距離モジュール; e.前記の色距離と対応するグレー距離との調和の最適
    化を図るための調整変換関数を編成するための調整モジ
    ュール;から構成されることを特徴とする装置。
  10. 【請求項10】 請求項9に記載の装置において:前記
    の調整モジュールは、前記の主要色の色距離と対応する
    グレー距離との調和の最適化によって局部的修正関数を
    算出し、前記の無知変換関数と局部的修正関数を複合す
    るように調整されることを特徴とする装置。
  11. 【請求項11】 請求項7乃至8のいずれかの請求項に
    記載の方法に従ってデジタルカラー画像をグレー値画像
    に変換するためのプログラムコードを有するコンピュー
    タプログラムであり、コンピュータにおいて実行される
    際に前記の変換を実施することを特徴とするプログラ
    ム。
  12. 【請求項12】 請求項11に記載のコンピュータソフ
    トウェアから構成されるコンピュータプログラム製品で
    あり、マシン読み取り可能記憶媒体に記憶されることを
    特徴とするプログラム製品。
  13. 【請求項13】 スキャナ、デジタル画像データを処理
    する処理ユニット、及び印刷ユニットが備わったデジタ
    ルコピー機において:前記の処理ユニットは、請求項9
    乃至10のいずれかの請求項に記載の変換装置から構成
    されることを特徴とするコピー機。
  14. 【請求項14】 請求項13に記載のデジタルコピー機
    であって:前記の変換装置において実施されるカラーか
    らグレー値への変換を、予め定義された無知変換関数を
    用いて実施するか、あるいは自動的に調整される変換関
    数を用いて実施するかを選択するためのスイッチ手段が
    備わったユーザー・インタフェースから構成されること
    を特徴とするコピー機。
  15. 【請求項15】 外部から発生された印刷命令を受信す
    るためのネットワーク接続ユニット、デジタル画像デー
    タを処理するための処理ユニット、及び印刷ユニットが
    備わったプリンターにおいて:前記の処理ユニットは、
    請求項9乃至10に記載の装置から構成されることを特
    徴とするプリンター。
  16. 【請求項16】 請求項15に記載のプリンターにおい
    て:前記の変換装置は、予め定義された無知変換関数を
    用いて実施するか、あるいは自動的に調整される変換関
    数を用いて実施するかを選択できるようにプログラムさ
    れうることを特徴とするプリンター。
JP2002227260A 2001-08-23 2002-08-05 カラー画像からグレー値画像への変換 Expired - Fee Related JP4160335B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
NL1018808 2001-08-23
NL1018808A NL1018808C2 (nl) 2001-08-23 2001-08-23 Omzetting van kleurenbeelden in grijswaardenbeelden.

Publications (2)

Publication Number Publication Date
JP2003179762A true JP2003179762A (ja) 2003-06-27
JP4160335B2 JP4160335B2 (ja) 2008-10-01

Family

ID=19773908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002227260A Expired - Fee Related JP4160335B2 (ja) 2001-08-23 2002-08-05 カラー画像からグレー値画像への変換

Country Status (5)

Country Link
US (1) US7440138B2 (ja)
EP (1) EP1292112B1 (ja)
JP (1) JP4160335B2 (ja)
DE (1) DE60239249D1 (ja)
NL (1) NL1018808C2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008515063A (ja) * 2004-09-29 2008-05-08 アップル インコーポレイテッド 美的に高められた画像変換のための方法および装置
KR101024783B1 (ko) 2008-12-30 2011-03-24 포항공과대학교 산학협력단 이미지의 컬러 변환 방법 및 이미지의 컬러 변환 방법이 기록된 기록 매체
KR101074184B1 (ko) 2009-12-29 2011-10-14 포항공과대학교 산학협력단 컬러 이미지를 그레이스케일 이미지로 변환하는 방법 및 이를 수행하는 프로그램이 기록된 기록매체
US8068690B2 (en) 2007-08-24 2011-11-29 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, computer-readable medium and computer data signal
KR101090060B1 (ko) 2006-11-14 2011-12-07 삼성전자주식회사 그레이 이미지의 보정이 가능한 화상형성장치 및화상형성방법
JP2012010318A (ja) * 2010-05-24 2012-01-12 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
KR101297465B1 (ko) * 2012-03-29 2013-08-16 가톨릭대학교 산학협력단 컬러 영상을 흑백 영상으로 변환하는 변환 방법 및 이를 수행하는 프로그램이 기록된 기록매체
JP2023008251A (ja) * 2021-07-05 2023-01-19 キヤノン株式会社 画像処理装置と画像処理方法並びにプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1453006A1 (en) * 2003-02-28 2004-09-01 Océ-Technologies B.V. Converted digital colour image with improved colour distinction for colour-blinds
US7701489B1 (en) 2003-05-27 2010-04-20 Apple Inc. Method and apparatus for color correction
US7369699B1 (en) 2003-08-29 2008-05-06 Apple Inc. Methods and apparatuses for restoring color and enhancing electronic images
US20060082832A1 (en) * 2004-10-20 2006-04-20 Kabushiki Kaisha Toshiba Image processing device and image processing program
US8117134B2 (en) * 2008-10-16 2012-02-14 Xerox Corporation Neutral pixel correction for proper marked color printing
US20100124372A1 (en) * 2008-11-12 2010-05-20 Lockheed Martin Corporation Methods and systems for identifying/accessing color related information
US8390895B2 (en) * 2008-11-14 2013-03-05 Ricoh Production Print Solutions LLC Color conversions in the real domain
EP2777244A1 (en) 2011-09-12 2014-09-17 OCE-Technologies B.V. Method for converting a full colour image to a monochrome image
US8937749B2 (en) 2012-03-09 2015-01-20 Xerox Corporation Integrated color detection and color pixel counting for billing
US10315412B2 (en) 2012-05-02 2019-06-11 Advanced Vision Technology (Avt) Ltd. Method and system for registering printing stations of a printing press
US9393772B2 (en) * 2012-05-02 2016-07-19 Advanced Vision Technology (Avt) Ltd. Method and system for registering printing stations of a printing press
JP6060062B2 (ja) * 2013-07-30 2017-01-11 京セラドキュメントソリューションズ株式会社 画像処理装置及びプログラム
CN104972767B (zh) * 2014-04-04 2016-08-17 株式会社理光 医疗图像打印装置及其医疗图像打印系统
CN105644161B (zh) * 2014-11-13 2017-11-17 株式会社理光 医疗图像打印装置及其医疗图像打印系统
IL254078A0 (en) 2017-08-21 2017-09-28 Advanced Vision Tech A V T Ltd Method and system for creating images for testing
WO2020227759A1 (en) * 2019-05-10 2020-11-19 Commonwealth Scientific And Industrial Research Organisation Single image contrast
CN114862817B (zh) * 2022-05-24 2025-07-22 成都数之联科技股份有限公司 一种电路板金手指区域缺陷检测方法及系统及装置及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5666974A (en) 1979-11-02 1981-06-05 Canon Inc Picture forming method
EP0500327B1 (en) 1991-02-20 1998-09-30 Canon Kabushiki Kaisha Image processing apparatus
US5428465A (en) * 1991-08-12 1995-06-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for color conversion
US5729360A (en) * 1994-01-14 1998-03-17 Fuji Xerox Co., Ltd. Color image processing method and system
DE19513030C1 (de) * 1995-04-06 1996-07-25 Siemens Ag Verfahren zur monochromen Darstellung eines farbigen Bildes
JP3778229B2 (ja) * 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US5751450A (en) * 1996-05-22 1998-05-12 Medar, Inc. Method and system for measuring color difference
US5898819A (en) 1996-06-05 1999-04-27 Microsoft Corporation System for black and white printing of colored pages
JP3230479B2 (ja) * 1998-01-16 2001-11-19 日本電気株式会社 ファクシミリ装置
JP3815767B2 (ja) * 1998-05-29 2006-08-30 キヤノン株式会社 画像形成装置,方法,画像処理装置,方法および記録媒体
US6822758B1 (en) * 1998-07-01 2004-11-23 Canon Kabushiki Kaisha Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
US6829061B1 (en) * 2000-02-10 2004-12-07 Hewlett-Packard Development Company, L.P. Method for determining gray levels in a printer
JP4127594B2 (ja) * 2000-03-23 2008-07-30 理想科学工業株式会社 画像処理方法および装置
EP1453006A1 (en) * 2003-02-28 2004-09-01 Océ-Technologies B.V. Converted digital colour image with improved colour distinction for colour-blinds

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008515063A (ja) * 2004-09-29 2008-05-08 アップル インコーポレイテッド 美的に高められた画像変換のための方法および装置
US8462384B2 (en) 2004-09-29 2013-06-11 Apple Inc. Methods and apparatuses for aesthetically enhanced image conversion
KR101090060B1 (ko) 2006-11-14 2011-12-07 삼성전자주식회사 그레이 이미지의 보정이 가능한 화상형성장치 및화상형성방법
US8194286B2 (en) 2006-11-14 2012-06-05 Samsung Electronics Co., Ltd. Image forming apparatus and image forming method capable of revising gray image
US8422081B2 (en) 2006-11-14 2013-04-16 Samsung Electronics Co., Ltd. Image forming apparatus and image forming method capable of revising gray image
US8068690B2 (en) 2007-08-24 2011-11-29 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, computer-readable medium and computer data signal
KR101024783B1 (ko) 2008-12-30 2011-03-24 포항공과대학교 산학협력단 이미지의 컬러 변환 방법 및 이미지의 컬러 변환 방법이 기록된 기록 매체
KR101074184B1 (ko) 2009-12-29 2011-10-14 포항공과대학교 산학협력단 컬러 이미지를 그레이스케일 이미지로 변환하는 방법 및 이를 수행하는 프로그램이 기록된 기록매체
JP2012010318A (ja) * 2010-05-24 2012-01-12 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
KR101297465B1 (ko) * 2012-03-29 2013-08-16 가톨릭대학교 산학협력단 컬러 영상을 흑백 영상으로 변환하는 변환 방법 및 이를 수행하는 프로그램이 기록된 기록매체
JP2023008251A (ja) * 2021-07-05 2023-01-19 キヤノン株式会社 画像処理装置と画像処理方法並びにプログラム
JP7689455B2 (ja) 2021-07-05 2025-06-06 キヤノン株式会社 画像処理装置と画像処理方法並びにプログラム

Also Published As

Publication number Publication date
EP1292112B1 (en) 2011-02-23
JP4160335B2 (ja) 2008-10-01
EP1292112A1 (en) 2003-03-12
NL1018808C2 (nl) 2003-02-25
US7440138B2 (en) 2008-10-21
US20030058475A1 (en) 2003-03-27
DE60239249D1 (de) 2011-04-07

Similar Documents

Publication Publication Date Title
JP4160335B2 (ja) カラー画像からグレー値画像への変換
US6859552B2 (en) Image retrieving apparatus
US6535301B1 (en) Image processing apparatus, image processing method, image processing program recording medium, color adjustment method, color adjustment device, and color adjustment control program recording medium
US9214010B2 (en) Image processing apparatus, image processing method, and program product
EP1453006A1 (en) Converted digital colour image with improved colour distinction for colour-blinds
US20100295998A1 (en) Image processing apparatus and method of controlling the apparatus and program thereof
US20070091334A1 (en) Method of calculating correction data for correcting display characteristic, program for calculating correction data for correcting display characteristic and apparatus for calculating correction data for correcting display characteristic
JP2005190435A (ja) 画像処理方法、画像処理装置及び画像記録装置
US20090027732A1 (en) Image processing apparatus, image processing method, and computer program
JP2005210370A (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2010161798A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101103635B (zh) 数码相机图像中的白平衡校正
JPH10233929A (ja) 画像処理装置及び方法
JP2002271638A (ja) ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
US20140301640A1 (en) Image evaluation device, image selection device, image evaluation method, recording medium, and program
JP4243362B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体
JP2005192158A (ja) 画像処理方法、画像処理装置及び画像記録装置
US20050094894A1 (en) Image processing device, image processing method, and program therefor
JP4219577B2 (ja) 画像処理装置と画像出力装置と画像処理方法及び記憶媒体
JP2004297438A (ja) 画像補正方法、装置及びプログラム
US7369273B2 (en) Grayscale mistracking correction for color-positive transparency film elements
JP2006115500A (ja) 高速低メモリ紙色抑制アルゴリズム
EP2437481B1 (en) Preferred hue selection method for optimizing color
JP4595801B2 (ja) 画像処理装置
EP1453008A1 (en) Cocverted digital colour image with improved colour distinction for colour-blinds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080717

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees