JP2010081350A - 油彩画調画像の生成方法および生成プログラム - Google Patents

Abstract

【課題】画像処理に不慣れなユーザであっても、原画像の内容を問わず、不自然さのない油彩画調の画像を得ることのできる手法を提供する。
【解決手段】原画像を入力として取得する工程と、前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り工程と、前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み工程と、生成された下塗り画像とストローク画像とを重畳する重畳工程とを備え、各工程をコンピュータが実行することを特徴とする油彩画調画像の生成方法。
【選択図】図４３

Description

この発明は、原画像を画像処理して油彩画調の画像を生成するための生成方法および生成プログラムに関する。

近年、パーソナルコンピュータ、デジタルカメラの普及、高性能化に伴い、デジタル画像に接する機会が増加している。同時に、Photoshop（Adobe Systems社製ソフトウェア）、Painter（COREL CORPORATION社製ソフトウェア）等の画像編集ソフトを用いたデジタル画像の加工、編集は、専門家のみならず一般ユーザの間にも浸透しつつある。これら画像編集ソフトを用いれば、高水準なコンピュータ・グラフィックスを作成可能である。
しかし、これらを用いたデジタル画像の変換や描画には専門的な知識や技術が求められ、時として多くの労力が必要とされる。
したがって、画像編集ソフトの扱いに不慣れなユーザにとっては、たとえその機能が限定されたものであったとしても、自動化された画像変換フィルタを用いて簡便に結果を得られる方がより有用であるかもしれない。

実写の写真や映像を絵画調に変換する処理（ノン・フォト・リアリスティック・レンダリング、あるいはNPR））に関し、いくつかのものが提案されている（例えば、特許文献１、２参照）。また、ノン・フォト・リアリスティック・レンダリングは、日常的に映画や宣伝に用いられている。

特許文献１には、スキャナで取り込んだ写真データに、４５°傾斜した複数の白線が重なり合って構成されたフィルタ層と、所定の文字等が記された付加装飾層を重畳させ、鉛筆デッサン調の画像等を生成する手法が開示されている。
特許文献２には、原画像に所定の濃淡パターンで作成されたフィルタ画像を合成して絵画調の画像を生成する手法が開示されている。
特開平１０−２４３２１１号公報 特開２００２−２９８１３６号公報

前述のように、画像編集ソフトの扱いに不慣れなユーザにとって扱い易いものとするためには、人物、風景等画像の内容が限定されないこと、即ち、汎用性が高いことと、処理の過程が単純で高速処理が可能であることが求められる。かつ、ノン・フォト・リアリスティック・レンダリングの特性上、「視覚的に興味深い」ものが求められる。
特許文献１、２等の従来手法を適用することにより、ある用途については意図した結果がえられるかもしれない。しかし、ノン・フォト・リアリスティック・レンダリングが創作的な側面を有するものであることから、前述の「視覚的に興味深い」の価値は、用途により、また、ユーザの嗜好によって事案ごとに異なる。種々の観点から、技術的な見地とエンターテインメント性の見地の双方から新規で有用なノン・フォト・リアリスティック・レンダリング手法が求められている。

この発明は、以上のような事情を考慮してなされたものであって、油彩画独特の風合いや筆触がよく表現された画像、換言すれば、いかにも機械的に処理がなされたという印象を観察者に与えることがなく、かつ、原画像のモチーフの特徴を損なわない油彩画調画像の生成を目標とする。そして、画像処理に不慣れなユーザであっても、原画像の内容を問わず、不自然さのない油彩画調の画像を得ることのできる手法を提供するものである。

この発明は、原画像を入力として取得する工程と、前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り工程と、前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み工程と、生成された下塗り画像とストローク画像とを重畳する重畳工程とを備え、各工程をコンピュータが実行することを特徴とする油彩画調画像の生成方法を提供する。

また、異なる観点から、この発明は、原画像を入力として取得する処理と、前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り処理と、前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み処理と、生成された下塗り画像とストローク画像とを重畳する重畳処理の各処理をコンピュータに実行させることを特徴とする油彩画調画像の生成プログラムを提供する。

この発明の油彩画調画像の生成方法は、下塗り画像を生成する下塗り工程とストローク画像を生成する描き込み工程とを備えるので、油彩画の描画手順に対応する下塗り工程、描き込み工程の各工程で作成された下塗り画像およびストローク画像を重畳することにより、原画像の内容を問わず、不自然さのない油彩画調の画像を得ることができる。また、油彩画独特の風合いや筆触がよく表現された画像を得ることができる。

この発明において、濃度成分は、カラー画像から色相の情報を除いたものである。画像処理の分野では、いわゆるグレースケール変換の結果として濃度成分を得ることができる。また、ＹＵＶ変換の結果のＹ成分として濃度成分に対応する情報を得ることができる。さらに、Ｌａｂ変換の結果としてのＬ成分として濃度成分に対応する情報を得ることもできる。

これに対し、色成分は、カラー画像の色相に係る情報である。例えば、前述のＹＵＶ変換の結果としてのＵおよびＶ成分が色情報を提供する。あるいは、Ｌａｂ変換の結果としてのａおよびｂ成分が色情報を提供する。

階調数を減じる処理は、油彩画制作過程における下塗りの粗いグラディエーションの風合いを再現するためのものである。この発明においては、グレースケール画像から階調数を減じる処理を行っているので、ＲＧＢの各色成分の階調数をそれぞれ減じた場合に比べて原画像にない不自然な色相（偽色）の発生を抑制することができる。

また、ストローク画像は、油彩画の筆触の再現を目的としたものであり、このために、原画像の輪郭を保持してそれを強調する一方で、ある程度濃淡を減じる処理をおこなうものである。
このように、この発明の特徴的な一側面は、油絵の作成過程の各段階で描かれる絵に対応させて複数の画像を生成し、それらの画像を重畳する点にある。
以下、この発明の好ましい態様について説明する。

前記描き込み工程は、前記入力にクワハラ・フィルタを適用し、かつ、輪郭強調処理を行ってもよい。前述のように、描き込み工程は油彩画の筆触に似たストローク画像を生成するための工程である。この態様によれば、Kuwahara-filterを入力に適用することにより輪郭を保ちつつ入力の平滑化を行うことができ、さらに、平滑化後の画像の輪郭を強調することにより、油彩画の筆触を再現することができる。

さらに、前記描き込み工程は、前記画像から輪郭を抽出し、抽出された輪郭をクワハラ・フィルタと輪郭強調処理とが適用された画像にさらに重畳してもよい。このようにすれば、クワハラ・フィルタと輪郭強調処理とが適用された画像に輪郭画像をさらに重畳することにより、より油彩画の筆触に似たストローク画像を得ることができる。

また、前記下塗り工程は、前記入力の濃度成分を平滑化し、平滑化された濃度成分を所定の階調数に減じてモノクロ・ポスタリゼーション画像を得、かつ前記入力をＹＵＶ表色系に変換してＵおよびＶ成分からなる色成分を得、前記モノクロ・ポスタリゼーション画像の濃度成分と前記色成分とからなる下塗り画像を生成してもよい。下塗り工程は、粗い濃淡の彩色と輪郭で描かれる下塗り画像を生成するための工程である。この態様によれば、モノクロ・ポスタリゼーション画像に前記色成分を適用することにより、下塗り画像を再現することができる。即ち、入力の濃度成分を抽出してその諧調数を減ずることにより粗い濃淡のモノクロ・ポスタリゼーション画像を得、入力をＹＵＶ変換して得られる色成分ＵおよびＹを得、得られた色成分を前記モノクロ・ポスタリゼーション画像に提供することにより下塗り画像を再現することができる。

さらに、前記入力をグレースケール変換した結果を前記濃度成分としてもよい。
あるいは、前記入力をＹＵＶ表色系に変換して得られるＹ成分を前記入力の濃度成分としてもよい。Ｙ成分は、入力の輝度成分、換言すれば、濃度成分を与える。従って、入力をＹＵＶ変換することにより、下塗り画像の生成に必要な濃度成分、色成分を一度に得ることができる。

また、前記重畳工程は、前記下塗り画像とストローク画像に加え、予め用意された油彩画用キャンバスの地模様を重畳してもよい。このようにすれば、仕上がりの画像にキャンバスの地模様が反映され、より油彩画の特徴に似た画像が生成される。

さらにまた、前記重畳工程は、重畳された画像に対し、予め定められた階調特性を適用して階調補正を行ってもよい。重畳後の画像の階調特性を補正することにより、原画像に対して不自然さのない油彩画調の画像を得ることができる。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
この発明は、油絵の作成過程の各段階で描かれる絵に対応させて複数の画像を生成し、それらの画像を重畳する。そこで、この実施形態の説明に先立ち、油絵の特徴とその描画手順について簡単に述べる。

≪油絵の基礎知識≫
1.1 油絵の特徴
油絵は展色剤である油と顔料を練り合わせて得られる油絵具によって描画される。油絵具は油と顔料の屈折率の差、また、顔料自体の粒子径によって透過性を持つ。そのため、油絵では下地の色を反映した透明な塗り重ねが可能である。展色剤である油の中で顔料は浮いた状態となり、顔料と顔料の隙間を光が通り抜ける。このような透明性を持った構造は重層彩色法構と呼ばれ、油絵という技法の大きな特徴の一つである。重層彩色法構の一例として、ヨハネス・フェルメール(Johannes Vermeer,1632-1675)作「二人の紳士と女(Woman and two men)」が挙げられる。この作品では、赤色のドレスの下地にウルトラ・マリンブルーを用いることにより、ドレスの赤が一層鮮やかになるという効果が得られている。

1.2 油絵の描画手順
油絵の描画手順は、おおまかに以下の四段階である。
[step1] キャンバスの準備
下地や絵具層を物理的に保持する部分を支持体と呼ぶ。油絵では多くの場合キャンバスがこれにあたる。支持体自体の色を消しておく、素描を描いておく等の前処理を必要に応じて行う(図１（ａ）)。
[step2] 下塗り
素描に沿い、モチーフの持つ明暗を暗褐色の絵具（バーントシェンナ）を用いた４段階程度のグラデーションで描く。その上から水彩画のように薄くモチーフ固有の色をつける(図１（ｂ）)。
[step3] 描き込み
下塗りの段階に比べ多量の絵具を用い、モチーフの持つ色、明暗を再現する。多量の絵具を使用する事により、筆による独特の塗りあとが生まれる(図１（ｃ）)。
[step4] 仕上げ
部分的な手直しを行う。変色、退色防止のため、保存用ニスを塗布する場合もある(図１（ｄ）)。

≪画像処理の各工程≫
続いて、前述した油絵の描画手順をコンピュータ上で擬似的に再現する手順を説明する。具体的には、キャンバス画像、下塗り画像、ストローク（筆の塗りあと）画像を作成した後、それらを合成するという手順である。また、この実施形態で述べる手順は前述の重層彩色法構から発明者が着想を得て具体化したものである。
なお、以下の実施形態で画像の処理に用いたコンピュータの仕様は、OSがMicrosoft社製 Windows XP（登録商標）、CPUはインテル社製 Pentium（登録商標）4、動作周波数2.53GHz、メモリ容量は512MBのものである。

2.1 この実施形態の概要
この実施形態において、原画像を以下の手順で処理して出力を得る。
[step1] キャンバスの準備
キャンバス地模様の画像データを取り込む。
[step2] 下塗り工程
原画像から下塗り画像を作成する。
[step3] 描き込み工程
原画像からストローク画像を作成する。
[step4] 仕上げ
前記step1,step2,step3に係る画像を重畳し、適切な補正を施して出力画像を得る。

2.2 原画像
この実施形態のシミュレーションには、図２〜４に示す「人物」(図２参照)、「動物」(図３参照)、「風景」(図４参照)の３種を用いる。いずれの要素も写真の被写体となりやすく、それぞれを比較することでこの発明の手法の汎用性を確認する。
なお、この実施形態では以下変数blockを用いる。blockの値は各種フィルタの適用領域に影響し、大きいほどフィルタの適用領域は広くなる。blockの値は原画像の画素数に応じて以下の式(1)で定める。

(1) 2.3 [step1] キャンバスの準備
市販のキャンバスをスキャンし、キャンバス画像を取得した。2400×2400画素のBitmap画像である（図５参照）。

2.4 [step2] 下塗り工程
以下の手順で、原画像から下塗り画像を作成する。
1. ガウシアン・フィルタ（Gaussian filter）
2. グレースケール変換
3. ポスタリゼーション
4. ＹＵＶ表色系を用いた原画像との合成
以下、各手順の詳細を説明する。

2.4.1 ガウシアン・フィルタ
ガウシアン・フィルタは正規分布を用いた重み付き平滑化フィルタである。注目画素からi離れた画素の正規分布G(i)は標準偏差をσとすると、(2)式で与えられる。

(2) また、注目画素を中心とした局所領域の大きさを(2N+1)×(2N+1)と表す場合、N=3σであるものとする。これは、正規分布はσの3倍でほぼ収束するためである。

まず、水平方向の重み付け平均を行う。仮に、block=1とした場合、図６に相当する領域が対象となる。
ここで、符合１１で示す画素P3は注目画素である。重み付け平均後の画素値P3’は(3)式で求まる。

(3) 続いて、同様の手順で垂直方向の重み付け平均を行う。

以上の処理によって、図７〜９に示す平滑化画像を得た。なお、距離に応じた2次元正規分布による重み付け平均は、水平、垂直方向それぞれに1次元正規分布による重み付け平均を施すことと等価であり、F.Waltz、W.Millerによって数学的に証明されている（Frederick M. Waltz, John W. V. Miller, "An efficient algorithm for Gaussian blur using finite-state machines," Proc. SPIE Conf. on Machine Vision Systems for Inspection and Metrology VII pp. 3521-37 (1998) 参照）。

2.4.2 グレースケール変換
前項目2.4.1で得られた平滑化画像をグレースケール画像に変換する。平滑化画像の各画素におけるR,G,B各値がそれぞれR’,G’,B’に変換されるとすると、(4)式のようになる。

(4) 以上から、図１０〜１２のグレースケール画像を得た。

2.4.3 グレースケール画像のポスタリゼーション
ポスタリゼーションとは、画像の階調数を任意に変更する処理である。本研究では、より滑らかな輪郭線を得るため、前処理として局所領域における画素値の平均値をとる。局所領域の大きさは、(2block+1)×(2block+1)である。
続けて、得られた画素値の平均値Pを(5)で画素値P’に変換する。

(5) 階調数pos=8で処理した結果、モノクロ・ポスタリゼーション画像、図１３〜１５を得た。

2.4.4 ＹＵＶ表色系への変換を用いた原画像との合成
ＹＵＶ表色系は、輝度信号Y、輝度信号と青の差分信号U(Cb)、輝度信号と赤の差分信号V(Cr)から成る。RGB表色系からの変換式を(6)式に示す。

(6)

輝度信号(Y)を項目2.4.3におけるポスタリゼーション画像から、色情報(U,V)を原画像から取得する。ただし、グレースケール画像においてR,G,B各値は同値であるため、今、Y=R=G=Bである。これらのＹＵＶ値をR,G,B値に変換することから、項目2.4.3におけるポスタリゼーション画像の輪郭及び原画像の色彩を持つ下塗り画像、図１６〜１８が得られた。
なお、この実施形態においては、RGB表色系の原画像からグレースケール画像を生成し、それを処理してモノクロ・ポスタリゼーション画像を得たが、ＹＵＶ表色系の輝度情報Yを用いてモノクロ・ポスタリゼーション画像を生成するようにしてもよい。
ＹＵＶ表色系からRGB表色系への変換式を(7)式に示す。

(7)

2.5 [step3] 描き込み工程
続いて、描き込み工程の詳細な手順を説明する。描き込み工程においては、以下の手順で、原画像からストローク画像を作成する。
1. クワハラ・フィルタ（Kuwahara filter）
2. アンシャープ・マスク
3. 輪郭フィルタ
4. 乗算合成
各手順の詳細を説明する。

2.5.1 クワハラ・フィルタ（Kuwahara filter）
クワハラ・フィルタはMaximum Homogeneity Neighbour(MHN)フィルタの一種であり、輪郭を保ちつつ平滑化を行う点に特徴がある（例えば、"MemoNyanDum : C# GDI+"、[online]、[平成18年6月18日検索]、インターネット＜URL: http://junki.lix.jp/csgdip.html＞参照）。

クワハラ・フィルタは、まず、注目画素を中心として(block+1)×(block+1)の局所領域を4つ設ける。block=2であるとすると、図１９のようになる。符号２１で示す中央の画素が注目画素であり、４つの局所領域２３、２４、２５、２６は、それぞれが一つの頂点を注目画素として配置されている。
続いて、これら４領域それぞれにおけるR,G,B各値の最大値、最小値を求め、その差を合計する。これら４つの合計値が最小である領域が、これら４領域において最大均一度を持つ。最大均一度領域におけるR,G,B各値の平均値をそれぞれ求め、求めた平均値を注目画素の値として採用する。このクワハラ・フィルタを適用して、図２０〜２２の画像を得た。

2.5.2 アンシャープ・マスク（Unsharp mask）
アンシャープ・マスクは輪郭とコントラストを強調し、画像を鮮明にする処理である。対象画像と平滑化画像における画素値の差分を対象画像に加算する。
この実施形態では、項目2.5.1の出力画像と2.4.1で得られた原画像の平滑化画像の差分を用いる。すなわち、これらの対応する画素における画素値をそれぞれP0 ,P1とおくと、出力画像の画素値P2は (8)式で得られる。

(8) per=150で処理した結果、図２３〜２５を得た。

2.5.3 輪郭フィルタ（Contour filter）による輪郭線の抽出
輪郭フィルタはR,G,B各値をそれぞれ一次独立な直交座標とみたて、色の距離を測ることで輪郭を抽出するフィルタである（図２６参照）。図２６で、符合３１で示すP₁₀が注目画素である。
まず、注目画素とその右上、右、右下、下の画素との色の距離Dをそれぞれ(9)式で求める。

(9) 続いて、D₀₁, D₁₁ ,D₂₁ ,D₂₀ の最大値maxを求め、注目画素のR,G,B値を以下で定める。

(10) 以上から、図２７〜２９を得た。

2.5.4 乗算合成
2.5.2の出力画像と2.5.3で得られた輪郭線画像を合成する。これらの対応する画素における画素値をそれぞれP0 ,P1とおくと、出力画像の画素値P2は (11)式で得られる。

(11) 以上から、ストローク画像、図３０〜３２を得た。

2.6 [step4] 仕上げ
仕上げの工程においては、以下の手順で、出力画像を得る。
1. [step1],[step2],[step3]における出力画像の重畳

2. ガンマ補正
2.6.1 [step1],[step2],[step3]における出力画像の重畳
項目2.3で得られたキャンバス画像、項目2.4.4で得られた下塗り画像、項目2.5.4で得られたストローク画像を重畳した重畳画像を得る。これらの対応する画素における画素値をそれぞれP0 ,P1,P2とおくと、重畳画像の画素値P3は(12)式で得られる。

(12) 以上から、重畳画像、図３３〜３５を得た。

2.6.2 ガンマ補正
ガンマ補正は画像入出力装置間の輝度補正に広く用いられている。
前項目2.6.1で得られた統合画像は、キャンバス画像と合成されたために原画像と比べ暗くなっているため、補正をかける。R,G,B各値がそれぞれR’,G’,B’に変換されるとすると、(13)式のようになる。

(13)
γ=2.0で処理した結果、油彩画調の出力画像、図３６〜３８を得た。

≪処理手順≫
前述した油彩画調画像を生成した各工程の流れを、ここで改めて説明する。
図４３は、この実施形態に係る画像処理の各工程の流れを示す説明図である。図４３に沿って説明する。
まず、入力としての原画像を読み込む（ステップS11）。サンプル画像は図２〜４である。読み込まれた画像は、下塗り画像の生成と、ストローク画像の生成に用いられる。

下塗り画像を生成する工程（下塗り工程）においては、ガウシアン・フィルタを用いて入力を平滑化し、平滑化画像を得る（ステップS21）。サンプル画像は図７〜９である。
続いて、平滑化された画像をグレースケール変換する（ステップS23）。サンプル画像は図９〜１１である。
そして、グレースケール変換された画像の階調数を所定の数に減じる（ステップS25）。サンプル画像は図１３〜１５である。
一方、入力をＹＵＶ変換し、色成分としてＵ，Ｖ成分を得る（ステップS27）。

前記ステップS25のポスタリゼーション画像の各領域に、前記ステップS27の色成分を適用し、下塗り画像を得る（ステップS29）。サンプル画像は図１６〜１８である。
なお、変形例として、ステップS27のＹＵＶ変換により得られた輝度成分（Ｙ成分）を前記ステップS21の入力として用いてもよい。この場合、S23のグレースケール変換は不要である。

一方、ストローク画像を生成する描き込み工程においては、クワハラ・フィルタを用いて入力を平滑化する（ステップS41）。サンプル画像は図２０〜２２である。クワハラ・フィルタにより平滑化された画像は、ガウシアン・フィルタによる平滑化画像に比べて輪郭線が保持されている点が特徴である。
そして、クワハラ・フィルタ適用後の画像に対して、アンシャープ・マスクを用いて輪郭線をさらに強調する（ステップS43）。ここで、アンシャープ・マスクは、前記ステップS41でクワハラ・フィルタにより得られた平滑化画像と前記ステップS21でガウシアン・フィルタにより得られた平滑化画像の差分を用いる。サンプル画像は図２３〜２５である。
また、入力に輪郭フィルタを適用して輪郭を抽出する（ステップS45）。サンプル画像は、図３０〜３２である。

得られた輪郭を前記ステップS43のアンシャープ・マスクで得られた画像と合成してより輪郭が明確になったストローク画像を得る（ステップS47）。サンプル画像は、図３３〜３５である。
なお、変形例として、ステップS45、47を省略し、アンシャープ・マスクの結果をストローク画像としてもよい。しかし、より油彩画らしい筆触を再現するためステップS45、47の処理を行うことが好ましい。

以上のようにして得られた下塗り画像、ストローク画像を重畳する。また、予め用意されたキャンパス地模様の画像を読み込んでおき（ステップS13）、下塗り画像、ストローク画像と共に重畳するようにしてもよい（ステップS61）。サンプル画像は、図３３〜３５である。
そして、前記ステップS61で得た画像の階調特性を整えるためにガンマ補正を行う（ステップS63）。ガンマ補正は、所定の特性を用いて補正を行うようにしてもよい。あるいは、前記ステップS61で得た画像のヒストグラムをとり、その結果に基づいて特性を決定するようにしてもよい。
以上のようにして得られた画像を処理結果として出力する。サンプル画像は図３６〜３８である。

≪市販ソフトウェアの処理結果との比較≫
本章では、市販のソフトウェア製品とこの実施形態の比較、検討を行う。代表的な画像編集ソフトとしてはAdobe Systems社のPhotoshop、Corel社のPainterが挙げられるが、本研究では前者を比較対象とする。Painterによる絵画調への自動変換は、ゴッホタッチ、スーラタッチなど個性が強く、それに比べて、Photoshopには汎用的に組み合わせ可能な変換フィルタが多く用意されているためである。

3.1 手順
Adobe Systems社のPhotoshopCS2を用い、この実施形態の各段階に比較的近いフィルタ処理を順に施す。原画像として図２の画像を用いる。
1. テクスチャライザ
2. ポスタリゼーション
3. パレットナイフ、アンシャープ・マスク
4. 手順1〜3レイヤーの統合、明るさの補正
各段階の出力画像を図３９〜４２に示す。図３９は、テクスチャライザ適用後の画像、図４０は、ポスタリゼーション適用後の画像、図４１はパレットナイフおよびアンシャープ・マスク適用後の画像である。そして、図４２は、上記1〜3の各レイヤーの画像を重畳し、明るさの補正を行った結果の画像である。

3.2 検討
この実施形態と比較すると、PhotoshopCS2のフィルタ変換にはいくつかの問題点が挙げられる。
まず、テクスチャライザ(図３９)にはテクスチャの配列に規則性が存在するため、いかにも機械的な印象を受ける。そのため、油絵調変換には不向きである。また、ポスタリゼーション(図４０)では、不自然な色むらが散見される。これはおそらく、R,G,B各値に対して個別に階調数変換を行っているためであると思われる。加えて、色の境界も滑らかではない。Corel社のPainter Essentials3でポスタリゼーションを試みたところ、PhotoshopCS2と同様の結果であった。
続いて、パレットナイフ(図４１)はクワハラ・フィルタと比較すると輪郭線の損傷が激しい。
レイヤーの統合、明るさの補正(図４２)に関しては、手作業の占める割合が大きく手間がかかる。

Photoshopは多機能な画像処理ソフトウェアであり、フィルタ処理の機能に特化したものではない。まして、本願発明のように油彩画調の画像生成に特化したものではない。従って、自動変換を旨としたこの実施形態と比較して手作業が多くなるのは当然であろう。しかし、この実施形態の各段階、結果画像は、市販製品と比較して遜色はないものと思われる。

以上のように、この発明の方法は、ユーザの補助入力なしに写真から油絵調画像への変換が可能であり、写真の種類を選ばない汎用性を持つことが確かめられた。また、油絵調画像への自動変換という点においては、市販製品と比べて高い性能を有している。

今後の課題としては、ポスタリゼーションに閾値を用いることからくる不自然な分断が挙げられる（例えば、図１５の空や海の部分を参照）。ポスタリゼーション後の階調数を32などの高い値に設定すればこの問題は概ね避けられるものと考えられる。より自然な仕上がりを優先すれば、対象画像の最適階調数は実際に結果画像を出力してから決定することが好ましい。しかし、それでは、ユーザの操作が複雑になってします。そのため、ポスタリゼーション後の階調数を実施形態よりも多段階の32階調に固定する、もしくは、なんらかの処理を加え最適階調数を自動で判別する、などの改善が考えられる。

前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

この発明の着想に係る油彩画の描画手順の例を示す説明図である。 この実施形態に係る入力画像の一例を示す説明図である(人物、1500×2000画素:block=5)。 この実施形態に係る入力画像の異なる一例を示す説明図である(動物、2000×1500画素:block=5）。 この実施形態に係る入力画像のさらに異なる一例を示す説明図である(風景、2000×1500画素:block=5）。 この実施形態に係るキャンバス画像の一例を示す説明図である。 この実施形態に係るガウシアン・フィルタの水平方向の適用画素を示す説明図である。 この実施形態に係る平滑化画像の一例を示す説明図である（人物）。 この実施形態に係る平滑化画像の異なる一例を示す説明図である（動物）。 この実施形態に係る平滑化画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係るグレースケール画像の一例を示す説明図である（人物）。 この実施形態に係るグレースケール画像の異なる一例を示す説明図である（動物）。 この実施形態に係るグレースケール画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係るモノクロ・ポスタリゼーション画像の一例を示す説明図である（人物）。 この実施形態に係るモノクロ・ポスタリゼーション画像の異なる一例を示す説明図である（動物）。 この実施形態に係るモノクロ・ポスタリゼーション画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係る下塗り画像の一例を示す説明図である（人物）。 この実施形態に係る下塗り画像の異なる一例を示す説明図である（動物）。 この実施形態に係る下塗り画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係るクワハラ・フィルタ（Kuwahara filter）の詳細を示す説明図である。block=2。中央の画素が注目画素である。 この実施形態に係るクワハラ・フィルタ適用後の画像の一例を示す説明図である（人物）。 この実施形態に係るクワハラ・フィルタ適用後の画像の異なる一例を示す説明図である（動物）。 この実施形態に係るクワハラ・フィルタ適用後の画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係るアンシャープ・マスク適用後の画像の一例を示す説明図である（人物）。 この実施形態に係るアンシャープ・マスク適用後の画像の異なる一例を示す説明図である（動物）。 この実施形態に係るアンシャープ・マスク適用後の画像のさらに異なる一例を示す説明図である（風景）。 輪郭フィルタの詳細を示す説明図である。 この実施形態に係る輪郭フィルタ適用後の画像の一例を示す説明図である（人物）。 この実施形態に係る輪郭フィルタ適用後の画像の異なる一例を示す説明図である（動物）。 この実施形態に係る輪郭フィルタ適用後の画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係るストローク画像の一例を示す説明図である（人物）。 この実施形態に係るストローク画像の異なる一例を示す説明図である（動物）。 この実施形態に係るストローク画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係る重畳画像の一例を示す説明図である（人物）。 この実施形態に係る重畳画像の異なる一例を示す説明図である（動物）。 この実施形態に係る重畳画像のさらに異なる一例を示す説明図である（風景）。 この実施形態に係る出力画像の一例を示す説明図である（人物）。 この実施形態に係る出力画像の異なる一例を示す説明図である（動物）。 この実施形態に係る出力画像のさらに異なる一例を示す説明図である（風景）。 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。テクスチャライザ適用後の画像である。 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。ポスタリゼーション適用後の画像である。 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。パレットナイフ、アンシャープ・マスク適用後の画像である。 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。レイヤー重畳後に明るさ調整を行った画像である。 この実施形態に係る画像処理の各工程の流れを示す説明図である。

符号の説明

１１、２１、３１：注目画素
２３、２４、２５、２６：局所領域

Claims (9)

1. 原画像を入力として取得する工程と、
   前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り工程と、
   前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み工程と、
   生成された下塗り画像とストローク画像とを重畳する重畳工程と
   を備え、各工程をコンピュータが実行することを特徴とする油彩画調画像の生成方法。
2. 前記描き込み工程は、前記入力にクワハラ・フィルタを適用し、かつ、輪郭強調処理を行う請求項１に記載の生成方法。
3. 前記描き込み工程は、前記画像から輪郭を抽出し、抽出された輪郭をクワハラ・フィルタと輪郭強調処理とが適用された画像にさらに重畳する請求項２に記載の生成方法。
4. 前記下塗り工程は、前記入力の濃度成分を平滑化し、平滑化された濃度成分を所定の階調数に減じてモノクロ・ポスタリゼーション画像を得、かつ前記入力をＹＵＶ表色系に変換してＵおよびＶ成分からなる色成分を得、前記モノクロ・ポスタリゼーション画像の濃度成分と前記色成分とからなる下塗り画像を生成する請求項１〜３のいずれか一つに記載の生成方法。
5. 前記入力をグレースケール変換した結果を前記濃度成分とする請求項４に記載の生成方法。
6. 前記入力をＹＵＶ表色系に変換して得られるＹ成分を前記入力の濃度成分とする請求項４に記載の生成方法。
7. 前記重畳工程は、前記下塗り画像とストローク画像に加え、予め用意された油彩画用キャンバスの地模様を重畳する請求項１〜６に記載の生成方法。
8. 前記重畳工程は、重畳された画像に対し、予め定められた階調特性を適用して階調補正を行う請求項１〜７に記載の生成方法。
9. 原画像を入力として取得する処理と、
   前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り処理と、
   前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み処理と、
   生成された下塗り画像とストローク画像とを重畳する重畳処理
   の各処理をコンピュータに実行させることを特徴とする油彩画調画像の生成プログラム。