WO2005122089A1 - 画像処理方法および画像処理装置、画像拡大方法、サーバークライアントシステム、並びに表示端末 - Google Patents

Abstract

　画像（ＩＮ）を補間拡大して得た補間画像に対し、所定のベクトル変換を行い、画像特徴量ベクトルを求める。また、被写体特性を取得し、補間画像の物理特性パラメータを求め、これを用いて、補間画像が鮮鋭化するように画像特徴量ベクトルを変換する。変換後の画像特徴量ベクトルに対し、所定のベクトル変換の逆変換を行い、拡大画像（ＥＬＩ）を生成する。

Description

明 細 書

画像処理方法および画像処理装置、画像拡大方法、サーバークライアン トシステム、並びに表示端末

技術分野

[0001] 本発明は、画像処理技術に関するものであり、特に、例えば拡大処理などによって 得られた画像を鮮鋭ィヒする技術に関するものである。

背景技術

[0002] デジタル映像機器ネットワークの普及により、異なる規格形式のデジタル画像が様 々な入出力機器で取り扱われることが普通になっている。特に、画像のサイズは低解 像度力、ら超高解像度まで様々な種類がある。低解像度の画像としては、携帯電話搭 載のカメラやディスプレイで用いられる QCIF (176 X 144画素）、 QVGA (320 X 240画 素）、 CIF (352 X 288画素）などがある。標準的解像度の画像としては、 PCディスプレ ィ表示サイズである VGA (640 X 480)、 XGA (1024 X 768)、 SXGA (1280 X 1024)など がある。高解像度の画像としては、プロジェクタや特殊な LCDなどで使われる UXGA (1600 X 1200)、 QXGA (2048 X 1536画素）、 HDTV(1920 X 1080)などがある。最近で は、医学や印刷分野用途のディスプレイ向けとして、 QSXGA(2560 X 2048)、 QXGA(2 048 X 1536)、 QUXGA (3200 X 2400)、 QUXGA- wide (3840 X 2400)という超高解像度 の画像まで、存在している。

[0003] ここで、携帯電話で撮影した QVGA (320 X 240画素）画像を高精細の QUXGA(3200 X 2400)で表示する必要が生じたとする。この場合、原画像の縦横サイズをそれぞれ 10倍にデジタル的に拡大する、という従来にない高倍率の画像拡大処理が必要とな る。ところが、従来、通常のデジタル的な拡大処理では、想定する拡大率は、標準 T V解像度から HDTV解像度への 2 X 2倍程度であり、最大でも 4 X 4倍程度の拡大率 しか研究されてレ、なレ、（例えば (非特許文献 2)など)。

[0004] また、放送業界にぉレ、て画像のワンソース ·マルチユースの考え方が浸透してレ、る 。すなわち、一旦撮影した画像の一部分だけを切り出して他の用途に用いるといった ことが頻繁に行われる。例えば、広角レンズでサッカーなどのスポーツシーンを撮影 し、そこから個々の選手の画像をアップして切り出し表示するなどの場合、従来には ない高倍率の画像拡大処理が必要となる。このような画像切り出し用途における拡大 率には、その目標値に上限がない。

[0005] このように、画像の拡大はデジタル画像処理における大きな課題といえる力 その 技術的意味は、低解像度画像を高解像度画像に変換することである。そして、この画 像拡大すなわち高解像度化は、画像入力系と画像表示系のいずれを重視するかに よって、 2種類に分かれる。

[0006] 第 1は画像入力系を重視した拡大、高解像度化であり、いわゆる「超解像」分野がこ れにあたる。デジタル的な超解像とは、撮像中に素子を微小振動させる、あるいは連 続した動画像から被写体情報を取り込むなどの手法により、撮像素子のサンプリング 限界を超える情報を収集、画像処理により統合、収束させて、原画像を高精細化す る処理のことである。医療やリモートセンシングにおける科学的な画像計測に向いて いる。

[0007] 第 2は画像表示系を重視した拡大処理であり、これは、画像の忠実な高解像度化と レ、うよりは、ボケ画像を視覚的に鮮明かつ好ましい画像に変換する、といった画像の 鮮鋭化を目的とするものである。上述したような、携帯電話カメラで撮影した画像の高 解像ディスプレイへの表示、または、標準 TV画像を HDTV画面に表示する場合な どに用いられる。民生用画像機器では、このような高解像度表示に耐える品質を作り 出す画像拡大処理が重要になる。本発明は、この画像表示系を重視した処理に属 する。

[0008] 本分野の従来技術としては、バイキュービック補間法などの線形補間フィルタ、エツ ジを保存してボケを回避しつつ画像拡大するエッジ保存非線形フィルタなど力 長年 にわたり研究されてきた。し力、しこれらの手法では、低解像度画像において欠けてい る高周波成分を復元推定することはできなレ、。高周波成分復元処理のために、近年 では、低解像度と高解像度の画像サンプノレでの学習を用いた手法が研究されている 。以下、その 2例について説明する。

[0009] (特許文献 1)では、低解像度画像から高解像度画像を生成する方法が示されてい る。まず、初期画像補間すなわちスケールアップを行レ、、所望の画像サイズを有する 低解像度画像を生成する。この低解像度画像を、オーバーラップする低解像度パッ チに分割し、各低解像度パッチについて高周波成分を除去したミツドバンドパッチを 生成する。そして画像をスキャンしながら、コントラスト正規化されたミツドバンドパッチ 内ピクセル Mと既に予測した隣接ハイバンドパッチ Hとをシリアルに連結した探索べ タトルを生成し、トレーニング用データベースから最も近いハイバンドパッチを出力す る。このハイバンドパッチと上述の低解像度パッチとを加算合成し、 P 接するパッチと の接続性を有する高解像度パッチを次々に生成して、高解像度画像を生成する。

[0010] (非特許文献 1)では、ボケ画像の鮮鋭ィ匕のためにウェーブレット変換を適用した手 法が示されている。まず、鮮鋭画像とエッジのぼけた劣化画像の各々に 3段の離散 2 進型の 2次元ウェーブレット変換を施し、画像内の座標ごとに 16次元の多重解像度 ベクトルを得る。画像内のエッジ部分のみを対象とするため、平滑化成分を除いたも のを、 M個の学習ベクトルとする。ボケ画像の M個の学習ベクトルから選択される N 個の代表ベクトルを分析コードブックとし、鮮鋭画像の M個の学習ベクトルから生成し た N個の代表ベクトルを仮再生コードブックとして、分析コードブックから量子化イン デッタスを介して仮再生コードブックを引くことによって、鮮鋭化のプロセスを実現する 特許文献 1 :特開 2003— 18398号公報

非特許文献 1：阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像 度ベクトル量子化を用いた輪郭協調」電子情報通信学会論文誌 Vol.J79A 1996/5

(1032— 1040ページ）

非特許文献 2 :中静真、江部裕路、菊池久和、石井郁夫、牧野秀夫「多重スケール輝 度こう配平面における画像高解像度化」電子情報通信学会論文誌、 D-II、 V0I.J8I D -II No.10 (2249— 2258ページ）

発明の開示

発明が解決しょうとする課題

[0011] ところが、従来の技術には、次のような問題があった。

[0012] すなわち、画像内の画素値のミツドバンド周波数のベクトノレゃウェーブット変換係数 ベクトルなど画像波形信号解析による特徴量ベクトルを用いる方式では、結局のとこ ろ、画像入力情報を加工しているにすぎない。このため、特に拡大倍率が大きい場 合には、従来のバイキュービック補間法などの線形画像処理と比較して、格段に良 好な結果を出すことは困難であった。

[0013] 画像の鮮鋭化、すなわち、ボケ画像を視覚的に鮮明かつ好ましい画像に変換する 処理を、より効果的に実現するためには、画像情報以外に、画像に映された被写体 の、材質やカメラからの距離などといった特性を、画像処理に的確に反映させる必要 がある、と本願発明者らは考えた。

[0014] また、低解像度画像を一旦補間拡大した後に、このような画像の鮮鋭化を行うこと によって、画像サイズが小さい低解像度画像から、高解像度表示品質に耐えうる拡 大画像を生成することができる。

[0015] 前記の問題に鑑み、本発明は、画像処理として、被写体の特性、すなわち、その材 質やカメラからの距離などを効果的に反映させた画像の鮮鋭化を実現することを課 題とする。

課題を解決するための手段

[0016] 本発明は、画像処理として、原画像に対して所定のベクトル変換を行い、画像特徴 量ベクトルを求め、前記原画像に映された被写体の特性を取得し、取得した被写体 特性から前記原画像の物理特性パラメータを求め、前記物理特性パラメータを参照 して前記画像特徴量ベクトルを前記原画像が鮮鋭化するように変換し、変換後の画 像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、新たな画像を 生成するものである。

[0017] 本発明によると、原画像に映された被写体の特性が取得され、この被写体特性から 原画像の物理特性パラメータが求められる。そして、所定のベクトル変換により原画 像から求められた画像特徴量ベクトルは、原画像が鮮鋭化するように変換されるが、 このとき、物理特性パラメータが参照される。そして、変換後の画像特徴量ベクトルか ら、所定のベクトル変換の逆変換によって、新たな画像が生成される。したがって、被 写体特性が的確に反映された画像の鮮鋭ィヒを実現することができる。

[0018] また、取得する被写体特性は、被写体の材質情報、およびカメラから被写体までの 距離情報のうちの少なくともいずれか一方であることが好ましい。これにより、材質感 あふれる画像鮮鋭化、または、距離によるテクスチャサイズの変化が考慮された画像 鮮鋭化が、実現される。

[0019] また、前記画像特徴量ベクトルを、前記原画像のテクスチャ部とエッジ輪郭部とにそ れぞれ対応するテクスチャベクトルとエッジ輪郭ベクトルとに分けて、求めるのが好ま しい。

[0020] さらに、前記テクスチャベクトルについて、前記物理特性パラメータに含まれた，前 記被写体の材質に係る情報、および前記被写体とカメラとの距離に係る情報のうち 少なくともいずれか一方に応じて、変換を行うのが好ましい。あるいは、前記エッジ輪 郭ベクトルについて、指定されたシーン情報に応じて、変換を行うのが好ましい。

[0021] また、本発明は、画像拡大として、画像を補間拡大し、補間拡大された画像を原画 像として、前記本発明に係る画像処理を実行するものである。

発明の効果

[0022] 本発明によると、被写体特性から求められた原画像の物理特性パラメータが、画像 特徴量ベクトルの変換の際に参照されるので、被写体特性を的確に反映させた画像 の鮮鋭ィ匕処理を実現することができる。また、画像を補間拡大した上で、このような画 像の鮮鋭ィ匕を行うことによって、画像サイズが小さい低解像度画像から、高解像度表 示品質に耐えうる拡大画像を生成することができる。

図面の簡単な説明

[0023] [図 1]図 1は、本発明の一実施形態に係る画像処理方法を示す図である。

[図 2]図 2は、本発明の一実施形態に係る画像処理装置の構成図である。

[図 3]図 3は、ウェーブレット変換を用いたベクトル変換の一例を示す図である。

[図 4]図 4は、ウェーブレット変換を用いたベクトル変換の一例を示す図である。

[図 5]図 5は、図 2における特性取得部の詳細な構成図である。

[図 6]図 6は、材質判定処理の一例を説明するための図である。

[図 7]図 7は、材質判定処理の一例を説明するための図である。

[図 8]図 8は、屋外の人物シーンの画像の例である。

[図 9]図 9は、図 8の画像における物理特性パラメータの一例である。

[図 10]図 10は、図 2の画像合成部の詳細な構成図である。 [図 11]図 11は、テクスチャベクトルの変換処理を概念的に示す図である。

[図 12]図 12は、エッジ輪郭ベクトルの変換処理を概念的に示す図である。

園 13]図 13は、本発明の一実施形態によって得られた拡大画像のイメージ図である

[図 14]図 14は、コードブックの生成方法を説明するための図である。

[図 15]図 15は、図 14の場合における量子化インデックスである。

[図 16]図 16は、コードブックの作成を具体的に説明するための図である。

[図 17]図 17は、コードブックの作成を具体的に説明するための図である。

[図 18]図 18は、学習ベクトルを取得するためのボケ画像および鮮明画像の取得方法 を説明するための図である。

園 19]図 19は、距離を考慮した被写体の学習を示す図である。

[図 20]図 20は、本発明に係る画像処理を実行する第 1の構成例を示す図である。 園 21]図 21は、 RFIDタグを利用して被写体特性を取得する構成を示す図である。 園 22]図 22は、本発明に係る画像処理を実行する第 2の構成例を示す図である。 園 23]図 23は、本発明に係る画像処理を実行する第 3の構成例を示す図である。 園 24]図 24は、被写体特性を取得可能なカメラの構成を示す図である。

園 25]図 25は、本発明に係る画像処理を実行する第 4の構成例を示す図である。 園 26]図 26は、本発明に係る画像処理を実行する第 5の構成例を示す図である。 園 27]図 27は、人物センサ付きカメラの構成を示す図である。

[図 28]図 28は、人物センサ付きカメラの構成を示す図である。

符号の説明

IN 入力画像

ELI 拡大画像

ITP 補間画像

PR 物理特性パラメータ

M 材質パラメータ

L 距離パラメータ

TV テクスチャべクトノレ EV エッジ輪郭べクトノレ

STV 鮮鋭化テクスチャベクトル

SEV 鮮鋭化エッジ輪郭ベクトル

nt, ne 量子化インデックス

SID シーン指定情報

S1 画像取得工程

S2 画像補間拡大工程

S3 画像特徴量ベクトル変換工程

S4 エッジ輪郭'テクスチャ分離工程

S5 被写体特性取得工程

S6 物理特性パラメータ算出工程

S7 シーン指定工程

S8 物理画像合成工程

11 補間部

12 変換部

13 シーン指定部

20 画像合成部

22 テクスチャ解析コードブック（解析コードブック） 23 テクスチャ再生コードブック群（再生コードブック群） 23a テクスチャ再生コードブック（再生コードブック） 26 エッジ輪郭解析コードブック (解析コードブック） 27 エッジ輪郭再生コードブック群（再生コードブック群) 27a エッジ輪郭再生コードブック（再生コードブック） 30 特性取得部

31 センサ部

32 材質判定部

33 距離判定部

123 サーバー 124 クライアント

131 ベクトル量子化部

132 解析コードブック

133 ベクトル再生部

134 再生コードブック

152 撮像素子

163 表示端末

172 表示端末

182 撮像素子

192 撮像素子

発明を実施するための最良の形態

[0025] 本発明の第 1態様では、画像処理方法として、原画像に対して所定のベクトル変換 を行い、画像特徴量べクトノレを求める第 1工程と、前記原画像に映された被写体の特 性を取得し、取得した被写体特性力 前記原画像の物理特性パラメータを求める第 2工程と、前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原 画像が鮮鋭化するように変換する第 3工程と、変換後の画像特徴量ベクトルに対して 前記所定のベクトル変換の逆変換を行い、新たな画像を生成する第 4工程とを備え たものを提供する。

[0026] 本発明の第 2態様では、取得する被写体特性は、被写体の材質情報、およびカメラ 力、ら被写体までの距離情報のうち少なくともいずれか一方である第 1態様の画像処 理方法を提供する。

[0027] 本発明の第 3態様では、前記所定のベクトル変換は、ラプラシアンピラミッド解析ま たはウェーブレット解析を用いるものである第 1態様の画像処理方法を提供する。

[0028] 本発明の第 4態様では、前記第 1工程は、前記画像特徴量ベクトルを、前記原画像 のテクスチャ部とエッジ輪郭部とにそれぞれ対応するテクスチャベクトルとエッジ輪郭 ベクトルとに分けて、求めるものであり、前記第 3工程は、前記テクスチャベクトルと前 記エッジ輪郭ベクトルとに対して、個別に変換を行うものであり、前記第 4工程は、変 換後の前記テクスチャベクトルと前記エッジ輪郭ベクトルとを合わせて、前記逆変換 を行うものである第 1態様の画像処理方法を提供する。

[0029] 本発明の第 5態様では、前記第 3工程は、前記テクスチャベクトルについて、前記 物理特性パラメータに含まれた，前記被写体の材質に係る情報、および前記被写体 とカメラとの距離に係る情報のうち少なくともいずれか一方に応じて、変換を行うもの である第 4態様の画像処理方法を提供する。

[0030] 本発明の第 6態様では、前記第 3工程は、前記エッジ輪郭ベクトルについて、指定 されたシーン情報に応じて、変換を行うものである第 4態様の画像処理方法を提供す る。

[0031] 本発明の第 7態様では、前記第 3工程は、解析コードブックを参照して、前記画像 特徴量ベクトルをベクトル量子化し、量子化インデックスを求めるステップと、予め準 備された再生コードブック群の中から、前記物理特性パラメータに従って、最適な再 生コードブックを選択するステップと、

選択した再生コードブックを、前記量子化インデックスを用いてルックアップし、変換 後の画像特徴量ベクトルを求めるステップとを備えた第 1態様の画像処理方法を提 供する。

[0032] 本発明の第 8態様では、画像拡大方法として、画像を補間拡大するステップと、第 1 態様の画像処理方法に従って、補間拡大された画像を前記原画像として画像処理 するステップとを備えたものを提供する。

[0033] 本発明の第 9態様では、画像処理装置として、原画像に対して所定のベクトル変換 を行い、画像特徴量ベクトルを求める変換部と、前記原画像に映された被写体の特 性を取得し、取得した被写体特性から前記原画像の物理特性パラメータを求める特 性取得部と、前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記 原画像が鮮鋭化するように変換し、変換後の画像特徴量ベクトルに対して前記所定 のベクトル変換の逆変換を行い、新たな画像を生成する画像合成部とを備えたもの を提供する。

[0034] 本発明の第 10態様では、前記特性取得部は、前記被写体特性として、被写体の 材質情報を取得する第 9態様の画像処理装置を提供する。

[0035] 本発明の第 11態様では、前記特性取得部は、分光特性を観測可能なセンサ部を 備え、このセンサ部の出力を用いて、被写体の材質情報を取得する第 10態様の画 像処理装置を提供する。

[0036] 本発明の第 12態様では、前記特性取得部は、所定の材質に対応する固有の分光 感度を持つ画素を有する撮像素子を備え、この撮像素子の出力を用いて、被写体の 材質情報を取得する第 10態様の画像処理装置を提供する。

[0037] 本発明の第 13態様では、前記特性取得部は、被写体に付された無線タグに記録 された材質情報を読みとる第 10態様の画像処理装置を提供する。

[0038] 本発明の第 14態様では、前記特性取得部は、前記被写体特性として、カメラから 被写体までの距離情報を取得する第 9態様の画像処理装置を提供する。

[0039] 本発明の第 15態様では、被写体特性を取得する際の解像度は、前記原画像の解 像度よりも低い第 9態様の画像処理装置を提供する。

[0040] 本発明の第 16態様では、サーバーとクライアントとを備え、入力画像を拡大するサ 一バークライアントシステムとして、前記サーバーは、前記入力画像を補間拡大し、 補間拡大された画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求 め、前記画像特徴量ベクトルをベクトル量子化し、量子化インデックスを求め、前記量 子化インデックスを、ネットワークを介して送信するものであり、前記クライアントは、前 記量子化インデックスと、前記入力画像の物理特性パラメータを、ネットワークを介し て受信し、前記物理特性パラメータを参照しつつ、前記量子化インデックスを用いて 再生コードブックをノレックアップし、前記補間画像が鮮鋭化されるように変換された画 像特徴量ベクトルを、求め、変換後の画像特徴量ベクトルに対して前記所定のベタト ル変換の逆変換を行い、新たな画像を生成するものを提供する。

[0041] 本発明の第 17態様では、外部から受けた入力画像を拡大する表示端末として、前 記入力画像を補間拡大する補間部と、前記補間部から出力された補間画像に対し て所定のベクトル変換を行い、画像特徴量ベクトルを求める変換部と、前記入力画像 とともに外部から受けた物理特性パラメータを参照して、前記画像特徴量ベクトルを、 前記補間画像が鮮鋭化するように変換し、変換後の画像特徴量ベクトルに対して前 記所定のべ外ル変換の逆変換を行い、新たな画像を生成する画像合成部とを備え たものを提供する。 [0042] 本発明の第 18態様では、原画像に対して所定のベクトル変換を行うことによって求 められた画像特徴量ベクトルを、外部から受けて、画像を生成する表示端末として、 前記画像特徴量ベクトルとともに外部から受けた物理特性パラメータを用いて、前記 画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換し、変換後の画像特徴 量ベクトルに対して、前記所定のベクトル変換の逆変換を行い、新たな画像を生成す る画像合成部を備えたものを提供する。

[0043] 以下、本発明の実施の形態について、図面を参照して説明する。

[0044] 図 1は本発明の一実施形態に係る画像処理方法を示す図である。図 1において、 画像取得工程 S1では、被写体シーン SCを撮影し、入力画像 INを取得する。画像補 間拡大工程 S2では、バイキュービック法などを用いて、入力画像 INを目的画像サイ ズに補間拡大する。補間拡大後の画像は、入力画像 INの周波数成分しか有してい ないため、当然にボケた画像となる。

[0045] 画像特徴量ベクトル変換工程 S3では、原画像としての補間拡大画像に対して所定 のベクトル変換を行い、特徴量ベクトルの集合体（画像特徴量ベクトル）を求める。こ の画像特徴量ベクトルは、多重解像度ベクトルのように、画像の空間ドメインにおける 周波数情報とスケーリング (解像度）情報とを含んだものが好適である。このため、例 えば、ラプラシアンピラミッド解析またはウェーブレット変換などを用いて、変換を行う のが好ましい。そして、エッジ輪郭'テクスチャ分離工程 S4では、工程 S3で求められ た画像特徴量ベクトルを、画像のエッジ輪郭部に対応するエッジ輪郭ベクトルと、画 像のテクスチャ部に対応するテクスチャベクトルとに分離する。図 1の工程 S3, S4に よって、本発明の第 1工程が構成される。

[0046] また、被写体特性取得工程 S5におレ、て、入力画像 INに撮された被写体の特性を 取得する。そして、物理特性パラメータ算出工程 S6では、工程 S5で取得された被写 体特性から、補間拡大画像の物理特性パラメータを求める。図 1の工程 S5, S6によ つて、本発明の第 2工程が構成される。

[0047] また、シーン指定工程 S7において、指定されたシーン情報を入力する。ここで、シ ーンとは、撮影する対象、撮影照明、構図など総合的な撮影環境を示すものである。 本実施形態では、ユーザが、人物撮影、遠景撮影、静物撮影などの撮影モードをシ ーン情報として指定するものとする。構図が同じであっても、人物撮影シーンではェ ッジ再現は滑らかにしたレ、、静物撮影シーンではエッジを強調したいなど、シーンに 応じた画作り意図があり得る。このため、シーン情報を利用して、画像の輪郭エッジ 部分の強調度合を調整するようにしてレ、る。

[0048] そして、物理画像合成工程 S8において、工程 S4で得られたエッジ輪郭ベクトルと テクスチャベクトルを基にして、工程 S6によって得られた物理特性パラメータおよび 工程 S7で得られたシーン情報を用いて、拡大画像 ELIを生成する。図 1の工程 S8に よって、本発明の第 3および第 4工程が構成される。

[0049] ここで、工程 S5で取得する被写体特性は、例えば、被写体の材質情報、カメラから 被写体までの距離情報などである。材質情報は、被写体の分光特性情報、近赤外、 遠赤外情報などから得ればよい。また、被写体特性を取得する際の解像度は、補間 拡大画像の解像度に合わせてもよいし、合わせなくてもよレ、。すなわち、補間拡大画 像の解像度よりも低くてもかまわない。

[0050] 図 2は本実施形態に係る画像処理装置の構成を示す図である。図 2において、補 間部 11は、入力画像 INに対して補間拡大処理を行い、所望の拡大画像 ELIと同一 サイズの補間画像 ITPを生成する。上述のように、この補間画像 ITPはボケた画像と なる。変換部 12は、補間画像 ITPに対して所定のベクトル変換を行い、画像特徴べ タトルとしてテクスチャベクトル TVおよびエッジ輪郭ベクトル EVを生成する。生成され たテクスチャベクトル TVおよびエッジ輪郭ベクトル EVは、画像合成部 20に供給され る。

[0051] 図 3および図 4は図 2の変換部 12におけるベクトル変換の一例を示す図である。こ こでのべ外ル変換は、（非特許文献 1)で用いられた、時間空間領域において間引 きを行わない離散 2進ウェーブレット展開を利用する。この手法では、通常のウェーブ レット変換と異なり、並進不変性が保証され、スケーリングが 3段の場合は、元の画像 が 16個の帯域画像 BIに分割される。

[0052] すなわち、図 4に示すように、第 1段 (スケール)では、元の補間画像 ITPが、 X、 Y 方向のウェーブレット変換により、補間画像 ITPと同一サイズの H1H1、 H1L1、 L1H 1、 L1L1の 4成分画像に分解される。第 2段（スケール）では、 4成分のうち、 X, Y双 方向の高周波成分 H1H1以外の成分がさらに分解される。このとき、 L1L1のみが再 度 X, Yの双方向に分解されるのに対して、 H1L1と L1H1は 1方向への分解のみが 行われ、計 8個の成分となる。さらに第 3段（スケール）では、 H1H2、 H2H1、 H2H2 以外の成分が分解される。このとき、 L2L2のみが X， Y双方向に分解され、他は 1方 向への分解のみが行われ、計 12個の成分となる。ここで、スケールの増加によって 2 個、 4個に再分解されたもの（点線で図示）は、後の合成によって生成することができ る。

[0053] このようなウェーブレット変換によって、補間画像 ITPは、図 3に示した 16個の成分 画像（帯域画像 BI)に分解される。そして、補間画像 ITPのある画素 Pに対して、その 画素位置に対応する 16個の成分をまとめたものを、画素 Pの多重解像度ベクトル M RVとする。

[0054] さらに本実施形態では、この多重解像度ベクトル MRVに対してノルム（絶対値）を 定義し、このノルムが所定の上限値以上のベクトルが輪郭エッジを表現し、それ以外 がテクスチャを表現するものと判断する。すなわち、得られた多重解像度ベクトル MR Vを、そのノルムに応じて、テクスチャベクトル TVとエッジ輪郭ベクトル EVとに分類す る。図 3では、画素 Pの多重解像度ベクトル MRVはテクスチャベクトル TVに分類され ている。

[0055] 図 2の構成に戻り、特性取得部 30は、補間画像 ITPに撮された被写体の特性を取 得し、取得した被写体特性力 補間画像 ITPの物理特性パラメータ PRを求める。本 実施形態では、被写体の材質に係る材質パラメータ Mと、カメラと被写体との距離に 係る距離パラメータ Lと力 物理特性パラメータ PRとして求められる（以下、適宜、 PR (M, Uと記す)。特性取得部 30は、センサ部 31、材質判定部 32および距離判定部 33を備えている。求められた物理特性パラメータ PRは、画像合成部 20に供給される

[0056] 図 5は特性取得部 30の詳細な構成を示す図である。図 5に示すように、センサ部 3 1は、スペクトル情報取得部 311および投光部 312を備え、材質判定部 32は識別部 321、投光制御部 322および類似度計算部 323を備え、距離判定部 33は輝度量子 化部 331および距離数値量子化部 332を備えている。 [0057] 投光部 312は、投光制御部 322の制御に従レ、、被写体撮影時に特定波長のフラッ シュを発光する。スペクトル情報取得部 311は、投光部 312の発光に同期して、被写 体からの反射光をマルチスペクトルにて取得する。識別部 321は、反射光の分光特 性と投光した光の分光特性とから、被写体の分光反射率を識別する。類似度計算部 323は、この分光反射率から、特定材質との類似を示す材質パラメータ Mを求める。 この材質パラメータ Mは、画像の画素単位に生成される。ここでは、特定材質として、 人間の肌 f、髪 h、植物 p、皮 s、繊維 t、プラスチックおおよび金属 mを、用いる。すな わち、材質パラメータ Mを、次のように表すものとする。

M= (f， h, p, s， t, d, m)

この場合、スペクトル情報取得部 311として、特定材質に対応した特殊なフィルタを 複数種類有する撮像素子を用レ、てもよレ、。

[0058] 図 6および図 7は材質判定部 32における処理の一例を説明するための図である。

図 6において、 R( λ )は被写体の分光反射率、 Ri( )は典型的な人間の肌の分光 反射率、 Rp ( λ )は典型的な植物の分光反射率である。いま、スペクトル情報取得部 311によって、限定された狭帯域 (A) (B) (C)での観測値のみが取得されたとする。 そこで、まず被写体と各材質との分光反射率の差である色信号空間内距離を計算す る。例えば、被写体と人間の肌との分光反射率の二乗距離は、次のようになる。

E2=[R(A) -Rf(A)]2+[R(B) -Rf(B)]2+[R(C)-Rf(C)]2

[0059] 次に、求められた距離を図 7のような変換に従ってしきい値処理し、 0〜：!の範囲の 数値を、肌 fとの類似度として得る。同様の処理を、他の材質である、髪 h、植物 p、皮 s、繊維 t、プラスチックお金属 mについて実施することによって、材質パラメータ Mを 求めることができる。例えば、理想的な人間の肌の場合は、

M= (1, 0， 0， 0, 0, 0， 0)

となることが期待される。

[0060] 一方、距離判定部 33では、投光による画像の輝度値の高低から、カメラと被写体と の概略距離を判定する。輝度量子化部 331は、投光部 312の発光に同期して得た 画像の輝度を量子化する。距離数値量子化部 332はこの量子化された輝度値から、 数段階の距離パラメータ Lを生成する。この距離パラメータ Lは、画像の画素ごとに出 力される。

[0061] このようにして、材質パラメータ Mと距離パラメータ Lの対である物理特性パラメータ PR (M, L)が生成される。なお、物理特性パラメータ PRは、画像で比較的平坦なテ タスチヤ部の処理にだけ用いられるものであり、エッジ輪郭部には用いられなレ、。この ため、物理特性パラメータ PRは、入力画像よりも低解像度で取得しても力、まわない。

[0062] 図 8のような屋外の人物シーンの画像において、取得された物理特性パラメータ PR の一例を図 9に示す。

[0063] 図 2に戻り、画像合成部 20は、特性取得部 30から出力された物理特性パラメータ P R、およびシーン指定部 13から出力されたシーン指定情報 SIDを用いて、テクスチャ ベクトル TVおよびエッジ輪郭ベクトル EVを、補間画像 ITPが鮮鋭ィ匕するように変換 する。そして、変換後のベクトル TV, EVに対して、変換部 12におけるベクトル変換 の逆変換を行い、画像に変換する。この結果、高解像度の拡大画像 ELIが生成され る。

[0064] ここで、テクスチャベクトル TVおよびエッジ輪郭ベクトル EVの変換には、予め学習 されたベクトル間の対応表、すなわちコードブックを利用するものとする。

[0065] 図 10は画像合成部 20の詳細な構成を示す図である。図 10において、テクスチャ ベクトル再生部 21は、テクスチャベクトル TVを鮮鋭化テクスチャべクトノレ STVに変換 する。このとき、テクスチャ解析コードブック 22、および、テクスチャ再生コードブック 群 23から選択部 24によって選択されたテクスチャ再生コードブックを、参照する。選 択部 24は、物理特性パラメータ PRによって示された材質および距離に応じたテクス チヤ再生コードブックを選択する。

[0066] また、エッジ輪郭べクトノレ再生部 25は、エッジ輪郭ベクトル EVを鮮鋭化エッジ輪郭 ベクトル SEVに変換する。このとき、エッジ輪郭解析コードブック 26、および、エッジ 輪郭再生コードブック群 27から選択部 28によって選択されたエッジ輪郭再生コード ブックを、参照する。選択部 28は、シーン指定情報 SIDによって示されたシーンに応 じたエッジ輪郭再生コードブックを選択する。

[0067] 図 11はテクスチャベクトル TVの変換処理を概念的に示す図である。図 11に示すよ うに、テクスチャ解析コードブック 22をルックアップすることによって、テクスチャべタト ノレ TVをベクトル量子化したときの量子化インデックス ntが読み出される。この量子化 インデックス ntは、画像の信号波形処理から算出されるものであり、物理特性情報は 反映されていない。一方、テクスチャ再生コードブック群 23では、肌 f、髪 hなどの材 質毎に、また距離 L毎に、テクスチャ再生コードブックが準備されている。そこで、与え られた物理特性パラメータ PRに示された材質および距離に従って、最適な再生コー ドブック 23aを選択する。そして、選択した再生コードブック 23aを、量子化インデック ス ntをキーとしてルックアップし、鮮鋭化テクスチャベクトル STVを求める。

[0068] このとき、最適な再生コードブックを 1個選択する代わりに、複数の再生コードブック を選択し、選択した各再生コードブックから読み出したベクトルを、物理特性パラメ一 タ PRを用いて重み付け補間合成するようにしてもよい。すなわち、材質パラメータ M を 1つの加重係数ベクトルとみなし、各材質に対応する再生コードブックに対して量 子化インデックス ntを適用したときの再生ベクトルを ZMとすると、最終的に合成され る鮮銳ィ匕テクスチャベクトル Zは、次のように表現される。

Ζ = Μ·ΖΜ

= f -Zf+h-Zp + p -Zp + s -Zs + t-Zt + d-Zd+m-Zm

距離パラメータ Lについても、同様な補間は可能である。

[0069] 図 12はエッジ輪郭べタトノレの変換処理を概念的に示す図である。図 12に示すよう に、エッジ輪郭解析コードブック 26をルックアップすることによって、エッジ輪郭べタト ル EVをベクトル量子化したときの量子化インデックス neが読み出される。一方、エツ ジ輪郭再生コードブック群 27では、シーン毎に、エッジ輪郭再生コードブックが準備 されている。そこで、与えられたシーン指定情報 SIDに示されたシーンに従って、最 適なエッジ輪郭再生コードブック 27aが選択される。そして、選択したエッジ輪郭再生 コードブック 27aを、量子化インデックス neをキーとしてルックアップし、鮮鋭化エッジ 輪郭ベクトル SEVを求める。

[0070] 図 10に戻り、画像変換部 29は、鮮鋭ィ匕テクスチャベクトル STVと鮮鋭化エッジ輪 郭ベクトル SEVとを合成する。この合成は、例えば、多重解像度ベクトルの加算に相 当する処理であればよい。そして、合成後の多重解像度ベクトルに対して所定のベタ トル変換の逆変換を行レ、、これにより、拡大画像 ELIを生成する。この逆変換は、ェ 程 S3におけるベクトル変換の逆変換であればよぐ例えば、ラブラシアンピラミッドの 合成過程やウェーブレット逆変換などを用いればょレ、。

[0071] 図 13は本実施形態によって得られた拡大画像のイメージ図である。図 13に示すよ うに、被写体の顔の入力画像 INを一旦補間拡大した後に (補間画像 ITP)、鮮鋭化 処理を行う。このとき、被写体が人間であり、その材質が肌 (材質: f)であると判定され たときは、人物の肌に近いテクスチャを持つ画像 IAに拡大される。一方、被写体が例 えばマネキン人形であり、その材質がプラスチック (材質： d)であると判定されたときは 、マネキン人形の顔に近いテクスチャをもつ画像 IBに拡大される。

[0072] なお、本実施形態では、入力画像 INを補間拡大し、この補間拡大した画像 ITPを 原画像として鮮鋭化処理し、拡大画像 ELIを生成する場合を例にとって説明したが、 本発明に係る画像処理の適用範囲は、画像拡大処理に限定されるものではなレ、。画 像拡大以外であっても、ボケ画像を鮮明にする場合や、画像のサイズを変更したり、 場合によっては画像を縮小する場合にも有効である。

[0073] <コードブックの作成 >

図 14〜図 17を用いて、テクスチャやエッジ輪郭に対する解析コードブックおよび再 生コードブックの作成方法について、説明する。

[0074] 図 14は J次元の多重ベクトル空間内における解析コードブックと再生コードブックの 基本的な生成方法を説明する図である。まず、ボケ画像と鮮鋭化画像の画像対につ いて多重解像度ベクトル変換をそれぞれ実施し、画素数個の多重解像度ベクトルを サンプルとして得る。ここで、ボケ画像とは、同一シーンのデジタル画像において低 周波数成分を比較的多く含む画像を意味し、鮮鋭化画像とは、高周波数成分を比 較的多く含み、視覚的に良好な画像を意味する。

[0075] そして、鮮鋭ィ匕画像に係る多重解像度ベクトルから V個の学習ベクトル Fs (v)を選 択し、この学習ベクトル Fs (v)を用いて仮再生コードブックを作成する。ここで Vは学 習ベクトルのインデックスである。次に、ボケ画像に係る多重解像度ベクトルのうち Fs (v)と同一位置から選択した学習ベクトル Gs (v)を用いて、解析コードブックを作成す る。

[0076] 次にそれぞれのコードブックを量子化する。すなわち、学習べクトノレ Fs (V)， Gs (V) 各々のベクトル空間を N個の分割領域に分けて量子化し、各分割領域の代表べタト ルをそれぞれ Zn, ynとする。 V個の学習ベクトルはいずれかの領域に属するので、 v 番目の学習ベクトルにつレ、て得られた仮再生コードブックの量子化インデックスを IF ( V)、解析コードブックの量子化インデックスを IG (v)とする。次式に示すように、ボケ 画像のインデックス n毎に対応する仮再生コードブックを使用頻度によって重み付け する。その後、ノルムの正規化を行うことによって、再生コードブックが算出される。

[数 1]

図 15は図 14の場合における量子化インデックスを示す表である。したがって、再生 コードブックは、次のようになる。

[数 2]

2z₁ + z 2

2 + z₂

[0078] 以上の過程を、図 16および図 17を用いて、 100画素からなるボケ画像を同じ画素 数の鮮鋭ィヒ画像に変換する際の解析コードブックおよび再生コードブックを作成する 場合を例にとって、説明する。

[0079] ボケ画像と鮮鋭化画像について、 100画素の画素位置ごとに多重解像度べクトノレ に変換する。これを、 U〜U 、 V〜V とする。ベクトル U〜U とベクトル V〜V

1 100 1 100 1 100 1 10 との間には、画素位置が同一という関係があるので、コードブックは、 Uを入力したと

0

きに対応する Vを出力するように作成すればよい。ただし、実際には多重解像度べク トルはベクトル量子化によって代表ベクトルに分類される。

[0080] 図 16の例では、ボケ画像のベクトル Uは UAと UBの 2種に量子化され、鮮鋭化画 像のベクトル Vは VAと VBの 2種に量子化されている。解析コードブックや再生コード ブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号 を意味している。そして、コードブックを引くということは、ベクトル番号 Vを入力すると 量子化されたベクトルの集合の番号である 1, 2といった番号を得ることに他ならない 。また、量子化集合 VAには代表ベクトル Z1が、量子化集合 VBには代表ベクトル Z2 が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代 表値をとるなどの方法によって計算される。

[0081] 次に、上述したような算出方法をとることによって、図 17に示すように、ベクトル番号 力 量子化インデックス（1または 2)を出力する解析コードブック CB1と、量子化イン デッタス（1または 2)を入力して再生ベクトルを出力する再生コードブック CB2とが生 成される。このようにして生成した解析コードブックと再生コードブックを結合して用い ることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトル に変換することができる。

[0082] 次に、学習ベクトルを取得するためのボケ画像および鮮明画像の取得方法につい て説明する。

[0083] 図 18に示すように、撮影シーン SCについて、被写体の人物の顔部分を切り出して 拡大する場合を想定する。いま、シーン SC全体の画素数が N X Nであり、顔部分に 相当する範囲 FCのサイズが（N/10 X N/10)であるとする。

[0084] 範囲 FCで切り出された画像を、例えばバイキュービック補間法などを用いて、元の 画像と同じサイズ (N X N)までデジタル的に拡大する。このとき、生成された画像は 低周波数成分を多く含むいわゆるボケ画像となる。このボケは光学的なレンズボケで はなくデジタル的なものである。一方、撮影時にズームレンズを用いて、範囲 FC—杯 に撮影をしたとき、フレーミングおよび画角が同じであり、かつ高周波数成分を多く含 む（N X N)画素の鮮明画像を得ることができる。

[0085] このようにして得たボケ画像と鮮明画像の対を、学習画像として用いて、多重解像 度ベクトル変換を行レ、、解析コードブックおよび再生コードブックを作成すればよレ、。 また、ボケ画像を生成するとき、工程 S2における補間拡大手法と同じ手法を用いるこ とによって、実際の処理に合った学習画像を得ることができる。

[0086] ところ力 実際の撮影シーンを用いて学習サンプノレを取得できるとは、必ずしも限ら ない。このため、類似した材質表面を用いて学習し、解析コードブックや再生コードブ ックを作成することが多い。

[0087] ここで問題となるのが、カメラと被写体間の距離である。例えば図 8において、領域 A4における遠方の建物の表面に張ってあるタイルの模様を再生する場合など、実シ ーンで学習画像対を得られない場合は、別途タイルを持ってきて事前に撮影して学 習する必要がある。この場合、距離が不明であるから、距離を変えた状態でボケ画像 と鮮明画像との対を学習しなければならない。

[0088] 図 19は距離を考慮した被写体の学習を示す図である。図 19に示すように、距離を L1から L4まで離散的に変化させて被写体を撮影し、各距離において、全画像から 対象領域を切り出して補間拡大したボケ画像と、光学ズームにて対象領域を撮影し た鮮明画像の対を作成する。そして、各距離毎に、多重解像度ベクトルの学習を行 レ、、解析コードブックおよび再生コードブックを作成する。

[0089] ただし、エッジ輪郭画像とテクスチャ画像のうち、距離が関係するのはテクスチャ画 像の方である。このことは、エッジ輪郭画像では、距離によらず理想エッジは太さのな い線であるのに対して、テクスチャ画像は距離によって空間周波数が異なってくる、と レ、う点から明らかである。上述した実施形態において、テクスチャベクトルの鮮鋭化の 場合は、距離を考慮したが、エッジ輪郭ベクトルの鮮鋭化の場合は、距離を考慮しな 力 たのはこの理由による。

[0090] したがって、エッジ輪郭に関しては、様々なシーンを対象にしてボケ画像と鮮明画 像の対によって学習を行えばよいが、実際の撮影時に用いる被写体に類似したエツ ジ特性をもつ被写体を用いるほうが望ましいことはいうまでもない。例えば、金属被写 体の画像を拡大したい場合は、金属被写体シーンを学習することが好ましぐ洋服な どの布地の画像を拡大したレ、場合は、布地被写体のシーンを学習することが好まし レ、。このため、エッジ輪郭再生コードブック群は、シーン毎に作成されている。

[0091] (第 1の構成例）

図 20は本発明に係る画像処理を実行する第 1の構成例として、パーソナルコンビュ ータを用いた画像拡大装置の構成を示す図である。図 20において、カメラ 101の解 像度はディスプレイ 102の解像度よりも低いので、ディスプレイ 102の表示能力を最 大限に生かすため、メインメモリ 103にロードされた画像処理プログラムを実行するこ とによって拡大画像を作成する。この画像処理プログラムは、第 1の実施形態で述べ たような画像処理をコンピュータに実行させるものである。

[0092] カメラ 101によって取り込まれた低解像度画像は画像メモリ 104に記録される。また 、センサ 105によって取得された被写体特性も画像メモリ 104に記録される。外部記 憶装置 106には、メインメモリ 103の画像処理プログラムから参照できるように、予め、 エッジ輪郭ベクトルとテクスチャベクトルの解析コードブックおよび再生コードブック 10 6aを準備しておく。メインメモリ 103の画像処理プログラムはメモリバス 107を介して 画像メモリ 104の低解像度画像を読み込み、ディスプレイ 102の解像度に合わせて 拡大画像に変換して、再びメモリバス 107経由でビデオメモリ 108に転送する。ビデ オメモリ 108に転送された拡大画像はディスプレイ 102によって観察できる。

[0093] なお、本発明を実現するための構成は図 20に拘束されるものではなぐ様々な構 成をとることができる。例えば、解析コードブックまたは再生コードブックのいずれかを 、他のパーソナルコンピュータに接続された外部記憶装置からネットワーク 109を介し て取得しても力まわなレ、。また、低解像度画像は、ネットワーク 109を介して取得して も力まわなレ、。また、被写体特性は、他のパーソナルコンピュータに接続された外部 記憶装置からネットワーク 109を介して取得してもかまわないし、また、 RFIDタグのよ うな手段を介して被写体から直接取得してもよい。

[0094] このように本発明は、広く普及しているパーソナルコンピュータで実行可能であり、 特別な運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアと ハードウェアの組み合わせなど、本発明はパーソナルコンピュータのシステム化方法 を拘束するものではない。

[0095] 図 21は無線タグを利用して被写体特性を取得する構成を示す図である。図 21に おいて、カメラ付携帯電話 111は、低解像度の撮像しかできないが、無線タグ用アン テナ 112と接続されており、被写体の撮像とともに、被写体に付された無線タグから 被写体特性に関する情報を取得できる。すなわち、カメラ付携帯電話 111内に、無 線タグ用アンテナ 112を含む特性取得部が構成されている。

[0096] いま、被写体は、金属製球 113、プラスチック製球 114および皮製球 115の 3種で ある。これらをカメラ付携帯電話 111で撮影したとき、解像度が低いために球表面の 材質感の違いが不明瞭となり、特に高解像度画像に拡大する場合は、材質感が著し く劣ィ匕してしまう。そこで予め、各球 113, 114, 115に無 f泉タグ 113a, 113b, 1 13c を付けておく。なお、図では、無線タグは球表面に付着しているが、内部に装着され ていてもかまわない。各無線タグ 113a， 113b, 113cには、各球体の表面材質に関 する情報が蓄積されている。ここでは、材質の大別と具体的な名称とが蓄積されてい るものとする。例えば、無線タグ 113aには「m :銅」、無線タグ 114aには「d :塩化ビニ ール」、無線タグ 115aには「s：牛皮」のような情報が蓄積されてレ、る。

[0097] これらの情報は、アンテナ 112によって読み込まれ、撮像した画像の被写体と対応 付けられてカメラ付携帯電話内のメモリに格納される。以降の処理は、例えば図 20の 構成において、ネットワーク 109を介して転送された画像と被写体特性とを用いて、 実行される。あるいは、カメラ付携帯電話 111の内部において、上述した実施形態の ように、実行してもよい。

[0098] (第 2の構成例）

図 22は本発明に係る画像処理を実行する第 2の構成例として、サーバークライアン トシステムを用いた画像拡大装置の構成を示す図である。図 22において、カメラ 121 の解像度はディスプレイ 125の解像度よりも低いので、ディスプレイ 125の表示能力 を最大限に生かすため、サーバークライアントシステムにおいて、上述したような画像 拡大処理を実行する。

[0099] サーバー 123は、入力画像 INを補間部 11によって補間拡大した後、変換部 12に よって、画像特徴量ベクトルすなわち、テクスチャベクトル TVおよびエッジ輪郭べタト ル EVに変換する。補間部 11および変換部 12の動作は図 2に示したものと同様であ る。ベクトル量子化部 131は、サーバー 123内にある解析コードブック 132を用いて、 テクスチャベクトル TVおよびエッジ輪郭ベクトル EVを量子化インデックス nt， neに変 換する。得られた量子化インデックス nt, neは、ネットワーク 126を経由してクライアン ト 124に送信される。量子化インデックスへの変換は、ある種の画像圧縮に相当し、こ れにより、送信するデータ量が削減される。

[0100] また、センサ 122によって取得された物理特性パラメータ PRは、ネットワーク 126を 経由してクライアント 124に送信される。

[0101] クライアント 124では、ベクトル再生部 133が、再生コードブック 134と受信した量子 化インデックス nt, neとを用いて、鮮銳ィ匕テクスチャベクトル STVおよび鮮鋭化エッジ 輪郭ベクトル SEVを生成する。画像変換部 29は、鮮鋭ィ匕テクスチャベクトル STVお よび鮮鋭化エッジ輪郭ベクトル SEVを合成し、逆変換を行うことによって、鮮鋭化さ れた拡大画像 ELIを生成する。この拡大画像 ELIはディスプレイ 125に表示される。 なお、ベクトル量子化部 131、解析コードブック 132、ベクトル再生部 133、再生コー ドブック 134および画像変換部 29は、図 2に示す画像合成部 20と同様に動作する。

[0102] なお、本発明を実現するための構成は図 22に拘束されるものではなぐ様々な構 成をとることができる。例えば、カメラ 121はクライアント 124の一部であってもかまわ ない。また、センサ 122の代わりに、無線タグのような手段を介して被写体特性を取 得してもかまわない。

このように本発明は、広く普及しているサーバークライアント型システムで実行可能で あり、特別な運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトゥ エアとハードウェアの組み合わせなど、本発明はサーバークライアント型システムの構 築方法を拘束するものではない。

[0103] (第 3の構成例）

図 23は本発明に係る画像処理を実行する第 3の構成例として、カメラ付携帯電話と テレビを用いた構成を示す図である。カメラ付携帯電話 141は、ネットワーク 142また はメモリカード 144を介してテレビ 143に画像データを送信する。また、カメラ付携帯 電話 141は、被写体特性を取得可能に構成されており、取得した被写体特性を、ネ ットワーク 142またはメモリカード 144を介してテレビ 143に送信する。例えば、カメラ の撮像素子の一部の画素が、被写体のスぺ外ル情報や赤外情報を取得するように 改造すればよい。

[0104] テレビ 143には、上述したような画像処理を実行可能な画像処理回路が内蔵され ている。カメラ付携帯電話 141の解像度はテレビ 143の解像度よりも低ぐテレビ 143 の表示能力を最大限に生かすため、テレビ 143に内蔵された画像処理回路が拡大 画像を作成し、画面に表示する。 [0105] 図 24は被写体特性を取得可能に構成されたカメラの構成を示す図である。図 24に 示すように、カメラ 151の撮像素子 152は、通常の RGBカラー画素の他に、特定の 材質 (例えば、肌 f、髪 hなど）に波長選択特性を有する画素が、低解像度で、かつ、 一定の法則で、配置されている。これにより、画像の撮影とともに、被写体の材質情 報を取得することができる。

[0106] このように本発明は、広く普及しているカメラ付携帯電話やデジタルスチルカメラ、 ビデオムービーカメラなどの一部分の改良により、テレビなどビデオ機器全般で実行 可能であり、特別な運用、管理などは必要ない。なお、専用ハードウェアへの実装や ソフトウェアとハードウェアの組み合わせなど、本発明は機器接続形態や機器内部の 構成を拘束するものではない。

[0107] (第 4の構成例）

図 25は本発明に係る画像処理を実行する第 4の構成例として、ネットワークシステ ムを用いた構成を示す図である。図 25において、被写体は物理センサ付カメラ 161 により撮像されるが、撮像可能な解像度はディスプレイ 164の解像度よりも低ぐディ スプレイ 164の表示能力を最大限に生かすため、表示端末 163において、上述した ような画像拡大処理を実行する。

[0108] 物理センサ付カメラ 161には被写体特性を取得できるセンサが付属しており、低解 像度画像 INおよび物理特性パラメータ PRを併せて取得できる。これらの情報は、ネ ットワーク 162経由で表示端末 163に送られる。表示端末 163において、補間部 11 が低解像度画像 INを補間拡大し、変換部 12がこの補間画像をテクスチャベクトル T Vおよびエッジ輪郭ベクトル EVに変換する。画像合成部 20は、物理特性パラメータ PRを用いて、テクスチャベクトル TVおよびエッジ輪郭べクトノレ EVを画像が鮮鋭化す るように変換し、ベクトル変換の逆変換を行い、高解像度の拡大画像 ELIを生成する 。この拡大画像 ELIはディスプレイ 164に表示される。

[0109] このとき、解析'再生コードブック 165は、ネットワーク経由またはメモリカード 166の ような記録媒体によって提供される。この場合、例えばメモリカード 166の提供がない と、画像を高画質化できないため、認証されたユーザのみが高画質映像を享受でき る、というサービスを提供することができる。 [0110] (第 5の構成例）

図 26は本発明に係る画像処理を実行する第 5の構成例として、ネットワークシステ ムを用いた構成を示す図である。図 26の構成は、図 25とほぼ同様であるが、補間部 11および変換部 12を有する画像処理装置 171が、ネットワーク 162の前段に存在す る点が異なる。

[0111] すなわち、変換部 12により得られたテクスチャベクトル TVおよびエッジ輪郭べタト ル EV力 画像処理装置 171からネットワーク 162経由で表示端末 172に送られる。 このとき、ウェーブレット変換などを用いる場合、一定の画像圧縮が実行されたと考え られる。

[0112] 図 27 (a)は物理センサ付カメラの一例としての人物センサ付カメラの構成を示す図 である。図 27 (a)の人物センサ付カメラ 181は、カラー画像 IAを取得する際に、人物 の皮膚の分光情報に感度を持つセンサを用いて、カラー画像 IAと画素位置の合つ た人物画像 IBを取得することができる。

[0113] 撮像素子 182はモザイク構造となっており、カラー画素 (RGB)の配置と合わせて 肌色検知画素 183 (f)が配置されている。この肌色検知画素 183は、図 27 (b)に示 すようなフィルタ分光透過率 Ff (え）を有するフィルタを撮像センサに付加することに よって実現される。カラー画素 (RGB)の分光透過率は一般カラーセンサと同様であ るのに対して、肌色検知画素 183は、人間の皮膚 (メラニン、カロチン、ヘモグロビン） の分光特性に類似した透過率に設定されているため、特に人物肌に対して最大の 透過輝度の積分値を得る。

[0114] なお、ここではカラーセンサを例にとって説明した力 R, G, Bの各画素が同一の 分光分布を有することによって、モノクロセンサの場合でも同様に実現できる。

[0115] 図 28 (a)は人物センサ付カメラの他の構成を示す図である。図 28 (a)の人物セン サ付カメラ 191は、モノクロ可視画像 ICを取得する際に、人物の皮膚の分光情報に 感度を持つセンサを用いて、モノクロ可視画像 ICと画素位置の合った赤外画像 IDを 取得すること力 Sできる。

[0116] ここで、図 27 (a)の構成との大きな違いは、可視の分光情報を用いて皮膚を検知す るのではなぐ皮膚の体温に対応する赤外放射情報を取得している点にある。 [0117] 撮像素子 192はモザイク構造となっており、可視モノクロ輝度画素 194 (Y)の配置 の中に、赤外感度画素 195 (F)を有している。また、赤外放射と可視光とを同時に撮 像するために、赤外域で透過しないガラスのレンズ光学系ではなぐミラー光学系 19 3を搭載する。図 28 (b)に示すように、 Y画素は可視域である 800nm以下に感度を 有するのに対して、 F画素は赤外領域に感度を有している。

[0118] なお、ここでは、モノクロセンサを例にとって説明した力 同一の撮像センサを 3版化 すればカラー化が可能である。

産業上の利用可能性

[0119] 本発明では、従来よりも、材質などの被写体特性が効果的に反映された鮮鋭ィ匕画 像や拡大画像が生成されるため、視覚的情報量が重要視される様々な応用分野に おいて活用できる。例えば、電子商取引では、消費者が注目する商品の細部を提示 でき、デジタルアーカイブでは、展示物の細部を正確に鑑賞者に提示できる。また、 映像制作では、映像表現の可能性を高めることができ、放送分野では、様々な映像 フォーマットでの互換性を保証することができる。

Claims

請求の範囲

[1] 原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める第 1工程 と、

前記原画像に映された被写体の特性を取得し、取得した被写体特性から前記原画 像の物理特性パラメータを求める第 2工程と、

前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮 鋭化するように変換する第 3工程と、

変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、 新たな画像を生成する第 4工程とを備えた

ことを特徴とする画像処理方法。

[2] 請求項 1において、

取得する被写体特性は、被写体の材質情報、およびカメラから被写体までの距離 情報のうち少なくともいずれか一方である

ことを特徴とする画像処理方法。

[3] 請求項 1において、

前記所定のベクトル変換は、ラプラシアンピラミッド解析またはウェーブレット解析を 用いるものである

ことを特徴とする画像処理方法。

[4] 請求項 1において、

前記第 1工程は、前記画像特徴量ベクトルを、前記原画像のテクスチャ部とエッジ 輪郭部とにそれぞれ対応するテクスチャベクトルとエッジ輪郭ベクトルとに分けて、求 めるものであり、

前記第 3工程は、前記テクスチャベクトルと前記エッジ輪郭べタトノレとに対して、個 別に変換を行うものであり、

前記第 4工程は、変換後の前記テクスチャベクトルと前記エッジ輪郭ベクトルとを合 わせて、前記逆変換を行うものである

ことを特徴とする画像処理方法。

[5] 請求項 4において、 前記第 3工程は、前記テクスチャベクトルについて、前記物理特性パラメータに含ま れた，前記被写体の材質に係る情報、および前記被写体とカメラとの距離に係る情 報のうち少なくともいずれか一方に応じて、変換を行うものである

ことを特徴とする画像処理方法。

[6] 請求項 4において、

前記第 3工程は、前記エッジ輪郭ベクトルについて、指定されたシーン情報に応じ て、変換を行うものである

ことを特徴とする画像処理方法。

[7] 請求項 1において、

前記第 3工程は、

解析コードブックを参照して、前記画像特徴量ベクトルをベクトル量子化し、量子化 インデックスを求めるステップと、

予め準備された再生コードブック群の中から、前記物理特性パラメータに従って、 最適な再生コードブックを選択するステップと、

選択した再生コードブックを、前記量子化インデックスを用いてルックアップし、変換 後の画像特徴量べクトルを求めるステップとを備えたものである

ことを特徴とする画像処理方法。

[8] 画像を、補間拡大するステップと、

請求項 1の画像処理方法に従って、補間拡大された画像を前記原画像として、画 像処理するステップとを備えた

ことを特徴とする画像拡大方法。

[9] 原画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求める変換部と 前記原画像に映された被写体の特性を取得し、取得した被写体特性から前記原画 像の物理特性パラメータを求める特性取得部と、

前記物理特性パラメータを参照して、前記画像特徴量ベクトルを、前記原画像が鮮 鋭化するように変換し、変換後の画像特徴量べクトノレに対して前記所定のベクトル変 換の逆変換を行い、新たな画像を生成する画像合成部とを備えた ことを特徴とする画像処理装置。

[10] 請求項 9において、

前記特性取得部は、前記被写体特性として、被写体の材質情報を取得するもので ある

ことを特徴とする画像処理装置。

[11] 請求項 10において、

前記特性取得部は、分光特性を観測可能なセンサ部を備え、このセンサ部の出力 を用いて、被写体の材質情報を取得するものである

ことを特徴とする画像処理装置。

[12] 請求項 10において、

前記特性取得部は、所定の材質に対応する固有の分光感度を持つ画素を有する 撮像素子を備え、この撮像素子の出力を用いて、被写体の材質情報を取得するもの である

ことを特徴とする画像処理装置。

[13] 請求項 10において、

前記特性取得部は、被写体に付された無線タグに記録された材質情報を、読みと るものである

ことを特徴とする画像処理装置。

[14] 請求項 9において、

前記特性取得部は、前記被写体特性として、カメラから被写体までの距離情報を取 得するものである

ことを特徴とする画像処理装置。

[15] 請求項 9において、

被写体特性を取得する際の解像度は、前記原画像の解像度よりも低い ことを特徴とする画像処理装置。

[16] サーバーとクライアントとを備え、入力画像を拡大するサーバークライアントシステム であって、

前記サーバーは、 前記入力画像を、補間拡大し、

補間拡大された画像に対して所定のベクトル変換を行い、画像特徴量ベクトルを求 め、

前記画像特徴量ベクトルをベクトル量子化し、量子化インデックスを求め、 前記量子化インデックスを、ネットワークを介して送信するものであり、

前記クライアントは、

前記量子化インデックスと、前記入力画像の物理特性パラメータを、ネットワークを 介して受信し、

前記物理特性パラメータを参照しつつ、前記量子化インデックスを用いて再生コー ドブックをノレックアップし、前記補間画像が鮮鋭化されるように変換された画像特徴量 ベクトノレを、求め、

変換後の画像特徴量ベクトルに対して前記所定のベクトル変換の逆変換を行い、 新たな画像を生成するものである

ことを特徴とするサーバークライアントシステム。

[17] 外部から受けた入力画像を、拡大する表示端末であって、

前記入力画像を、補間拡大する補間部と、

前記補間部から出力された補間画像に対して所定のベクトル変換を行い、画像特 徴量ベクトルを求める変換部と、

前記入力画像とともに外部から受けた物理特性パラメータを参照して、前記画像特 徴量ベクトルを、前記補間画像が鮮鋭化するように変換し、変換後の画像特徴量べ タトルに対して前記所定のベクトノレ変換の逆変換を行い、新たな画像を生成する画 像合成部とを備えた

ことを特徴とする表示端末。

[18] 原画像に対して所定のベクトル変換を行うことによって求められた画像特徴量べタト ルを、外部から受けて、画像を生成する表示端末であって、

前記画像特徴量ベクトルとともに外部から受けた物理特性パラメータを用いて、前 記画像特徴量ベクトルを、前記原画像が鮮鋭化するように変換し、変換後の画像特 徴量ベクトルに対して、前記所定のベクトル変換の逆変換を行い、新たな画像を生成 する画像合成部を備えた ことを特徴とする表示端末。