JP2018151747A - 超解像度処理装置、超解像度処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】高精度な超解像度画像を高速に作成する。【解決手段】第２解像度よりも高解像度の第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得する第１階層フィルタ取得部と、第２解像度の入力画像から第１解像度の縮小画像を作成する縮小画像作成部と、各第２フィルタを用いて、第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成する候補画像作成部と、第２解像度の候補画像と第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、第２解像度の入力画像を超解像度処理する超解像度処理部とを備える。【選択図】図１

Description

本発明は、入力画像に超解像度処理を施す超解像度処理装置、超解像度処理方法およびコンピュータプログラムに関する。

近年、入力画像に超解像度処理を施して、高解像度化する超解像度処理の技術が実用化されている（例えば、特許文献１参照）。

超解像度処理の一例として、機械学習済みの畳み込みニューラルネットワーク（Convolutional Neural Network：以下、「ＣＮＮ」という）に入力画像を入力し、当該入力画像に対して超解像度処理を施して、高解像度化された出力画像を出力する方法が知られている。このＣＮＮは、オリジナル画像と、当該オリジナル画像の縮小画像とに基づいて、縮小画像を入力とし、オリジナル画像を出力として各層におけるニューラルネットの重みおよびバイアスを機械学習することにより構成される。

特表２０１３−５３２８７８号公報

画像には人物写真、風景写真、イラストなど様々な種類が含まれる。例えば、イラストはエッジ成分を多く含むため強い高周波成分を含むのに対し、風景画像はすべての周波数成分を満遍なく含むなど、画像の種類によって特性が異なる。

しかしながら、これらの画像の特性を無視して、１つのＣＮＮを用いて入力画像を超解像度処理したのでは、満足の行く結果が得られない場合がある。例えば、低周波成分を多く含む画像を多く用いて機械学習したＣＮＮにより、高周波成分を多く含む画像を超解像度処理した場合には、高周波成分の再現性が損なわれることが考えられる。また、高周波成分を多く含む画像を多く用いて機械学習したＣＮＮにより低周波成分を多く含む画像を超解像度処理した場合には、高周波ノイズが発生したりすることが考えられる。

そのうえ、複数のＣＮＮのプリセットの中からユーザが最適なものを選択するのは一般的に困難である。このため、従来は、上述のように多くの種類の学習用画像を利用してＣＮＮを作成せざるを得なかった。多くの種類の学習用画像を利用する場合には、学習用画像の枚数が膨大となるため、機械学習に時間を要し、ＣＮＮの構成も複雑なものとなる。

本発明はこのような事情に鑑みてなされたものであり、高精度な超解像度画像を高速に作成することのできる超解像度処理装置、超解像度処理方法およびコンピュータプログラムを提供することを目的とする。

上記目的を達成するために、本発明のある局面に係る超解像度処理装置は、第２解像度の画像を超解像度処理して、第２解像度よりも高解像度の第３解像度の画像を作成する超解像度処理装置であって、第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得する第１階層フィルタ取得部と、第２解像度の入力画像から第１解像度の縮小画像を作成する縮小画像作成部と、前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成する候補画像作成部と、前記候補画像作成部が作成した前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、第３解像度の超解像度画像を作成する超解像度処理部とを備える。

この構成によると、第２解像度の候補画像と第２解像度の入力画像との差分が最小となる第２フィルタを複数の第２フィルタの中から選択することができる。また、選択した第２フィルタに対応する第１フィルタを用いて、入力画像を超解像度処理することができる。第２フィルタは、第１フィルタと同じ学習用サブセットを用いて機械学習されているため、第１フィルタと同様の性質を有し、かつ、第２フィルタが対象とする入力画像の解像度は第１フィルタが対象とする入力画像の解像度よりも小さい。このため、入力画像に最適な性質を有する第２フィルタを高速に選択することができ、選択した第２フィルタに対応した第１フィルタを用いて入力画像に超解像度処理を実行することで、高精度な超解像度画像を高速に作成することができる。

好ましくは、上述の超解像度処理装置は、さらに、前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得する第２階層フィルタ取得部を備え、前記候補画像作成部は、さらに、前記第２階層フィルタ取得部が取得した前記第２階層の各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成し、前記超解像度処理部は、さらに、前記候補画像作成部が前記第２階層の前記第２フィルタを用いて作成した前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、前記第３解像度の超解像度画像を作成する。

この構成によると、第１階層において第２フィルタを選択し、選択した第２フィルタに基づいて、さらに、第２階層における第２フィルタを選択することができる。また、選択した第２フィルタに対応する第１フィルタを用いて、入力画像を超解像度処理することができる。このように、第１フィルタおよび第２フィルタを階層構造化することができるため、効率的に第２フィルタおよび該第２フィルタに対応する第１フィルタを選択することができる。これにより、高精度な超解像度画像を高速に作成することができる。

本発明の他の局面に係る超解像度処理方法は、第２解像度の画像を超解像度処理して、第２解像度よりも高解像度の第３解像度の画像を作成する超解像度処理方法であって、第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得するステップと、第２解像度の入力画像から第１解像度の縮小画像を作成するステップと、取得された各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成するステップと、作成された前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、第３解像度の超解像度画像を作成するステップとを含む。

この構成は、上述した超解像度処理装置が備える処理部に対応するステップを含む。このため、上述した超解像度処理装置と同様の作用および効果を奏することができる。

本発明の他の局面に係るコンピュータプログラムは、第２解像度の画像を超解像度処理して、第２解像度よりも高解像度の第３解像度の画像を作成するためのコンピュータプログラムであって、コンピュータを、第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得する第１階層フィルタ取得部と、第２解像度の入力画像から第１解像度の縮小画像を作成する縮小画像作成部と、前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成する候補画像作成部と、前記候補画像作成部が作成した前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、第３解像度の超解像度画像を作成する超解像度処理部として機能させる。

この構成によると、コンピュータを、上述した超解像度処理装置として機能させることができる。このため、高精度な超解像度画像を高速に作成することができる。

なお、本発明に係るコンピュータプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本発明は、超解像度処理装置の一部又は全部を実現する半導体集積回路として実現したり、超解像度処理装置を含むシステムとして実現したりすることもできる。

本発明によると、高精度な超解像度画像を高速に作成することができる。

本発明の実施の形態に係る超解像度処理装置の構成を示すブロック図である。 本発明の実施の形態で取り扱う画像のサイズおよびフィルタを説明するための図である。 階層構造化された学習用セットおよびフィルタの一例を示す図である。 本発明の実施の形態に係る超解像度処理装置が実行するフィルタ作成処理の処理手順を示すフローチャートである。 本発明の実施の形態に係る超解像度処理装置が実行する入力画像の超解像度処理の処理手順を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

図１は、本発明の実施の形態に係る超解像度処理装置の構成を示すブロック図である。図２は、本発明の実施の形態で取り扱う画像のサイズおよびフィルタを説明するための図である。

図１を参照して、超解像度処理装置１は、入力画像に対して超解像度処理を施し、入力画像よりも解像度の高い画像を作成する装置であり、入力画像取得部１０と、縮小画像作成部１１と、機械学習部１２と、第１階層フィルタ取得部１３と、候補画像作成部１４と、第２階層フィルタ取得部１５と、超解像度処理部１６と、記憶装置１７とを備える。

本実施の形態では、２Ｋサイズ（１９２０×１０８０ピクセル）の入力画像に対して超解像度処理を施し、４Ｋサイズ（３８４０×２１６０ピクセル）の画像を作成する例について説明する。ただし、超解像度処理装置１が対象とする画像のサイズはこれらに限定されるものではない。

入力画像取得部１０は、超解像度処理の対象となる入力画像を取得する。例えば、入力画像取得部１０は、記憶装置１７に記憶されている画像の中からユーザがキーボード等を用いて選択した画像を、記憶装置１７から読み出すことにより、当該画像を入力画像として取得してもよい。また、入力画像取得部１０は、ネットワーク等を介して画像をダウンロードすることにより、当該画像を入力画像として取得してもよい。

図２に示すように、本実施の形態では、入力画像のサイズ（解像度）は、２Ｋサイズ（第２解像度）であるものとする。

再度図１を参照して、縮小画像作成部１１は、入力画像取得部１０が取得した入力画像を縮小することにより縮小画像を作成する。

図２に示すように、本実施の形態では、縮小画像作成部１１は、入力画像を縦および横それぞれ１／２に縮小する。縮小画像のサイズ（解像度）は、ＱＨＤ（Quarter High Definition）サイズ（９６０×５４０ピクセル）（第１解像度）であるものとする。

なお、縮小画像作成部１１は、入力画像以外にも、超解像度処理のためのフィルタを機械学習するために用意された学習用画像も縮小する。

つまり、記憶装置１７には、予め４Ｋサイズの複数の学習用画像を含む学習用セットが記憶されているものとする。また、学習用セットには、人物写真、風景写真、イラストなどの様々な種類の学習用画像が含まれるものとする。縮小画像作成部１１は、記憶装置１７から学習用セットを読み出し、学習用セットに含まれる各学習用画像を、縦および横それぞれ１／２に縮小した２Ｋサイズの縮小画像と、縦および横それぞれ１／４に縮小したＱＨＤサイズの縮小画像とを作成する。

以下では、学習用画像から作成した２Ｋサイズの縮小画像およびＱＨＤサイズの縮小画像のことも学習用画像と言う。また、学習用セットには、複数の４Ｋサイズの学習用画像のみならず、これらから作成した２Ｋサイズの学習用画像およびＱＨＤサイズの学習用画像が含まれるものとする。なお、本実施の形態では、入力画像のサイズは、学習用セットに含まれる２Ｋサイズの学習用画像と同じものとしているが、必ずしも両者のサイズは同じである必要はなく、学習用画像のサイズが入力画像のサイズと異なっていてもよい。

機械学習部１２は、学習用セットに含まれる画像を用いて、超解像度処理を行うためのフィルタを機械学習により作成する。なお、機械学習部１２は、学習用セットに含まれる画像を階層構造化して、各階層において、フィルタを作成する。

図３は、階層構造化された学習用セットおよびフィルタの一例を示す図である。
つまり、機械学習部１２は、以下のような手順により、階層構造化された学習用セットおよびフィルタを作成する。

まず、機械学習部１２は、学習用セットに含まれる２Ｋサイズの学習用画像と、４Ｋサイズの学習用画像とを用いて、２Ｋサイズの画像を４Ｋサイズの画像に超解像度処理するためのＣＮＮ（Convolutional Neural Network）を作成する。図２に示すように、２Ｋサイズの画像を４Ｋサイズの画像に超解像度処理するＣＮＮを、第１ＣＮＮまたは第１フィルタと言う。機械学習部１２は、２Ｋサイズの学習用画像をＣＮＮの入力とし、４Ｋサイズの学習用画像をＣＮＮの出力として、ＣＮＮの各層における重みおよびバイアスを機械学習することで、第１ＣＮＮを作成する。学習用セットを用いて作成した第１ＣＮＮを、図３に示すように第１ＣＮＮ０と言う。

なお、本実施の形態では、機械学習部１２は、超解像度処理するためのフィルタとしてＣＮＮを例に説明するが、フィルタはＣＮＮに限定されるものではなく、複数の学習用画像から機械学習されるその他のフィルタに対しても本発明を適用することができる。

次に、機械学習部１２は、第１ＣＮＮ０を用いて、学習用セットを３つのサブセット（学習用サブセット１〜３）に分類する。例えば、機械学習部１２は、第１ＣＮＮ０により超解像度処理された画像と、学習用画像との差分に基づいて、上記分類を行う。

具体的には、機械学習部１２は、学習用セットに含まれる２Ｋサイズの各学習用画像を第１ＣＮＮ０に入力することにより、４Ｋサイズの画像を作成する。

次に、機械学習部１２は、第１ＣＮＮ０が作成した４Ｋサイズの画像と、上記２Ｋサイズの学習用画像を作成するのに用いた４Ｋサイズの学習用画像との差分を算出する。画像間の差分は、例えば、画素値の差分の二乗和または絶対値和により求めることができる。

次に、機械学習部１２は、算出した差分に基づいて、４Ｋサイズの学習用画像を３つのサブセットのいずれかに分類する。

例えば、機械学習部１２は、差分が第１閾値よりも大きい４Ｋサイズの学習用画像を学習用サブセット１に分類する。また、機械学習部１２は、差分が第２閾値（ただし、第２閾値は第１閾値よりも小さい値）よりも大きいく、かつ第１閾値以下の４Ｋサイズの学習用画像を学習用サブセット２に分類する。また、機械学習部１２は、差分が第２閾値以下の４Ｋサイズの学習用画像を学習用サブセット３に分類する。なお、機械学習部１２は、４Ｋサイズの学習用画像から縮小画像作成部１１が作成した２Ｋサイズの学習用画像およびＱＨＤサイズの学習用画像も、４Ｋサイズの学習用画像と同じ学習用サブセットに分類する。これにより、図３に示すように、学習用セットが学習用サブセット１〜３に分類される。

上記の差分は、超解像度処理された画像の誤差を示しているため、学習用セットが誤差に基づいて、複数の学習用サブセットに分類されることになる。

機械学習部１２は、学習用サブセット１〜３のそれぞれを用いて、第１ＣＮＮと、ＱＨＤサイズの画像を２Ｋサイズの画像に超解像度処理するＣＮＮ（第２ＣＮＮまたは第２フィルタと言う）を作成する。

例えば、機械学習部１２は、学習用サブセット１に含まれる２Ｋサイズの学習用画像をＣＮＮの入力とし、学習用サブセット１に含まれる４Ｋサイズの学習用画像をＣＮＮの出力として、ＣＮＮの各層における重みおよびバイアスを機械学習することで、第１ＣＮＮを作成する。

また、機械学習部１２は、学習用サブセット１に含まれるＱＨＤサイズの学習用画像をＣＮＮの入力とし、学習用サブセット１に含まれる２Ｋサイズの学習用画像をＣＮＮの出力として、ＣＮＮの各層における重みおよびバイアスを機械学習することで、第２ＣＮＮを作成する。

機械学習部１２は、学習用サブセット２および３についても、同様に、第１ＣＮＮおよび第２ＣＮＮを作成する。

学習用サブセットｉから作成された第１ＣＮＮをおよび第２ＣＮＮを、それぞれ、第１ＣＮＮｉおよび第２ＣＮＮｉと記載する（ｉ＝１〜３）。

機械学習部１２は、学習用サブセット１〜３のそれぞれを、さらに、３つのサブセットに分類する。

例えば、機械学習部１２は、第１ＣＮＮ１を用いて、学習用サブセット１を３つのサブセット（学習用サブセット１−１〜１−３）に分類する。分類方法は、学習用セットの分類方法と分類の対象が異なる以外同様である。このため、その詳細な説明はここでは繰り返さない。

また、機械学習部１２は、学習用サブセット１−１〜１−３のそれぞれについて、第１ＣＮＮおよび第２ＣＮＮを作成する。ＣＮＮの作成方法は、学習用サブセット１を用いた第１ＣＮＮおよび第２ＣＮＮの作成方法と、利用する学習用サブセットが異なる以外同様である。このため、その詳細な説明はここでは繰り返さない。

機械学習部１２は、学習用サブセット２および３についても、学習用サブセットの分類処理および分類された学習用サブセットを用いたＣＮＮの作成処理を行う。

学習用サブセットｉを分類することにより得られる学習用サブセットを、学習用サブセットｉ−ｊと記載する（ｉ＝１〜３，ｊ＝１〜３）。また、学習用サブセットｉ−ｊから作成された第１ＣＮＮおよび第２ＣＮＮを、それぞれ、第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊと記載する。

機械学習部１２が実行する処理により、図３に示すような解像構造化された学習用セットおよびＣＮＮの分類木が作成される。学習用セットおよび第１ＣＮＮ０を第０階層とすると、第１階層には、学習用セットｉ、第１ＣＮＮｉおよび第２ＣＮＮｉが含まれる。また、第２階層には、学習用セットｉ−ｊ、第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊが含まれる。

以下に説明する第１階層フィルタ取得部１３〜超解像度処理部１６は、入力画像を超解像度処理するための処理部である。

第１階層フィルタ取得部１３は、第１階層の学習用サブセット１〜３のそれぞれについて、第１ＣＮＮおよび第２ＣＮＮを取得する。

候補画像作成部１４は、第１階層フィルタ取得部１３が取得した第２ＣＮＮｉを用いて、入力画像を縮小したＱＨＤサイズの縮小画像を超解像度処理し、２Ｋサイズの画像を作成する。作成した２Ｋサイズの画像を候補画像と呼ぶ。つまり、候補画像作成部１４は、ＱＨＤサイズの縮小画像を、第２ＣＮＮｉに入力することにより、３枚の２Ｋサイズの候補画像を作成する。

第２階層フィルタ取得部１５は、第２階層の複数の学習用サブセットｉ−ｊの各々について、学習用サブセットｉ−ｊを用いて機械学習された第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊを取得する（ｉ＝１〜３，ｊ＝１〜３）。

候補画像作成部１４は、さらに、第２階層フィルタ取得部１５が取得した第２ＣＮＮｉ−ｊを用いて、入力画像を縮小したＱＨＤサイズの縮小画像を超解像度処理し、２Ｋサイズの画像（以下、「候補画像」という）を作成する。つまり、候補画像作成部１４は、ＱＨＤサイズの縮小画像を、第２ＣＮＮｉ−ｊに入力することにより、２Ｋサイズの候補画像を作成する。

超解像度処理部１６は、候補画像作成部１４が第２ＣＮＮｉから作成した３枚の２Ｋサイズの候補画像のそれぞれと、２Ｋサイズの入力画像との差分を算出する。画像間の差分の算出方法については、上述した通りである。

超解像度処理部１６は、算出した差分が最小となる候補画像を作成するに用いた第２ＣＮＮｍを特定し、特定した第２ＣＮＮｍを機械学習するに用いた学習用サブセットｍを特定する。

超解像度処理部１６は、特定した学習用サブセットｍのサブセットである学習用サブセットｍ−ｊ（ｊ＝１〜３）を特定する。例えば、ｍ＝１の場合には、学習用サブセット１−１〜１−３が特定される。

超解像度処理部１６は、さらに、学習用サブセットｍ−ｊ（ｊ＝１〜３）の第２ＣＮＮｍ−ｊを用いて作成された３枚の候補画像の中から、２Ｋサイズの入力画像との差分が最小となる候補画像を特定する。

超解像度処理部１６は、特定した候補画像を作成するのに用いた第２ＣＮＮｍ−ｎに対応する第１ＣＮＮｍ−ｎを用いて、２Ｋサイズの入力画像を超解像度処理することにより、４Ｋサイズの超解像度画像を作成する。

記憶装置１７は、画像や各種データを記憶するための記憶装置であり、ＨＤＤ（Hard Disk Drive）、不揮発性メモリまたは揮発性メモリなどにより構成される。
次に、超解像度処理装置１が実行する処理の手順について説明する。

図４は、本発明の実施の形態に係る超解像度処理装置１が実行するフィルタ作成処理の処理手順を示すフローチャートである。

図４に示すように、縮小画像作成部１１は、記憶装置１７に記憶されている学習用セットに含まれる４Ｋサイズの各学習用画像から、当該画像を、縦および横それぞれ１／２に縮小した２Ｋサイズの学習用画像と、縦および横それぞれ１／４に縮小したＱＨＤサイズの学習用画像とを作成する（Ｓ１）。

機械学習部１２は、学習用セットに含まれる４Ｋサイズの学習用画像と２Ｋサイズの縮小画像とに基づいて、機械学習により、２Ｋサイズの画像を４Ｋサイズの画像に変換するための第１フィルタ（第１ＣＮＮ０）を作成する（Ｓ２）。

機械学習部１２は、学習用セットに含まれる２Ｋサイズの各学習用画像を第１ＣＮＮ０に入力することにより、４Ｋサイズの画像を作成する。次に、機械学習部１２は、第１ＣＮＮ０が作成した４Ｋサイズの画像と、上記２Ｋサイズの学習用画像を作成するのに用いた４Ｋサイズの学習用画像との差分を算出する。機械学習部１２は、算出した差分に基づいて、４Ｋサイズの学習用画像を３つの学習用サブセット１〜３のいずれかに分類する（Ｓ３）。

機械学習部１２は、学習用サブセットｉ（ｉ＝１〜３）を用いて、第１ＣＮＮｉと、第２ＣＮＮｉを作成する（Ｓ４）。機械学習部１２は、作成したＣＮＮを、記憶装置１７に記憶させる。なお、機械学習部１２は、学習用サブセットｉ（ｉ＝１〜３）を適宜交換しながら、機械学習を繰り返し実行することにより、各学習用サブセットとの誤差が小さくなるように第１ＣＮＮｉおよび第２ＣＮＮｉを作成してもよい。

機械学習部１２は、学習用サブセット１〜３のそれぞれについて、学習用サブセットｉ（ｉ＝１〜３）に含まれる２Ｋサイズの各学習用画像を第１ＣＮＮｉに入力することにより、４Ｋサイズの画像を作成する。次に、機械学習部１２は、第１ＣＮＮｉが作成した４Ｋサイズの画像と、上記２Ｋサイズの学習用画像を作成するのに用いた４Ｋサイズの学習用画像との差分を算出する。機械学習部１２は、算出した差分に基づいて、４Ｋサイズの学習用画像を３つの学習用サブセットｉ−ｊ（ｊ＝１〜３）のいずれかに分類する（Ｓ５）。これにより、学習用サブセット１〜３の各々が、さらに、３つの学習用サブセットに分類される。

機械学習部１２は、学習用サブセットｉ−ｊ（ｉ＝１〜３，ｊ＝１〜３）を用いて、機械学習により、第１ＣＮＮｉ−ｊと、第２ＣＮＮｉ−ｊを作成する（Ｓ６）。機械学習部１２は、作成したＣＮＮを、記憶装置１７に記憶させる。なお、機械学習部１２は、学習用サブセットｉ−ｊ（ｉ＝１〜３，ｊ＝１〜３）を適宜交換しながら、機械学習を繰り返し実行することにより、各学習用サブセットとの誤差が小さくなるように第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊを作成してもよい。

図４に示したフィルタ作成処理により、図３に示したような階層構図化されたＣＮＮが作成される。

図５は、本発明の実施の形態に係る超解像度処理装置１が実行する入力画像の超解像度処理の処理手順を示すフローチャートである。

図５に示すように、入力画像取得部１０は、超解像度処理の対象となる２Ｋサイズの入力画像を取得する（Ｓ１１）。

縮小画像作成部１１は、入力画像取得部１０が取得した２Ｋサイズの入力画像を縮小することによりＱＨＤサイズの縮小画像を作成する（Ｓ１２）。

第１階層フィルタ取得部１３は、図３に示した分類木の第１階層のフィルタを取得する（Ｓ１３）。つまり、第１階層フィルタ取得部１３は、第１ＣＮＮ１〜３と、第２ＣＮＮ１〜３とを、記憶装置１７から取得する。

候補画像作成部１４は、第２ＣＮＮ１〜３に、入力画像を縮小したＱＨＤサイズの縮小画像を入力することにより、３枚の２Ｋサイズの候補画像を作成する（Ｓ１４）。

超解像度処理部１６は、ステップＳ１４で作成された３枚の２Ｋサイズの候補画像のそれぞれと、２Ｋサイズの入力画像との差分を算出する（Ｓ１５）。

超解像度処理部１６は、ステップＳ１５で算出した差分が最小となる候補画像を作成するに用いた第２ＣＮＮｍを特定する（Ｓ１６）。例えば、差分が最小となる候補画像を作成するのに用いが第２ＣＮＮが第２ＣＮＮ１であると特定される。

なお、第２ＣＮＮ１〜３への入力は、ＱＨＤサイズの縮小画像に限定されるものではない。例えば、入力画像から切り出した一部の画像を第２ＣＮＮ１〜３に入力してもよい。例えば、入力画像から、等間隔に小領域を切り出すことにより該一部の画像を作成してもよいし、入力画像の画素を等間隔に間引くことで該一部の画像を作成してもよい。また、入力画像と同様の性質を有するであろうと想定される複数の画像の中から、一部の画像の一部分を切り出すことにより、該一部の画像を作成しても良い。例えば、入力画像が動画像の一部である場合には、入力画像と同じシーンの動画像の中から、一部の画像を取り出し、取り出した一部の画像から一部分を切り出しても良い。

また、該一部の画像に基づいて第２ＣＮＮ１〜３が作成する候補画像と、該一部の画像との差分から、第２ＣＮＮｍを上記と同様に特定してもよい。このような処理により、第２ＣＮＮｍを特定するために必要な時間を短縮することができる。

第２階層フィルタ取得部１５は、ステップＳ１６で特定された第１階層の第２ＣＮＮｍの下位の階層である第２階層のフィルタを取得する（Ｓ１７）。つまり、第２階層フィルタ取得部１５は、図３に示した分類木における第１ＣＮＮｍ−ｊと、第２ＣＮＮｍ−ｊとを、記憶装置１７から読み出す（ｊ＝１〜３）。例えば、第２階層フィルタ取得部１５は、第１ＣＮＮ１−１〜１−３と、第２ＣＮＮ１−１〜１−３とを、記憶装置１７から読み出す。

候補画像作成部１４は、第２ＣＮＮｍ−ｊ（ｊ＝１〜３）に、入力画像を縮小したＱＨＤサイズの縮小画像を入力することにより、３枚の２Ｋサイズの候補画像を作成する（Ｓ１８）。

超解像度処理部１６は、ステップＳ１８で作成された３枚の２Ｋサイズの候補画像のそれぞれと、２Ｋサイズの入力画像との差分を算出する（Ｓ１９）。

超解像度処理部１６は、ステップＳ１９で算出した差分が最小となる候補画像を作成するに用いた第２ＣＮＮｍ−ｎを特定する（Ｓ２０）。例えば、差分が最小となる候補画像を作成するのに用いた第２ＣＮＮが第２ＣＮＮ１−２であると特定される。

なお、第２ＣＮＮｍ−ｊ（ｊ＝１〜３）への入力は、ＱＨＤサイズの縮小画像に限定されるものではない。例えば、入力画像から切り出した一部の画像を第２ＣＮＮｍ−ｊ（ｊ＝１〜３）に入力してもよい。例えば、入力画像から、等間隔に小領域を切り出すことにより該一部の画像を作成してもよいし、入力画像の画素を等間隔に間引くことで該一部の画像を作成してもよい。また、入力画像と同様の性質を有するであろうと想定される複数の画像の中から、一部の画像の一部分を切り出すことにより、該一部の画像を作成しても良い。例えば、入力画像が動画像の一部である場合には、入力画像と同じシーンの動画像の中から、一部の画像を取り出し、取り出した一部の画像から一部分を切り出しても良い。

また、該一部の画像に基づいて第２ＣＮＮｍ−ｊ（ｊ＝１〜３）が作成する候補画像と、該一部の画像との差分から、第２ＣＮＮｍ−ｎを上記と同様に特定してもよい。このような処理により、第２ＣＮＮｍ−ｎを特定するために必要な時間を短縮することができる。

超解像度処理部１６は、ステップＳ２０で特定された第２階層の第２ＣＮＮｍ−ｎに対応する第１ＣＮＮｍ−ｎを用いて、２Ｋサイズの入力画像を超解像度処理することにより、４Ｋサイズの超解像度画像を作成する（Ｓ２１）。上記の例では第１ＣＮＮ１−２を用いて、超解像度処理が行われる。

以上説明したように、本発明の実施の形態によると、２Ｋサイズの入力画像を縮小したＱＨＤサイズの縮小画像を超解像度処理した時の誤差が最小となる第２ＣＮＮを、分類木を用いて探索することができる。第２ＣＮＮは、第１ＣＮＮと同様の性質を有し、かつ第２ＣＮＮが対象とする入力画像の解像度は第１ＣＮＮが対象とする入力画像の解像度よりも小さい。このため、第２ＣＮＮを効率的に探索することができる。また、探索された第２ＣＮＮに対応する第１ＣＮＮを用いて、入力画像を超解像度処理することにより、誤差の少ない高精度な超解像度画像を作成することができる。

つまり、第１ＣＮＮと、該第１ＣＮＮとペアをなす第２ＣＮＮとは、サイズの異なる同一の学習用画像を用いて機械学習が行われる。このため、第２ＣＮＮが精度よく超解像度処理することのできる画像は、該第２ＣＮＮとペアをなす第１ＣＮＮによっても、精度よく超解像度処理されることが期待できる。これにより、誤差が最小となる第２ＮＮとペアをなす第１ＣＮＮを選択し、選択した第１ＣＮＮを用いて入力画像を超解像度処理することにより、入力画像を超解像度処理した時の誤差が小さくなると期待できる。

また、第２ＣＮＮの構成を第１ＣＮＮの構成よりも小さくし、第２ＣＮＮを選択した後に、選択した第２ＣＮＮに対応する第１ＣＮＮを選択することとしているため、第１ＣＮＮの選択の処理速度を向上させることができる。ただし、第２ＣＮＮの構成は必ずしも第１ＣＮＮの構成よりも小さくなくてもよい。

なお、上述の実施の形態では、学習用セットおよび学習用サブセットを、それぞれ、３つの学習用サブセットに分類したが、分類する学習用サブセットの個数は３つに限定されるものではなく、２つ以上であればよい。

また、図３に示したように、学習用サブセットの階層は２階層としたが、１階層であってもよいし、３階層以上あってもよい。

また、上述の実施の形態では、超解像度処理された画像と学習用画像との差分に基づいて、学習用セットおよび学習用サブセットを分類したが、分類の仕方はこれに限定されるものではない。例えば、画像の種類（イラスト、風景写真、人物写真）をさらに考慮して分類を行ってもよい。

また、上述の実施の形態では、第１ＣＮＮおよび第２ＣＮＮは、画像の全体領域を入力として受け、超解像度処理を行うものとして説明したが、各ＣＮＮは、画像を分割した複数のブロック領域をそれぞれ入力として受け、各ブロック領域を超解像度処理した後にマージする構成であってもよい。また、各ブロック領域は、隣接するブロック領域とオーバーラップしていてもよいし、ブロック領域間でサイズが異なっていてもよい。このように、ＣＮＮを構成することにより、学習用画像の全体領域を入力とせずとも、一部の領域だけを利用してＣＮＮの学習を行うことが可能となる。

また、超解像度処理装置１が処理対象とする画像は、イラストや写真等の通常の画像に限定されるものではない。例えば、ＭＲＩ（Magnetic Resonance Imaging）画像やＣＴ（Computed Tomography）画像などの医療用のスキャンデータのような、測定データの分布図を処理対象としても良い。また、ベクトルの構造体や、ボクセル画像のような３次元構造体など、超解像度処理が提供可能な処理対象であれば、超解像度処理装置１の入力とすることができる。

また、上記の超解像度処理装置１は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、超解像度処理装置１は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の超解像度処理装置１を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の超解像度処理装置１を構成する構成要素の一部または全部は、超解像度処理装置１に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスクドライブ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、入力画像の解像度を高解像度化した画像を作成する超解像度処理装置等に用いると有益である。

１ 超解像度処理装置
１０ 入力画像取得部
１１ 縮小画像作成部
１２ 機械学習部
１３ 第１階層フィルタ取得部
１４ 候補画像作成部
１５ 第２階層フィルタ取得部
１６ 超解像度処理部
１７ 記憶装置

本発明の他の局面に係る超解像度処理方法は、第２解像度の画像を超解像度処理して、第２解像度よりも高解像度の第３解像度の画像を作成する装置を機能させるための超解像度処理方法であって、第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得するステップと、第２解像度の入力画像から第１解像度の縮小画像を作成するステップと、取得された各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成するステップと、作成された前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、第３解像度の超解像度画像を作成するステップとを含む。

Claims (4)

1. 第２解像度の画像を超解像度処理して、第２解像度よりも高解像度の第３解像度の画像を作成する超解像度処理装置であって、
   第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得する第１階層フィルタ取得部と、
   第２解像度の入力画像から第１解像度の縮小画像を作成する縮小画像作成部と、
   前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成する候補画像作成部と、
   前記候補画像作成部が作成した前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、第３解像度の超解像度画像を作成する超解像度処理部と
   を備える超解像度処理装置。
2. さらに、
   前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得する第２階層フィルタ取得部を備え、
   前記候補画像作成部は、さらに、前記第２階層フィルタ取得部が取得した前記第２階層の各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成し、
   前記超解像度処理部は、さらに、前記候補画像作成部が前記第２階層の前記第２フィルタを用いて作成した前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、前記第３解像度の超解像度画像を作成する
   請求項１に記載の超解像度処理装置。
3. 第２解像度の画像を超解像度処理して、第２解像度よりも高解像度の第３解像度の画像を作成する超解像度処理方法であって、
   第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得するステップと、
   第２解像度の入力画像から第１解像度の縮小画像を作成するステップと、
   取得された各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成するステップと、
   作成された前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、第３解像度の超解像度画像を作成するステップと
   を含む超解像度処理方法。
4. 第２解像度の画像を超解像度処理して、第２解像度よりも高解像度の第３解像度の画像を作成するためのコンピュータプログラムであって、
   コンピュータを、
   第３解像度の画像を含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２解像度の画像を第３解像度の画像に超解像度処理するための第１フィルタ、および第２解像度よりも低解像度の第１解像度の画像を第２解像度の画像に超解像度処理するための第２フィルタを取得する第１階層フィルタ取得部と、
   第２解像度の入力画像から第１解像度の縮小画像を作成する縮小画像作成部と、
   前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１解像度の縮小画像を超解像度処理して第２解像度の候補画像を作成する候補画像作成部と、
   前記候補画像作成部が作成した前記第２解像度の候補画像と前記第２解像度の入力画像との差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記第２解像度の入力画像を超解像度処理することにより、第３解像度の超解像度画像を作成する超解像度処理部と
   して機能させるためのコンピュータプログラム。

Images