JP7719037B2 - 画像処理方法、画像処理装置、プログラム - Google Patents

Description

本発明は、機械学習モデルを用いた画像処理に関する。

特許文献１では、ＲＧＢで表されるカラー画像をＹＵＶに変換し、得られたＹ画像（輝度画像）の高周波成分の情報を機械学習モデルに入力することで、カラー画像の特徴を識別する画像処理方法が開示されている。特許文献１における画像処理方法では、入力画像に対してフィルタを何度も畳み込むことで出力画像を生成するＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）が機械学習モデルとして用いられている。また、特許文献１における画像処理方法では、縮小した輝度画像を入力画像とすることによってＣＮＮでの演算量を低減し、処理の高速化を図っている。

特開２０１９－１７５１０７号公報

しかし、特許文献１における入力画像は縮小された輝度画像であり、縮小される前の輝度画像と比較して解像度が低い。したがって、特許文献１における画像処理方法では、高解像度な出力画像を得ることが困難である。

そこで、本発明は、機械学習モデルを用いた画像処理において、高解像度な出力画像を得ることを目的とする。

本発明の画像処理方法は、撮影により取得された第１のカラー画像に基づいて、第１のカラー画像よりも画素数が大きい第２のカラー画像を生成する画像処理方法であって、第１のカラー画像から第１のグレースケール画像を生成するステップと、第１のグレースケール画像を分割することで、第１のグレースケール画像に対して画素数が小さい複数の第２のグレースケール画像を生成するステップを有する。さらに、複数の第２のグレースケール画像と撮影におけるＩＳＯ感度の情報とをチャンネル方向に連結して機械学習モデルに入力することで、該複数の第２のグレースケール画像に対してアップスケールされた複数の第３のグレースケール画像を生成するステップと、複数の第３のグレースケール画像に基づいて第２のカラー画像を生成するステップとを有し、ＩＳＯ感度の情報は、画素ごとのＩＳＯ感度を示すマップであることを特徴とする。

本発明によれば、機械学習モデルを用いた画像処理において、高解像度な出力画像を得ることができる。

実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 実施例１におけるニューラルネットワークのウエイトの学習方法を示す概念図である。 実施例１におけるニューラルネットワークのウエイトの学習に関するフローチャートである。 実施例１におけるニューラルネットワークを用いた出力画像の生成方法を示す概念図である。 実施例１におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。 実施例３における画像処理システムのブロック図である。 実施例３におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

まず、実施形態の具体的な説明を行う前に、本実施形態の要旨を説明する。本実施形態は、機械学習モデルを用いて輝度画像（グレースケール画像）をアップスケールする。本実施形態において、画像の拡大及び高解像度化を行う画像処理をアップスケールと称する。本実施例における機械学習モデルは、ニューラルネットワークを用いた学習を行うことで生成される。ニューラルネットワークは、画像に対して畳み込むフィルタ及び足し合わせるバイアス、非線形変換を行う活性化関数を用いる。フィルタ及びバイアスは、ウエイトと呼ばれ、訓練画像及び正解画像を用いて学習（更新）される。本実施形態では、グレースケールで表される画像を訓練画像及び正解画像として用いて機械学習モデルの学習を行う。

本実施形態の画像処理方法は、第１のグレースケール画像を分割することで、第１のグレースケール画像に対して解像度が低い複数の第２のグレースケール画像を生成するステップを有する。さらに、複数の第２のグレースケール画像を機械学習モデルに入力することで、アップスケールされた複数の第３のグレースケール画像を生成する推定ステップとを有することを特徴とする。

本実施形態において、機械学習モデルへの入力画像は、グレースケール画像を可逆的に分割することによって、元のグレースケール画像に対して縮小したグレースケール画像である。グレースケール画像から入力画像を生成する際に、複数枚に分割することによって可逆的に元のグレースケール画像を縮小できる。したがって、縮小に伴う情報の損失を低減することができるため、高精度な推定画像（出力画像）を得ることができる。また、入力画像は、カラー画像よりも情報量（チャンネル数）の少ないグレースケール画像を縮小した画像であるため、画像処理における演算を減らすことができ、画像処理を高速化できることも本実施形態の特徴の１つである。

なお、上記の画像処理方法は一例であり、本発明はこれに限定されるものではない。その他の画像処理方法などの詳細は以下の実施例に述べる。

［実施例１］
まず、本発明の実施例１における画像処理システム１００に関して説明する。本実施例に係る画像処理システム１００は、機械学習モデルを用いて画像をアップスケールする画像処理を学習、実行させる。

図１は、本実施例における画像処理システム１００のブロック図である。図２は、画像処理システム１００の外観図である。画像処理システム１００は、学習装置１０１、撮像装置１０２、画像推定装置１０３、表示装置１０４、記録媒体１０５、入力装置１０６、出力装置１０７、及びネットワーク１０８を有する。

学習装置１０１は、記憶部（記憶手段）１０１ａ、取得部（取得手段）１０１ｂ、生成部（生成手段）１０１ｃ、分割部（分割手段）１０１ｄ、学習部（学習手段）１０１ｅを有する。

撮像装置１０２は、光学系１０２ａと撮像素子１０２ｂを有する。光学系１０２ａは、被写体空間から撮像装置１０２へ入射した光を集光する。撮像素子１０２ｂは、光学系１０２ａを介して形成された被写体の光学像を受光して撮像画像２０を取得する。撮像素子１０２ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。

撮像装置１０２は、得られた画像を後述する画像推定装置（画像処理装置）１０３の取得部１０３ｂへ送信する。なお、必要に応じて、撮像装置１０２は撮像画像２０と共に撮像画像２０に対応する撮影条件を送信してもよい。撮影条件は、光学系１０２ａと撮像素子１０２ｂを用いて撮像画像２０を取得する際の撮像の条件である。例えば撮像素子１０２ｂの画素ピッチ、光学系１０２ａの光学ローパスフィルタの種類、ＩＳＯ感度が含まれる。また、撮影条件は、撮像装置１０２おける未現像のＲＡＷ画像から撮像画像２０を取得する際の現像の条件でもよい。例えば、ノイズ除去強度、シャープネス強度、画像圧縮率が含まれる。本実施例において現像は、ＲＡＷ画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などの画像ファイルに変換する処理である。

なお、撮像装置１０２における取得した画像を保存する記憶部、表示する表示部、外部に送信する送信部、外部の記憶媒体に保存させる出力部及び撮像装置１０２の各部を制御する制御部は不図示である。

画像推定装置１０３は、記憶部（記憶手段）１０３ａ、取得部（取得手段）１０３ｂ、生成部（生成手段）１０３ｃ、分割部（分割手段）１０３ｄ、処理部（推定手段）１０３ｅを有し、取得した撮像画像２０に対して画像処理を行い、出力画像を生成する。

取得部１０３ｂは、撮像画像２０を取得する。なお、必要に応じて、取得部１０３ｂは、撮像画像２０と共に撮像画像２０に対応する撮影条件を取得（受信）してもよい。

生成部１０３ｃは、取得した撮像画像２０をＹＵＶ変換することで、Ｙ画像（輝度画像）及び複数の色差画像（第１の色差画像）を抽出する。輝度画像は、輝度値の情報を単色の濃淡のみで表すグレースケール画像である。色差画像は、それぞれＹＵＶ変換後のＵ及びＶの情報を有する画像である。ＹＵＶ変換の詳細に関しては後述する。

分割部１０３ｄは、得られた輝度画像を分割（変形）することで輝度画像を縮小する。

処理部１０３ｅは、縮小された輝度画像（入力画像）を拡大及び高解像度化する画像処理を行うことで推定画像（出力画像）を生成する。なお、処理部１０３ｅは、取得部１０３ｂにて取得された撮影条件を用いて画像処理を行ってもよい。例えば機械学習モデルの学習の際に入力画像に加え、撮像素子の画素ピッチ、光学ローパスフィルタの種類、及び画像圧縮率を用いることによって、訓練画像に対応する正解画像がそれぞれ異なる任意の撮像装置で取得された画像でも画像処理を行うことができる。撮影条件を用いた画像処理に関しての詳細は後述する。なお、撮像画像２０は、撮像装置１０２で撮像された画像でもよいし、記録媒体１０５に保存された画像でもよい。さらに撮像画像２０として例えば赤外画像や距離画像など初めからグレースケールで表される画像を用いてもよい。

本実施例における画像処理は、ニューラルネットワークを使用する。ニューラルネットワークにおけるウエイトの情報は、学習装置１０１で学習されたものである。画像推定装置１０３は、ネットワーク１０８を介して記憶部１０１ａからウエイトの情報を読み出し、記憶部１０３ａに保存している。保存されるウエイトの情報は、ウエイトの数値そのものでもよいし、符号化された形式でもよい。なお、ウエイトの学習及びウエイトを用いた画像処理に関しての詳細は、後述する。画像推定装置１０３は、必要に応じて現像処理やその他の画像処理を行う機能を有する。

出力画像は、表示装置１０４、記録媒体１０５、出力装置１０７の少なくとも１つに出力される。表示装置１０４は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０４を介して処理途中の画像を確認し、入力装置１０６を介して画像編集作業などを行うことができる。記録媒体１０５は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバ等である。入力装置１０６は、例えばキーボードやマウスなどである。出力装置１０７は、例えばプリンタなどである。また、画像推定装置１０３は、カラー化の処理を行った画像を表示や出力させてもよい。なお、カラー化の処理に関しては、後述する。

次に、図３及び図４を参照して、本実施例における学習装置１０１により実行されるウエイトの学習方法（学習済みモデルの製造方法）に関して説明する。図３は、ニューラルネットワークのウエイトの学習（更新）を示す概念図である。また、図４は、ニューラルネットワークの学習に関するフローチャートである。本実施例において、ニューラルネットワークは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）３０を用いる。なお、本実施例はこれに限定されるものではなく、例えばＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）を用いてもよい。

本実施例においてＣＮＮ３０のウエイトの学習（更新）は、ミニバッチ学習を用いて行う。ミニバッチ学習では、複数の正解画像と、それらに対応する推定画像との誤差を求め、ウエイトを更新する。誤差関数（Ｌｏｓｓ ｆｕｎｃｔｉｏｎ）には、例えばＬ２ノルムやＬ１ノルムなどを用いることができる。ただし実施例は、これに限定されるものではなく、オンライン学習またはバッチ学習を用いてもよい。

畳み込み層ＣＮは、ＣＮＮ３０へ入力された情報にフィルタの畳み込む演算を行い、入力された情報とバイアスとの和を算出する。さらに、畳み込み層ＣＮは、得られた演算の結果を活性化関数に基づいて非線形変換する。なお、フィルタの各成分とバイアスの初期値は任意であり、本実施例では乱数によって決定する。また、活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などを用いてもよい。最終層を除く各々の畳み込み層ＣＮは、特徴マップを出力する。本実施例において特徴マップは４次元配列であり、バッチ、縦、横及びチャンネルの次元を持つ。

スキップコネクションＳＣは、連続していない層から出力された特徴マップを合成する。本実施例において特徴マップは、要素ごとの和を求める方法を用いて合成される。なお、特徴マップは、チャンネル方向に連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）することで合成されてもよい。

ピクセルシャッフルＰＳ（Ｐｉｘｅｌ Ｓｈｕｆｆｌｅ）は、特徴マップを拡大する方法である。本実施例では、出力層に近い層において低解像度の特徴マップを拡大することで高解像度の特徴マップにしている。なお、特徴マップの拡大は、例えば、逆畳み込み（ＤｅｃｏｎｖｏｌｕｔｉｏｎまたはＴｒａｎｓｐｏｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）を用いてもよい。

残差ブロックＲＢ（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）は、複数の畳込み層ＣＮをまとめた要素（ブロックまたはモジュール）である。より高精度な学習を行うために、残差ネットワークと呼ばれる残差ブロックを多層化したネットワークを用いて学習を行ってもよい。なお、本実施例において、多層化したネットワークには残差ネットワークを用いたが、これに限定されるものではない。例えばインセプションモジュール（Ｉｎｃｅｐｔｉｏｎ Ｍｏｄｕｌｅ）、デンスブロック（Ｄｅｎｓｅ Ｂｌｏｃｋ）などの要素を用いて多層化しネットワークを構成してもよい。

必要に応じて、畳み込み層ＣＮでは、入力層に近い層で特徴マップを縮小及び出力層に近い層で特徴マップを拡大し、中間層での特徴マップのサイズを小さくすることで処理負荷を軽減させてもよい。ここで、特徴マップの縮小には、プーリング（Ｐｏｏｌｉｎｇ）やストライド（Ｓｔｒｉｄｅ）などを使用することができる。また、特徴マップの拡大には、逆畳み込み、ピクセルシャッフル、補間などを用いることができる。

次に、ニューラルネットワークの学習に関するフローチャートついて説明する。図４の各ステップは、主に、取得部１０１ｂ、生成部１０１ｃ、分割部１０１ｄ、学習部１０１ｅにより実行される。

まずステップＳ１０１（取得ステップ）において、取得部１０１ｂは第１の正解パッチ１０（第１の正解画像）及び第１の訓練パッチ１１（第１の訓練画像）を取得する。第１の正解パッチ１０及び第１の訓練パッチ１１は、少なくとも輝度情報を含むグレースケール画像である。本実施例において第１の正解パッチ１０は、第１の訓練パッチ１１に対して画像サイズが大きくかつ高解像度であり、第１の訓練パッチ１１と同一の被写体が写っている。また、パッチとは既定の画素数を有する画像である。例えば第１の訓練パッチ１１は１２８×１２８×１画素、対応する第１の正解パッチ１０は２５６×２５６×１画素などである。なお、バッチの倍率は縦横それぞれに２倍に限らず、第１の訓練パッチ１１と対応する第１の正解パッチ１０が取得できれば何倍でもよい。本実施例では、第１の訓練パッチ１１と対応する第１の正解パッチ１０は数値計算により生成しているが、本発明はこれに限定されるものではない。例えば第１の訓練パッチ１１と対応する第１の正解パッチ１０は、同一被写体を焦点距離が異なる光学系で撮像し、得られる２枚の画像の対応箇所を切り取ることで取得してもよい。または、第１の正解パッチ１０をダウンサンプリングによって解像度を低下させ、第１の訓練パッチ１１を生成してもよい。さらに第１の正解パッチ１０及び第１の訓練パッチ１１は、それぞれカラーパッチをＹＵＶ変換して得られる輝度パッチ（グレースケール画像）を用いてもよい。カラーパッチをＹＵＶ変換することで輝度バッチ及び複数の色差パッチを生成することができる。カラーパッチから輝度パッチ及び複数の色差パッチの生成は以下の式に従って行う。しかし、本実施例はこれに限定されるものではなく、その他の定義式を用いてもよい。
［数１］
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝－０．１４７１３Ｒ－０．２８８８６Ｇ＋０．４３６Ｂ
Ｖ＝０．６１５Ｒ－０．５４１９９Ｇ－０．１０００１Ｂ

上記の式は、色空間ＲＧＢから色空間ＹＵＶへの変換に用いる式である。色空間ＲＧＢは、それぞれＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３つのカラーチャンネルを用いて表される。一方で、ＹＵＶは、輝度チャンネル（Ｙ）と、２つの色差チャンネル（Ｕ及びＶ）を用いて表現される。

なお、本実施例において取得部１０１ｂは、グレースケールで表される第１の正解パッチ１０及び第１の訓練パッチ１１を取得するが、取得部１０１ｂにおいて複数のカラーチャンネルを有する訓練カラーパッチ及び正解カラーパッチを取得してもよい。その場合、生成部１０１ｃは、正解カラーパッチ及び訓練カラーパッチから数式１に従って第１の正解パッチ１０及び第１の訓練パッチ１１を生成する。なお、第１の正解パッチ１０及び第１の訓練パッチ１１は、何れか一方のみがカラーパッチから生成され、かつもう片方が輝度パッチとして取得部１０１ｂに取得されてもよい。

続いてステップＳ１０２（分割ステップ）において、分割部１０１ｄは、第１の訓練パッチ１１を分割することで複数の第２の訓練パッチ１２（第２の訓練画像）を生成する。複数の第２の訓練パッチ１２は、分割に伴い情報が失われない可逆的な変形によって生成される。本実施例において、第２の訓練パッチ１２は、第１の訓練パッチ１１の縦方向に１画素、横方向に１画素おきに抽出した画素値を空間（縦及び横）方向に配置することで生成する。このとき、チャンネル（深さ）方向に１枚の第１の訓練パッチ１１からチャンネル方向に４枚の第２の訓練パッチ１２を生成することができる。また、１枚ごとの第２の訓練パッチ１２は、第１の訓練パッチ１１に対して、縦横のサイズの少なくとも一方が小さく、解像度が低い。さらに可逆的に変形しているため、複数の第２の訓練パッチ１２の画素数の和は、第１の訓練パッチ１１の画素数と等しい。

なお、本実施例において第１の訓練パッチ１１は、同数の画素数を有する４枚の第２の訓練パッチ１２に４等分にされているがこれに限定されるものではなく、少なくとも第１の訓練パッチ１１及び複数の第２の訓練パッチ１２が可逆的に変換されていればよい。例えば複数の第２の訓練パッチ１２はそれぞれ異なる画素数を有していてもよく、４枚ではなく２枚上の任意の枚数の第２の訓練パッチ１２を生成してもよい。さらには、離散ウエーブレット変換により多重解像度解析して得られる周波数成分を用いてもよい。

このようにグレースケールで表される第１の訓練パッチ１１を可逆的に変形し、空間方向に縮小された複数の第２の訓練パッチ１２をＣＮＮ３０への入力画像とすることによって、ＣＮＮ３０での演算量を低減することができる。さらに複数の第２の訓練パッチ１２は、第１の訓練パッチ１１の分割に伴い情報が失われないため、高精度に画像処理を行うことができる。

なお、ステップＳ１０２において、分割部１０１ｄは、第１の訓練パッチ１１と同様に第１の正解パッチ１０を分割することで複数の第２の正解パッチ１４（第２の正解画像）を生成する。また、分割部１０１ｄは、複数の第２の訓練パッチ１２と共に撮影条件をＣＮＮ３０へ入力するため、取得部１０３ｂにて取得した撮影条件に基づいて画素ごとに撮影条件を有する画像（マップ）に変換してもよい。

続いてステップＳ１０３（推定ステップ）において、学習部１０１ｅは、ＣＮＮ３０（機械学習モデル）を用いて、分割した第２の訓練パッチ１２を画像処理することで、複数の推定パッチ１３（推定画像）を生成する。複数の推定パッチ１３は、ＣＮＮ３０により得られた推定画像であり、理想的には対応する複数の第２の正解パッチ１４のそれぞれと一致する。また、学習部１０１ｅは、画素ごとに撮影条件を有する画像を複数の第２の訓練パッチ１２のチャンネル方向に連結することで、撮影条件をＣＮＮ３０へ入力することができる。画素ごとに撮影条件を有する画像を、第２の訓練パッチ１２と共にＣＮＮ３０に入力した場合、学習部１０１ｅは、アップスケールに加えて撮影条件に基づいた画像処理を行い複数の推定パッチ１３を生成する。

続いてステップＳ１０４（更新ステップ）において、学習部１０１ｅは、推定パッチ１３及び第２の正解パッチ１４との誤差（Ｌｏｓｓ）に基づいてＣＮＮ３０のウエイトを更新する。ここで、ウエイトは、各層のフィルタの成分とバイアスを含む。本実施例では、ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、これに限定されるものではない。例えば勾配降下法を用いてもよい。

続いてステップＳ１０５において、学習部１０１ｅは、ウエイトの学習が完了したか否かを判定する。完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または、更新時のウエイトの変化量が規定値より小さいかなどにより判定することができる。未完と判定された場合、ステップＳ１０１へ戻り、新たな第１の訓練パッチ１１と対応する第１の正解パッチ１０を取得する。一方、完了と判定された場合、学習装置１０１は学習を終了し、ウエイトの情報を記憶部１０１ａに保存する。

次に、図５及び図６を参照して、本実施例における出力画像の生成に関して説明する。図５は、ニューラルネットワークの出力画像の生成を示す概念図である。また、図６は、ニューラルネットワークを用いた出力画像の生成に関するフローチャートである。図６の各ステップは、主に、画像推定装置（画像処理装置）１０３の取得部１０３ｂ、生成部１０３ｃ、分割部１０３ｄ、処理部１０３ｅにより実行される。

まずステップＳ２０１（取得ステップ）において、取得部１０３ｂは、撮像画像２０（第１のカラー画像）を取得する。撮像画像２０は、学習と同様に少なくとも輝度情報を含む画像である。本実施例において撮像画像２０は、撮像装置１０２から送信されたカラー画像であるが、本発明はこれに限定されるものではない。例えば記憶部１０３ａに保存された画像であってもよく、さらに輝度情報のみを単色の濃淡だけで表すグレースケール画像でもよい。なお、撮像画像２０と共に撮像画像２０に対応する撮影条件を取得して以降の工程で用いてもよい。

続いてステップＳ２０２（生成ステップ）において、生成部１０３ｃは、取得した撮像画像２０をＹＵＶ変換することで、Ｙ画像（輝度画像）及び複数の色差画像（第１の色差画像）を抽出する。輝度画像は、撮像画像２０の輝度情報のみを単色の濃淡だけで表す第１のグレースケール画像２１である。また複数の色差画像は、撮像画像２０の色差に関する情報を有する複数の色差画像２２（第１の色差画像）である。撮像画像２０からＹ画像及び複数の色差画像の生成は、数式１に従って行うことができる。

続いてステップＳ２０３（分割ステップ）において、分割部１０３ｄは、第１のグレースケール画像２１を分割することで、複数の第２のグレースケール画像２３に分割する。このとき、複数の第２のグレースケール画像２３は、分割に伴い情報が失われない可逆的な分割によって生成される。したがって、１枚ごとの第２のグレースケール画像２３は、第１のグレースケール画像２１に対して、縦横のサイズの少なくとも一方が小さく、解像度が低い。さらに可逆的に変形しているため、第２のグレースケール画像２３の画素数の和は、第１のグレースケール画像２１の画素数と等しい。また、複数の第２のグレースケール画像は互いに同じ画素数（解像度）であることが好ましい。複数の第２のグレースケール画像が互いに同じ画素数である場合、複数の第２のグレースケール画像に対するそれぞれの演算量が同じになるため、後述する推定ステップでの演算を効率化することができる。なお、第１のグレースケール画像２１の分割方法は、ステップＳ１０２の第１の訓練パッチ１１の変形方法と同様であるため、説明を省略する。

続いてステップＳ２０４（推定ステップ）において、処理部１０３ｅはＣＮＮ３０を用いて画像処理を行うことで、複数の第２のグレースケール画像２３から複数の第１の推定画像２４（第３のグレースケール画像）を生成する。なお、複数の第１の推定画像２４の生成に使用されるウエイト情報は、学習装置１０１から送信されて記憶部１０３ａに保存されたものであり、図３と同様のニューラルネットワークである。

必要に応じて、ステップＳ２０５（結合ステップ）において、処理部１０３ｅは、複数の第１の推定画像２４に対してさらに画像処理を行ってもよい。例えば複数の第１の推定画像２４を結合（合成）することで第２の推定画像２５（第４のグレースケール画像）を生成することができる。このとき、ステップＳ２０３において、第１のグレースケール画像２１を複数の第２のグレースケール画像２３に変形した方法の逆操作によって、複数の第１の推定画像２４から第２の推定画像２５を生成する。つまり本実施例において処理部１０３ｅは、複数の第１の推定画像２４を空間方向に足し合わせることによって第２の推定画像２５を生成することができる。このとき、第２の推定画像２５の画素数は複数の第１の推定画像２４の画素数の和と等しい。したがって、機械学習モデルへの入力画像として第１のグレースケール画像２１を縮小した複数の第２のグレースケール画像２３を用いることによって、同じ倍率にアップスケールする場合、カラー画像を入力画像とするよりも演算量を低減することができる。なお、複数の第１の推定画像２４を結合した第２の推定画像２５を生成した場合、画像推定装置１０３は、第２の推定画像２５を出力画像としてもよい。

さらに、ステップＳ２０６（カラー化ステップ）において、処理部１０３ｅは第２の推定画像２５をカラー化する画像処理を行ってもよい。このとき、第２の推定画像２５及びステップＳ２０２において生成された複数の色差画像２２に基づいてカラー化を行い、推定カラー画像２６（第２のカラー画像）を生成する。推定カラー画像２６は、撮像画像２０をアップスケールした画像である。なお、本実施例において輝度画像のカラー化は、数式２に従って行う。
［数２］
Ｒ＝Ｙ＋１．１３９８３Ｖ
Ｇ＝Ｙ－０．３９４６５Ｕ－０．５８０６０Ｖ
Ｂ＝Ｙ＋２．０３２１１Ｕ

上記の式は、色空間ＹＵＶから色空間ＲＧＢへの変換に用いる式である。数式２は、数式１に従って行う色空間ＲＧＢから色空間ＹＵＶの変換の逆操作である。なお、カラー画像から輝度画像の生成方法としてその他の定義式を用いた場合は、輝度画像からカラー画像の生成方法としてその逆操作を用いる必要がある。なお、第２の推定画像２５をカラー化した推定カラー画像２６を生成した場合、画像推定装置１０３は、推定カラー画像２６を出力画像としてもよい。

さらに、処理部１０３ｅは、推定カラー画像２６の生成のために、複数の色差補間画像２７（第２の色差画像）を用いてもよい。複数の色差補間画像２７は、高解像度化するため、複数の色差画像２２のそれぞれを補間することで生成される（補間ステップ）。なお、色差画像２２から色差補間画像２７の生成する方法はこれに限定されず、例えばバイナリ法及びバイキュービック法を用いて行われてもよく、また機械学習モデルを用いた方法でもよい。このとき、複数の色差補間画像２７のそれぞれは、第２の推定画像２５と同じ解像度（画素数）であることが好ましい。第２の推定画像２５と同じ解像度の複数の色差補間画像２７を用いて第２の推定画像２５をカラー化することで、カラー化によるノイズを低減でき、より高精度な推定カラー画像２６を得られる。

本実施例ではステップＳ２０１において撮像画像２０を取得し、Ｓ２０２において撮像画像２０から生成した第１のグレースケール画像２１をステップＳ２０３以降で出力画像を生成する方法を説明した。しかし、ステップＳ２０１において、取得部１０３ｂが、初めからグレースケールで表される画像（例えば赤外画像や距離画像）を取得した場合は、ステップＳ２０１及びＳ２０２を実行せずにステップＳ２０３以降のステップを実行すればよい。その場合は、撮像画像２０の色差に関する情報がないため、第２の推定画像２５をカラー化することはできない。

本実施例において、学習装置１０１及び画像推定装置１０３は、別の装置である場合を例に説明したが、本発明はこれに限定されない。学習装置１０１と画像推定装置１０３は一体であってもよい。つまり、単一の装置内において学習の処理及び推定の処理を行ってもよい。

以上の構成により、本実施例によれば、機械学習モデルを用いた画像処理において可逆的な分割によって縮小されたグレースケール画像を入力画像とすることで、高解像度な出力画像を得る画像処理システムを提供することができる。

［実施例２］
次に、本発明の実施例２における画像処理システム２００に関して説明する。本実施例に係る画像処理システム２００は、機械学習モデルを用いて画像をアップスケールする画像処理を学習、実行させる。

本実施例の画像処理システム２００は、撮像装置２０２が撮像画像２０を取得し、画像処理する点で、実施例１と異なる。

図７は、本実施例における画像処理システム２００のブロック図である。図８は、画像処理システム２００の外観図である。画像処理システム２００は、ネットワーク２０３を介して接続された学習装置２０１と撮像装置２０２を有する。なお、学習装置２０１と撮像装置２０２は、ネットワーク２０３を介して常に接続されている必要はない。

学習装置２０１は、記憶部（記憶手段）２１１、取得部（取得手段）２１２、生成部（生成手段）２１３、分割部（分割手段）２１４、学習部（学習手段）２１５を有する。これらを用いて、撮像画像２０をアップスケールするため、ニューラルネットワークのウエイトを学習（更新）する。なお、ニューラルネットワークのウエイトの情報は、学習装置２０１で事前に学習され、記憶部２１１に保存されている。学習装置２０１で実行されるニューラルネットワークのウエイトの学習（更新）方法は実施例１と同様であるため、説明を省略する。

撮像装置２０２は、光学系２２１、撮像素子２２２、画像推定部２２３、記憶部２２４、記録媒体２２５ａ、表示部２２５ｂ、入力部２２６、システムコントローラ２２７を有する。撮像装置２０２は被写体空間を撮像して撮像画像２０を取得し、出力画像を生成する。撮像装置２０２における、光学系２２１及び撮像素子２２２は、実施例１と同様であるため、説明を省略する。また、撮像装置２０２は、記憶部２１１からネットワーク２０３を介してウエイトの情報を読み出し、記憶部２２４に保存する。

画像推定部２２３は、取得部２２３ａと生成部２２３ｂ、分割部２２３ｃ、処理部２２３ｄを有する。取得部２２３ａは、撮像装置２０２から撮像画像２０及び撮像画像２０に対応する撮影条件を取得する。生成部２２３ｂ、分割部２２３ｃは、実施例１の生成部１０３ｃ、分割部１０３ｄと同様である。取得部２２３ａが取得した撮像画像２０を記憶部２２４に保存されたウエイトの情報に基づいて画像処理を行い、出力画像を生成する。本実施例において処理部２２３ｄは、画像処理に撮像画像２０に対応する撮影条件を用いる。

記録媒体２２５ａは、出力画像を保存される。入力部２２６を介してユーザから推定画像の表示に関する指示が出された場合、保存された出力画像が読み出され、表示部２２５ｂに表示される。なお、画像推定部２２３は、記録媒体２２５ａに保存された撮像画像２０及び撮影条件を読み出して、出力画像を生成する処理を行ってもよい。システムコントローラ２２７は、撮像装置２０２で行われる処理の制御を行う。

次に、本実施例における出力画像の生成に関して説明する。図９は、本実施例におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。第２の推定画像２５の生成における各ステップは、主に、画像推定部２２３の取得部２２３ａ（取得手段）、生成部（生成手段）２２３ｂ、分割部（分割手段）２２３ｃ、処理部（推定手段）２２３ｄにより実行される。

まずステップＳ３０１（取得ステップ）において、取得部２２３ａは、撮像画像２０及び撮像画像２０に対応する撮影条件を取得する。なお、本実施例において撮像画像２０は、カラー画像であり、撮像装置２０２によって取得されて記憶部２２４に保存されたものである。ステップＳ３０２（生成ステップ）及びステップＳ３０３（分割ステップ）は、実施例１のステップＳ２０２及びステップＳ２０３と同様であるため、説明を省略する。

続いてステップＳ３０４（推定ステップ）において、処理部２２３ｄは、ニューラルネットワークを用いて画像処理を行うことで、複数の第２のグレースケール画像２３から複数の推定画像（第３のグレースケール画像）２４を生成する。なお、推定画像の生成に使用されるウエイト情報は、学習装置１０１から送信されて記憶部１０３ａに保存されたものであり、図３と同様のニューラルネットワークである。本実施例において、処理部２２３ｄは、複数の第１の推定画像２４に加え、撮影条件としてＩＳＯ感度を用いて画像処理を行う。ＩＳＯ感度は、センサの光の感じやすさを表す撮影条件であり、ＩＳＯ感度が高い場合画像にノイズが出やすくなる。撮影条件としてＩＳＯ感度を用いることで、ＩＳＯ感度が高い撮像画像２０をアップスケールする際にノイズを過剰に強調しないよう画像処理を行うことができる。

なお、撮影条件はＩＳＯ感度に限定されず、例えば撮影条件としてノイズ除去強度を用いてもよく、撮像画像２０のノイズ除去強度が弱い（撮像画像２０が高周波成分を多く含む）場合、出力画像の高周波成分が少なくなるよう画像処理を行う。また、撮影条件としてシャープネス強度を用いてもよく、撮像画像２０のシャープネス強度が強い（撮像画像２０が高周波成分を多く含む）場合、出力画像の高周波成分が過剰とならないよう画像処理を行う。さらに、撮影条件として画像圧縮率を用いてもよく、撮像画像２０の画像圧縮率が高い（撮像画像２０の高周波成分が失われている）場合、出力画像の高周波成分を補うよう画像処理を行う。

続いてステップＳ３０５（処理ステップ）において、処理部２２３ｄは、複数の第１の推定画像２４の結合及びカラー化を行い、出力画像を生成する。なお、結合及びカラー化の方法については、実施例１と同様であるため、説明を省略する。

以上の構成により、本実施例によれば、機械学習モデルを用いた画像処理において可逆的な変形によって縮小されたグレースケール画像を入力画像とすることで、高解像度な出力画像を得る画像処理システムを提供することができる。なお、本実施例では、縮小されたグレースケール画像と共に撮影条件を機械学習モデルに入力することで、より高精度に画像処理を行うことができる。

［実施例３］
次に、本発明の実施例３における画像処理システム３００に関して説明する。本実施例に係る画像処理システム３００は、機械学習モデルを用いての画像をアップスケールする画像処理を学習、実行させる。

本実施例の画像処理システム３００は、撮像装置３０２から撮像画像２０を取得し、画像推定装置（画像処理装置）３０３に撮像画像２０に対する画像処理に関する要求を行う制御装置３０４を有する点で実施例１と異なる。

図１０は、本実施例における画像処理システム３００のブロック図である。画像処理システム３００は、学習装置３０１、撮像装置３０２、画像推定装置３０３、制御装置３０４を有する。本実施例において学習装置３０１及び画像推定装置３０３はサーバでもよい。制御装置３０４は、例えばパーソナルコンピュータ若しくはスマートフォンのようなユーザ端末である。制御装置３０４はネットワーク３０５を介して画像推定装置３０３に接続されている。画像推定装置３０３はネットワーク３０６を介して学習装置３０１に接続されている。つまり、制御装置３０４及び画像推定装置３０３並びに画像推定装置３０３及び学習装置３０１は互いに通信可能に構成されている。

画像処理システム３００における学習装置３０１及び撮像装置３０２は、それぞれ学習装置１０１及び撮像装置１０２と同様の構成のため説明を省略する。

画像推定装置３０３は、記憶部３０３ａ、取得部（取得手段）３０３ｂ、生成部（生成手段）３０３ｃ、分割部（分割手段）３０３ｄ、処理部（推定手段）３０３ｅ、通信部（受信手段）３０３ｆを有する。画像推定装置３０３における記憶部３０３ａ、取得部３０３ｂ、生成部３０３ｃ、分割部３０３ｄ、処理部３０３ｅは、それぞれ記憶部１０３ａ、取得部１０３ｂ、生成部１０３ｃ、分割部１０３ｄ、処理部１０３ｅと同様である。

制御装置３０４は、通信部（送信手段）３０４ａ、表示部（表示手段）３０４ｂ、入力部（入力手段）３０４ｃ、処理部（処理手段）３０４ｄ、記録部３０４ｅを有する。通信部３０４ａは、撮像画像２０に対する処理を画像推定装置３０３に実行させるための要求を画像推定装置３０３に送信することができる。また、画像推定装置３０３によって処理された出力画像を受信することができる。なお、通信部３０４ａは、撮像装置３０２と通信を行ってもよい。表示部３０４ｂは、種々の情報を表示する。表示部３０４ｂによって表示される種々の情報は、例えば画像推定装置３０３に送信する撮像画像２０若しくは画像推定装置３０３から受信した出力画像を含む。入力部３０４ｃは、ユーザから画像処理を開始する指示などを入力できる。処理部３０４ｄは、画像推定装置３０３から受信した出力画像に対してカラー化を含む画像処理を施すことができる。記録部３０４ｅは、撮像装置３０２から取得した撮像画像２０、画像推定装置３０３から受信した出力画像を保存する。

なお、処理対象である撮像画像２０を画像推定装置３０３に送信する方法は問わず、例えば撮像画像２０はＳ４０１と同時に画像推定装置３０３にアップロードされてもよいし、Ｓ４０１以前に画像推定装置４０３にアップロードされていてもよい。また、撮像画像２０は画像推定装置３０３とは異なるサーバ上に保存された画像でもよい。

次に、本実施例における出力画像の生成に関して説明する。図１１は、本実施例におけるニューラルネットワークを用いた出力画像の生成に関するフローチャートである。

制御装置３０４の動作について説明する。本実施例における画像処理は、制御装置３０４を介してユーザにより画像処理開始の指示によって処理が開始される。

まずステップＳ４０１（第１の送信ステップ）において、通信部３０４ａは撮像画像２０に対する処理の要求を画像推定装置３０３へ送信する。なお、ステップＳ４０１において、制御装置３０４は撮像画像２０に対する処理の要求と共に、ユーザを認証するＩＤや、撮像画像２０に対応する撮影条件などを送信してもよい。

続いて、ステップＳ４０２（第１の受信ステップ）において、通信部３０４ａは推定装置３０３によって生成された出力画像を受信する。

次に、画像推定装置４０３の動作について説明する。まずステップＳ５０１において、通信部３０３ｆは通信部３０４ａから送信された撮像画像２０に対する処理の要求を受信する。画像推定装置３０３は、撮像画像２０に対する処理が指示を受けることによって、ステップＳ５０２以降の処理を実行する。

続いてステップＳ５０２において、取得部３０３ｂは、撮像画像２０を取得する。本実施例において、撮像画像２０は制御装置３０４から送信されたものである。このとき、撮像画像２０と共に、撮像画像２０に対応する撮影条件を取得してもよい。なお、ステップＳ５０１及びステップＳ５０２の処理は同時に行われてもよい。ステップＳ５０３乃至Ｓ５０５は、ステップＳ２０２乃至Ｓ２０４と同様であるため、説明を省略する。

続いてステップＳ５０６において、画像推定装置３０３は出力画像を制御装置３０４へ送信する。なお、画像推定装置３０３が送信する出力画像は、複数の第１の推定画像２４、複数の第１の推定画像２４から生成した第２の推定画像２５、推定カラー画像２６のうち何れかを含む。

以上の構成により、本実施例によれば、機械学習モデルを用いた画像処理において可逆的な変形によって縮小されたグレースケール画像を入力画像とすることで、高解像度な出力画像を得る画像処理システムを提供することができる。なお、本実施例において制御装置３０４は特定の画像に対する処理を要求するのみである。実際の画像処理は画像推定装置３０３によって行われる。このため、制御装置３０４をユーザ端末とすれば、ユーザ端末による処理負荷を低減することが可能となる。したがって、ユーザ側は低い処理負荷で出力画像を得ることが可能となる。

［その他の実施例］
本実施例は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、機械学習モデルを用いた画像処理において、高解像度な出力画像を得ることが可能な画像処理方法、画像処理装置、プログラム、及び記憶媒体を提供することができる。画像処理装置は本実施例の画像処理機能を有する装置であれば足り、撮像装置やパーソナルコンピュータの形態で実現され得る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［方法１］
第１のグレースケール画像を分割することで、前記第１のグレースケール画像よりも解像度が低い複数の第２のグレースケール画像を生成するステップと、
前記複数の第２のグレースケール画像を機械学習モデルに入力することで、アップスケールされた複数の第３のグレースケール画像を生成するステップとを有することを特徴とする画像処理方法。

［方法２］
前記複数の第２のグレースケール画像のそれぞれの解像度は、互いに同じであることを特徴とする方法１に記載の画像処理方法。

［方法３］
前記複数の第３のグレースケール画像を互いに結合することで、第４のグレースケール画像を生成するステップをさらに有することを特徴とする方法１又は２の何れか一項に記載の画像処理方法。

［方法４］
前記第４のグレースケール画像の画素数と前記複数の第３のグレースケール画像の画素数の合計とが等しいことを特徴とする方法３に記載の画像処理方法。

［方法５］
第１のカラー画像から前記第１のグレースケール画像及び複数の第１の色差画像を生成するステップと、
前記第４のグレースケール画像及び前記複数の第１の色差画像に基づいて第２のカラー画像を生成するステップとをさらに有することを特徴とする方法３に記載の画像処理方法。

［方法６］
前記複数の第１の色差画像を補間することで複数の第２の色差画像を生成するステップをさらに有し、
前記第４のグレースケール画像及び前記複数の第２の色差画像に基づいて前記第２のカラー画像を生成することを特徴とする方法５に記載の画像処理方法。

［方法７］
前記複数の第２の色差画像のそれぞれの解像度は、前記第４のグレースケール画像の解像度と同じであることを特徴とする方法６に記載の画像処理方法。

［方法８］
前記第１のグレースケール画像は、光学系及び撮像素子を用いた撮影により取得され、
前記複数の第３のグレースケール画像を生成するステップは、前記複数の第２のグレースケール画像及び前記撮影における撮影条件を機械学習モデルに入力することで、アップスケールされた前記複数の第３のグレースケール画像を生成することを特徴とする方法１乃至４の何れか一項に記載の画像処理方法。

［方法９］
前記第１のカラー画像は、光学系及び撮像素子を用いた撮影により取得され、
前記複数の第３のグレースケール画像を生成するステップは、前記複数の第２のグレースケール画像及び前記撮影における撮影条件を機械学習モデルに入力することで、アップスケールされた前記複数の第３のグレースケール画像を生成することを特徴とする方法５乃至７の何れか一項に記載の画像処理方法。

［方法１０］
前記撮影条件は、前記撮像素子の画素ピッチ、前記光学系の光学ローパスフィルタの種類、ＩＳＯ感度のうち少なくとも一つを含むであることを特徴とする方法８又は９の何れか一項に記載の画像処理方法。

［方法１１］
前記撮影条件は、ノイズ除去強度、シャープネス強度、画像圧縮率のうち少なくとも一つを含むであることを特徴とする方法８又は９の何れか一項に記載の画像処理方法。

［プログラム１２］
方法１乃至１１の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

［構成１３］
プログラム１２に記載のプログラムを記憶していることを特徴とする記憶媒体。

［構成１４］
第１のグレースケール画像を分割することで、前記第１のグレースケール画像に対して解像度が低い複数の第２のグレースケール画像を生成する分割部と、
前記複数の第２のグレースケール画像を機械学習モデルに入力することで、アップスケールされた複数の第３のグレースケール画像を生成する処理部とを有することを特徴とする画像処理装置。

［構成１５］
第１の訓練画像及び第１の正解画像を取得する取得部と、
前記第１の訓練画像及び前記第１の正解画像を分割することで、前記第１の訓練画像に対して解像度が低い複数の第２の訓練画像と前記第１の正解画像に対して解像度が低い複数の第２の正解画像とを生成する分割部と、
前記複数の第２の訓練画像を機械学習モデルに入力することで、アップスケールされた複数の推定画像を生成する処理部と、
前記複数の推定画像及び前記複数の第２の正解画像に基づいてニューラルネットワークのウエイトを更新する学習部とを有することを特徴とする学習装置。

［方法１６］
第１の訓練画像及び第１の正解画像を取得するステップと、
前記第１の訓練画像及び前記第１の正解画像を分割することで、前記第１の訓練画像に対して解像度が低い複数の第２の訓練画像と前記第１の正解画像に対して解像度が低い複数の第２の正解画像とを生成するステップと、
前記複数の第２の訓練画像を機械学習モデルに入力することで、アップスケールされた複数の推定画像を生成するステップと、
前記複数の推定画像及び前記複数の第２の正解画像に基づいてニューラルネットワークのウエイトを更新するステップとを有することを特徴とする学習済みモデルの製造方法。

［プログラム１７］
方法１６に記載の学習済みモデルの製造方法をコンピュータに実行させることを特徴とするプログラム。

［構成１８］
撮像装置及び前記撮像装置と互いに通信可能な学習装置を含む画像処理システムであって、
前記学習装置は、第１の訓練画像及び第１の正解画像を取得する取得部と、
前記第１の訓練画像及び前記第１の正解画像を分割することで、前記第１の訓練画像に対して解像度が低い複数の第２の訓練画像と前記第１の正解画像に対して解像度が低い複数の第２の正解画像とを生成する分割部と、
前記複数の第２の訓練画像を機械学習モデルに入力することで、アップスケールされた複数の推定画像を生成する処理部と、
前記複数の推定画像及び前記複数の第２の正解画像に基づいてニューラルネットワークのウエイトを更新する学習部とを有し、
前記撮像装置は、光学系、撮像素子、画像推定部を有し、
前記画像推定部は、第１のグレースケール画像を取得する手段と、
第１のグレースケール画像を分割することで、前記第１のグレースケール画像に対して解像度が低い複数の第２のグレースケール画像を生成する手段と、
前記複数の第２のグレースケール画像に基づいて前記複数の第２のグレースケール画像をアップスケールした複数の第３のグレースケール画像を生成する手段と備えることを特徴とする画像処理システム。

［構成１９］
制御装置及び前記制御装置と互いに通信可能な画像処理装置を含む画像処理システムであって、
前記制御装置は、撮像画像に対する処理を前記画像処理装置に実行させるための要求を送信する手段を有し、
前記画像処理装置は、
前記要求を受信する手段と、
前記撮像画像を取得する手段と、
前記撮像画像から複数の第１のグレースケール画像を生成する手段と、
前記複数の第１のグレースケール画像を機械学習モデルに入力することで、アップスケールされた複数の第２のグレースケール画像を生成する手段とを有することを特徴とする画像処理システム。

２１ 第１のグレースケール画像
２３ 第２のグレースケール画像
２４ 第３のグレースケール画像

Claims (19)

1. 撮影により取得された第１のカラー画像に基づいて、該第１のカラー画像よりも画素数が大きい第２のカラー画像を生成する画像処理方法であって、
   前記第１のカラー画像から第１のグレースケール画像を生成するステップと、
   前記第１のグレースケール画像を分割することで、該第１のグレースケール画像よりも画素数が小さい複数の第２のグレースケール画像を生成するステップと、
   前記複数の第２のグレースケール画像と前記撮影におけるＩＳＯ感度の情報とをチャンネル方向に連結して機械学習モデルに入力することで、該複数の第２のグレースケール画像に対してアップスケールされた複数の第３のグレースケール画像を生成するステップと、
   前記複数の第３のグレースケール画像に基づいて前記第２のカラー画像を生成するステップとを有し、
   前記ＩＳＯ感度の情報は、画素ごとのＩＳＯ感度を示すマップであることを特徴とする画像処理方法。
2. 前記複数の第２のグレースケール画像のそれぞれの画素数は、互いに同じであることを特徴とする請求項１に記載の画像処理方法。
3. 前記複数の第３のグレースケール画像を互いに結合することで、第４のグレースケール画像を生成するステップをさらに有することを特徴とする請求項１に記載の画像処理方法。
4. 前記第４のグレースケール画像の画素数と前記複数の第３のグレースケール画像の画素数の合計とが等しいことを特徴とする請求項３に記載の画像処理方法。
5. 前記第１のカラー画像から前記第１のグレースケール画像及び複数の第１の色差画像を生成するステップと、
   前記第２のカラー画像は、前記第４のグレースケール画像及び前記複数の第１の色差画像に基づいて生成されることを特徴とする請求項３に記載の画像処理方法。
6. 前記複数の第１の色差画像をアップスケールすることで複数の第２の色差画像を生成するステップをさらに有し、
   前記第２のカラー画像は、前記第４のグレースケール画像及び前記複数の第２の色差画像に基づいて生成されることを特徴とする請求項５に記載の画像処理方法。
7. 前記複数の第２の色差画像のそれぞれの画素数は、前記第４のグレースケール画像の画素数と同じであることを特徴とする請求項６に記載の画像処理方法。
8. 前記第１のグレースケール画像は、輝度画像であることを特徴とする請求項１乃至７の何れか一項に記載の画像処理方法。
9. 前記第１のカラー画像は、光学系及び撮像素子を用いた撮影により取得され、
   前記複数の第３のグレースケール画像を生成するステップにおいて、前記複数の第２のグレースケール画像と、前記ＩＳＯ感度と、前記撮影における撮影条件とを機械学習モデルに入力することで前記複数の第３のグレースケール画像を生成することを特徴とする請求項１乃至７の何れか一項に記載の画像処理方法。
10. 前記撮影条件は、前記撮像素子の画素ピッチ、前記光学系の光学ローパスフィルタの種類のうち少なくとも一つを含むことを特徴とする請求項９に記載の画像処理方法。
11. 前記撮影条件は、ノイズ除去強度、シャープネス強度、画像圧縮率のうち少なくとも一つを含むことを特徴とする請求項９に記載の画像処理方法。
12. 前記第１のグレースケール画像は、色差画像であることを特徴とする請求項１乃至７の何れか一項に記載の画像処理方法。
13. 請求項１乃至７の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
14. 請求項１３に記載のプログラムを記憶していることを特徴とする記憶媒体。
15. 撮影により取得された第１のカラー画像に基づいて、該第１のカラー画像よりも画素数が大きい第２のカラー画像を生成する画像処理装置であって、
    前記第１のカラー画像から第１のグレースケール画像を生成する手段と、
    前記第１のグレースケール画像を分割することで、該第１のグレースケール画像に対して画素数が小さい複数の第２のグレースケール画像を生成する手段と、
    前記複数の第２のグレースケール画像と前記撮影におけるＩＳＯ感度の情報とをチャンネル方向に連結して機械学習モデルに入力することで、該複数の第２のグレースケール画像に対してアップスケールされた複数の第３のグレースケール画像を生成する手段と、
    前記複数の第３のグレースケール画像に基づいて前記第２のカラー画像を生成する手段とを有し、
    前記ＩＳＯ感度の情報は、画素ごとのＩＳＯ感度を示すマップであることを特徴とする画像処理装置。
16. 第１の訓練画像及び第１の正解画像を取得する取得部と、
    前記第１の訓練画像及び前記第１の正解画像を分割することで、前記第１の訓練画像に対して画素数が小さい複数の第２の訓練画像と前記第１の正解画像に対して画素数が小さい複数の第２の正解画像とを生成する分割部と、
    前記複数の第２の訓練画像と前記第１の訓練画像に対応するＩＳＯ感度の情報とをチャンネル方向に連結して機械学習モデルに入力することで、該複数の第２の訓練画像に対してアップスケールされた複数の推定画像を生成する処理部と、
    前記複数の推定画像及び前記複数の第２の正解画像に基づいて機械学習モデルのウエイトを更新する学習部とを有し、
    前記ＩＳＯ感度の情報は、画素ごとのＩＳＯ感度を示すマップであることを特徴とする学習装置。
17. 第１の訓練画像及び第１の正解画像を取得するステップと、
    前記第１の訓練画像及び前記第１の正解画像を分割することで、前記第１の訓練画像に対して画素数が小さい複数の第２の訓練画像と前記第１の正解画像に対して画素数が小さい複数の第２の正解画像とを生成するステップと、
    前記複数の第２の訓練画像と前記第１の訓練画像に対応するＩＳＯ感度の情報とをチャンネル方向に連結して機械学習モデルに入力することで、該複数の第２の訓練画像に対してアップスケールされた複数の推定画像を生成するステップと、
    前記複数の推定画像及び前記複数の第２の正解画像に基づいて機械学習モデルのウエイトを更新するステップとを有し、
    前記ＩＳＯ感度の情報は、画素ごとのＩＳＯ感度を示すマップであることを特徴とする学習済みモデルの生成方法。
18. 請求項１７に記載の学習済みモデルの生成方法をコンピュータに実行させることを特徴とするプログラム。
19. 請求項１５に記載の画像処理装置と、該画像処理装置と互いに通信可能な制御装置とを含む画像処理システムであって、
    前記制御装置は、撮像画像に対する処理を前記画像処理装置に実行させるための要求を送信する手段を有し、
    前記画像処理装置は、前記要求を受信する受信手段を有し、該要求に応じて前記第２のカラー画像を生成する手段とを有することを特徴とする画像処理システム。