JP7282314B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、手書きの文字が描かれている印刷物の複写や画像の読み取りに関する。

印刷物は、たとえば学会やセミナーで配布されたときには、その印刷物に対して講演内容の一部を手書きで補填する場合がある。このような場合に、後に手書きの記載が除去された印刷物が望まれる場合もある。このような手書きの記載は、必ずしも印刷物のトナー色と相違する色相の色で記載されるとは限られず、黒のボールペンや鉛筆といった見た目に色が近い色材で記載されることも多い。このような問題に対して、特許文献１は、手書き文字を含む原画像に対する膨張処理により全体をぼやかし、膨張処理で得られた画像に対する暗部抽出処理により手書き文字の薄い部分を消去し、暗部抽出処理で得られた画像に対する小領域除去処理により手書き部分の小さな残りを消去し、小領域除去処理で得られた画像と原画像に対して和算出処理を施すことにより、印刷文字部分をきれいに取り出す技術を提案している。

特開２００５－２７６１８８号公報

しかし、印刷物が、たとえば学会やセミナーで配布されたときには、出張報告書には、手書きの記載を読んで報告内容として記載し、添付資料として手書きの記載が除去された印刷物が望まれる場合もある。

本発明は、このような状況に鑑みてなされたものであり、手書き画像の除去処理においては印刷画像の欠落を効果的に抑制する一方、強調処理においては手書き画像の非検出を抑制する技術を提供することを目的とする。

本発明の画像処理装置は、畳み込みニューラルネットワークを使用して入力画像データの各画素が手書き画像を表しているか否かを分類し、前記手書き画像を表している確率である分類確率を画素毎に算出する画像分類部と、前記手書き画像を除去する画像処理である除去処理を行う場合には、第１の閾値を設定し、前記手書き画像を強調する画像処理である強調処理を行う場合には、前記第１の閾値よりも小さな第２の閾値を設定する閾値設定部と、前記除去処理を行う場合には、前記第１の閾値以上の前記分類確率を有する画素の階調値を調整して前記手書き画像を除去し、前記強調処理を行う場合には、前記第２の閾値以上の前記分類確率を有する画素の階調値を調整して前記手書き画像を強調処理する画像処理部とを備える。

本発明の画像処理方法は、畳み込みニューラルネットワークを使用して入力画像データの各画素が手書き画像を表しているか否かを分類し、前記手書き画像を表している確率である分類確率を画素毎に算出する画像分類工程と、前記手書き画像を除去する画像処理である除去処理を行う場合には、第１の閾値を設定し、前記手書き画像を強調する画像処理である強調処理を行う場合には、前記第１の閾値よりも小さな第２の閾値を設定する閾値設定工程と、前記除去処理を行う場合には、前記第１の閾値以上の前記分類確率を有する画素の階調値を調整して前記手書き画像を除去し、前記強調処理を行う場合には、前記第２の閾値以上の前記分類確率を有する画素の階調値を調整して前記手書き画像を強調処理する画像処理工程とを備える。

本発明は、画像処理装置を制御するための画像処理プログラムを提供する。前記画像処理プログラムは、畳み込みニューラルネットワークを使用して入力画像データの各画素が手書き画像を表しているか否かを分類し、前記手書き画像を表している確率である分類確率を画素毎に算出する画像分類部、前記手書き画像を除去する画像処理である除去処理を行う場合には、第１の閾値を設定し、前記手書き画像を強調する画像処理である強調処理を行う場合には、前記第１の閾値よりも小さな第２の閾値を設定する閾値設定部、及び前記除去処理を行う場合には、前記第１の閾値以上の前記分類確率を有する画素の階調値を調整して前記手書き画像を除去し、前記強調処理を行う場合には、前記第２の閾値以上の前記分類確率を有する画素の階調値を調整して前記手書き画像を強調処理する画像処理部として前記画像処理装置を機能させる。

本発明によれば、手書き画像の除去処理においては印刷画像の欠落を効果的に抑制する一方、強調処理においては手書き画像の非検出を抑制する技術を提供することができる。

本発明の一実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。 一実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。 一実施形態に係る印刷処理の内容を示すフローチャートである。 一実施形態に係る手書き画像調整処理の内容を示すフローチャートである。 一実施形態に係るエンコード処理の一例の一例を示す説明図である。 一実施形態に係る畳み込み演算の一例を示す説明図である。 一実施形態に係るプーリング処理の一例を示す説明図である。 一実施形態に係る全結合層及び出力層の一例を示す説明図である。 一実施形態に係るデコード処理の一例の一例を示す説明図である。 一実施形態に係る除去処理及び強調処理の一例を示す説明図である。 比較例及び一実施形態に係る処理の一例を示す説明図である。 変形例に係る学習処理の内容を示す説明図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。図２は、一実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。画像形成装置１０は、制御部２１０と、画像形成部２２０と、操作表示部２３０と、記憶部２４０と、画像読取部１００とを備えている。画像読取部１００は、自動原稿送り装置（ＡＤＦ）１６０と原稿台（コンタクトガラス）１５０とを有し、原稿から画像（原画像）を読み取ってデジタルデータである画像データＩＤを生成する。

画像形成部２２０は、画像データＩＤに基づいて印刷媒体（図示せず）に画像を形成して排出する。操作表示部２３０は、タッチパネルとして機能するディスプレイ（図示せず）や各種ボタンやスイッチ（図示せず）からユーザーの操作入力（単にユーザー入力とも呼ばれる。）を受け付ける。

制御部２１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部２１０は、画像分類部２１１と、閾値設定部２１２と、画像処理部２１３とを有し、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェイスに関連するコントローラ機能を備え、画像形成装置１０全体を制御する。

記憶部２４０は、記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部２１０が実行する処理の制御プログラム（たとえば画像処理プログラム）やデータを記憶する。記憶部２４０には、学習データ２４１が記憶されている。

画像読取部１００は、図２に示されるように、光源ドライバ１１１と、光源１１２とを備えている。光源１１２は、原稿Ｄに光を照射する複数のＬＥＤ（図示せず）を有する。光源ドライバ１１１は、主走査方向に配列されている複数のＬＥＤを駆動するＬＥＤドライバであり、光源１１２のオンオフ駆動制御を行う。これにより、光源１１２は、可変の駆動デューティのパルス幅変調（ＰＷＭ）で原稿Ｄの原稿面を照射光Ｌ１で照射することができる。

照射光Ｌ１は、原稿Ｄの面に垂直な方向に対して４５度（傾斜した方向）の角度で照射される。原稿Ｄは、拡散反射光Ｌ２と、正反射光とを含む反射光を反射する。受光素子１２２は、拡散反射光Ｌ２を受光する。拡散反射光Ｌ２は、色材の吸光特性に応じたスペクトルの光となる。具体的には、印刷画像の拡散反射光Ｌ２は、印刷で使用された色材の吸光特性に応じたスペクトルの光となり、手書き画像の拡散反射光Ｌ２は、筆記具で使用されるインクや黒鉛等の色材の吸光特性に応じたスペクトルの光となる。

画像読取部１００は、さらに、図１に示されるように、原稿Ｄとイメージセンサ１２１との間に、第１反射鏡１１３と、第１キャリッジ１１４と、第２反射鏡１１５と、第３反射鏡１１６と、第２キャリッジ１１７と、集光レンズ１１８とを備えている。第１反射鏡１１３は、原稿Ｄからの拡散反射光Ｌ２を第２反射鏡１１５の方向に反射する。第２反射鏡１１５は、拡散反射光Ｌ２を第３反射鏡１１６の方向に反射する。第３反射鏡１１６は、拡散反射光Ｌ２を集光レンズ１１８の方向に反射する。集光レンズ１１８は、拡散反射光Ｌ２をイメージセンサ１２１が有する複数の受光素子１２２の各受光面（図示せず）に結像する。

イメージセンサ１２１は、Ｒ，Ｇ，Ｂの各色成分のカラーフィルタ（図示略）を使用してＲ，Ｇ，Ｂの３つの色をそれぞれ検知する３本のＣＣＤラインセンサ（図示せず）である。イメージセンサ１２１は、主走査方向に延びている３本のＣＣＤラインセンサで原稿を走査（副走査）して原稿上の画像をＲ，Ｇ，Ｂに対応する電圧値の組合せとして取得する。このように、イメージセンサ１２１は、光電変換処理を行って、主走査方向の画素毎のＲ，Ｇ，Ｂのアナログ電気信号を出力することができる。

第１キャリッジ１１４は、光源１１２と第１反射鏡１１３とを搭載し、副走査方向に往復動する。第２キャリッジ１１７は、第２反射鏡１１５と第３反射鏡１１６とを搭載し、副走査方向に往復動する。第１キャリッジ１１４及び第２キャリッジ１１７は、走査制御部として機能する制御部２１０によって制御される。これにより、光源１１２は原稿を副走査方向に走査することができるので、イメージセンサ１２１は、原稿上の２次元画像に応じてアナログ電気信号を出力することができる。

なお、自動原稿送り装置（ＡＤＦ）１６０が使用される場合には、第１キャリッジ１１４及び第２キャリッジ１１７は、予め設定されている副走査位置に固定され、原稿Ｄの自動送りによって副走査方向の走査が行われる。なお、ＡＤＦ１６０には、片面だけでなく両面を同時にあるいは逐次に読み取るものもある。

ＡＤＦ１６０は、紙送りローラー１６１と、原稿読取スリット１６２とを備えている。紙送りローラー１６１は、原稿の自動送りを行い、原稿の読み取りが原稿読取スリット１６２を介して行われる。この場合には、第１キャリッジ１１４が予め設定されている副走査位置に固定されるので、第１キャリッジ１１４に搭載されている光源１１２も所定位置に固定されることになる。

画像読取部１００は、図２に示されるように、さらに、信号処理部１２３と、シェーディング補正部１２４と、シェーディング補正テーブル１２４ａと、ガンマ変換部１２５と、ガンマ変換テーブル１２５ａと、ＡＧＣ処理部１３０と、白基準板１３２（図１参照）とを備えている。

信号処理部１２３は、Ａ／Ｄ変換機能を有する可変利得増幅器である。信号処理部１２３は、ＡＧＣ処理部１３０で設定され、記憶部２４０に格納されている利得でアナログ電気信号を増幅し、増幅されたアナログ電気信号をＡ／Ｄ変換してデジタルデータとする。ガンマ変換部１２５及びガンマ変換テーブル１２５ａについての説明は後述する。

ＡＧＣ処理部１３０は、本実施形態では、黒基準信号と白基準信号とを使用して複数の受光素子１２２のそれぞれに対して最適な利得とオフセット値とを設定する利得調整部である。黒基準信号は、光源１１２がオフの状態における受光素子１２２のアナログ電気信号である。白基準信号は、原稿Ｄの代わりに白基準板１３２を照射したときの受光素子１２２のアナログ電気信号である。

ＡＧＣ処理部１３０は、黒基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データＩＤのＲＧＢの各階調値が最小値「０」となるようにオフセット値を設定する。ＡＧＣ処理部１３０は、このオフセット値を使用して白基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データＩＤのＲＧＢの各階調値が最大値「２５５」となるように利得を設定する。これにより、最小値「０」から最大値「２５５」までのダイナミックレンジを有効に利用することができる。

シェーディング補正部１２４は、デジタルデータに対してシェーディング補正を実行して画像データＩＤを生成する。シェーディング補正は、光源１１２の長さ方向の光量不均一性やレンズのコサイン４乗則による周辺減光、主走査方向に配列されている複数の受光素子１２２の感度ムラに起因して発生するシェーディングを抑制するための補正である。シェーディング補正には、シェーディング補正値が使用される。シェーディング補正値は、白基準板１３２を使用して生成され、シェーディング補正テーブル１２４ａに格納される。

このように、画像読取部１００は、原稿Ｄ上の画像を読み取って画像データＩＤを生成する。画像データＩＤは、原稿Ｄ上の画像をＲＧＢの各階調値（０～２５５）で表すＲＧＢ画像データである。

ＲＧＢ画像データは、印刷画像については印刷で使用された色材の吸光特性に応じたスペクトルの光に基づくデータとなり、手書き画像については筆記具で使用されるインクや黒鉛等の色材の吸光特性に応じたスペクトルの光となる。さらに、手書き画像は、人間の手の動きに起因する特徴を有する形状や濃度分布を有し、ＲＧＢ画像データにおいても人間の手の動きに起因する特徴が再現されることがある。

図３は、一実施形態に係る印刷処理の内容を示すフローチャートである。ステップＳ１００では、ユーザーは、画像読取操作を実行する。画像読取操作では、画像読取部１００は、光源１１２から可変の駆動デューティのパルス幅変調（ＰＷＭ）で適切な光量の照射光Ｌ１で原稿Ｄを照射し、原稿Ｄで反射されて原稿Ｄに表される画像に応じた色成分を有する拡散反射光Ｌ２をイメージセンサ１２１で受光する。

ステップＳ２００では、イメージセンサ１２１は、光電変換処理を行って主走査方向の画素毎のＲ，Ｇ，Ｂのアナログ電気信号を出力することができる。

ステップＳ３００では、信号処理部１２３は、ＡＧＣ処理部１３０で設定された利得とオフセット値と使用し、ＲＧＢの各階調値が最小値「０」（光源１１２がオフの状態）から最大値「２５５」（白基準板１３２の読み取り時）までの範囲の階調値を出力することができる。ステップＳ４００では、シェーディング補正部１２４は、デジタルデータに対してシェーディング補正を実行して画像データＩＤを生成する。

ステップＳ５００では、ガンマ変換部１２５（図２参照）は、画像読取部１００の特性に基づいてガンマ変換を行う。ガンマ変換には、ガンマ変換テーブル１２５ａから読み出された値が使用される。ガンマ変換テーブル１２５ａは、原稿上のグレーパッチの測色値から算出した所望の色空間（たとえばｓＲＧＢなど）でのＲＧＢ値（γ変換後）を用いて、ガンマ値を再帰的に設定して算出することができる。このようにして、画像データＩＤが生成される。

図４は、一実施形態に係る手書き画像調整処理（ステップＳ６００）の内容を示すフローチャートである。手書き画像調整処理には、手書き画像除去処理と手書き画像強調処理がある。手書き画像除去処理は、手書き画像を自動的に選別して除去する処理である。手書き画像強調処理は、手書き画像を自動的に選別して強調して見やすくする処理である。この例では、ユーザーは、予め手書き画像除去処理と手書き画像強調処理のいずれかを選択し、手書き画像調整処理を実行するものとする。手書き画像除去処理は、単に除去処理とも呼ばれる。手書き画像強調処理は、単に強調処理とも呼ばれる。

ステップＳ６１０では、画像分類部２１１は、エンコード処理を実行する。エンコード処理では、画像分類部２１１は、手書き画像と印刷画像のクラス分類（画像セグメンテーション）を行うために畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を使用してクラス確率を算出する。

図５は、一実施形態に係るエンコード処理の一例を示す説明図である。畳み込みニューラルネットワークは、畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）とプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）と、全結合層とを有するニューラルネットワークである。畳み込み層は、畳み込み演算が実行される層である。プーリング層は、プーリング処理が実行される層である。

図６は、一実施形態に係る畳み込み演算の一例を示す説明図である。畳み込み演算では、画像分類部２１１は、複数のフィルタ、たとえば微分フィルタＦ１～Ｆ３を画像データＩＤのＲＧＢの各データの全ての位置について畳み込んでエッジを抽出する。これにより、画像分類部２１１は、エッジ情報を含む特徴マップを表す畳み込みデータＣＤを生成することができる。

微分フィルタの重みは、学習によって調整又は決定することができる。学習は、手書き画像と印刷画像とを教師（訓練）データとして使用することによって、たとえば誤差逆伝播法で教師あり機械学習として実現することができる。学習は、学習データ２４１として記憶部２４０に格納され、予め様々な筆記具による手書き画像を使用して一般的な人間の筆跡情報や色材の吸光特性の差を使用して分類精度を高めることもできる。

図７は、一実施形態に係るプーリング処理の一例を示す説明図である。プーリング処理では、画像分類部２１１は、特徴マップのサイズを縮小し、すなわち位置的な情報を破棄して大局的な処理を可能とする。ただし、画像分類部２１１は、デコード処理（後述する）で使用するために位置的な情報である位置情報を別途保存する。

このように、画像分類部２１１は、畳み込み層及びプーリング層で、局所的で低次な情報を合成して、より大局的で高次な情報を抽出することができる。すなわち、画像分類部２１１は、ピクセル情報からエッジ情報へ、エッジ情報から筆跡情報へ画像データＩＤを順に変換していくことができる。

図８は、一実施形態に係る全結合層及び出力層の一例を示す説明図である。図８（ａ）は、全結合層を示している。全結合層は、全てのノードが次の層のノード全てに結合されている層である。全結合層は、プーリング層からの出力をまとめて画像を分類するために使用される特徴量である手書き特徴量と印刷特徴量とを生成する。

なお、全結合層は、必須の構成ではなく、畳み込みニューラルネットワークは、全結合層の代わりに特定の構成を有する畳み込み層を使用して全層畳み込みネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ：ＦＣＮ）を使用して構成してもよい。

ステップＳ６２０では、画像分類部２１１は、デコード処理を実行する。デコード処理では、画像分類部２１１は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を使用して手書き画像と印刷画像のクラス分類（画像セグメンテーション）を画素毎に反映させる。これにより、画像分類部２１１は、画素レベルで画像領域を分類することができる。

図９は、一実施形態に係るデコード処理の一例の一例を示す説明図である。デコード処理では、画像分類部２１１は、アンプーリング層と逆畳み込み層とを使用して、手書き特徴量及び印刷特徴量のアップサンプリングを実行し、画像データＩＤの各画素について手書き確率Ｐ（ｈ）と印刷確率Ｐ（ｐ）とを特定する処理である。

アンプーリング層では、画像分類部２１１は、プーリング処理で保存した位置情報を使用して正確な分類マップを再現する。分類マップは、手書き特徴量と印刷特徴量とを格納するマップである。逆畳み込み層では、画像分類部２１１は、手書き特徴量と印刷特徴量とを有するピクセル情報に変換して画像データＩＤの各画素について手書き特徴量と印刷特徴量とを特定することができる。

出力層（図８（ｂ）参照）では、画像分類部２１１は、手書き特徴量と印刷特徴量とを画素毎にソフトマックス関数で正規化し、手書き画像の分類確率である手書き確率Ｐ（ｈ）と、印刷画像の分類確率である印刷確率Ｐ（ｐ）とを出力する。手書き確率Ｐ（ｈ）及び印刷確率Ｐ（ｐ）は、０乃至１．０の値を取り、その和は１．０となる。

これにより、画像分類部２１１は、セマンテック画像セグメンテーション処理を実現し、画像領域分類データを生成することができる。画像領域分類データは、画像データＩＤの各画素について手書き確率Ｐ（ｈ）と印刷確率Ｐ（ｐ）とでラベル付けしたデータとも言える。

セマンテック画像セグメンテーション処理を実現可能なＣＮＮとしては、たとえばオープンソースのＳｅｇＮｅｔが利用可能である。ＳｅｇＮｅｔは、ケンブリッジ大学が提案しているディープラーニングを用いる画像分類手法であり、たとえば交通シーンにおいて画素単位で画像を分割することが可能である。

ステップＳ６３０では、画像分類部２１１は、除去処理と強調処理のいずれかを選択する。この例では、ユーザーは、予め手書き画像除去処理と手書き画像強調処理のいずれかを選択し、フラグが立てられているものとする。画像分類部２１１は、フラグに基づいて除去処理と強調処理のいずれかを選択する。この例では、先ず、手書き除去処理が選択されたものとする。

図１０は、一実施形態に係る除去処理及び強調処理の一例を示す説明図である。図１０（ａ）は、一実施形態に係る除去処理を示している。除去処理の対象である入力画像データＩＤ１は、「手書き画像」のテキストを表している手書き画像である手書き画像ＨＷ１と、「印刷画像」のテキストを表している印刷画像である印刷画像Ｐ１とを含んでいる。この例では、手書き画像ＨＷ１を表す各画素の手書き確率Ｐ（ｈ）は、０．９３乃至０．９５の範囲で分布している。手書き画像ＨＷ１を表す各画素の印刷確率Ｐ（ｐ）は、０．０５乃至０．０７の範囲で分布している。

ステップＳ６４１では、閾値設定部２１２は、除去用閾値設定処理を実行する。除去用閾値設定処理では、閾値設定部２１２は、除去処理を前提として手書き画像であるか否かを判断するための除去用閾値を設定する。除去用閾値は、第１の閾値とも呼ばれ、たとえばユーザー設定に基づいて統計的に調整又は決定することができる。この例では、閾値設定部２１２は、除去用閾値として０．９（９０％）を設定したものとする。

ステップＳ６５１では、画像分類部２１１は、画像分類処理を実行する。画像分類処理では、画像分類部２１１は、画像データＩＤの各画素の手書き確率Ｐ（ｈ）に基づいて画素毎に画像を分類する。具体的には、画像分類部２１１は、各画素の手書き確率Ｐ（ｈ）が除去用閾値である０．９以上の場合には、手書き画像に分類し、他の画素を印刷画像又は印刷媒体の地肌色と判断する。この例では、画像分類部２１１は、手書き画像ＨＷ１を表す各画素は、全て手書き画像を表していると判断することになる。

ステップＳ６６１では、画像処理部２１３は、手書き除去処理を実行する。手書き除去処理では、画像処理部２１３は、手書き画像に分類された全ての画素の色を地肌色（たとえば白）となるように手書き画像ＨＷ１を表す各画素の階調値を調整する。これにより、画像処理部２１３は、手書き画像ＨＷ１が除去され、印刷画像Ｐ１のみを表す出力画像データＩＤ１ａを生成することができる。次に、強調処理が選択されたものとする。

図１０（ｂ）は、一実施形態に係る強調処理を示している。強調処理の対象である入力画像データＩＤ１は、除去処理の対象である入力画像データＩＤ１と同一の画像データである。

ステップＳ６４２では、閾値設定部２１２は、強調用閾値設定処理を実行する。強調用閾値設定処理では、閾値設定部２１２は、強調処理を前提として手書き画像であるか否かを判断するための強調用閾値を設定する。強調用閾値は、第２の閾値とも呼ばれ、たとえばユーザー設定に基づいて統計的に調整又は決定することができる。この例では、閾値設定部２１２は、強調用閾値として０．７（７０％）を設定したものとする。

ステップＳ６５２では、画像分類部２１１は、画像分類処理を実行する。画像分類部２１１は、各画素の手書き確率Ｐ（ｈ）が強調用閾値である０．７以上の場合には、手書き画像に分類し、他の画素を印刷画像又は印刷媒体の地肌色と判断する。この例では、画像分類部２１１は、手書き画像ＨＷ１を表す各画素は、全て手書き画像を表し、他の画素は全て他の種類の画像（印刷画像や地肌）を表していると判断することになる。

ステップＳ６６２では、画像処理部２１３は、手書き強調処理を実行する。手書き強調処理では、手書き強調処理では、画像処理部２１３は、手書き画像に分類された全ての画素の色が濃くなって明瞭となるように手書き画像ＨＷ１を表す各画素の階調値を調整する。これにより、画像処理部２１３は、強調された手書き画像ＨＷ１ａと印刷画像Ｐ１とを含む出力画像データＩＤ１ｂを生成することができる。

図１１は、比較例及び一実施形態に係る処理の一例を示す説明図である。図１１（ａ）は、比較例に係る除去処理を示している。比較例に係る除去処理は、０．８の共通閾値を使用している点で一実施形態に係る除去処理と相違している。除去処理の対象である入力画像データＩＤ２は、「印刷画像」のテキストを表している印刷画像である印刷画像Ｐ２と、「印刷画像」のテキストに重ねて手書きされた丸印を表している手書き画像である手書き画像ＨＷ２とを含んでいる。

この例では、手書き画像ＨＷ２を表す各画素の手書き確率Ｐ（ｈ）は、０．８３乃至０．９５の範囲で分布している。手書き画像ＨＷ２を表す各画素の印刷確率Ｐ（ｐ）は、０．０５乃至０．１７の範囲で分布している。この例では、手書き画像ＨＷ２を形成する色材の色が印刷画像の色材の色に近く、印刷画像Ｐ２と手書き画像ＨＷ２とが重なって手書き画像ＨＷ２を透過して印刷画像Ｐ２が見えている領域が存在しているものとする。

この例では、手書き画像ＨＷ２を形成する色材の色が印刷画像の色材の色に近いので、手書き確率Ｐ（ｈ）は、図１０の例と比較して全体的に低下している。さらに、印刷画像Ｐ２と手書き画像ＨＷ２とが重なっている領域が存在し、手書き画像ＨＷ２を透過して印刷画像Ｐ２が見えているので、手書き確率Ｐ（ｈ）は、最小値が０．８３まで低下している。

この例では、比較例に係る除去処理は、手書き画像ＨＷ１を表す各画素は、印刷画像Ｐ２を表している画素と重なっている画素を含めて全て手書き画像を表し、印刷画像Ｐ２を表す各画素は、手書き画像ＨＷ１と重なっている画素を除いて他の種類の画像（印刷画像や地肌）を表していると判断することになる。これにより、比較例に係る除去処理は、印刷画像Ｐ２の一部（重複部分の画像ＨＷ２ｃ）に欠落を生じさせた印刷画像Ｐ２ｃを含む画像データＩＤ２ｃを生成してしまうことになる。

本願発明者は、この問題が手書き画像の誤検出と非検出のトレードオフに起因して発生する点に着目した。すなわち、このトレードオフは、閾値が大きければ手書き画像でない画像を手書き画像であると認識する誤検出が低下する一方、手書き画像の検出に漏れが発生するという非検出の問題である。本願発明者は、このような点に着目し、手書き画像の検出の目的に応じて閾値を切り替える新規な方法を創作した。

図１１（ｂ）は、一実施形態に係る除去処理を示している。除去処理の対象である入力画像データＩＤ２は、比較例に係る除去処理の対象である入力画像データＩＤ２と同一の画像データである。一実施形態に係る除去処理では、閾値設定部２１２は、除去処理を前提として手書き画像であるか否かを判断するための除去用閾値（０．９（９０％））を設定する（ステップＳ６５１）。

これにより、画像分類部２１１は、印刷画像Ｐ２と手書き画像ＨＷ２とが重なっている領域を手書き画像ＨＷ２ではなく、他の種類の画像（重複領域、印刷画像及び地肌）を表していると判断することになる。画像処理部２１３は、印刷画像Ｐ２の一部（重複部分の画像ＨＷ２ｃ）に欠落を生じさせることなく、手書き画像ＨＷ１を表している複数の画素のうち印刷画像Ｐ２を表している画素と重なっていない画素の色を地肌色となるように階調値を調整する。

これにより、画像処理部２１３は、印刷画像Ｐ２を損なうことなく、手書き画像ＨＷ１が除去された出力画像データＩＤ２ａを生成することができる。ただし、除去用閾値は、印刷画像の欠落を重視して比較的に大きな値に設定されているので、手書き画像の検出感度が低下し、手書き画像の非検出をある程度許容する閾値である。

図１１（ｃ）は、一実施形態に係る強調処理を示している。強調処理の対象である入力画像データＩＤ２は、比較例に係る除去処理の対象である入力画像データＩＤ２と同一の画像データである。一実施形態に係る除去処理では、閾値設定部２１２は、強調処理を前提として手書き画像であるか否かを判断するための比較的に小さな値の強調用閾値（０．７（７０％））を設定し、手書き画像の検出感度を高める（ステップＳ６５１）。

これにより、画像分類部２１１は、印刷画像Ｐ２と手書き画像ＨＷ２とが重なっている領域を印刷画像Ｐ２ではなく、手書き画像ＨＷ２ａを表していると判断することになる。画像処理部２１３は、印刷画像Ｐ２の一部（重複部分の画像ＨＷ２ｃ）を含めて、手書き画像ＨＷ１を表している画素の色が濃くなるように階調値を調整する。

印刷画像Ｐ２は、重複部分において色が濃くなるが欠落するわけではないので、一般に印刷画像Ｐ２への影響は限定的である。これにより、画像処理部２１３は、印刷画像Ｐ２を顕著に損なうことなく、手書き画像ＨＷ２の非検出を小さくするとともに、手書き画像ＨＷ２が強調された手書き画像ＨＷ２ａと印刷画像Ｐ２ａとを含む出力画像データＩＤ２ｂを生成することができる。

除去用閾値及び強調用閾値は、ユーザー設定に基づいて調整される。具体的には、操作表示部２３０は、ユーザーに対してトレードオフの説明を行うとともに、推奨される手書き画像の検出率のユーザー入力を受け付ける。この例では、推奨される手書き画像の検出率は、手書き画像の除去処理用の閾値として９０％を表示し、手書き画像の強調処理用の閾値として７０％を表示するものとする。

ステップＳ６７０では、画像処理部２１３は、出力画像データＩＤ１ａ，ＩＤ１ｂ，ＩＤ２ａ及びＩＤ２ｂを出力する。ステップＳ７００では、画像形成部２２０は、色変換処理部（図示略）でＲＧＢデータである画像データＩＤ１ａ，ＩＤ１ｂ，ＩＤ２ａ及びＩＤ２ｂを画像形成部２２０で使用される色材の色（ＣＭＹＫ）で再現するためのＣＭＹＫ画像データに色変換する。ＣＭＹＫ画像データは、ＣＭＹＫの各階調値（０～２５５）から構成されているデータである。

ステップＳ８００では、画像形成部２２０は、ハーフトーン処理を実行し、ＣＭＹＫ画像データのハーフトーンデータを生成する。ステップＳ９００では、画像形成部２２０は、ハーフトーンデータに基づいて印刷媒体に画像を形成して出力する。印刷媒体は、画像形成媒体とも呼ばれる。

このように、一実施形態に係る画像形成装置１０は、畳み込みニューラルネットワークを使用するセマンティック・セグメンテーションで入力画像から手書き画像を抽出して分類して手書き画像の分類確率を算出し、除去処理用の比較的に大きな閾値で手書き画像を判定して手書き画像を除去する画像処理を実行し、強調処理用の比較的に小さな閾値で手書き画像を判定して手書き画像を強調する画像処理を実行する。これにより、画像形成装置１０は、除去処理における印刷画像の欠落を効果的に抑制しつつ強調処理における手書き画像の非検出を抑制することができる。

Ｄ．変形例：
本発明は、上記実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、閾値は、予め設定されて固定であるが、操作表示部２３０を使用して画像分類処理が完了した後に調整してもよい。操作表示部２３０は、ユーザーインターフェース画面２３１（図１２（ａ）参照）とスタートボタン２３２とを有している。ユーザーインターフェース画面２３１は、対話型処理モードを有し、閾値減少アイコン２３７ｄと、閾値増加アイコン２３７ｕと、ＯＫアイコン２３５とが表示されている。

手書き画像除去処理及び手書き画像強調処理の各処理モードにおいて、閾値減少アイコン２３７ｄは、ユーザータッチに応じて閾値を小さくし、閾値増加アイコン２３７ｕは、ユーザータッチに応じて閾値を大きくすることができる。上記実施形態では、画像分類処理が完了した後には、分類確率と閾値とを比較するだけで手書き画像を判別することができ、少ない処理で判別が可能なので、ユーザーは、実時間での画像の変化を確認しつつ閾値を調整することができる。

変形例２：上記実施形態では、手書き画像と印刷画像とを教師（訓練）データとして使用することによって予め学習済みであるが、新たに学習可能となるように学習モードを有する画像形成装置として構成してもよい。具体的には、操作表示部２３０は、学習用のユーザーインターフェース画面２３１ａを表示し、学習用のユーザー入力を受け付けることができる。

具体的には、ユーザーは、ユーザーインターフェース画面２３１ａに表示されている入力画像ＩＤ２上でスライドして手書き画像と印刷画像の重複部分を含む画像領域である第１領域Ｒ１を指定し、重複アイコン２３３をタッチする。これにより、画像分類部２１１は、手書き画像と、印刷画像と、手書き画像と印刷画像の重複部分の画像である重複画像とを含む画像領域として特定された状態で第１領域Ｒ１の画像（第１の教師画像とも呼ばれる。）を教師あり学習データとして入力することができる。

次に、ユーザーは、ユーザーインターフェース画面２３１ａに表示されている入力画像ＩＤ２上でスライドして手書き画像のみを含む画像領域である第２領域Ｒ２を指定し、手書きアイコン２３４をタッチする。これにより、画像分類部２１１は、手書き画像のみを含む画像領域として特定された状態で第２領域Ｒ２の画像（第２の教師画像とも呼ばれる。）を教師あり学習データとして入力することができる。

さらに、ユーザーは、ユーザーインターフェース画面２３１ａに表示されている入力画像ＩＤ２上でスライドして印刷画像のみを含む画像領域である第３領域Ｒ３を指定し、印刷アイコン２３６をタッチする。これにより、画像分類部２１１は、印刷画像のみを含む画像領域として特定された状態で第３領域Ｒ３の画像（第３の教師画像とも呼ばれる。）を教師あり学習データとして入力することができる。

最後に、ユーザーは、学習アイコン２３７をタッチして学習を開始することができる。学習結果は、学習データ２４１として記憶部２４０に格納され、畳み込みニューラルネットワークで利用可能となる。画像形成装置は、たとえば画像形成装置にログインした状態においてのみ学習モードを許容するように構成してもよい。こうすれば、各ユーザーの筆跡（画像の濃度分布や形状の特徴）を使用して検出精度を高めることができる。

変形例３：上記実施形態では、閾値の設定に手書き画像の形成に使用される筆記具の色材の色が考慮されていないが、たとえば印刷画像の色材の色相と筆記具の色材の色相とが顕著に相違している場合、たとえば色相角の差が大きい場合には、除去用閾値と強調用閾値の差が小さくなるよう設定されるようにしてもよい。色相角の差が大きい場合には、重複領域の印刷画像の劣化が目立つとともに、手書き画像の分類確率が高くなるからである。

変形例４：上記実施形態では、ＲＧＢ色空間でクラス分類（画像セグメンテーション）が実行されているが、たとえば画像形成装置１０の色材（たとえばＣＭＹＫ）の色空間でクラス分類を実行してもよい。こうすれば、画像形成装置１０は、既知の色特性の色材で形成された印刷画像と既知のスペクトルを有する光源１１２とを基準として、筆記具の色材の色特性の相違に基づく手書き画像の特徴が顕著となるからである。

変形例５：上記実施形態では、本発明は、画像形成装置に適用されているが、たとえば画像読み取り装置にも適用可能である。本発明は、画像処理装置として機能する画像形成装置や画像読み取り装置や携帯端末に適用可能である。

１０ 画像形成装置
２１０ 制御部
２１１ 画像分類部
２１２ 閾値設定部
２１３ 画像処理部
２２０ 画像形成部
２３０ 操作表示部
２４０ 記憶部
１００ 画像読取部
１１１ 光源ドライバ
１１２ 光源
１２１ イメージセンサ
１２２ 受光素子
１２３ 信号処理部
１２４ シェーディング補正部
１３０ ＡＧＣ処理部
１５０ 原稿台
１６０ 自動原稿送り装置
１６２ 原稿読取スリット

Claims (5)

1. 畳み込みニューラルネットワークを使用して入力画像データの各画素が手書き画像を表しているか否かを分類し、前記手書き画像を表している確率である分類確率を画素毎に算出する画像分類部と、
   前記手書き画像を除去する画像処理である除去処理を行う場合には、第１の閾値を設定し、前記手書き画像を強調する画像処理である強調処理を行う場合には、前記第１の閾値よりも小さな第２の閾値を設定する閾値設定部と、
   前記除去処理を行う場合には、前記第１の閾値以上の前記分類確率を有する画素の色が印刷媒体の地肌色となるように階調値を調整して前記手書き画像を除去し、前記強調処理を行う場合には、前記第２の閾値以上の前記分類確率を有する画素の色が濃くなるように階調値を調整して前記手書き画像を強調処理する画像処理部と、
   を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、さらに、
   前記画像分類部は、手書き画像と、印刷画像と、手書き画像と印刷画像の重複部分の画像である重複画像とを含む第１の教師画像と、手書き画像のみを含む第２の教師画像と、印刷画像のみを含む第３の教師画像とを使用して、前記重複部分の画像から前記手書き画像をクラス分けするように学習する学習モードを有する画像処理装置。
3. 請求項１記載の画像処理装置と、
   画像形成媒体上に所定の色材を使用して画像を形成する画像形成部と、
   入力画像データの色空間を前記所定の色材を使用して再現される色空間に変換する色変換処理部と、
   を備え、
   前記画像分類部は、前記所定の色材を使用して再現される色空間に変換された画像データを使用して、前記分類と前記分類確率の算出とを実行する画像形成装置。
4. 畳み込みニューラルネットワークを使用して入力画像データの各画素が手書き画像を表しているか否かを分類し、前記手書き画像を表している確率である分類確率を画素毎に算出する画像分類工程と、
   前記手書き画像を除去する画像処理である除去処理を行う場合には、第１の閾値を設定し、前記手書き画像を強調する画像処理である強調処理を行う場合には、前記第１の閾値よりも小さな第２の閾値を設定する閾値設定工程と、
   前記除去処理を行う場合には、前記第１の閾値以上の前記分類確率を有する画素の色が印刷媒体の地肌色となるように階調値を調整して前記手書き画像を除去し、前記強調処理を行う場合には、前記第２の閾値以上の前記分類確率を有する画素の色が濃くなるように階調値を調整して前記手書き画像を強調処理する画像処理工程と、
   を備える画像処理方法。
5. 画像処理装置を制御するための画像処理プログラムであって、
   畳み込みニューラルネットワークを使用して入力画像データの各画素が手書き画像を表しているか否かを分類し、前記手書き画像を表している確率である分類確率を画素毎に算出する画像分類部、
   前記手書き画像を除去する画像処理である除去処理を行う場合には、第１の閾値を設定し、前記手書き画像を強調する画像処理である強調処理を行う場合には、前記第１の閾値よりも小さな第２の閾値を設定する閾値設定部、及び
   前記除去処理を行う場合には、前記第１の閾値以上の前記分類確率を有する画素の色が印刷媒体の地肌色となるように階調値を調整して前記手書き画像を除去し、前記強調処理を行う場合には、前記第２の閾値以上の前記分類確率を有する画素の色が濃くなるように階調値を調整して前記手書き画像を強調処理する画像処理部として前記画像処理装置を機能させる画像処理プログラム。

Images