JP7694095B2 - 情報処理システム及び情報処理方法 - Google Patents

Description

本開示は、定型文書の画像データからオブジェクトを認識するのに用いられるテンプレートファイルを生成する情報処理装置、情報処理プログラム及び情報処理方法に関する。本開示は、この情報処理装置を有する情報処理システムに関する。

帳票やチェックシート等の定型文書の画像データから可変のオブジェクト（例えば、帳票なら金額を示す文字、チェックシートならチェックボックス内のチェックマーク）を抽出する方法として、テンプレートファイルを用いた光学文字認識（ＯＣＲ：Optical Character Recognition）処理が知られている。

情報処理装置がこのテンプレートファイルを実行すると、指定された領域をＯＣＲ処理し、この領域に記入された可変のオブジェクト（例えば、帳票なら金額を示す文字、チェックシートならチェックボックス内のチェックマーク）を抽出する。このように、テンプレートファイルを用いたＯＣＲ処理は、定型文書から可変のオブジェクト（例えば、文字、チェックマーク）を抽出するのに有効である。

特開２００７－１４１１５９号公報 特許第５６０４８１４号公報

テンプレートファイルを用いたＯＣＲ処理では、事前にユーザがマニュアルで指定した領域を含むテンプレートファイルを作成しておく。例えば、特許文献１は、ＯＣＲ処理などの認識処理を行う領域の設定を自動的に行うが、ユーザが事前に用意した領域指定用文書データを入力する必要がある。特許文献２は、帳票フォームデータを作成する時点でオブジェクトごとに、ＯＣＲ処理などの認識処理を適用するか否かを設定している。

テンプレートファイルを用いたＯＣＲ処理では、多数のチェック項目が記載されたチェックシート中の多数のチェックボックスに記入されたオブジェクト（チェックマーク）を抽出するケースもある。チェックシートは、チェック項目が増減される等、帳票と比べて頻繁に文書内容やレイアウトが変更されやすいと考えられる。この様な文書の場合、文書内容やレイアウトが変更される都度、ユーザがマニュアルでテンプレートファイルを作成するのは大きな手間になり得る。

以上のような事情に鑑み、本開示の目的は、定型文書の画像データからオブジェクトを認識するのに用いられるテンプレートファイルを、ユーザのマニュアル操作を必要とせずに生成することにある。

本開示の一形態に係る情報処理装置は、
画像データからマーカを抽出し、前記マーカの位置を示すマーカ位置を判断するマーカ抽出部と、
前記画像データから文字データを抽出し、前記文字データの位置を示す文字位置を判断する文字データ抽出部と、
前記マーカ位置と前記文字位置とが所定の関係にある文字データを、前記マーカの属性として設定する属性データ設定部と、
前記マーカ位置に基づきオブジェクト認識の対象となる領域である認識対象領域を設定し、
前記マーカ位置と、前記マーカの属性として設定された前記文字データと、前記認識対象領域とを含むテンプレートファイルを生成する
テンプレート生成部と、
を具備する。

本実施形態によれば、情報処理装置は、画像データからマーカ及び文字データを抽出し、マーカ及び文字データの相対的な位置関係に基づき文字データをマーカの属性として設定し、マーカ位置、文字データ及び認識対象領域を含むテンプレートファイルを生成する。これにより、ユーザがマニュアルで認識対象領域を指定する必要なく、自動的に、画像データからテンプレートファイルを生成することができる。

前記テンプレートファイルは、前記画像データと同じレイアウトの別の画像データから前記認識対象領域に含まれるオブジェクトを認識するのに用いられてもよい。

これにより、定型文書から可変のオブジェクトを自動的に抽出することができる。

前記マーカはチェックボックスであり、
前記認識対象領域は前記チェックボックスを含んでもよい。

テンプレートファイルを用いたＯＣＲ処理では、多数のチェック項目が記載されたチェックシート中の多数のチェックボックスに記入されたオブジェクト（チェックマーク）を抽出するケースもある。チェックシートは、チェック項目が増減される等、頻繁に文書内容やレイアウトが変更されやすいと考えられる。この様な文書の場合、文書内容やレイアウトが変更される都度、ユーザがマニュアルでテンプレートファイルを作成する必要が無く、自動的に、画像データからテンプレートファイルを生成することができる。

前記属性データ設定部は、
前記文字データの前記文字位置に対して所定の関係にあるマーカ位置を有するマーカが複数ある場合、前記複数のマーカのマーカ位置の関係に基づいて、前記文字データを属性として設定すべきマーカを決定してもよい。

文字位置に対して所定の相対位置関係にあるマーカ位置を有するマーカが複数あることが考えられる。例えば、１行目にマーカ、２行目に文字列、３行目にマーカ、４行目に文字列と並び、各行間が等間隔とする。この場合、２行目の文字列に対して、１行目のマーカ及び３行目のマーカが同じ位置関係にある。この場合、１行目のマーカのマーカ位置及び３行目のマーカのマーカ位置の関係に基づいて、２行目の文字列の文字データを属性として設定すべきマーカを決定する。例えば、先行する行にあるマーカ（１行目のマーカ）を、２行目の文字列の文字データを属性として設定すると決定することができる。

前記画像データは定型文書の画像データでもよい。

テンプレートファイルを用いて、定型文書から可変のオブジェクトを抽出することができる。

前記テンプレートファイルは、ＸＭＬで記述されてもよい。

本開示の一形態に係る情報処理システムは、
画像データからマーカを抽出し、前記マーカの位置を示すマーカ位置を判断するマーカ抽出部と、
前記画像データから文字データを抽出し、前記文字データの位置を示す文字位置を判断する文字データ抽出部と、
前記マーカ位置と前記文字位置とが所定の関係にある文字データを、前記マーカの属性として設定する属性データ設定部と、
前記マーカ位置に基づきオブジェクト認識の対象となる領域である認識対象領域を設定し、
前記マーカ位置と、前記マーカの属性として設定された前記文字データと、前記認識対象領域とを含むテンプレートファイルを生成する
テンプレート生成部と、
を有する情報処理装置と、
前記テンプレートファイルを実行して、前記画像データと同じレイアウトの別の画像データから前記認識対象領域に含まれるオブジェクトを認識するテンプレートファイル実行部を有するテンプレートファイル実行装置と、
を具備する。

本開示の一形態に係る情報処理プログラムは、
情報処理装置のプロセッサを、
画像データからマーカを抽出し、前記マーカの位置を示すマーカ位置を判断するマーカ抽出部と、
前記画像データから文字データを抽出し、前記文字データの位置を示す文字位置を判断する文字データ抽出部と、
前記マーカ位置と前記文字位置とが所定の関係にある文字データを、前記マーカの属性として設定する属性データ設定部と、
前記マーカ位置に基づきオブジェクト認識の対象となる領域である認識対象領域を設定し、
前記マーカ位置と、前記マーカの属性として設定された前記文字データと、前記認識対象領域とを含むテンプレートファイルを生成する
テンプレート生成部
として動作させる。

本開示の一形態に係る情報処理方法は、
画像データからマーカを抽出し、前記マーカの位置を示すマーカ位置を判断し、
前記画像データから文字データを抽出し、前記文字データの位置を示す文字位置を判断し、
前記マーカ位置と前記文字位置とが所定の関係にある文字データを、前記マーカの属性として設定し、
前記マーカ位置に基づきオブジェクト認識の対象となる領域である認識対象領域を設定し、
前記マーカ位置と、前記マーカの属性として設定された前記文字データと、前記認識対象領域とを含むテンプレートファイルを生成する。

本開示によれば、定型文書の画像データからオブジェクトを認識するのに用いられるテンプレートファイルを、ユーザのマニュアル操作を必要とせずに生成することを図れる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の一実施形態に係る情報処理システムを示す。 情報処理装置の構成を示す。 情報処理装置の動作フローを示す。 定型文書の画像データの一例を示す。 属性データ設定部の動作フローを示す。

以下、図面を参照しながら、本開示の実施形態を説明する。

１．情報処理システム

図１は、本開示の一実施形態に係る情報処理システムを示す。

情報処理システム１０は、情報処理装置１００、テンプレートファイル実行装置２００、画像形成装置３００及びファイルサーバ装置４００を有する。情報処理装置１００、テンプレートファイル実行装置２００、画像形成装置３００及びファイルサーバ装置４００は、ネットワークＮを介して送後に通信可能に接続される。ネットワークＮは、インターネット、ＬＡＮ（Local Area Network）等を含む。

情報処理装置１００及びテンプレートファイル実行装置２００は、ＣＰＵやＧＰＵ等のプロセッサがＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行するコンピュータである。情報処理装置１００は、テンプレートファイルを生成する。テンプレートファイル実行装置２００は、情報処理装置１００が生成したテンプレートファイルを実行する。

画像形成装置３００は、例えば、ＭＦＰ（Multifunction Peripheral）である。画像形成装置３００は、帳票やチェックシート等の定型文書をスキャンして画像データを生成し、情報処理装置１００に送信する。

ファイルサーバ装置４００は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量の不揮発性の記憶装置を有する。ファイルサーバ装置４００は、帳票やチェックシート等の定型文書の画像データや、情報処理装置１００が生成したテンプレートファイルを記憶する。

２．情報処理装置の構成

図２は、情報処理装置の構成を示す。

情報処理装置１００は、ＣＰＵやＧＰＵ等のプロセッサがＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、画像入力部１０１、マーカ抽出部１０２、文字データ抽出部１０４、属性データ設定部１０６及びテンプレート生成部１０７として動作する。マーカデータ格納部１０３及び文字データ格納部１０５は、記憶装置の格納領域に設定される。

３．情報処理装置の動作フロー

図３は、情報処理装置の動作フローを示す。

画像入力部１０１は、画像形成装置３００が生成した画像データ又はファイルサーバ装置４００が記憶する画像データを取得する（ステップＳ１０１）。画像データは、帳票やチェックシート等の定型文書の画像データである。画像データは、物理的な定型文書を光学的に読み取り生成したスキャンデータや、電子的な定型文書の印刷イメージを保存したＰＤＦデータである。

図４は、定型文書の画像データの一例を示す。

定型文書の画像データの一例として、チェックシートの画像データ５００を示す。チェックシートの画像データ５００は、複数のチェックボックスＢ１，Ｂ２，Ｂ３と、複数の文字列Ｔ１，Ｔ２，Ｔ３を含む。

マーカ抽出部１０２は、画像データ５００からマーカを抽出する（ステップＳ１０２）。マーカ抽出部１０２は、抽出対象となるマーカの画像を学習済みである。マーカは、オブジェクト認識の対象となる領域（認識対象領域）を設定するための基準である。本例で、マーカは、チェックボックスである。即ち、マーカ抽出部１０２は、画像データ５００からマーカとして、複数のチェックボックスＢ１，Ｂ２，Ｂ３を抽出する。マーカ抽出部１０２は、マーカの位置（マーカ位置）を判断する。マーカ位置は、画像データ５００の全体領域に対する座標で示される。即ち、マーカ抽出部１０２は、複数のチェックボックスＢ１，Ｂ２，Ｂ３それぞれの、画像データ５００の全体領域に対する座標を、マーカ位置として判断する。マーカ抽出部１０２は、マーカデータ格納部１０３に、複数のチェックボックスＢ１，Ｂ２，Ｂ３それぞれのマーカ位置を格納する（ステップＳ１０３）。

文字データ抽出部１０４は、画像データ５００からＯＣＲ処理により文字データを抽出する（ステップＳ１０４）。文字データ抽出部１０４は、画像データ５００に含まれる全ての文字列をＯＣＲ処理して文字データを抽出する。本例では、文字データ抽出部１０４は、画像データ５００から全ての文字データＴ１，Ｔ２，Ｔ３を抽出する。文字データ抽出部１０４は、タイトルや本文等、マーカ（チェックボックス）の付近以外の位置にある文字列も全て抽出する。文字データ抽出部１０４は、抽出した文字データの位置（文字位置）を判断する。文字位置は、画像データ５００の全体領域に対する座標で示される。即ち、文字データ抽出部１０４は、複数の文字データＴ１，Ｔ２，Ｔ３それぞれの、画像データ５００の全体領域に対する座標を、文字位置として判断する。文字データ抽出部１０４は、文字データ格納部１０５に、複数の文字データＴ１，Ｔ２，Ｔ３それぞれの文字位置と、ＯＣＲ処理により抽出した文字データＴ１，Ｔ２，Ｔ３自体とを、互いに関連付けて格納する（ステップＳ１０５）。

属性データ設定部１０６は、マーカ位置と文字位置とが所定の相対位置関係にある文字データを、マーカの属性として設定する（ステップＳ１０６）。属性データ設定部１０６は、複数のマーカ１個ずつに対してそれぞれ属性を設定する。具体的な方法は以下の通りである。

図５は、属性データ設定部の動作フローを示す。

属性データ設定部１０６は、マーカ（チェックボックスＢ１，Ｂ２，Ｂ３）のマーカ位置（座標）を、マーカデータ格納部１０３から読み出す（ステップＳ２０１）。属性データ設定部１０６は、複数の文字データＴ１，Ｔ２，Ｔ３及びそれらの文字位置を、文字データ格納部１０５から読み出す（ステップＳ２０２）。属性データ設定部１０６は、複数のマーカ（チェックボックスＢ１，Ｂ２，Ｂ３）のマーカ位置に基づき、複数のマーカそれぞれについて、マーカ位置と文字位置とが所定の相対位置関係にある文字データを判断する（ステップＳ２０３）。図４の例の場合、例えば、属性データ設定部１０６は、チェックボックスＢ１について、マーカ位置に対して文字位置が最も近い関係にある文字データＴ１を判断する。

ところで、別の例（不図示）として、文字データの文字位置に対して所定の相対位置関係にあるマーカ位置を有するマーカが複数あることが考えられる。例えば、１行目にマーカ、２行目に文字列、３行目にマーカ、４行目に文字列と並び、各行間が等間隔とする。この場合、２行目の文字列に対して、１行目のマーカ及び３行目のマーカが同じ位置関係にある。この場合、属性データ設定部１０６は、複数のマーカのマーカ位置の関係に基づいて、文字データを属性として設定すべきマーカを決定する。即ち、属性データ設定部１０６は、１行目のマーカのマーカ位置及び３行目のマーカのマーカ位置の関係に基づいて、２行目の文字列の文字データを属性として設定すべきマーカを決定する。例えば、属性データ設定部１０６は、先行する行にあるマーカ（１行目のマーカ）を、２行目の文字列の文字データを属性として設定すると決定する。

属性データ設定部１０６は、全てのマーカ（チェックボックスＢ１，Ｂ２，Ｂ３）それぞれについて、マーカ位置と文字位置とが所定の相対位置関係にある文字データ（文字データＴ１，Ｔ２，Ｔ３）を判断する（ステップＳ２０４）。本例では、属性データ設定部１０６は、チェックボックスＢ１について文字データＴ１を判断し、チェックボックスＢ２について文字データＴ２を判断し、チェックボックスＢ３について文字データＴ３を判断する。属性データ設定部１０６は、文字位置が何れのマーカ位置とも所定関係に無い文字データは、何れのマーカの属性としても設定しない（ステップＳ２０５、ｎｏ）。例えば、属性データ設定部１０６は、例えば、タイトルや本文等、マーカ（チェックボックス）の付近以外の位置にある文字データは、何れのマーカの属性としても設定しない。

属性データ設定部１０６は、判断した文字データをマーカの属性として設定する（ステップＳ２０６）。本例では、属性データ設定部１０６は、文字データＴ１をマーカＢ１の属性として設定し、文字データＴ２をマーカＢ２の属性として設定し、文字データＴ３をマーカＢ３の属性として設定する。

テンプレート生成部１０７は、マーカ位置に基づき、ＯＣＲ処理によるオブジェクト認識の対象となる領域（認識対象領域）を設定する。具体的には、認識対象領域は、画像データ５００の全体領域に対する座標で示される。認識対象領域とは、可変のオブジェクトが記入されるべき領域である。マーカがチェックボックスの場合、可変のオブジェクト（即ち、チェックマーク）が記入されるべき領域、即ち、チェックボックスを含む領域（即ち、チェックボックス内の領域）が、認識対象領域である。本例では、テンプレート生成部１０７は、チェックボックスＢ１のマーカ位置（座標）に基づき、認識対象領域としてチェックボックスＢ１を含む領域の座標を設定する。テンプレート生成部１０７は、チェックボックスＢ１のマーカ位置と、チェックボックスＢ１（マーカ）の属性として設定された文字データＴ１と、認識対象領域（チェックボックスＢ１内部）とを関連付ける。テンプレート生成部１０７は、チェックボックスＢ２のマーカ位置と、チェックボックスＢ２（マーカ）の属性として設定された文字データＴ２と、認識対象領域（チェックボックスＢ２内部）とを関連付ける。テンプレート生成部１０７は、チェックボックスＢ３のマーカ位置と、チェックボックスＢ３（マーカ）の属性として設定された文字データＴ３と、認識対象領域（チェックボックスＢ３内部）とを関連付ける。

テンプレート生成部１０７は、これらマーカ位置（座標）と、マーカの属性として設定された文字データと、認識対象領域（座標）とを含むテンプレートファイルを生成する（ステップＳ１０７）。テンプレートファイルは、例えば、ＸＭＬ（Extensible Markup Language）で記述される。テンプレート生成部１０７は、生成したテンプレートファイルをファイルサーバ装置４００に格納する。テンプレートファイルは、チェックシートの画像データ５００と同じレイアウトの別の画像データから、認識対象領域（チェックボックス内）に含まれる可変のオブジェクト（即ち、チェックマーク）をＯＣＲ処理により認識するのに用いられる。

その後、テンプレートファイル実行装置２００は、ファイルサーバ装置４００からテンプレートファイルを取得し、実行する。テンプレートファイル実行装置２００は、テンプレートファイルを実行することにより、チェックシートの画像データ５００と同じレイアウトの別の画像データから、認識対象領域（チェックボックス内）に含まれる可変のオブジェクト（即ち、チェックマーク）をＯＣＲ処理により認識する。

４．結語

定型文書の画像データから可変のオブジェクトを抽出する方法として、テンプレートファイルを用いたＯＣＲ処理が知られている。テンプレートファイルを用いたＯＣＲ処理では、事前にユーザがマニュアルで指定した領域を含むテンプレートファイルを作成しておく。

テンプレートファイルを用いたＯＣＲ処理では、多数のチェック項目が記載されたチェックシート中の多数のチェックボックスに記入されたオブジェクト（チェックマーク）を抽出するケースもある。チェックシートは、チェック項目が増減される等、帳票と比べて頻繁に文書内容やレイアウトが変更されやすいと考えられる。例えば、教育現場のようなチェックシートを頻繁に利用する現場では、その都度内容の異なるチェックシートを制作しているし、不動産情報の収集チェックシートでは、風呂の設備からアンテナや回線など、様々な物件に応じた大量のチェック項目をチェックする必要がある。この様な文書の場合、文書内容やレイアウトが変更される都度、ユーザがマニュアルでテンプレートファイルを作成するのは大きな手間になり得る。

これに対して、本実施形態によれば、情報処理装置１００は、画像データからマーカ及び文字データを抽出し、マーカ及び文字データの相対的な位置関係に基づき文字データをマーカの属性として設定し、マーカ位置、文字データ及び認識対象領域を含むテンプレートファイルを生成する。これにより、ユーザがマニュアルで認識対象領域を指定する必要なく、自動的に、画像データからテンプレートファイルを生成することができる。

本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０ 情報処理システム
１００ 情報処理装置
１０１ 画像入力部
１０２ マーカ抽出部
１０３ マーカデータ格納部
１０４ 文字データ抽出部
１０５ 文字データ格納部
１０６ 属性データ設定部
１０７ テンプレート生成部
２００ テンプレートファイル実行装置
３００ 画像形成装置
４００ ファイルサーバ装置
５００ 画像データ

Claims (6)

1. 定型文書の画像データである画像データからマーカを抽出し、前記マーカの位置を示すマーカ位置を判断するマーカ抽出部と、
   前記画像データから文字データを抽出し、前記文字データの位置を示す文字位置を判断する文字データ抽出部と、
   前記マーカ位置と前記文字位置とが所定の関係にある文字データを、前記マーカの属性として設定する属性データ設定部と、
   前記マーカ位置に基づきオブジェクト認識の対象となる領域である認識対象領域を設定し、
   前記マーカ位置と、前記マーカの属性として設定された前記文字データと、前記認識対象領域とを含むテンプレートファイルを生成する
   テンプレート生成部と、
   を有する情報処理装置と、
   前記テンプレートファイルを実行して、前記画像データと同じレイアウトの別の画像データから前記認識対象領域に含まれるオブジェクトを認識するテンプレートファイル実行部を有するテンプレートファイル実行装置と、
   を具備する情報処理システム。
2. 請求項１に記載の情報処理システムであって、
   前記テンプレートファイルは、前記画像データと同じレイアウトの別の画像データから前記認識対象領域に含まれるオブジェクトを認識するのに用いられる
   情報処理システム。
3. 請求項１又は２に記載の情報処理システムであって、
   前記マーカはチェックボックスであり、
   前記認識対象領域は前記チェックボックスを含む
   情報処理システム。
4. 請求項１乃至３の何れか一項に記載の情報処理システムであって、
   前記属性データ設定部は、
   前記文字データの前記文字位置に対して所定の関係にあるマーカ位置を有するマーカが複数ある場合、前記複数のマーカのマーカ位置の関係に基づいて、前記文字データを属性として設定すべきマーカを決定する
   情報処理システム。
5. 請求項１乃至４の何れか一項に記載の情報処理システムであって、
   前記テンプレートファイルは、ＸＭＬで記述される
   情報処理システム。
6. 定型文書の画像データである画像データからマーカを抽出し、前記マーカの位置を示すマーカ位置を判断し、
   前記画像データから文字データを抽出し、前記文字データの位置を示す文字位置を判断し、
   前記マーカ位置と前記文字位置とが所定の関係にある文字データを、前記マーカの属性として設定し、
   前記マーカ位置に基づきオブジェクト認識の対象となる領域である認識対象領域を設定し、
   前記マーカ位置と、前記マーカの属性として設定された前記文字データと、前記認識対象領域とを含むテンプレートファイルを生成し、
   テンプレートファイル実行装置が、前記テンプレートファイルを実行して、前記画像データと同じレイアウトの別の画像データから前記認識対象領域に含まれるオブジェクトを認識する
   情報処理方法。

Images