JP2008181485A - 画像形成装置、電子文書データ作成方法、および電子文書データ作成プログラム - Google Patents

Abstract

【課題】装置に対する複雑な操作を必要とせずに、手書きで追記された部分を含む原稿から、閲覧性の高い電子文書データを作成する画像形成装置を提案する。
【解決手段】画像形成装置は、手書き追記がなされた原稿をＰＤＦデータに変換するために、原稿をスキャンして読取り（ステップＳ０１）、画像データから追記領域を抽出する（ステップＳ０７）。さらに、追記領域の位置に基づいて、ＰＤＦデータに追記領域を注釈として挿入するためのＰＤＦデータ上の領域の大きさおよび表示させる際の位置である注釈枠を設定する（ステップＳ０９）。
【選択図】図３

Description

この発明は画像形成装置、電子文書データ作成方法、および電子文書データ作成プログラムに関し、特に、文書画像データから閲覧用注釈の記述が可能な電子文書フォーマットのデータを作成する画像形成装置、電子文書データ作成方法、および電子文書データ作成プログラムに関する。

従来、ＭＦＰ（Multi Function Peripherals）のような、原稿画像を読取るスキャナを備えた画像形成装置において、紙媒体の原稿からスキャンして得られた画像データよりＰＤＦ（Portable Document Format）等の電子文書を生成するものがある。

このような電子文書は、対応するアプリケーションを用いて閲覧され得る。電子文書が、広く普及しているＰＤＦデータである場合、パーソナルコンピュータ（ＰＣ）で動作するアプリケーションであるアクロバットリーダ（登録商標）やＷｅｂブラウザ、携帯電話機で動作するビューワ、電子ペーパーで動作するビューワなどを用いて閲覧され得る。

ところで、紙媒体の原稿を閲覧する際に、手書きでコメントやマーカなどを追記することが広く行なわれている。これらの、手書きで追記された情報は、後に閲覧する場合に必要箇所を探す手間を減らすことができる。また、これらの情報は、他人に閲覧させたい箇所を示すこともでき、他人が同じ原稿を閲覧する場合にも有用である場合が多い。

従来の画像形成装置として、紙媒体の原稿上のマーカなどの手書きされた情報を読取るものがある。具体的には、原稿上のマーカ等の手書きで追記された部分をＯＣＲ（Optical Character Reader）機能を利用して読取るように指示し得るものや、その部分に対して特定の画像処理を行なうものなどがある。つまり、これらの従来の画像形成装置は、指示に従って追記された部分に対する処理を行なうものである。

たとえば特開平６−１６２１０９号公報（以下、特許文献１）は、マーカで検索用のキーワードを指定することのできる電子ファイリングシステムを開示している。
特開平６−１６２１０９号公報

しかしながら、特許文献１に開示されているシステム等、上述の従来の画像形成装置は、紙媒体の原稿からスキャンして得られた画像データより生成された電子文書を閲覧する際に、上記原稿にマーカ等の手書きで追記された部分について、閲覧の支援を行なうものではなく、特にその部分に対する高い閲覧性が得られないという問題があった。

本発明はこのような問題に鑑みてなされたものであって、装置に対する複雑な操作を必要とせずに、手書きで追記された部分を含む原稿から、閲覧性の高い電子文書データを作成する画像形成装置、電子文書データ作成方法、および電子文書データ作成プログラムを提供することを目的とする。

上記目的を達成するために、本発明のある局面に従うと、画像形成装置は、原稿画像を読取り、画像データを得る読取手段と、画像データに基づいて、表示装置で画像データを表示させるための電子文書データを生成する電子文書化手段と、画像データより、手書きで追記された部分を含む追記領域を抽出する抽出手段と、追記領域に基づいて注釈用のデータを生成する生成手段と、画像データ上の追記領域の位置に基づいて、表示装置が電子文書データに注釈用データを表示するための位置を算出し、注釈用のデータに対して設定する設定手段とを備える。

好ましくは、抽出手段は、画像データから文字領域を特定する第１特定手段と、文字領域の特徴量を、文字領域の属性として算出する算出手段と、属性に基づいて、文字領域のうちの手書きで追記された部分を囲む領域を追記領域として特定する第２特定手段とを含む。

より好ましくは、上記属性は、文字領域の色である。
また好ましくは、抽出手段は、画像データから文字領域を特定する第１特定手段を含み、設定手段は、文字領域のうち、追記領域に関連付けられている領域を特定する第３特定手段を含む。

より好ましくは、第３特定手段は、追記領域の位置の左右および／または上下の所定範囲内を探索範囲として、探索範囲にある文字領域を追記領域に関連付けられている領域と特定する。

より好ましくは、抽出手段は、文字領域の特徴量を、文字領域の属性として算出する手段をさらに含み、第３特定手段は、追記領域の属性に応じて探索範囲を決定する。

また好ましくは、抽出手段は、文字領域の特徴量を、文字領域の属性として算出する手段と、追記領域の大きさに基づいて追記の種類を判断する手段とをさらに含み、第３特定手段は、追記領域の属性および追記領域の追記の種類に応じて探索範囲を決定する。

好ましくは、生成手段は、画像データより追記領域を切出す手段を含み、切出された追記領域に基づいて注釈用のデータを生成する。

好ましくは、電子文書データはＰＤＦ（Portable Document Format）データである。
本発明の他の局面に従うと、電子文書データ作成方法は、原稿画像を読取って得られる画像データに基づいて電子文書データを作成する方法であって、画像データより、手書きで追記された部分を含む追記領域を抽出するステップと、追記領域に基づいて注釈用のデータを生成するステップと、画像データ上の追記領域の位置に基づいて、表示装置が電子文書データに注釈用データを表示するための位置を算出し、注釈用のデータに対して設定するステップとを含む。

本発明のさらに他の局面に従うと、電子文書データ作成プログラムは、原稿画像を読取り、画像データを得る読取手段と、画像データに基づいて、表示装置で画像データを表示させるための電子文書データを生成する電子文書化手段とを備える画像形成装置における電子文書データ作成処理をコンピュータに実行させるプログラムであって、画像データより、手書きで追記された部分を含む追記領域を抽出するステップと、追記領域に基づいて注釈用のデータを生成するステップと、画像データ上の追記領域の位置に基づいて、表示装置が電子文書データに注釈用データを表示するための位置を算出し、注釈用のデータに対して設定するステップとを実行させる。

本発明にかかる画像形成装置は、複雑な操作を必要とせずに、手書きで追記された部分を含む原稿から、閲覧性の高い電子文書データを作成することができる。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。

図１は、本実施の形態にかかる画像形成装置１のハードウェア構成の具体例を示すブロック図である。画像形成装置１としては、コピー機、プリンタ、またはそれらの複合機器であるＭＦＰ（Multi Function Peripheral）等が該当する。本実施の形態において画像形成装置１は、スキャナ機能とプリント機能とを併せ持つＭＦＰであるものとし、図１には、ＭＦＰである画像形成装置１のハードウェア構成の具体例をブロック図で示す。なお、本実施の形態において画像形成装置１はＭＦＰであるものとしたが、上述のようなその他の装置であってもよいし、スキャナ機能を備える装置とプリント機能を備える装置との組合わせ等、複数の装置が組合された形態であってもよい。

図１を参照して、画像形成装置１は、装置全体を制御するＣＰＵ（Central Processing Unit）１０と、原稿を光学的に読取ってデジタルデータである画像データに変換するスキャナ部３０と、画像データからプリント用画像を形成して用紙上に印刷するプリント部３５と、画像形成装置１をネットワークや電話回線に接続したり、近距離の無線通信を行なったりするための拡張カードであるＮＩＣ（Network Interface Card）１５と、ＨＤ（Hard Disk）やＲＡＭ（Random Access Memory）などから構成されて、ジョブやＣＰＵ１０で実行される電子文書データ作成プログラムなどを記憶するための記憶部２０と、ユーザとのインタフェースである操作パネル２５と、消耗品の残量などを検出するセンサ部４０とを含んで構成される。

図２は、本実施の形態にかかる画像形成装置１において、紙媒体である原稿から電子文書データを作成するための機能構成の具体例を示すブロック図である。本実施の形態においては、電子文書データとして広く普及しているＰＤＦ（Portable Document Format）データが作成されるものとするが、言うまでもなく、作成される電子文書データはＰＤＦデータに限定されず、たとえばＨＴＭＬ（Hypertext Markup Language）で記述されるデータなど、その他の形式のデータであってもよい。図２に示される各機能は、ＣＰＵ１０が記憶部２０に記憶される電子文書データ作成プログラムを実行することで主にＣＰＵ１０に形成される機能であるが、少なくとも一部は図１に示されたハードウェア構成によって形成されてもよい。

図２を参照して、画像形成装置１の上記機能は、スキャナ部３０で変換された画像データに前処理を実行する画像前処理部３、画像データ記憶部４、プリント用画像処理部５、ＪＰＥＧ（Joint Photographic Experts Group）圧縮部７、追記領域抽出部２、注釈データ生成部６、ＰＤＦ変換部８、および送信部９を含んで構成される。

画像前処理部３は、スキャナ部３０で変換された画像データに対して、前処理の具体例として、たとえばビューアでの表示に適したＲＧＢ（Red Green Blue）画像データに変換する処理を実行し、画像データ記憶部４に格納する。また、前処理の他の具体例として、スキャナ部３０の特性情報を用いて補正する処理も挙げられる。

プリント用画像処理部５は、操作パネル２５を用いた操作に基づく操作信号に従って、プリント対象の画像データを画像データ記憶部４から読み出し、画像データをプリントに適した画像データに変換する処理を実行し、プリント部３５に出力する。プリントに適した画像データに変換する処理の具体例として、たとえばＲＧＢ画像データをＹＭＣＫ（Yellow Magenta Cyan Black）画像に変換する処理が挙げられる。変換された画像データはプリント部３５において紙媒体に印刷される。

ＪＰＥＧ圧縮部７は、操作パネル２５を用いた操作に基づく操作信号に従って、処理対象の画像データを画像データ記憶部４から読み出し、ＪＰＥＧ形式の画像データとなるよう圧縮処理を行なう。生成されたＪＰＥＧ形式の画像データはＰＤＦ変換部８に入力される。

追記領域抽出部２は、操作パネル２５を用いた操作に基づく操作信号に従って、処理対象の画像データを画像データ記憶部４から読み出し、画像データを解析して、原稿に対して手書きで追加された部分を含んだ領域である追記領域を抽出する。注釈データ生成部６は、抽出された追記領域に基づいてＰＤＦデータに挿入する注釈用のデータを生成し、ＰＤＦ変換部８に入力する。ここで「注釈」とは、電子文書作成／編集アプリケーションの機能を利用して生成される、電子文書データに電子的に挿入するマークアップのことを指す。

ＰＤＦ変換部８は、ＰＤＦデータを作成／編集するためのアプリケーションの機能によって構成される機能であり、ＪＰＥＧ圧縮部７から入力されたＪＰＥＧ形式の画像データと、注釈データ生成部６から入力された注釈用のデータとからＰＤＦデータを生成し、送信部９に入力する。

送信部９は、入力されたＰＤＦデータを各種の通信プロトコルに従って、操作パネル２５を用いた操作に基づく操作信号で指定される送信先に送信する。通信プロトコルとしては、ＳＭＢ（Server Message Block）、ＦＴＰ（File Transfer Protocol）、ＨＴＴＰ（Hypertext Transfer Protocol）、およびＳＭＴＰ（Simple Mail Transfer Protocol）などが挙げられる。

図３は、本実施の形態にかかる画像形成装置１における電子文書データ作成処理の具体的な流れを示すフローチャートである。図３のフローチャートに示される処理は、ＣＰＵ１０が記憶部２０に記憶されている電子文書データ作成プログラムを読み出して実行し、図２の示される各機能を制御することによって実現される。なお、ここでは、処理対象の原稿が図４に示された原稿であるものとして、具体例を挙げて説明する。図４に示される原稿は、ＰＣ等に搭載されている標準的なフォントを用いて作成された文字を含んだ、横書きの原稿の具体例である。また、元原稿に対して手書きで加えられた追記１０１，１０３，１０５も含まれる。具体的には、赤の太ペンで描かれた記号等のマーカ１０１、赤の細ペンで書かれた追記である手書き追記１０３、および青の太ペンで描かれた下線１０５が含まれる。なお、以降の説明において、太ペンの色（図４の具体例では赤）を、「マーカ色」と称する。

図３を参照して、始めに、スキャナ部３０において、原稿台にセットされた原稿をスキャンして、画像データを得る（ステップＳ０１）。取得された画像データは画像前処理部３において前処理が施され（ステップＳ０３）、画像データ記憶部４に記憶される。ステップＳ０３の一例として、画像前処理部３は原稿の天地を判定し、（横書きの原稿であるならば）文字行が水平になるようにする回転処理を実行する。格納された画像データは、必要に応じてＪＰＥＧ圧縮部７において圧縮処理が施され、ＪＰＥＧ形式の画像データに変換される（ステップＳ０５）。

次に、追記領域抽出部２において、原稿に対して手書き等で追記された領域である追記領域を抽出する処理が実行される（ステップＳ０７）。ここでの処理は本発明において特定の処理には限定されず、あらゆる処理方法が採用され得る。その一例として、たとえば特開２００２−３１９０２５号公報に開示されている処理が採用され得る。具体的には、図５を参照して、追記領域抽出部２は、上記ステップＳ０１で取得された画像データに対して、水平方向の投影ヒストグラム、および垂直方向の投影ヒストグラムを生成する（ステップＳ２１）。そして、追記領域抽出部２は、上記ステップＳ２１で生成された水平方向および垂直方向の投影ヒストグラムに基づいて、原稿の余白を特定する（ステップＳ２３）。

また、追記領域抽出部２は、上記ステップＳ０１で取得された画像データについて連結成分の解析を行ない、文字領域の境界箱を算出する（ステップＳ２５）。ここで、上記ステップＳ０１で読取られる原稿が図４に示されるものである場合、ステップＳ２５では、図６に示されるような、文字領域の境界箱が算出される。そして、各境界箱について、特徴量として連結成分の平均色が算出されて、算出された特徴量である平均色が当該境界箱の属性として保存される（ステップＳ２７）。

次に、追記領域抽出部２は、ステップＳ２７で算出された境界箱の属性である平均色がマーカ色でない境界箱が所定条件を満たす場合に行方向に連結する（ステップＳ２９）。境界箱が行方向に連結されたものを、以降、「併合テキスト行」と称する。ステップＳ２９では、上端の位置、高さ、および水平方向の距離が、文字の連続を表わす所定条件を満たす２つの境界箱を併合する処理が繰返されることで、併合テキスト行が作成される。

上記ステップＳ２７において図６に示される境界箱が算出された場合に、ステップＳ２９では、図７に示されるような併合テキスト行が作成される。なお、図７において、図４のマーカ１０１に対応した境界箱２０１の属性である平均色は、マーカ１０１のマーカ色である赤、下線１０５に対応した境界箱２０５Ａ，２０５Ｂの属性である平均色は、下線１０５のマーカ色である青であるため、これら境界箱２０１，２０５Ａ，２０５ＢはステップＳ２９において連結されていない。また、手書き追記１０３に対応した境界箱群２０３は、上記所定条件を満たしていないためにステップＳ２９において連結されていない。

次に、追記領域抽出部２は、ステップＳ２１で生成された投影ヒストグラムとステップＳ２９で得られた併合テキスト行とを比較してテキスト行と手書き等の追記とを区別し、原稿上のテキストを表わしている併合テキスト行を特定する（ステップＳ３１）。ステップＳ３１では、投影ヒストグラムのピークに対応した位置にある併合テキスト行が、テキストを表わしている併合テキスト行であると特定される。図７に示された併合テキスト行については、図８にハッチングで示された併合テキスト行が原稿上の活字であるテキスト領域を表わしている併合テキスト行であると特定される。

次に、追記領域抽出部２は、上記ステップＳ３１でテキストを表わしている併合テキスト行であると特定された併合テキスト行以外の境界箱に対して、所定距離内にある同じ属性の境界箱を囲む領域を追記領域候補に設定する（ステップＳ３３）。本具体例では、図９に太枠で示された５つの領域が追記領域候補として設定される。具体的には、図７の境界箱２０１を囲む領域３０１、境界箱群２０３を囲む領域３０３、境界箱２０５Ａを囲む領域３０５Ａ、境界箱２０５Ｂを囲む領域３０５Ｂ、および領域３０７が追記領域候補として設定されている。

ステップＳ３３では、追記領域抽出部２は、具体的に、図１０に示されるように、上記ステップＳ３１でテキストを表わしている併合テキスト行であると特定された併合テキスト行以外の境界箱を、属性ごとにまとめて、一時的に記憶部２０の所定記憶領域に格納する（ステップＳ４１）。以降、この処理を「リスト化」と称する。さらに、各リストに含まれる境界箱の相互の距離を算出して（ステップＳ４３）、所定距離内の境界箱を同一グループとして連結し、リスト化する（ステップＳ４５）。ここでは、具体的に所定距離を５ｍｍとしている。また、ステップＳ４５で連結された成分の平均色が算出される（ステップＳ４７）。

次に、追記領域抽出部２は、上記ステップＳ３３で設定された各追記領域候補について、その属性およびサイズより、追記領域と追記のタイプとを決定する（ステップＳ３５）。具体的には、図１１を参照して、ステップＳ３３で設定された追記領域候補の属性がマーカ色であり、その領域の高さおよび幅が、共に、所定サイズの具体例としての８ｍｍ以上である場合には（ステップＳ５１でＹＥＳ、かつステップＳ５３でＹＥＳ）、追記領域抽出部２は当該追記領域候補を追記領域に決定し、追記のタイプがマーカであると判断する（ステップＳ５５）。図９においては、領域３０１が追記領域に決定され、追記のタイプがマーカであると判断される。

ステップＳ３３で設定された追記領域候補の属性がマーカ色であり、その領域の高さが所定サイズの具体例としての１〜４ｍｍであり、幅が所定サイズの具体例としての１２ｍｍ以上である場合には（ステップＳ５１でＹＥＳ、ステップＳ５３でＮＯ、かつステップＳ５７でＹＥＳ）、追記領域抽出部２は当該追記領域候補を追記領域に決定し、追記のタイプが下線マーカであると判断する（ステップＳ５９）。図９においては、領域３０５Ａ，３０５Ｂが追記領域に決定され、追記のタイプが下線マーカであると判断される。

ステップＳ３３で設定された追記領域候補の属性がマーカ色ではなく、その領域の高さおよび幅が、共に、所定サイズの具体例としての８ｍｍ以上である場合には（ステップＳ５１でＮＯ、かつステップＳ６１でＹＥＳ）、追記領域抽出部２は当該追記領域候補を追記領域に決定し、追記のタイプが手書き追記であると判断する（ステップＳ６３）。図９においては、領域３０３が追記領域に決定され、追記のタイプが手書き追記であると判断される。

なお、本具体例では、追記領域候補のサイズに基づいて追記領域のタイプが手書き追記であると判断するものとしているが、手書きの特徴と活字の特徴との違いを利用することで追記領域のタイプを手書き追記であると判断してもよい。具体的な特徴の違いとしては、文字領域の境界箱ごとの線の方向性、太さ、直線性、交点や変節点での角度、および左右対称性等が挙げられ、それらを所定の基準値と比較することで追記領域のタイプを手書き追記であると判断するようにしてもよい。また、活字の特徴との違いを利用した判断の他の具体例として、追記領域のタイプが印鑑やスタンプなどであることを判断するようにしてもよい。

上記条件のいずれにも該当しない追記領域候補については（ステップＳ５７でＮＯ、またはステップＳ６１でＮＯ）、ノイズとして以降の処理において無視される（ステップＳ６５）。図９においては、領域３０７がノイズとして以降の処理において無視される。

上述のステップＳ０７における追記領域の抽出処理の具体例では、特開２００２−３１９０２５号公報に開示されたような方法も採用され得るとしているが、追記領域の抽出が可能であれば他のあらゆる方法が採用され得る。たとえば、文字領域の境界箱ごとに線の方向性、太さ、直線性、交点や変節点での角度、および左右対称性等に関する特徴を反映した特徴量を求めて基準値と比較することで追記領域が活字であるテキスト領域かを判断するようにしてもよい。

また、上記抽出処理の具体例では追記領域候補の属性がマーカ色であるか否かにより当該追記領域候補が追記領域であるか否かを決定するようにしているが、具体的なマーカ色の種類（赤か青か）によって決定するようにしてもよい。また、上述の具体例では、追記領域候補が追記領域であるか否かの決定や追記のタイプなどを追記領域抽出部２が判断するものとしているが、操作パネル２５によるユーザ操作によってそれらが指定されてもよい。または変更されてもよい。

図３のフローチャートに戻って、上述のステップＳ０７の処理によって決定され抽出された追記領域に対して、注釈用のデータを生成し、ＰＤＦデータに注釈として挿入するためのＰＤＦデータ上の領域の大きさ、および表示させる際の位置を算出し、設定する（ステップＳ０９）。以降の説明において、ＰＤＦデータに注釈として注釈用のデータを挿入するためのＰＤＦデータ上の領域を「注釈領域」と称し、ＰＤＦデータに注釈として挿入するためのＰＤＦデータ上の領域の大きさおよび表示させる際の位置を「注釈枠」とする。

具体的には、上記ステップＳ５５で追記のタイプがマーカであると判断された追記領域について、図１２および図１３を用いて説明する。

図１２を参照して、追記領域抽出部２は、当該追記領域の近傍にある併合テキスト行を探索して、リスト化する（ステップＳ８１）。図１３（Ａ）に示されるように、マーカである追記領域（領域３０１）が（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２）で示される場合、たとえばその領域の上下左右５ｍｍ以内の範囲である範囲１にある併合テキスト行を、リスト化する。

なお、上述の内容をより詳しく説明すると、次のような内容を意味している。すなわち、範囲１は、マーカである追記領域の上下を５ｍｍずつ拡張して左右に伸ばした帯状の範囲、または上記追記領域の左右を５ｍｍずつ拡張して上下に伸ばした帯状の範囲となる。図１３（Ａ）の例では、ステップＳ８１で、領域３０１についての前者の範囲に含まれる、領域３０１の直左に存在する上下２つの併合テキスト行およびその各々の直左に存在する２つの併合テキスト行の計４つの併合テキスト行がリスト化される。

さらに、ステップＳ８１でリスト化された各併合テキストについて、行方向の近傍にある併合テキスト行を探索して、リスト化する（ステップＳ８３）。図１３（Ａ）の場合、マーカである追記領域（領域３０１）（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２）より探索された併合テキスト行から、たとえば左右５ｍｍ以内の範囲である範囲２にある併合テキスト行を、リスト化する。

なお、上述の内容をより詳しく説明すると、次のような内容を意味している。すなわち、先述のように、上記ステップＳ８１で領域３０１の左の４つの併合テキスト行がリスト化される。この場合、範囲２は、図１３（Ａ）に示されるようにステップＳ８１でリスト化された４つの併合テキスト行の左右５ｍｍずつ拡張した範囲となり、ステップＳ８３で、ステップＳ８１でリスト化された併合テキスト行と同じ４つの併合テキスト行がリスト化される。

上記ステップＳ８３における処理は該当する併合テキスト行がすべて探索されてリスト化されるまで繰返されて、すべての併合テキスト行がリスト化されると（ステップＳ８５でＮＯ）、追記領域抽出部２は、ステップＳ８３でリスト化されたすべての併合テキスト行について上下左右方向の最大値および最小値を算出して、これらすべての併合テキスト行を囲む矩形領域を算出する（ステップＳ８７）。そして、ステップＳ８７で算出された矩形領域およびマーカである追記領域に含まれる境界箱を探索して、リスト化する（ステップＳ８９）。図１３（Ｂ）においては、リスト化された境界箱がハッチングで示されている。追記領域抽出部２は、ステップＳ８９でリスト化されたすべての境界箱について上下左右方向の最大値および最小値を算出して、これらすべての境界箱を囲む矩形領域を算出し、注釈枠に設定する（ステップＳ９１）。図１３（Ｂ）において、注釈枠は太線で示されている。

以上の処理を原稿に含まれるすべてのマーカである追記領域について実行し（ステップＳ９３でＮＯ）、処理を終了する。

なお、追記のタイプがマーカである場合の注釈枠の設定処理の他の具体例を、図２０を用いて説明する。上述のステップＳ８１において、マーカである追記領域（領域３０１）の上下および左右に各々５ｍｍずつ拡張した、上記追記領域を囲む範囲である、図２０（Ａ）に示される範囲１が設定される。そして、範囲１に含まれる、領域３０１の直左に存在する上下２つの併合テキスト行がリスト化される。次に、ステップＳ８３において、ステップＳ８１でリスト化された２つの併合テキスト行の左右５ｍｍずつ拡張した範囲である、図２０（Ａ）に示される範囲２−１が設定される。そして、範囲２−１に含まれる、ステップＳ８１でリスト化された併合テキスト行およびその各々の直左に存在する２つの併合テキスト行の計４つの併合テキスト行がリスト化される。次に、ステップＳ８７において、ステップＳ８３でリスト化されたすべての併合テキスト行（上記４つの併合テキスト行）について上下左右方向の最大値および最小値が算出され、これらすべての併合テキスト行を囲む矩形領域である、図２０（Ｂ）に示される範囲２−２が算出される。そして、ステップＳ８９で、範囲２−２およびマーカである追記領域（領域３０１）に含まれる境界箱がリスト化される。図２０（Ｃ）において、ステップＳ８９でリスト化された境界箱がハッチングで示されている。ステップＳ９１で、ステップＳ８９でリスト化されたすべての境界箱について上下左右方向の最大値および最小値が算出され、これらすべての境界箱を囲む矩形領域が算出され、注釈枠に設定される。図２０（Ｃ）において、注釈枠は太線で示されている。

また、上記ステップＳ５５で追記のタイプが下線マーカであると判断された追記領域について、図１４および図１５を用いて説明する。

図１４を参照して、追記領域抽出部２は、当該追記領域の近傍にある境界箱を探索して、リスト化する（ステップＳ１０１）。図１５（Ａ）に示されるように、下線マーカである追記領域（領域３０５Ａ）が（Ｘ３，Ｙ３）−（Ｘ４，Ｙ４）で示される場合、その上下方向の中央である（Ｙ３＋Ｙ４）／２を基底として、上方向に一定幅、たとえば基底から５ｍｍの高さの矩形範囲である範囲３にある境界箱を、リスト化する。図１５（Ｂ）においては、領域３０５Ａについてリスト化された境界箱がハッチングで示されている。追記領域抽出部２は、ステップＳ１０１でリスト化されたすべての境界箱について上下左右方向の最大値および最小値を算出して、これらすべての境界箱を囲む矩形領域を算出し、注釈枠に設定する（ステップＳ１０３）。図１５（Ｂ）において、領域３０５Ａについての注釈枠は太線で示されている。

以上の処理を原稿に含まれるすべての下線マーカである追記領域について実行し（ステップＳ９３でＮＯ）、処理を終了する。図１５に示される具体例では、下線マーカである追記領域が（Ｘ３，Ｙ３）−（Ｘ４，Ｙ４）で示されるものの他にも含まれるため、上記処理が繰返される。なお、図１５（Ｂ）においては、下線マーカである追記領域（領域３０５Ｂ）についてリスト化された境界箱が左側のハッチングで示されている。また、領域３０５Ｂについての注釈枠は左側の太線で示されている。

なお、上記ステップＳ５５で追記のタイプが手書き追記であると判断された場合には、図１６に示されるように、追記領域抽出部２は、その手書き追記である追記領域を含む矩形領域を注釈枠に設定する。図１６の具体例では、手書き追記である追記領域（領域３０３）に含まれる境界箱が実線で示されており、これらを囲む領域３０３を含む矩形領域、つまり設定された注釈枠が太線で示されている。

上記ステップＳ０９において上述のように注釈枠が設定されると、注釈データ生成部６において、追記領域の情報を解析して注釈用のデータが生成される（ステップＳ１１）。処理対象の原稿が図４に示された原稿である場合には、ステップＳ１１では、図１７に示されるような注釈用のデータが生成される。具体的に注釈データ生成部６は、当該追記領域のタイプを示す「コメント」と、その追記がなされた原稿上の位置と、追記領域の形状の種類を示す「タイプ」と、追記領域と原稿のテキスト領域との重なりにおけるテキスト領域の透過度を示す「透明度」と、添付データの有無とを解析し、図１７に示されるような、これらを含んだ注釈用のデータを生成する。追記領域の形状の種類である「タイプ」としては、ここでは、追記のタイプが手書き追記である判断された場合には「スタンプ」と設定され、その他の場合には四角形が設定されるものとする。また、「透明度」としては、追記のタイプが手書き追記である判断された場合には「１００％」が設定され、その他の場合には「０％」が設定されるものとする。また、手書き追記の内容を示すスタンプとして、画像データから追記領域の該当部分が切出されてビットマップデータとされるものとする。なお、図１７に示された注釈用のデータは一例であり、本発明はこの具体例に限定されない。また、本具体例では、注釈データ生成部６が追記領域の情報を解析して注釈用のデータを生成するものとしているが、操作パネル２５によるユーザ操作によってそれらが指定されてもよい。または生成された注釈用のデータが変更されてもよい。

ステップＳ１１で生成された注釈用のデータはＪＰＥＧ圧縮部７で圧縮されたＪＰＥＧ形式の画像データと共にＰＤＦ変換部８においてＰＤＦデータに変換される（ステップＳ１３）。注釈用のデータが図１７に示されるものである場合、ステップＳ１３では、図１８に構成の具体例示されるような、注釈用のデータと画像データとを含むＰＤＦデータが生成される。生成されたＰＤＦデータは、送信部９より、所定の送信先に送信される（ステップＳ１５）。

ステップＳ１５で送信されたＰＤＦデータが送信先装置のビューアで表示されることで、注釈が、図１９において矩形で示される位置に付加されて表示される。

本実施の形態にかかる画像形成装置１において上述の電子文書データ作成処理が実行されることで、画像形成装置１に対して複雑な操作を行なうことなく、原稿への追記に基づいた注釈を、生成される電子文書データに、必要な位置に付加することができる。その結果、生成されたＰＤＦ文書等の電子文書の閲覧性を高めることができる。また、注釈の活用性が高まる。なお、上記具体例ではＰＤＦデータの注釈用のデータを生成し電子文書としてのＰＤＦデータに埋込むものとしているが、注釈用のデータに換えて、閲覧支援機能、たとえば「しおり（ブックマーク）」、「スレッド」、「リンク」なども埋込む対象として本発明を適用することができる。それらに本発明を適用した場合であっても、同様に、生成されたＰＤＦ文書等の電子文書の閲覧性を高めることができる。

また、上述の処理では、手書きの特徴と活字の特徴との違いを用いて追記領域を抽出するため、精度よく追記領域を抽出することができる。

また、上述の処理では、境界箱の連結成分の平均色を算出することでマーカ色が検出されるため、マーカ色を利用して追記領域を判別することができる。そのため、ユーザは、マーカ色を利用して活字のテキスト領域に注釈を設定することが可能となる。

また、上述の処理では、追記領域と判定された領域の近傍にある併合テキスト行を検索して注釈枠を設定するようにしている。そのため、電子文書データにおいて、原稿に追記したユーザが意図するテキスト領域に的確に注釈を設定することができる。

また、上述の処理では、原稿データを読込んで得られた画像データから追記領域を切出すことで手書き追記の内容を表わすビットマップデータを作成して注釈データに含めることとしている。そのため、電子文書データから注釈データを取出して活用することが可能になる。たとえば、追記がされていない原稿から生成された電子文書データに、追記された原稿から生成された注釈データを取込むことができる。

さらに、本実施の形態にかかる画像形成装置１で実行される電子文書データ作成処理をコンピュータに実行させるためのプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態にかかる画像形成装置１のハードウェア構成の具体例を示すブロック図である。 本実施の形態にかかる画像形成装置１において、紙媒体である原稿から電子文書データを作成するための機能構成の具体例を示すブロック図である。 本実施の形態にかかる画像形成装置１における電子文書データ作成処理の具体的な流れを示すフローチャートである。 追記された原稿の具体例を示す図である。 ステップＳ０７での追記領域抽出処理の具体例を示すフローチャートである。 文字領域の境界箱の具体例を示す図である。 併合テキスト行の具体例を示す図である。 テキスト領域を表わしている併合テキスト行の具体例を示す図である。 追記領域候補の具体例を示す図である。 ステップＳ３３での追記領域候補の設定処理の具体例を示すフローチャートである。 ステップＳ３５での追記領域の決定処理の具体例を示すフローチャートである。 追記のタイプがマーカである場合の、ステップＳ０９での注釈枠の設定処理の具体例を示すフローチャートである。 追記のタイプがマーカである場合の注釈枠の設定処理を具体的に説明する第１の図である。 追記のタイプが下線マーカである場合の、ステップＳ０９での注釈枠の設定処理の具体例を示すフローチャートである。 追記のタイプが下線マーカである場合の注釈枠の設定処理を具体的に説明する図である。 追記のタイプが手書き追記である場合の注釈枠の設定処理を具体的に説明する図である。 注釈用のデータの具体例を示す図である。 ＰＤＦデータの構成の具体例を示す図である。 ＰＤＦデータにおいて注釈が付加される位置を具体的に説明する図である。 追記のタイプがマーカである場合の注釈枠の設定処理の他の具体例を具体的に説明する図である。

符号の説明

１ 画像形成装置、２ 追記領域抽出部、３ 画像前処理部、４ 画像データ記憶部、５ プリント用画像処理部、６ 注釈データ生成部、７ ＪＰＥＧ圧縮部、８ ＰＤＦ変換部、９ 送信部、１０ ＣＰＵ、１５ ＮＩＣ、３０ スキャナ部、３５ プリント部、２０ 記憶部、２５ 操作パネル、４０ センサ部。

Claims (11)

1. 原稿画像を読取り、画像データを得る読取手段と、
   前記画像データに基づいて、表示装置で前記画像データを表示させるための電子文書データを生成する電子文書化手段と、
   前記画像データより、手書きで追記された部分を含む追記領域を抽出する抽出手段と、
   前記追記領域に基づいて注釈用のデータを生成する生成手段と、
   前記画像データ上の前記追記領域の位置に基づいて、前記表示装置が前記電子文書データに前記注釈用データを表示するための位置を算出し、前記注釈用のデータに対して設定する設定手段とを備える、画像形成装置。
2. 前記抽出手段は、
   前記画像データから文字領域を特定する第１特定手段と、
   前記文字領域の特徴量を、前記文字領域の属性として算出する算出手段と、
   前記属性に基づいて、前記文字領域のうちの前記手書きで追記された部分を囲む領域を前記追記領域として特定する第２特定手段とを含む、請求項１に記載の画像形成装置。
3. 前記属性は、前記文字領域の色である、請求項２に記載の画像形成装置。
4. 前記抽出手段は、
   前記画像データから文字領域を特定する第１特定手段を含み、
   前記設定手段は、前記文字領域のうち、前記追記領域に関連付けられている領域を特定する第３特定手段を含む、請求項１に記載の画像形成装置。
5. 前記第３特定手段は、前記追記領域の位置の左右および／または上下の所定範囲内を探索範囲として、前記探索範囲にある前記文字領域を前記追記領域に関連付けられている領域と特定する、請求項４に記載の画像形成装置。
6. 前記抽出手段は、
   前記文字領域の特徴量を、前記文字領域の属性として算出する手段をさらに含み、
   前記第３特定手段は、前記追記領域の前記属性に応じて前記探索範囲を決定する、請求項５に記載の画像形成装置。
7. 前記抽出手段は、
   前記文字領域の特徴量を、前記文字領域の属性として算出する手段と、
   前記追記領域の大きさに基づいて追記の種類を判断する手段とをさらに含み、
   前記第３特定手段は、前記追記領域の前記属性および前記追記領域の前記追記の種類に応じて前記探索範囲を決定する、請求項５に記載の画像形成装置。
8. 前記生成手段は、前記画像データより前記追記領域を切出す手段を含み、
   切出された前記追記領域に基づいて前記注釈用のデータを生成する、請求項１に記載の画像形成装置。
9. 前記電子文書データはＰＤＦ（Portable Document Format）データである、請求項１に記載の画像形成装置。
10. 原稿画像を読取って得られる画像データに基づいて電子文書データを作成する方法であって、
    前記画像データより、手書きで追記された部分を含む追記領域を抽出するステップと、
    前記追記領域に基づいて注釈用のデータを生成するステップと、
    前記画像データ上の前記追記領域の位置に基づいて、表示装置が前記電子文書データに前記注釈用データを表示するための位置を算出し、前記注釈用のデータに対して設定するステップとを含む、電子文書データ作成方法。
11. 原稿画像を読取り、画像データを得る読取手段と、
    前記画像データに基づいて、表示装置で前記画像データを表示させるための電子文書データを生成する電子文書化手段とを備える画像形成装置における電子文書データ作成処理をコンピュータに実行させるプログラムであって、
    前記画像データより、手書きで追記された部分を含む追記領域を抽出するステップと、
    前記追記領域に基づいて注釈用のデータを生成するステップと、
    前記画像データ上の前記追記領域の位置に基づいて、前記表示装置が前記電子文書データに前記注釈用データを表示するための位置を算出し、前記注釈用のデータに対して設定するステップとを実行させる、電子文書データ作成プログラム。

Images