WO1999008207A1

WO1999008207A1 - Structured document preparation apparatus and structured document preparation method

Info

Publication number: WO1999008207A1
Application number: PCT/JP1998/001413
Authority: WO
Inventors: Tatsuo Bando; Shitashi Katou; Hiroshi Okutomi; Kiyoshi Toyoda
Original assignee: Matsushita Graphic Communication Systems Inc
Current assignee: Panasonic System Solutions Japan Co Ltd
Priority date: 1997-08-07
Filing date: 1998-03-27
Publication date: 1999-02-18
Anticipated expiration: 2000-02-07
Also published as: DE69832585T2; KR100340354B1; EP0939376A4; EP0939376A1; CA2266630A1; DE69832585D1; CN1236457A; US6332039B1; EP0939376B1; CA2266630C; KR20000068715A; JPH1153168A; CN1161702C

Description

明細書構造化文書作成装置及び構造化文書作成方法技術分野

本発明は、紙情報である原稿を電子化文書として扱うために構造化文書を作成する構造化文書作成装置及び構造化文書作成方法に関する。また、本発明は、音声情報を添付した文書を作成する音声情報付文書作成装置及び音声情報付文書作成方法に関する。背景技術

近年、インターネットを代表とするネットワークの進歩により、ネットヮークから容易に情報を取り出すことが可能となっている。特にインターネッ卜で用いられている H TM L (Hyper Tex t Markup Language)記述による情報の構造化によって、操作性において非常に優れたブラウザ（情報検索用のアプリケーシヨンソフトウェア）が普及している。このためパーソナルコンピュータにて文書情報にとどまらず、音声や動画などを入力装置を構造化して格納する様々な方式が利用されている。ここで構造化とはリンク構造又は階層構造などにすることを意味する。

しかし、イメージデータのように構造化しにくい情報も存在する。このような情報は 1つの固まりのフアイル単位として扱われることが多い。ィメ一ジ内部を構造化するためには膨大な手間ひまがかかる。

従来、紙に記載されている既存の文書を構造化する場合、例えば、光学式文字認識（O C R ) 装置を用いてキャラクタに変換するか、キーボードより入力する必要がある。このため、作業に人手がかかる。また、スキャナで既存の文書をイメージ化することも可能であるが、イメージをいくつかに分割し、構造化することは困難である。

また近年、パーソナルコンピュータ等の情報端末機器の中に、文書に音声情報をリンクさせる音声情報を添付した文書（以下、音声情報付文書という）を作成する機能を有するものが普及してきている。

従来の音声情報付文書の作成手順の流れについて、図 1を用いて説明する。図 1は、従来の音声情報付文書の作成手順の流れを示すフロー図である。まず、音声情報を付す対象となる文書をキーボード操作等の入力により作成し、又は、スキャナ等の読取装置にて文書を読み取り、画面上に表示させる（S 1 0 1 ) 。

次に、画面表示を音声シンポルテーブルに切替え、マウスのクリック動作等により、音声情報にリンクする音声シンポルを選択する（S 1 0 2 ) 。

使用する音声情報は、システムに予め登録されたものを使用することも可能であり、新たにマイク等により入力したものを使用することも可能である。次に、画面表示を再び対象画像に切替え、表示させた音声シンポルのアイコンをマウスのドラッグ操作等により、画面上の文書に音声シンポルを貼り付ける（S 1 0 3 ) 。

もし、他に付すべき音声シンポルが存在すれば、 S 1 0 2から S 1 0 3の操作を繰り返す（S 1 0 4 ) 。

すべての音声シンポルを対象画像に貼り付けれ終わると、音声情報付文書は完成し、作成作業は終了する。

しかし、上記従来の音声情報付文書作成装置では、ユーザは、付すべき音声シンポルの数だけ S 1 0 2から S 1 0 3の作業を必要とし、音声シンボルが多数ある場合、音声情報付文書を完成するまで相当の手間がかかる。発明の開示

本発明は以上のような実情に鑑みてなされたもであり、本発明の第 1の目的は、原稿をイメージデータとして簡単に構造化することである。

また、本発明の第 2の目的は、音声シンボルが多数ある場合でも、短時間で、容易に音声情報付文書を作成することである。

本発明は、シンボルを含む原稿を読み取ったイメージデータが入力される入力部と、前記イメージデ一夕に含まれるシンポルを認識するシンポル認識部と、前記シンボルに特定のデータを対応付けしたテーブルを作成するテーブル作成部と、前記テーブルに基づいて前記シンボルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、を具備することを特徴とする構造化文書作成装置を提供する。

本発明において、テーブル作成部は、複数の原稿について、ある原稿のィメ —ジデ一夕に含まれるシンポルとこれと共通の要素を有するシンポルを含む他の原稿のイメージデータとを対応付けすることができる。

また、本発明にかかる構造化文書作成装置は、イメージデータに含まれるシンボルを削除して出力するシンボル削除部と、前記シンボル削除部の出力を印刷する印刷部と、を具備しても良い。

また、本発明にかかる構造化文書作成装置は、シンボル認識部で認識したシンポルを、このシンボルと対応して予め登録してある他のシンポルに置換するシンボル置換部を具備しても良い。

また、本発明にかかる構造化文書作成装置において、文書作成部は、特定の意味を持つシンポルに前記特定の意味に関する処理を関連付けし、前記シンポルが活性化された場合に前記処理を行った後に前記シンポルに関係付けした特定のデータにアクセスする構造化文書を作成するものであっても良い。また、本発明において、シンポル認識部は、イメージファイルの所定の領域内についてシンポルの認識を行っても良い。

上記発明により、シンボル認識部は、シンポルを含む原稿を読み取ったィメ —ジデ一夕からシンボルを認識する。テーブル作成部は、シンボルに特定のデ —夕を対応付けしたテーブルを作成する。文書作成部は、テーブルを用いてシンポルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する。構造化文書において、シンポルをクリックすると関連付けした特定のデ一夕にアクセスできる。特定のデータには、例えば、原稿のイメージデ一夕が含まれる。この場合、ある原稿のシンポルをクリックすると、他の原稿のイメージデ一夕にアクセス（ジャンプ）し、表示することができる。これにより、既存の原稿にスタンプ等でシンポルを形成したものを、容易に構造化文書に変換することができる。

また、本発明は、原稿を読み取ったイメージデータが入力される入力部と、前記ィメ一ジデー夕にシンポルを付加するシンポル付加部と、前記シンポルに特定のデータを対応付けしたテーブルを作成するテーブル作成部と、前記テ一ブルに基づいて前記シンポルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、を具備することを特徴とする構造化文書作成装置を提供する。

上記発明により、シンボル付加部は、原稿を読み取ったイメージデ一夕にシンボルを付加する。テーブル作成部は、シンボルに特定のデータを対応付けしたテーブルを作成する。文書作成部は、テーブルに基づいて前記シンポルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する。これにより、既存の原稿を、容易に構造化文書に変換することができる。

本発明にかかる構造化文書作成装置において、入力されたイメージデータを表示する表示部を具備しても良い。この構成により、表示部でイメージデ一夕の内容を確認しながらシンボルを付加することが可能である。

また、本発明は、シンポルを含む原稿を読み取ったイメージデ一夕が入力される入力部と、前記イメージデータに含まれるシンボルを認識するシンポル認識部と、前記シンボルに特定のデータを対応付けしたテーブルを作成するテーブル作成部と、前記テーブルに基づいて前記シンポルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、前記構造化文書を送信する送信部と、を具備することを特徴とする通信装置を提供する。

また、本発明は、原稿を読み取ったイメージデータが入力される入力部と、前記イメージデータにシンボルを付加するシンボル付加部と、前記シンボルに特定のデ一夕を対応付けしたテーブルを作成するテーブル作成部と、前記テーブルに基づいて前記シンボルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、前記構造化文書を送信する送信部と、を具備することを特徴とする通信装置を提供する。

また、本発明は、シンポルを含む原稿を読み取ったイメージデータに含まれるシンポルを認識する工程と、前記シンボルに特定のデ一夕を対応付けしたテ一ブルを作成する工程と、前記テーブルに基づいて前記シンボルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する工程と、を具備することを特徴とする構造化文書作成方法を提供する。

また、本発明は、音声シンボルを付した原稿を読み取ったイメージデータが入力される入力部と、前記イメージデータから前記音声シンボルを認識する認識部と、音声情報を格納する音声格納部と、認識した前記音声シンポルと格納した前記音声情報を対応付けたテーブルを作成するテーブル作成部とを具備することを特徴とする音声情報付文書作成装置を提供する。

上記発明により、予め音声シンポルを付した原稿から音声情報付文書を作成できるので、音声シンボルが多数ある場合でも、そのすベての音声シンボルを短時間で、容易に付すことができる。

本発明において、テーブル作成部は、音声情報の種類ごとに、異なる音声シンポルを対応付けしても良い。この構成により、ユーザは、音声シンボルの形状により、視覚的に音声情報の種類を識別できる。

また、本発明は、音声シンボルを付した原稿を読み取る工程と、読み取った原稿から音声シンボルを認識する工程と、認識した音声シンボルと音声情報を関連付けし、画面上の音声シンボルを選択すると音声が再生される音声情報付文書を作成することを特徴とする音声情報付文書作成方法を提供する。図面の簡単な説明

図 1は、従来の音声情報付文書の作成処理の流れを示すフロー図、図 2は、本発明の実施の形態 1〜 3に共通する装置のブロック図、図 3 A〜図 3 Eは、実施の形態 1〜3に共通する文書のサンプルをそれぞれ示す図、

図 4は、実施の形態 1におけるシンポルテ一ブル及びリンクテーブル作成の動作を示すフロー図、

図 5は、図 4に続くフロー図、

図 6は、実施の形態 1におけるシンボルの形状を認識する場合のシンポルテ一ブルを示す図、

図 7は、実施の形態 1におけるシンポルの色を認識する場合のシンボルテーブルを示す図、

図 8 A〜図 8 Eは、実施の形態 1における原稿の各ページと対応するリンクテーブルを示す図、

図 9は、実施の形態 1におけるシンボルによりリンクされた各ページの関係を示す図、

図 1 0は、実施の形態 1における H TM L言語作成処理の動作を示すフロ一図、

図 1 1は、図 1 0に続くフロー図、

図 1 2は、実施の形態 1における原稿の 1ページに対して構成されるフアイルを示す図、

図 1 3 A〜図 1 3 Cは、実施の形態 1における原稿の 2ページ目に対して構成されるファイルを示す図、

図 1 4八〜図1 4 Cは、実施の形態 1における原稿の 3ページ目に対して構成されるファイルを示す図、

図 1 5八〜図1 5 Cは、実施の形態 1における原稿の 4ページ目に対して構成されるファイルを示す図、

図 1 6八〜図1 6 Cは、実施の形態 1における原稿の 5ページ目に対して構成されるファイルを示す図、

図 1 7は、実施の形態 1におけるスタンプによりシンポルを表す方法を示す図、

図 1 8は、実施の形態 1における色によってシンポルを表す方法を示す図、図 1 9は、実施の形態 1におけるシンボルを置換する方法を示す図、図 2 0は、実施の形態 1における画面上でシンポルを付する方法を示す図、図 2 1は、実施の形態 1における特別な意味付けをしたシンボルを示す図、図 2 2は、実施の形態 1におけるシンポルの特定エリアを定めておく場合を示す図、

図 2 3は、本発明の実施の形態 2における構造化文書作成装置全体の動作を示すフロー図、

図 2 4は、実施の形態 2におけるシンボル認識工程の手順を示すフロー図図 2 5は、実施の形態 2におけるシンボル認識工程における原稿を示す模式図、

図 2 6は、図 2 5の一部を示す拡大図、

図 2 7 A〜図 2 7 Dは、実施の形態 2における原稿の各ページについての管理テーブルをそれぞれ示す図、

図 2 8〜図 3 0は、実施の形態 2における H TM Lファイル生成処理のフロ一図、

図 3 1及び図 3 2は、実施の形態 2で生成される H TM Lファイルをそれぞれ示す図、

図 3 3は、実施の形態 2で作成した H TM Lファイルの階層構造を示す模式図、

図 3 4は、本発明の実施の形態 3におけるシンボルを印刷しない場合の構造化文書作成装置の動作を示すフロー図、

図 3 5は、本発明の実施の形態 4における同一ページでシンボルを付加したィメージデ一夕と付加しないィメージデー夕の差分をとりシンボルを確実に検出する動作を示すフロー図、

図 3 6は、本発明の実施の形態 5における音声情報付文書作成装置の構成を示すブロック図、

図 3 7は、実施の形態 5のシンポルテーブル格納部におけるシンポルテープルを示す図、

図 3 8は、実施の形態 5におけるリンクテーブル格納部におけるリンクテ一ブルを示す図、

図 3 9は、実施の形態 5における音声シンボルを付した原稿を示す図、及び、図 4 0は、実施の形態 5における音声情報付文書の作成処理の流れを示すフ口一図である。発明を実施するための最良の形態

以下、本発明の実施の形態について図面を参照して具体的に説明する。図 2は本発明の実施の形態 1〜 4にかかる構造化文書作成装置のプロック図である。制御部 1は全体を制御する。制御部 1は、後述するシンボルの認識、リンクテーブルの作成及び構造化文書の作成を行う。

通信制御部 2は電話回線等と接続し、ファクシミリ通信、インターネット等のコンピュータネッ卜ワークとの通信を制御する。操作パネル 3はタツチキーと表示パネルを有し、入力及び入力したデータや出力するデ一夕などの表示を行う。

スキャナ部 4は、原稿を読み込みイメージデータを出力する。このイメージデータは、制御部 1に対して入力され、シンボルの認識等の処理が行われる。プリン夕部 5は受信したデ一夕やスキャナ部 4で読み込んだデ一夕などの印刷を行う。

シンボルシンポル格納部 7は受信したファクシミリデ一夕やスキャナ部 4から入力されたデ一夕に表示されたシンポルを格納する。

リンクテーブル格納部 8は原稿のイメージデ一夕の各ページに表示されたシンポルとその位置及びそのシンボルに関連するページとを記載するテーブルを格納する。

図 3 A〜図 3 Eは、実施の形態 1〜 3で使用する原稿のサンプルを示す。 5 ページの原稿よりなり 1ページ目は目次として用いられ、目次の「イン夕ネット J 「使い方」「カタログ」の各項目ごとにシンポル（マーク） ◎，參，女が付されている。 2ぺ一ジは「イン夕ネット」の題目とシンボル◎及びインタネットの説明文が記載され、さらにその中に「イントラネット」の表示とそのシンポル♦が記載されている。 3ページは「使い方」の題目とそのシンポル ·及び使い方の説明文が記載されている。 4ページは 3ページとほぼ同様の形式となっている。 5ページは 2ページに表れた「イントラネット」の題目とそのシンポル♦及び説明文が記載されている。このように同一のシンポルが題目を表すべ一ジとその題目の内容を表すべ一ジにそれぞれ付されている。

本発明の実施の形態 1について説明する。図 4、図 5はシンボルテーブル及びリンクテーブル作成の動作フロ一図である。図 3 A〜図 3 Eで示した 5ぺ一ジの原稿をスキャナ部 4で読み取り（S 1 ) 、これらのイメージデ一夕をィメージ格納部 6に G I Fファイル形式で格納する（S 2 ) 。なお、 G I Fフアイル形式は、通信に便利なサイズの小さいイメージファイル用フォーマツトである。

次に、 S 2 8において、シンポルの要素のうち形状を認識する。図 6にシンポルテーブルを示す。シンポルテーブルは、シンボルシンポル格納部 7に格納されている。

シンポルの要素は、例えば、形状、色、サイズ、線種、塗り潰しの種類、濃淡又は明度を広く含む。

図 7はシンポルの他の要素である色を認識する場合を示す。シンポルを色で認識する場合は図 7に示すようにシンポルの色とドット数及び大きさで表す。シンポルの色及び形状の両方を認識し、色及び形状の組み合わせに関連性を持たせても良い。

S 4において、認識したシンポルが、シンポルテーブルに登録されているか否か判断する。登録されていない場合には、 S 5においてシンボルの登録を行う。登録されている場合には、図 5に示す S 8に進む。

S 6において、シンポルの位置を認識する。シンボルの位置の表示方法は色々あるが、実施の形態 1ではシンポルの中心座標と、その中心座標を中心としてシンポルが入る大きさの円を描いた場合の半径で表す。 S 7において、認識したシンボル位置をリンクテ一ブルに記入する。リンクテーブルとは、このシンポルとシンポルによってリンクされたページのデータを示すテーブルをいう。図 8 A〜図 8 Eに原稿の各ページとこのページに対応したリンクテーブルを示す。図 8 A〜図 8 Eは順に 1〜 5ページを示す。

図 8 Aの 8 1はファイル I MA G E 0 0 . G I Fに格納された原稿の 1ぺ一ジ目のイメージデータを示す。原稿のイメージデータは各ページごとに 1つのファイルに格納される。ファイル名は 1ページより 5ページまで順に I MA G E 0 0 . G I F〜 I MA G E 0 4 . G I Fとしてある。各ページのイメージデ —夕 8 1に対応してリンクテ一ブル 8 2が作成されリンクテーブル格納部 8に格納される。リンクテーブル 8 2には、ページ、シンボル、アドレス、領域及びリンク先の欄がある。ページの欄には 1ページから順に数えて、そのページで始めて表れたシンポルがある場合、そのシンポルの表れたページを記入する。

1ページ目では 3つのシンポルが始めて表れているので、ページの欄に 1ぺ一ジを記入し、シンポルの欄に 3つのシンボルを記入する。アドレスの欄はシンポルの中心座標を表し、領域の欄はシンポルの中心座標を中心にシンポルを包んで描いた円の半径を示す。リンク先の欄は同じシンポルが表れたページのフアイル名を記入する。

2ページ目のリンクテーブルでは 2ページ目に初めて表れたシンポル♦のデ一夕が記入されている。さらにシンポル〇のデータも記入されている。シンポル〇は後述するように 1ページ目に戻るために 2ページ〜 5ページのイメージデー夕に付加したシンボルでリンク先は 1ページ目のフアイル名が記入されている。 3〜 5ページ目はいずれも始めて表れるシンボルはないので戻りのシンポルだけであり、全て同じデータとなっている。このようにして 1ページ目のリンクテ一ブルにはリンク先を除いたデ一夕が記入される。

図 5に示す S 8において、リンクテーブル格納部 8に格納されたリンクテーブル 82にシンポルが有るか否か判断する。 1ページ目については、前にべ一ジはなく、従ってリンクテ一ブル 82にシンポルはないので、 S 13に進む。

2ページについては、シンポル◎は、図 8 Aに示す 1ページのリンクテープル 82に有るので、 S 9において、リンク先欄に 2ページのイメージデータのファイル名 I MAGE 01. G I Fを記入する。

3、 4ページについては、シンポル秦、 ★は、図 8 Aに示す 1ページのリンクテーブル 82に有るので、 S 9において、リンク先欄に 3、 4ページのィメージデータのファイル名 I MAGE 02. G I F、 I MAGE 02. G I Fをそれぞれ記入する。

5ページについては、シンボル♦は、図 8 Bに示す 1ページのリンクテープル 82に有るので、 S 9において、リンク先欄に 5ページのイメージデ一夕のファイル名 I MAGE 05. G I Fを記入する。

S 10において、 2ページ目以降で 1ページに戻るために、戻りシンボル「〇J をイメージデータの所定の位置に付加する。次に、 S 1 1において、自己のリンクテーブル 82に戻りシンボル〇の情報を記入する。すなわち、戻りシンボル〇の中心座標をアドレス欄に、半径のデータを領域に記入する。また、 S 12において、リンク先の撊には、 1ページのファイル名 I MAGE 00. G I Fを記入する。なお、イメージデータに戻りシンボル〇を付加する処理は、後述する H I M L言語作成処理で行う。以上によりシンポルテーブルとリンクテーブルの作成が終了する。

S 13において、次ページが有るか否か判断し、有る場合には S 1に戻る。次ページがない場合には、 S14において、作成したデータを用いて HTML言語で原稿の各ページとリンクする構造化文書を作成する。

図 9は、シンポルによりリンクされた各ページの関係を示す図である。 1ぺ —ジ 91に表示されたシンポル ©92 a、秦 92 b、女92 cによって、 2〜 4ページ 93〜95が 1ページ 91にリンクされ、 2ページ 92に表示されたシンボル令92 dによって 5ページ 96が 2ページ 93にリンクされている。また 2〜 5ページ 93〜96には 1ページ 91に戻る、戻りシンポル〇 97が設けられている。これにより、ブラウザに表示された 1ページ 91のシンボル ◎ 92 a、秦 92 b、 ★ 92 cを活性化することにより、各シンポルに対応した 2〜4ページ 93〜96のファイルにアクセスする。ここで、「アクセスする」とは、リンク先にジャンプすることをいう。「リンク先」とは、シンボルに関連付けしたプログラムファイル、文書ファイル、テキストファイル、ィメージファイル、動画ファイルなどのデータを広く含む。また、「活性化する」とは、ブラウザ上でシンポルを例えば指示しクリックすることにより、リンク先をダウンロードして、その内容を表示したり、プログラムを実行することをいう。

同じく、 2ページ 93のシンボル♦ 92 dをクリックすることにより 5ぺ一ジ 96のファイルにアクセスする。また 2〜 5ページ 93〜96の戻りシンポル〇97をクリックすることにより、 1ページ 91に戻る動作をする。

構造化文書を HTML言語で作成する方法を以下に説明する。

図 10、図 1 1は、図 5に示した HTML言語作成処理の動作を示すフロー図である。 HTML言語にはクリツ力ブルマップというプログラムがあり、これはイメージのいろいろな部分にリンク可能領域を設定して、 1つのイメージから複数のファイルにアクセスできるものである。この表示は次のようになる。く A HREF= "マップファイル名. MAP" 〉

< I MG SRC= "イメージファイル名. G I F I SMAP" ) ··· ( 1) ここでイメージファイル. G I Fは図 8 A〜図 8 Eで示したように原稿をスキヤナ部 4で読み込んだ際に各ページごとに作成されている。しかしまだ戻りシンボル〇は付加されていない。マップファイル. 1^八？は図8八〜図8£に P

14 示した各ぺージのリンクテーブルに記載されたシンポルの位置とそのシンボルの対応するページの HTMLファイル、つまり（1) 式で示す構造化文書を表すファイルで、 · HTM (又は. HTML) という拡張子がつく。本実施の形態ではマップファイル. MAPを F I LE00. MAP〜F I LE04. MA P、 HTMLファイルを HOME 00. HTM〜H〇ME〇4. HTMとする。なお、イメージファイル名. G I Fは I MAGE00. G I F〜 I MAGE0 4. G I Fとして既に作成されている。

図 9、 10は各ページごとに HOMEN. HTMファイルを作成するフロー図である。 Nは各ぺ一ジごとに各ファイル付する番号 00〜04を代表して表した値である。まず N=0として 1ページ目の HOME00. HTMの作成に入る（S 20) 。ステップ S 21は HOME. HTMファイルの標準を示し、各ページごとにタイトル名と F I LEN. MAP, I MAGEN. G I FのN の値を代入すれば各ページごとの HOME. HTMファイルが完成する。ステップ S 21に示した標準の構造化文書はタイトル名と（1) 式を HTML言語で表した単純なプログラムである。つまり両端をく HTML〉とく ZHTML〉で挟み、タイトルを表すためく HEAD) を記載し、タイトル名をく T I TL E) と（ZT I TLE) で挟む。次に（1) 式を〈B〇DY〉とく ZB〇DY〉で挟んだものである。

原稿の 1ページ目を読み取ったイメージデータを OCR認識してタイトル名にする。この場合「イン夕ネット FAX」とする（S 22) 。 F I LEN. M APと IMAGEN. MAPの Nを 00とする（S 23) 。これにより完成したファイルをファイル名 HOME 00. HTMで保存する（S 24) 。図 12 Aに示す HOME 00. HTMは、このようにして作成したファイルである。図 1 1において、 1ページの各シンボルについてステップ S 25で示す表示は各シンポルの座標と半径及びこのシンボルとリンクするページの HOME. HTMファイルの存在場所を示す。すなわち X， Yはシンポルの座標、 Zはシンポルを囲む円の半径、 HTTPはハイパーテキスト転送プロトコルの略でこれに続くファイルは WWWサーバ用のファイルであることを示している。 S I TE-NAMEは後述する完成したフアイルを転送する WWWサーバのサイト名を表し、そのサイトに HOME. HTMファイルが格納されていることを示す。各シンボルの X， Υ, Zと N=00を代入し（S 26) 、これを 1ぺ一ジの 3つのシンボルについて全て行う（S 27)。図 12 Bに示す F I LE 00. MAPはこのようにして作成されたファイルである。図 12 Cに示す I MAG E 00. G I Fは 1ページをスキャナ部 4で読み取ったイメージデ一夕である。図 12 A〜図 12 Cに示す 3つのファイルの完成により 1ページ目の構造化文書は完成する。

2ページ〜 5ページの場合は 1ページに戻る、戻りシンポル「〇」を各べ一ジの I MAGEM. G I Fファイルに格納されたイメージデ一夕に付加する（S 28) 。図 13 Cに示す I MAGE 01. G I Fは戻りシンポル「〇」を付加した状態である。戻りシンポル〇の中心座標を（a 5, b 5) で示し、戻りシンボル〇を囲む半径 C 1の円を破線で示す。なおイントラネットのシンポル♦ とその中心座標（a 4， b 4) ，半径 C 1も示している。この戻りシンポル〇が表す戻るべきファイル名 HOME 00. HTMを示す。ステップ S 29の表示を付加する。これにより 2ページの場合 F I LE 01. MAPが完成し、その名称でファイルを保存する（S 280) 。図 13Bは F I LE01. MAP を示す。図 13八〜図13 Cの 3つのファイルの完成により 2ページ目の構造化文書が完成する。 2ページ目が終了すれば N=02として 3ページ目に移り (S 281 ) 、最後の 5ページまで同様の処理をする。図 14 A〜図 14 Cは 3ページ目の、図 15 A〜図 1 5 Cは 4ページ目の、図 16A〜図 16Cは 5 ページ目の構造化文書を示す。このようにして作成された各ページ 3つのファィル、 HOMEN. HTM, F I LEN. MAP, I MAGEN. G I Fを対にして WWWサーバに転送する（S 283) 。

次にシンボルの付加方法について説明する。

図 1 7は、原稿 101の各ページにシンボル 1 02を、スタンプ 103で押す場合を示す。この場合、スタンプインキとして一定時間が経過すると消えるインキを用いれば原稿を汚さないので便利である。なお、スタンプ 103の替わりに、シンポルを表したシールを貼り付けるようにしても良い。そしてスキャナ部で読み取り後にシールを剥がすようにする。

図 1 8はシンポルとして色を用いた場合を示す。図ではスタンプの形状も示しているが、図 7で説明したように色でシンポルを識別する場合は、色とドット数と大きさのみを対象としている。この場合も時間が経過すると消えるインキを用いると良い。

図 1 9は、スタンプ 103で原稿 10 1に押したシンボル 102を、装置に内蔵した別のシンボル 104に置換する場合を示す。置換するシンポル 104 は、動物、植物、星型、ハートシンボル等の親しみやすく、ユーザに良く知られたものを用いる方が良い。ユーザが操作しゃすくかつ誤りが少なくなるからである。

図 20は、原稿にシンボルを付けないでイメージデータとして読み込み、表示装置 1 1 1で表示して画面 1 1 2上でシンポル 1 1 3を付加する場合を示す。このようにすると元の原稿にシンポル 1 1 3を付ける必要がないので原稿が汚れない。

図 2 1は、予め登録した意味を有する特別なシンボルを認識するようにする場合を示す。例えば秘密扱いのページ 122に、いわゆる"まる秘"のような秘密を表すシンポル 123をスタンプ 122で押印する。このシンボル 123に、パスワード要求の処理を関連付けし、構造化文書を作成する。これにより、ュ PC P 8 0

17 一ザが前のページ 1 2 1のシンポル 1 2 3をクリックした場合に、まずパスヮードが要求される。ユーザが入力したパスワードが、登録したパスワードと合致した場合のみ、まる秘シンポル 1 2 3を含むページにアクセスできる。

図 2 2は、予め原稿 1 3 1にシンポル 1 3 2を形成する領域（シンポル設定エリア） 1 3 3を定めておく場合を示す。すなわち、スタンプ 1 3 4でシンポル設定エリア 1 3 3内にシンポルを押印する。これにより、制御部 1により原稿の特定の領域からシンポル 1 3 2を抽出し、認識すれば足りる。この結果、原稿 1 3 1の全面からシンボル 1 3 2を抽出する場合に比べて、シンポル認識の精度及び速度が向上する。

(実施の形態 2 )

本発明の実施の形態 2では、シンボルを色で認識する場合についてより詳細に説明する。

図 2 3は、実施の形態 2における構造化文書作成装置全体の動作を示すフロ一図である。

S 2 3 0 1では、まず H TM L言語によるホームページ作成を行う指示を、図 2に示す操作パネル 3を用いて操作者が行う。 S 2 3 0 1では、操作者はホ —ムページのタイトルを入力する。

S 2 3 0 3では、原稿を図 2に示すスキャナ部 4により読み取る。

S 2 3 0 4では、図 2に示す制御部 1は、読み取つた原稿を J P E G形式で保存する。具体的には、 S 2 3 0 2で入力したタイトルをファイル名に利用する。すなわち、現行のページ数をタイトルに付加し、さらに拡張子 j p gを付加して、これをファイル名として保存する。

S 2 3 0 5では、次ページがあるか否かを判断する。次ページがあるならば、 S 2 3 0 6でページ数 nをインクリメントし、 S 1 0 3に戻り、次ページを読み取る。次ページがなければ S 2 3 0 7に進む。 S 2307では、制御部 1は、 J PEGファイルに含まれるシンボルの認識を行う。シンポルの認識は、各ページごとにシンボルの中心座標、半径、色情報について行う。これらの認識結果は、ページ単位でテーブル化して保存する。

S 2308では、制御部 1は、 S 2307で作成したテーブルの整理を行う。ここでは、テーブルから色情報に基づいて、対応する色情報がない孤立しているシンポルをテ一ブルから削除する。また、同じシンボルが 3つ以上あるものは、エラー表示を行なう。

S 2309では、制御部 1は、 HTMLファイル生成処理を行なう。ここでは、 HTML言語によりホームページ作成のだめのファイルを自動生成する。

S 2310では、生成した HTMLファイルを保存する。具体的には、 S 2 303で入力したタイトルにページ数を付加し、さらに拡張子 h tmを付加して保存する。すなわち、ファイル名は、タイトル +ページ数. h tmという形式 Cあ。

S 231 1では、次ページがあるか否かを判別し、次ページがあれば、 S 2 312で mをインクリメントし、再度 HTML生成処理を行う。次ページがなければ、 S 2313でサーバに生成した HTMLのファイルを転送する。

次に、図 23に示す S 2307のシンボル認識工程を図 24〜図 26を参照して詳細に説明する。

まず、 S 2401で、シンポル認識フローを開始する。

S 2402では、基準点の色を認識する。基準点は例えば、図 25に示すように、原稿 201の左上端の数点 202をサンプリングし、サンプリング結果の平均をとることにより、基準点の色を決定する。この基準点の色に基づいて、この基準色と異なる色を検出するようにする。なお、ここでは、扱う画像デ一夕が J PEGデ一夕であり、 YCbC rの色空間に分解されて圧縮されている。 YCbC rの色空間を用いると、その変換処理を省くことができるため、効率的に処理を行なうことができる。さらに一般的に R G Bなどより人間に似ている認識を行なうことができる。

S 2 4 0 3では、所定幅をスキャンする。図 4に示すように所定幅 Wだけ、 1ライン（L ) 分走査する。 S 2 4 0 4では、走査したライン Lに異なった色を検知するか、否かを検知する。異なった色がない場合、 S 2 4 0 5に進み、 1センチ下方に下げて、再度所定幅 Wをスキャンする。

ここで、色を識別するために、暗部分の色、すなわち黒から白の部分については同一色と認識し、それ以降の色の部分、すなわち、明部分で階調に応じて認識するようにする。これにより、人間と同じような認識をすることができる。

S 2 4 0 4において、異なる色を検知した場合、言い換えればシンボル 2 0 3上をスキャンした場合、 S 2 4 0 6に進む。 S 2 4 0 6では、図 2 6に示す色の境目 2 0 4、 2 0 5の座標を算出する。 S 2 4 0 7で 2点の座標の中間点 2 0 6の座標を算出する。

S 2 4 0 8では、この座標に基づいて、円形のシンボル 2 0 3の中心 Oの座標を算出する。具体的には X座標を固定して、 Y座標で色が変わる座標を探す。この座標に基づいて中心座標を算出する。

S 2 4 0 9では、 S 2 4 0 8で算出した中心座標に基づいて半径 Rを算出する。

S 2 4 1 0では、シンポル 2 0 3内の数箇所をサンプリングする。ここでは、 Y C r C bからなる色情報を取り込み、その配分の差をそれぞれの点で見る。 S 2 4 1 1では、色情報の平均を算出する。 S 2 4 1 2では、平均値に基づいて色情報を決定する。

S 2 4 1 3では、シンボルの座標、半径、色情報を図 2 7 A〜図 2 7 Dに示すように、各ページごとにテーブル化して登録する。

ここまでが 1ページの処理である。 S 2 4 1 4では、次ページの有無を判定する。次ページがある場合には、 S 2403に戻る。次ページがない場合には、操作を終了する。この結果、原稿の全ページにわたってシンポルの認識が行われ、各ページの管理テーブルが作成される。

図 28〜図 30は、図 23に示す S 2309の HTMLファイル生成処理のフロ一図である。

S 2801〜S 2803では、図 31に示す HTMLファイルの 3行目までを順次生成する。

S 2804では、原稿読み取り時に入力されたタイトルとそのページ数を利用してタイトル名を出力する。 S 2805では、タイトル名の後に <ZT I Τ LE〉を出力する。

S 2806〜S 2808では、図 31に示す HTMLファイルの 4行目〜 6 行目までを生成する。

S 2809では、原稿読み取り時に保存した J PGファイルのファイル名を出力する。 S 2810では、 6行目の残りを出力し、 3281 1では、 111ぺ一ジのタイトルを出力する。

図 29に示す S 2812〜S 2813では、 6行目、 7行目を生成する。 S 2814では、 7行目のタイトルに対応するタイトルを出力する。実際は mぺ —ジのタイトルを出力する。 S 2815では、 7行目の残りを出力する。

S 2816では、ホームページ上でクリックされるべき範囲を設定するためのタグを 8行目に出力する。 S 2817では、図 27 A〜図 27 Dに示すテ一ブルに基づいて、シンポルの位置情報である中心座標、半径を上記タグの引数 X, Y, Rとして出力する。

S 2818では、前記引数に続いて、タグ「HREF=」を出力する。 S 2 819では、リンク先を出力するために、テーブルを用いてリンク先を検索する。ここでは、同じ色情報を有するテーブルがどのページのテーブルにあるかを検索する。 S 2820では、検索したページに対応するタイトルを h tmの拡張子を付加した、出力する。 S 2821では、 8行を閉めて、リンク先を生成する。

S 2822では、対象としているページ、すなわち mページのテーブルに、他にシンボルがあるか否かを判断する。他にシンボルがある場合、 S 2816 に戻り、 S 2816〜S 821までの処理を繰り返す。

図 30に示す S 2823〜S 2825では、図 31に示す HTMLファイルの 9行目〜 1 1行目を出力生成する。 S 2826では、次ページのリンク先を示す情報を出力する。 S 2827では、次ページを表す情報を出力する。 S 2 828、 S 2829で 12行目、 13行目を出力生成する。以上のように、 H TMLファイルを生成する。

図 32は、リンク先がないページの HTMLファイルの内容を示す。図 31 に示す HTMLファイルとの相違点は 1 1行目である。 1 1行目は、最初のぺ ―ジに戻るために設けられている。

上述のように生成された HTMLファイルにより、図 33に示すように原稿が階層構造化される。すなわち、第 1ページ 331に含まれる第 1シンポル 3 32及び第 2シンボル 333は、互いに異なる色を有し、第 2ページ 334及び第 4ページ 335にそれぞれリンクしている。従って、第 1ページ 331の第 1シンポル 332をクリックすると、第 2ページ 334にアクセスし、表示する。同様に、第 2シンポル 33をクリックすると第 4ページ 335にァクセスする。また、第 2ぺ一ジ 334に含まれる第 3シンポル 336は、第 3ぺ一ジ 337にリンクしている。従って、第 2ページ 334の第 3シンボル 336 をクリックすると、第 3ページ 337にアクセスし、表示する。

以上説明したように、実施の形態 2における構造化文書作成方法によれば、色が異なるシンボルを用いて紙原稿に記載された既存の文書を容易に HTML 文書に変換できる。

(実施の形態 3 )

次に実施の形態 3について説明する。実施の形態 3は、図 2に示すイメージ格納部 6に格納されたシンボルが付されたイメージデータを印刷する場合、シンポルを除去して印刷する場合である。イメージ格納部 6に格納されたィメ一ジデータは、スキャナ部 4で読み取ったデータ、又は通信制御部 2でファクシミリ通信により受信したデータなどである。

図 3 4は、実施の形態 3における動作を示すフロー図を示す。イメージ格納部 6により印刷しょうとするイメージデータの 1ページ目を読出し（S 4 0 ) 、次にシンポルの座標点を取り出し（S 4 1 ) 、そのシンボルの存在部領域のデ一夕削除を行う（S 4 2 ) 。このように削除した後、そのページの印刷を行う ( S 4 3 ) 。次のページがあるか調べ（S 4 4 ) 、あればステップ S 4 0〜S 4 3の動作を繰り返し、ぺ一ジ終了まで行う。これによりシンボルを付加してない原稿の印刷が得られる。

(実施の形態 4 )

次に実施の形態 4について説明する。実施の形態 4はシンポルが原文の文字や絵の部分と重なり判別が困難な場合にも確実に判別する方法を示すものである。実施の形態 3では、イメージデータはシンボルを付加されていない状態でイメージ格納部 6に格納されており、このイメージデ一夕に、例えば図 2 0で説明したように画面表示してシンポルを付加した後、シンポルの認識や位置の確認をし、構造化文書作成手順に入る。

図 3 5は実施の形態 4の動作を示すフロー図である。イメージデータを入力する（S 5 0 ) 。イメージデ一夕はスキャナ部 4からの読み込みゃファクシミリ受信により得られる。入力したデータはイメージ格納部 6に格納される（S 5 1 ) 。この格納したイメージデ一夕を読み出して上述の方法でシンポルを付加し（S 52) 、再度そのイメージデ一夕を入力して（S 53) 、ビットマツプ化する（S 54) 。一方イメージ格納部 6よりシンボルの付加されていないイメージデータを読出しビットマップ化する（S 55) 。シンボルを付加したイメージデ一夕と付加しないイメージデ一夕のビッ卜マップ化デ一夕の差分を抽出することによりシンボルのみを確実に抽出する（S 56) 。抽出されたシンボルとその座標の認識を行い（S 57) 、第 1実施の形態の図 4、図 5で示す構造化文書作成の手順に入る（S 58) 。本実施の形態によりシンボルと原文の文字や絵とが重なっても精度良くシンボルを認識することができる。

以上の実施の形態 1〜 4ではィメ一ジデ一夕をシンポルにより連結する場合について説明したが、シンボルとこれに対応する見出し原稿に含まれる文書を OCR認識し、シンポルを介して関連するページをテーブル化して対応付け、 HTML言語で記載して構造化文書を作成することもできる。

(実施の形態 5)

次に、本発明の実施の形態 5について説明する。実施の形態 5は、音声符号付文書を作成する文書作成装置及びその方法に関する。

図 36は、本発明の一実施の形態における音声情報付文書作成装置の構成を示すブロック図である。

図 36に示すように、音声情報付文書作成装置は、各回路の制御を行う CP U (中央制御処理装置部）部 401と、キーボードやマウス等のユーザが各種指示を入力する入力部 402と、文書等を画像情報として読み込むスキャナ部 403と、読み込んだ画像情報から文字を認識する OCR部 404と、スキヤナ部 403で読み込んだ画像情報が格納される画像情報格納部 405とを有し、予め音声シンボル付した原稿を取り込み、これを基に音声情報付文書を作成できる。

また、音声情報付文書作成装置は、音声情報を入力する音声入力部 406と、音声入力部 4 0 6から入力された音声情報を格納する音声情報格納部 4 0 7とを有し、画像に付す音声情報を取り入れ、音声情報格納部 4 0 7に保存することができる。

音声情報の入力方法は、マイクによる入力方法や、付属の電話装置から入力する方法等がある。なお、音声情報は、ファイル形式で保存される。音声情報のファイル名の拡張子を「WAV」とする等と、予め決めておくと、後の処理や管理が容易となる。

また、音声情報付文書作成装置は、音声シンボルを格納するシンボルテープル格納部 4 0 8を有し、音声情報と対応した音声シンポルをシンボルテーブルに保存できる。

図 3 7は、シンポルテーブル格納部 4 0 8におけるシンポルテーブルを示す図である。図 3 7に示すように、シンボルテーブルには、各音声シンポルの形状と、リンクする音声情報のファイル名が対応して登録される。なお、音声シンポルは、形状で表す場合の他、色等で表すことも可能である。新たな音声シンボルをシンポルテーブルに登録する場合は、作成した音声シンボルを対応する音声情報のファイル名とともに、シンボルテーブル格納部 4 0 8に登録する。楽器の音声情報のファイル名を MU S I C：、歌声の音声情報のファイル名を S O N G, ナレーションの音声情報のファイル名を V〇 I C Eとする等、登録される音声情報の種類ごとに異なるファイル名で登録し、音声情報の種類ごとに形状の異なる音声シンポルを対応させれば、画面上の音声シンポルにより、対応する音声情報の種類を認識できる。

また、音声情報付文書作成装置は、原稿の各ページに表示された音声シンポルを認識する音声シンボル認識部 4 0 9と、音声シンボルと原稿の各ページに対する位置及び音声情報を連結したリンクテ一ブルを作成するリンクテーブル作成部 4 1 0と、作成されたリンクテーブルを記憶するリンクテーブル格納部 4 1 1とを有し、入力した画像情報と音声情報をリンクさせて、音声情報付文書を作成できる。

図 3 8は、リンクテーブル格納部 4 1 1におけるリンクテーブルを示す図である。図 3 8に示すように、リンクテ一プルには、各音声シンポルの形状と、リンクする画像情報のファイル名、画像情報における音声シンポルの位置及びリンクする音声情報のファイル名が対応して登録される。なお、本実施の形態では、音声シンポルの位置を、シンボルの中心座標及び中心座標を中心としてシンポルが入る大きさの円の半径で表すが、他のパラメ一夕により表すことも可能である。

また、音声情報付文書作成装置は、画面上に画像を表示する表示手段 4 1 2 と、回線と接続し、ファクシミリ通信、インターネット等のネットワーク通信を制御する通信制御部 4 1 3と、受信情報やスキャナ部 4 0 2で読み取った画像情報等を印刷するプリン夕部 4 1 4と、音声情報を再生する音声情報出力部 4 1 5とを有し、作成された音声情報付文書に対し、他の情報機器との送受信、出力、再生等の様々な処理をできる。また、画面上の各音声シンボルをマウスのクリック操作等により、対応する音声情報を再生して、視覚的なサービスに加え聴覚的なサービスを提供でき、操作性の向上を図ることができる。

なお、作成された画像情報を送信する場合、画像情報とともに、付された音声情報及びリンクテーブルを添付ファイルとして送信する。これにより、送信先でも音声情報を再現できる。

次に、実施の形態 5の音声情報付文書作成装置を用いて、音声情報付文書を作成する処理について説明する。

まず、音声情報付文書作成の前提として、原稿の必要な個所に、スタンプを用いて音声シンボルを付す。図 3 9は、上記実施の形態 5における音声シンポルを付した原稿の例示図である。図 3 9に示すように、スタンプ 4 4 1、 4 4 2を用いることにより、原稿 4 4 3， 4 4 4に同一多数の音声シンボルを容易に付すことができる。その時に、音声シンポルの形状を、楽器、歌声及びナレーシヨン等、登録される音声情報の種類ごとに換える。音声シンボルを原稿に付す方法として、スタンプによる方法の他、シールを貼る方法等がある。

次に、上記実施の形態 5における音声情報付文書の作成処理の流れについて、図 4 0を用いて説明する。図 4 0は、上記実施の形態 5における音声情報付文書の作成処理の流れを示すフロー図である。

まず、音声シンポルを付した原稿をスキャナ部 3から読み込む（S 5 0 1 ) 。読み込まれた原稿は、画像情報として、順次、画像情報格納部 4 0 5に格納される（S 5 0 2 ) 。なお、読み込まれた画像情報は、領域分離され、原稿中の文書は O C R部 4 0 4にて文字認識され、画像はイメージで取り込まれる。次に、音声シンボル認識部 4 0 9にて、格納された画像情報の中に、シンポルテーブル格納部 4 0 8に登録された音声シンポルと同一形状の音声シンポルが存在するか否か認識される（S 5 0 3 ) 。音声シンポルが認識されなかった場合は、読み取った画像情報は、音声情報付ではない通常の画像情報と判断され、処理を終了する。

音声シンポルが認識された場合、その音声シンボルは、リンクテーブル作成部 4 1 0にて、原稿の各ページに対する位置及びリンクする音声情報ファイル名とともにリンクテ一ブルに書き込まれる（S 5 0 4 ) 。

音声シンポルが複数認識された場合、すべての音声シンボルに対し、リンクテーブルが作成される（S 5 0 5 ) 。

以上の処理により、音声情報付文書を作成できる。また、ユーザは、予め原稿に音声シンポルを貼り付け、これを読み込ませれば、他に操作を要しない。作成された音声情報付文書を画面上に表示し、音声シンポルをマウスによりクリック操作すれば、対応する楽器、歌声及びナレーション等の音声情報が再生される。

なお、作成された音声情報付文書は、通信制御部 4 1 3、プリンタ部 4 1 4 及び音声情報出力部 4 1 5にて、他の情報機器との送受信、出力、再生等の様々な処理がされる。

以上説明したように、音声シンボルが多数ある場合でも、短時間で、容易に音声情報付文書を作成する音声情報付文書作成装置及びこれを用いた方法を提供できる。

以上の実施の形態 1〜 5においては、文書作成機能を有するファクシミリ装置を例に挙げて説明した。し力、しな力ら、本発明は、これに限定されず、外部スキャナを接続したパーソナルコンピュータ、インターネット端末などにも適用可能である。産業上の利用可能性

以上のように、本発明にかかる構造化文書作成装置は、ファクシミリ装置に有用であり、特に既存の文書を構造化文書とするのに適している。

Claims

請求の範囲

1 . シンポルを含む原稿を読み取ったイメージデータが入力される入力部と、前記ィメ一ジデ一夕に含まれるシンボルを認識するシンポル認識部と、前記シンボルに特定のデータを対応付けしたテーブルを作成するテーブル作成部と、前記テーブルに基づいて前記シンボルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、を具備することを特徵とする構造化文書作成装置。

2 . テーブル作成部は、複数の原稿について、ある原稿のイメージデータに含まれるシンポルとこれと共通の要素を有するシンボルを含む他の原稿のィメージデータとを対応付けすることを特徴とする請求の範囲第 1項記載の装置。

3 . シンポル認識部はシンポルの色を認識することを特徴とする請求の範囲第 1項記載の装置。

4 . シンボル認識部は色空間 Y C b C rを使ってシンポルの色を認識することを特徴とする請求の範囲第 3項記載の装置。

5 . シンボル認識部は、原稿の色と異なる色を検出し、検出した色を認識することを特徴とする請求の範囲第 3項又は第 4項記載の装置。

6 . シンボル認識部はシンポルの形状を認識することを特徴とする請求の範囲第 1項記載の装置。

7 .イメージデ一夕に含まれるシンボルを削除して出力するシンポル削除部と、前記シンボル削除部の出力を印刷する印刷部と、を具備することを特徴とする請求の範囲第 1項記載の装置。

8 . シンポル認識部で認識したシンポルを、このシンポルと対応して予め登録してある他のシンポルに置換するシンポル置換部を具備することを特徴とする請求の範囲第 1項記載の装置。

9 . 文書作成部は、特定の意味を持つシンポルに前記特定の意味に関する処理を関連付けし、前記シンポルが活性化された場合に前記処理を行った後に前記シンポルに関係付けした特定のデータにアクセスする構造化文書を作成することを特徴とする請求の範囲第 1項記載の装置。

1 0 . シンボル認識部は、イメージファイルの所定の領域内についてシンボルの認識を行うことを特徴とする請求の範囲第 1項記載の装置。

1 1 . シンポルは原稿にスタンプで押印して形成されていることを特徴とする請求の範囲第 1項記載の装置。

1 2 . スタンプに時間が経過すると消えるスタンプ液を用いていることを特徴とする請求の範囲第 1 1項記載の装置。

1 3 . シンボルは原稿にシンボルを表示したシールを貼り付けて形成されていることを特徴とする請求の範囲第 1項記載の装置。 .

1 4. 原稿を読み取ったイメージデータが入力される入力部と、前記イメージデータにシンボルを付加するシンポル付加部と、前記シンポルに特定のデ一夕を対応付けしたテーブルを作成するテーブル作成部と、前記テーブルに基づいて前記シンポルを前記特定のデ一夕に関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、を具備することを特徴とする構造化文書作成装置。

1 5 . 入力されたイメージデータを表示する表示部を具備することを特徴とする請求の範囲第 1 4項記載の装置。

1 6 .シンボルを含む原稿を読み取ったイメージデ一夕が入力される入力部と、前記ィメージデー夕に含まれるシンボルを認識するシンボル認識部と、前記シンポルに特定のデータを対応付けしたテーブルを作成するテーブル作成部と、前記テーブルに基づいて前記シンポルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、前記構造化文書を送信する送信部と、を具備することを特徴とする通信装置。

1 7 . 原稿を読み取ったイメージデータが入力される入力部と、前記イメージデータにシンボルを付加するシンボル付加部と、前記シンポルに特定のデ一夕を対応付けしたテーブルを作成するテーブル作成部と、前記テーブルに基づいて前記シンボルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する文書作成部と、前記構造化文書を送信する送信部と、を具備することを特徴とする通信装置。

1 8 . シンボルを含む原稿を読み取ったイメージデータに含まれるシンポルを認識する工程と、前記シンポルに特定のデータを対応付けしたテーブルを作成する工程と、前記テーブルに基づいて前記シンボルを前記特定のデ一夕に関係付けした構造記述言語で記載した構造化文書を作成する工程と、を具備することを特徴とする構造化文書作成方法。

1 9 . 複数の原稿を読み取り、ある原稿に含まれるシンボルと、これと共通の要素を有するシンボルを含む他の原稿のイメージデータとを対応付けすることを特徴とする請求の範囲第 1 8項記載の方法。

2 0 . シンポル認識工程において、シンボルの色を認識することを特徴とする請求の範囲第 1 8項記載の方法。

2 1 . シンボル認識工程において、シンポルの形状を認識することを特徴とする請求の範囲第 1 8項記載の方法。

2 2 . シンボルが特定の意味を持ち、前記シンポルを前記特定の意味に関する処理に関連付けすることにより、前記シンポルが活性化された場合に前記処理を行った後に前記シンポルに関係付けした特定のデ一夕にアクセスする構造化文書を作成することを特徴とする請求の範囲第 1 8項記載の方法。

2 3 . シンポルは原稿にスタンプで押印して形成されていることを特徵とする請求の範囲第 1 8項記載の方法。

2 4 . スタンプに時間が経過すると消えるスタンプ液を用いられていることを特徴とする請求の範囲第 2 2項記載の方法。

2 5 . シンボルは原稿にシンボルを表示したシールを貼り付けて形成されていることを特徴とする請求の範囲第 1 8項記載の方法。

2 6 . 原稿を読み取ったイメージデ一夕にシンボルを付加する工程と、前記シンボルに特定のデータを対応付けしたテーブルを作成する工程と、前記テープルに基づいて前記シンポルを前記特定のデータに関係付けした構造記述言語で記載した構造化文書を作成する工程と、を具備することを特徴とする構造化文書作成方法。

2 7 . 音声シンボルを付した原稿を読み取ったイメージデータが入力される入力部と、前記イメージデ一夕から前記音声シンボルを認識する認識部と、音声情報を格納する音声格納部と、認識した前記音声シンポルと格納した前記音声情報を対応付けたテーブルを作成するテーブル作成部とを具備することを特徴とする音声情報付文書作成装置。

2 8 . テーブル作成部は、音声情報の種類ごとに、異なる音声シンボルを対応付けすることを特徴とする請求の範囲第 2 7項記載の音声情報付文書作成装置。

2 9 . 音声シンポルを付した原稿を読み取る工程と、読み取った原稿から音声シンボルを認識する工程と、認識した音声シンポルと音声情報を関連付けし、画面上の音声シンポルを選択すると音声が再生される音声情報付文書を作成することを特徴とする音声情報付文書作成方法。

3 0 . 音声シンボルは、音声シンボル形状のスタンプを用いて原稿に付されているこ