JPH1186014A

JPH1186014A - 文書画像表示方法および表示装置

Info

Publication number: JPH1186014A
Application number: JP9242293A
Authority: JP
Inventors: Kenichiro Sakai; 憲一郎酒井; Tsuguo Noda; 嗣男野田; Hirotaka Chiba; 広隆千葉
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-09-08
Filing date: 1997-09-08
Publication date: 1999-03-30
Also published as: US20020002570A1; US6735740B2

Abstract

(57)【要約】【課題】高解像度の文書画像と、画素数の少ないディ
スプレイに、見たい部分をより多く、かつ読みやすく表
示する。【解決手段】表示対象文書画像を属性に応じた領域に
分割して構造化し、構造化された各領域を部分画像とし
て抽出する過程１と、１つの文書から過程１により抽出
された部分画像を１つのファイルとして格納する過程２
と、１つのファイルに格納された部分画像を選択して読
出す過程３と、読み出された各部分画像を独立に表示す
る過程４とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、スキャナ等の画像
入力装置から取り込んだ画素数の多い高解像度な文書画
像の表示方法において、特に表示する画像よりも画素数
が少ないディスプレイに表示するための表示方法に関す
る。

【０００２】

【従来の技術】近年、ＰＤＡ（Personal Digital Assis
tant）のような携帯型の情報機器が普及してきている。
これらの携帯情報機器は小型で持ち運びが容易である一
方、限られた筐体内に機能を集約しなければならないた
め、一般的に使われているデスクトップタイプのＰＣに
比較してＣＰＵパワーや記憶容量が小さい、ディスプレ
イも数インチ程度で表示画素数が少ないという制約があ
る。例えば、デスクトップＰＣの表示画素数は１０２４
×７６８画素〜１６００×１２００画素であるのに対し
て、携帯情報機器では３２０×２４０〜６４０×４８０
画素程度である。

【０００３】一方、画像入力装置として、小型で高性能
なディジタルスチルカメラや、ハンディタイプの小型イ
メージスキャナが普及してきており、時と場所を選ばず
に携帯情報機器と連携して画像を取り込みたいという要
求がある。ディジタルスチルカメラの撮影画素数は３２
０×２４０画素から６４０×４８０画素程度であり、風
景や人物などの自然画像や立体物をカラー画像として取
り込むのに適している。一方、イメージスキャナは２０
０から４００ＤＰＩ（ドット／インチ、１インチの長さ
に含まれる画素数）と高い分解能で画像をスキャンでき
るため、文書画像の取り込みに適している。しかし解像
度が高い反面画素数とデータ量が多く、例えば４００Ｄ
ＰＩで取り込んだＡ４サイズの文書画像は約３４００×
４６００画素、データサイズは二値化しても約２ＭＢに
なる。

【０００４】携帯情報機器にハンディタイプのスキャナ
を接続して文書画像を取り込む場合、携帯情報機器内に
蓄積した画像をデスクトップＰＣに転送して電子的にフ
ァイリングしたり、文字認識（ＯＣＲ）してテキストデ
ータに変換したいなど、文書画像データを再利用したい
という要求がある。この要求を満たすためには高い解像
度で文書をスキャンして取り込んでおく必要がある。

【０００５】しかしスキャンした文書画像は、携帯情報
機器のディスプレイの画素数に比較して大きいため、文
書画像全体をそのまま表示することはできない。例えば
携帯情報機器のディスプレイが６４０×４８０画素、ス
キャン画像が上記の３４００×４６００画素（Ａ４サイ
ズ）の場合には、約６０倍の画素数の差がある。したが
って、文書画像を何らかの方法でディスプレイに表示で
きるように変換する必要がある。

【０００６】従来の文書画像の表示方法では、スキャナ
等の画像入力装置から取り込んだ画素数の多い文書画像
を、文書画像の画素数よりも少ない表示画素数のディス
プレイに表示する場合に、画像全体が表示されるように
ディスプレイの表示領域の画素数に合わせて横幅や縦幅
に合わせるなどして縮小表示していた（特開昭６２−１
８６３７０）。例えば図２８に示す文書画像をディスプ
レイに表示する場合には、画像の横幅を表示領域に合わ
せて図２９のように一部分を表示しり、画像の高さを表
示領域に合わせて縮小して図３０のように表示してい
た。

【０００７】また、従来の文書画像の表示方法では、文
書画像全体を縮小して表示する場合でも、文書画像の一
部分を表示する場合でも、文書の内容や構造によらず常
に元の文書のレイアウト通りに表示していた。すなわ
ち、図２８の文書画像に対して、図２９，図３０のよう
に縮小率が違っていても常に元の文書画像と同じレイア
ウトで表示していた。

【０００８】

【発明が解決しようとする課題】従って、従来の文書画
像の表示方法では、画像全体が表示されるように縮小し
て表示すると文字が小さくて読みにくく、逆に文字を読
みやすいように大きく表示すると表示できる領域が少な
くなるという問題があった。

【０００９】この問題は、文書画像の画素数とディスプ
レイの表示画素との差が大きいほど、またディスプレイ
の物理的な表示領域が小さいほど顕著になるため、特に
携帯情報機器において文書画像を表示する際により問題
が大きい。

【００１０】本発明はこれらの問題を改善するためにな
されたものであり、高解像度でスキャンした画素数の多
い文書画像を、文書画像よりも画素数の少ないディスプ
レイに、見たい部分をより多くかつ読みやすく表示する
ための表示方法および表示装置を提供することを目的と
している。

【００１１】

【課題を解決するための手段】図１は本発明の文書画像
表示方法の機能的な原理構成を示すブロック図である。
同図において部分画像抽出過程１は表示対象としての文
書画像を属性に応じた領域に分割して構造化し、構造化
された領域のそれぞれを部分画像として抽出するもので
ある。また画像格納過程２は、１つの文書から部分画像
抽出過程１によって抽出された部分画像を１つのファイ
ルとして格納するものである。

【００１２】このように本発明は、文書画像を属性に応
じた領域に分割して構造化する点と、抽出された部分画
像を１つの文書に対応して１つのファイルとして格納す
る点に基本的な特徴がある。構造化とは、文書画像を文
字や図，表などの属性に応じた領域に分割することであ
り、レイアウト認識、または領域分割とも呼ばれる。こ
の構造化によって、例えば図，表，見出し，本文などの
属性に応じた領域、すなわち部分画像の位置と大きさ、
およびその属性が得られる。

【００１３】これらの部分画像を、１つの文書に対応し
て１つのファイルとして格納することによって、文書画
像を表示する場合にデータが分散しないため、データの
管理や読み出しを容易に行うことができる。

【００１４】本発明においては前述の部分画像抽出過程
１および画像格納過程２に加えて更に例えばデータ読出
し過程３、および画像表示過程４を備えることができ
る。データ読出し過程３は画像格納過程２によって１つ
のファイルとして格納された部分画像を選択して読み出
すものであり、また画像表示過程４はデータ読出し過程
３によって読み出された各部分画像を独立に表示するも
のである。

【００１５】前述のように、本発明においては文書画像
が構造化され、各部分画像がそれぞれ独立に表示可能と
なるため、各部分画像を縮小して再配置したり、各部分
画像の間の空白部分が少なくなるように再配置して表示
することもできる。

【００１６】また抽出した部分画像を格納するにあたり
データの圧縮を行い、データ読み出し時に部分画像を復
元することにより、圧縮を行わない場合に比べて多くの
文書画像を格納しておくことも可能である。

【００１７】更に抽出された部分画像にユーザが見たい
順番で優先順位をつけ、優先順位の高い部分画像を早く
表示したり、あるいは大きく表示することもでき、ユー
ザが見たい部分を先に見ることができ、更に見たい部分
については表示が見易くなる。例えば見出し，図，表な
ど領域の属性によって優先順位をつけることにより、見
たい属性の部分画像を早く表示したり、大きく表示する
こともできる。

【００１８】以上のように、本発明によれば文書画像が
構造化され、各領域が部分画像として抽出され、１つの
文書に対する部分画像が１つのファイルとして格納され
ることになる。

【００１９】

【発明の実施の形態】図２は本発明の文書画像表示方法
の機能的な基本構成を示すブロック図である。同図にお
いて部分画像抽出部１１は入力された文書画像を構造化
し、分割された各領域を部分画像として抽出するもので
ある。この時、例えばユーザからの指示に従って指示さ
れた領域だけを抽出したり、あらかじめ定められている
属性に応じた領域だけを抽出するようにしてもよい。ま
た部分画像に対して表示の優先順位をつけることもでき
る。

【００２０】画像格納部１２は部分画像抽出部１１によ
って抽出された部分画像を格納するものであり、画像の
大きさや表示の優先順位など、それぞれの部分画像に関
する情報を、部分画像のデータと共に格納するものであ
る。データ読出し部１３は、画像格納部１２に格納され
ている部分画像を選択して読み出すものであり、画像表
示部１４は読み出されたデータを、例えば再配置して表
示するための制御を行うものである。ユーザからの部分
画像の消去指示が与えられる場合には、表示されている
部分画像の消去のためと、格納されている部分画像デー
タの消去のために、その指示は画像表示部１４と画像格
納部１２に与えられる。

【００２１】一般に文書画像は自然画像とは異なって、
領域毎に意味を持っている。文書画像を構成する各領域
は、文字領域や、図・表領域などの属性や、文書の出典
を示すヘッダ，見出し，本文，出典の何ページ目かを示
すフッタなどの属性によって分類することができる。文
書画像を検索したり、出典を調べたりする場合には、文
書画像中のある１つの属性に関する情報が得られるだけ
でも十分な場合が多い。例えば図だけを覚えていてその
図に関する文書を検索する場合には、図の属性を持つ領
域だけを表示して検索すればよく、出典だけを覚えてい
た場合には、ヘッダ領域だけを表示して検索すればよ
い。

【００２２】文書画像の構造化というのは、文書画像を
文字や図，表などの属性に応じた領域に分割することで
あり、レイアウト認識、領域分割とも呼ばれる。構造化
のアルゴリズムとしては次の文献１、および文献２など
が知られている。

【００２３】文献１：特開平５−２２５３７８、文書画
像の領域分割システム文献２：特開平１−１３０２９３、文書画像解析方式文献１は、文書画像を複数のブロックに分割して、ブロ
ックの数値的な特徴量を利用して領域を識別する方法を
開示しており、また文献２は文書画像の各行、および各
列毎の画素数の分布を利用して領域を識別する方法を開
示している。

【００２４】ここでは構造化のためにどのような方法を
適用してもよいが、構造化によって分割された領域、す
なわち部分画像の位置と大きさ、およびその属性が得ら
れる。この文書画像の構造化、および部分画像の抽出な
どについて、図３〜図６を用いて説明する。

【００２５】図３はスキャナでスキャンして取り込まれ
た文書画像の例である。このようにして取り込まれた文
書画像は、図２において部分画像抽出部１１に与えられ
る。図４は図３の文書画像の構造化の結果を示す。この
例でＲ１〜Ｒ６はそれぞれ文字の領域、Ｒ７は図、また
は表の領域と仮定し、またＲ１はＲ２とＲ３の内容の見
出し、Ｒ４はＲ５とＲ６の内容の見出しと仮定する。

【００２６】図５は部分画像抽出部１１によって抽出さ
れた部分画像を示す。これらの部分画像は、後述するよ
うに１つの文書に対応して、画像格納部１２によって１
つのファイルとして格納される。

【００２７】図６は図３の文書画像の再配置結果の例を
示す。図５に示されたそれぞれの部分画像は、それぞれ
独立して表示することができるので、図３に比較して各
部分画像の間の空白部分が少なくなるように部分画像を
再配置して表示することにより、従来例の図２８のよう
な元の配置通りに表示する場合に比べて、多くの部分画
像を表示することができ、文書画像の効率的な表示を行
うことができる。

【００２８】次に図２の画像格納部１２における画像デ
ータの圧縮について説明する。図７は画像格納部１２の
より詳細な機能構成を示すブロック図である。同図にお
いて画像圧縮部２０は、部分画像抽出部１１によって抽
出された部分画像のデータを圧縮するものであり、デー
タ格納部２２は圧縮されたデータを格納するものであ
る。この場合必要に応じて、部分画像抽出部１１から出
力された部分画像は画像縮小部２１によって縮小され、
その縮小結果に応じて画像圧縮部２０によって、画像デ
ータの圧縮が行われる。データ格納部２２に格納された
圧縮画像データは画像復元部２３によって復元され、読
み出された部分画像としてデータ読出し部１３に与えら
れる。

【００２９】画像の縮小と復元画像の表示について、図
８および図９を用いて説明する。図８は画像縮小部２１
による画像の縮小例の説明図である。図５の部分画像Ｒ
３の複数段階の縮小画像Ｌ１〜Ｌ４を示している。

【００３０】このように複数段階に縮小された縮小画像
に対応して画像圧縮部２０によってデータ圧縮が行われ
た結果は、データ格納部２２に格納される。階層化され
た部分画像に対するデータ圧縮方法はどのようなもので
あってもよいが、各縮小画像の間の差分を圧縮すれば圧
縮効率をよくすることができる。そのような方法の１つ
として最小のＬ４はそのままデータ圧縮を行い、Ｌ３に
対してはＬ４との差分、Ｌ２に対してはＬ３との差分、
Ｌ１に対してはＬ２との差分を圧縮する方法が考えられ
る。なおこのような部分画像の縮小はデータの間引きに
よって行われるために、縮小画像のみのデータを格納し
ておいても、表示に際してその縮小画像を拡大すること
はできない。

【００３１】このように階層的に縮小された画像を復元
する場合には、画像復元部２３がディスプレイの表示領
域の大きさに応じて、適当な縮小段階の部分画像を復元
して出力する。図８のように４段階に縮小された部分画
像に対して、表示に適した大きさがＬ３である場合に
は、部分画像を元のＬ１の大きさまで復元せず、Ｌ３ま
で復元して表示することにより、元の大きさに復元する
場合に比べて処理の負荷を軽くすることができる。

【００３２】また部分画像に対して表示の優先順位をつ
けた場合には、画像の復元に際して、優先順位の高い部
分画像を優先順位の低い部分画像よりも大きなサイズの
部分画像に復元することもできる。例えば図５における
部分画像Ｒ１とＲ２とを同じ縮小率を用いて表示する
と、領域Ｒ２の文字は小さくなって読み難くなる。Ｒ２
の表示の優先順位をＲ１より高く設定することにより、
全体を見やすくすることができる。

【００３３】図９は部分画像Ｒ１とＲ２とを同じ縮小率
を用いて表示した結果を示し、図１０は表示の優先順位
に対応して縮小率を変化させ、部分画像Ｒ２を元の文書
画像におけるよりも相対的に大きな大きさに表示した例
を示す。例えば図８のように４段階に部分画像を縮小す
る場合には、優先順位の低い部分画像はＬ４の大きさ、
優先順位の高い部分画像はＬ２の大きさに復元すること
によって、図１０のように部分画像Ｒ２を見やすくする
ことができる。

【００３４】更に部分画像はその属性に応じて画素の値
の分布などの特性が異なることから、それぞれの属性に
適した圧縮方式を適用することによって、圧縮効率を高
くすることができる。例えば文字画像であれば、同一ラ
インの画素間の相関を利用する一次元符号化の代表的方
式としてのＭＨ（モディファイドハフマン）符号化方式
や、Ｇ４ファクシミリに使用されているＭＭＲ（モディ
ファイドモディファイドリード）符号化方式を適用
し、漢字を含む日本語文書画像であれば本願発明と同一
出願人による特許出願としての次の文献３の方式を適用
し、単なる画像などの場合には２値画像符号化の国際標
準としてのＪＢＩＧ（ジョイントバイレベルイメー
ジエクスパーツグループ）符号化方式を適用する。

【００３５】文献３：特開平８−５１５４５、ビットマ
ップデータの圧縮方法および圧縮装置この文献３の方式では、漢字を含む日本語文書画像の場
合などに、文字が横書きであるか縦書きであるかによっ
て、行間や文字の間の空白を効率的に圧縮するために圧
縮の方式を切り換えることで、より効率の高い圧縮を行
うことができる。図１１、および図１２はそのように縦
書きと横書きで圧縮方式を切り換える画像圧縮部の構成
例を示す。

【００３６】図１１は縦書きと横書きで圧縮方式を切り
換える画像圧縮部の第１の実施例の構成ブロック図であ
る。同図において、画像圧縮部２０は入力される画像デ
ータ内の文字が縦書きであるか横書きであるかを判別す
る文字方向判別部３０、例えば文書の横方向に、例えば
８ドットの幅（高さ）で文書を走査し、走査された領域
に黒画素が含まれているか否かを判別する主走査方向走
査部３１、主走査方向走査部３１の走査結果に従って、
横方向の走査領域のうちで黒画素を含む領域と黒画素を
含まない領域とを分離する第１の領域分離部３２、例え
ば縦方向に１バイトの幅（横方向の長さ）で文書を走査
し、走査領域内に黒画素を含むか否かを判別する副走査
方向走査部３３、副走査方向走査部３３によって走査さ
れた各領域のうち、黒画素を含む領域と含まない領域と
を分離する第２の領域分離部３４、第１の領域分離部３
２、および第２の領域分離部３４の出力を符号化する符
号化部３５、２つのセレクタ３６，３７から構成されて
いる。

【００３７】図１１の画像圧縮部の動作は文献３に詳細
に説明されているので、ここでは簡単にその動作を説明
する。文書が例えば横書きの場合には、文字方向判別部
３０の判別結果に応じてセレクタ３６，３７は共にａ側
に切り換えられる。入力画像データはまず主走査方向走
査部３１によって前述のように、例えば高さ８ドットの
幅で横方向に走査され、走査される領域内に黒画素が含
まれるか含まれないかを判定する。その判定結果は第１
の領域分離部３２に与えられ、黒画素を含む領域と含ま
ない領域とに分離される。ここで文書内の文字の大きさ
（高さ）を例えば５２ドット分とすれば、８ドットの幅
で横方向に走査することによって、文書の最上部や最下
部の空白部分だけでなく、行間の空白部分まで黒画素を
含まない領域として分離される。第１の領域分離部３２
の分離結果に応じて、例えば文書の最上部の空白部分が
文書内でどこまで存在するかなどの情報が、符号化部３
５によって符号化される。

【００３８】一方、第１の領域分離部３２によって分離
された黒画素を含む領域は副走査方向走査部３３に送ら
れる。副走査方向走査部３３は主走査方向走査部３１と
は直交する走査方向の走査を行うものであり、例えば縦
方向に１バイトの幅で走査を行い、１回の走査を行った
領域に黒画素が含まれるか含まれないかを判別する。そ
して第２の領域分離部３４は副走査方向走査部３３によ
って走査された各領域を黒画素を含む領域と含まない領
域とに分離する。これによって文書の左端、文字の間、
文書の右端の空白部分は黒画素を含まない領域として分
離される。そして例えば文書の左端の空白部分が文書内
でどの位置までかを示す情報や、黒画素を含む領域、す
なわち実際の文字の符号化が符号化部３５によって実行
される。

【００３９】図１１の画像圧縮部２０内の文字方向判別
部３０によって文書が縦書きと判定された場合には、セ
レクタ３６，３７はｂ側に切り換えられ、入力された画
像データに対しては、まず副走査方向走査部３３による
縦方向の走査が行われた後に、第２の領域分離部３４に
よって黒画素を含む領域が主走査方向走査部３１に与え
られ、横方向の走査が実行されることになるが、走査順
序が逆になるだけであるのでその詳細な説明は省略す
る。

【００４０】図１２は縦書きと横書きとで圧縮方式を切
り換える画像圧縮部２０の第２の実施例の構成ブロック
図である。同図について図１１の第１の実施例との相違
を説明する。画像が横書きと判定された場合には、セレ
クタ３９はａ側に切り換えられ、図１１におけると同様
に画像データの圧縮が行われる。これに対して文字方向
判別部３０によって文書が縦書きと判定された場合に
は、セレクタ３９はｂ側に切り換えられる。そして入力
画像データは画像回転部３８によって９０度回転させら
れ、主走査方向走査部３１に与えられる。これによって
縦書きの入力画像は横書きと同様に取り扱われ、前述と
同様に圧縮されて符号化される。

【００４１】ここで再び図２の各ブロックの説明に戻る
が、部分画像抽出部１１による部分画像の抽出にあたっ
ては、文書画像のスキャンの際に生じたゴミ画像など、
無意味な領域は部分画像として抽出しない。またユーザ
からの指示に対応した領域だけを抽出することにすれ
ば、不必要なデータを削除して、画像格納に必要な記憶
容量を少なくすることができる。

【００４２】また前述のように抽出された各部分画像に
対して、その属性や、ユーザからの指示に基づいて、表
示の優先順位をつけて部分画像を格納することにより、
優先順位の高い順番に部分画像を表示することができ
る。また見出し，図，表など領域の属性と表示する優先
順位を対応させることにより、見たい属性の部分画像を
先に表示することができる。

【００４３】図１３はそのような表示例の説明図であ
る。例えば図４において見出しと図表を優先し、見出し
Ｒ１，Ｒ４、図表Ｒ７、見出しＲ１の内容Ｒ２，Ｒ３、
見出しＲ４の内容Ｒ５，Ｒ６の順番に表示の優先順位を
つけた場合には、図１３(1) 〜(7) に示すようにディス
プレイ上に部分画像Ｒ１，Ｒ４，Ｒ７，Ｒ２，Ｒ３，Ｒ
５，Ｒ６の順で表示が行われる。

【００４４】また複数ページからなる文書を検索する場
合などにおいて、最も優先順位の高い見出しやヘッダ部
分だけを選択して、部分画像の表示を行うことにすれ
ば、文書の内容がすぐに分かり、ページめくりが早くな
り、検索を効率的に行うことができる。

【００４５】データ取り込み時には必要であった部分画
像でも、後で不要となることがある。また表示されてい
る部分画像が多すぎて、見にくい場合もある。そこでユ
ーザは表示されている部分画像の中で消去すべき部分画
像を指示することにより、見たい部分だけを表示するこ
とができる。このような消去指示は、図２の画像表示部
１４と画像格納部１２に与えられ、画像表示部１４は指
示された部分画像を画面上から消去し、画像格納部１２
は指示された部分画像のデータを格納データから削除す
る。

【００４６】次に本発明における部分画像抽出から部分
画像の表示までの処理について、フローチャートを示し
て説明するが、その前に本発明における文書画像データ
の構造について説明する。図１４は文書画像のデータ構
造の例である。同図において文書画像データを(1) 文書
データ、(2) ページデータ、および(3) 部分画像データ
に区分して説明する。

【００４７】(1) 文書データは文書名、作成者などの文
書管理情報を含むヘッダと、複数のページにそれぞれ対
応する(2) のページデータから構成されている。それぞ
れのページに対応する(2) のページデータはページ番
号、そのページに含まれる部分画像の個数、ページ全体
の画像サイズとしての横画素数と縦画素数、およびその
ページにおける各部分画像の配置を示すレイアウト情報
を含むヘッダと、そのページに含まれる複数の(3) 部分
画像データから構成される。

【００４８】(3) 部分画像データは、ページの中でその
部分画像をユニークに識別するための画像番号、縦・横
画素数（サイズ）、表示の優先順位、見出しや図，表な
どの属性、表示位置、何段階に縮小が行われたかを示す
縮小階層数、表示の際に用いられる縮小率、表示の有無
を示す表示フラグ、および部分画像のビットマップデー
タから構成される。ビットマップデータは、データの圧
縮を行わない場合にはラスタイメージデータ、圧縮を行
う場合には符号データとして格納される。

【００４９】図１５は部分画像抽出、すなわち部分画像
の生成から部分画像表示までの一連の処理の流れを示す
フローチャートである。ステップＳ１は部分画像を抽出
して格納する処理、ステップＳ２は格納された部分画像
を選択して読み出す処理、ステップＳ３は読み出された
部分画像を表示する処理である。各処理の詳細について
は以下に説明する。

【００５０】図１６は図１５の部分画像を格納するステ
ップＳ１の処理の詳細フローチャートである。同図にお
いて処理が開始されると、まずステップＳ１１で文書画
像の領域識別によって構造化が行われ、各領域の属性の
認識などが行われ、ステップＳ１２で各領域のレイアウ
ト情報が図１４(2) ページデータのヘッダＰ１に設定さ
れる。このレイアウト情報に基づいて、抽出された各部
分画像を元の文書のレイアウト通りに復元して表示する
ことができる。

【００５１】ステップＳ１３ではユーザによって指定さ
れた属性の領域のみを抽出するか否かが判定され、その
判定がＹｅｓの場合にはステップＳ１４でユーザから抽
出すべき領域の属性、例えば見出し，図・表などの指示
を受け、ステップＳ１５で構造化された各領域に対応す
る属性が判別されてユーザから指定された属性の領域だ
けが部分画像として抽出され、ステップＳ１６で指定さ
れた属性が各部分画像に対して図１４(3) のヘッダの属
性に設定される。

【００５２】続いてステップＳ１７で各部分画像のサイ
ズ、すなわち縦・横の画素数が(3)部分画像データのヘ
ッダに、また抽出された部分画像の個数が(2) ページデ
ータのヘッダに設定され、ステップＳ１８で各部分画像
の属性に対応して表示優先順位が、(3) 部分画像データ
のヘッダに設定される。この属性に対応する表示の優先
順位は、ステップＳ１８の横の表に示されている。この
属性に対応する表示の優先順位は、例えばユーザが任意
に決めることができる。

【００５３】最後にステップＳ１９で部分画像のデータ
圧縮が行われ、ヘッダと共に文書画像データが格納され
て処理を終了する。この時(3) 部分画像データのヘッダ
にはページ内での画像の識別番号、表示位置が格納さ
れ、表示フラグとしては表示を示す“ＯＮ”が設定され
て格納される。また部分画像を複数の段階に縮小した場
合には、縮小階層数も格納れる。(2) ページデータのヘ
ッダにはページ番号、ページの縦・横の画素数が設定さ
れて格納される。なお(1) 文書データの文書名、作成
者、作成日時、総ページ数などの管理情報は図１５の処
理に先立って設定されて、格納されているものとする。

【００５４】ステップＳ１３でユーザによって指定され
た属性の領域のみを抽出するのではないと判定された場
合には、ステップＳ２０で属性に対応してではなく、ユ
ーザによって指定される特定の領域だけを抽出するか否
かが判定され、その判定結果がＹｅｓである場合にはス
テップＳ２１で抽出すべき領域のユーザによる指示を受
け、ステップＳ２２で指示された領域のみが部分画像と
して抽出され、ステップＳ２３で抽出されたそれぞれの
部分画像に対する属性が検出されて、(3) 部分画像デー
タのヘッダに設定された後、ステップＳ１７以降の処理
が実行される。

【００５５】更にステップＳ２０でユーザによって指定
される特定領域だけを抽出するのではないと判定される
と、ステップＳ２４で全ての領域が部分画像として抽出
された後に、ステップＳ２３以降の処理が実行される。

【００５６】以上の処理によって１ページに含まれる部
分画像のデータと、関連する情報とが格納されるが、複
数ページの文書に対しては上述の処理が反復して実行さ
れる。

【００５７】図１７は図１５のステップＳ２、すなわち
部分画像を読み出す処理の詳細フローチャートである。
同図において処理が開始されると、まずステップＳ３１
でユーザによって指定される表示優先順位、または属性
の部分画像のみを表示するか否かが判定され、判定結果
がＹｅｓの場合にはステップＳ３２でユーザから表示優
先順位、または属性の指定を受ける。ユーザが優先順位
を指定する場合、例えば優先順位が一番高い部分画像だ
けを表示したい場合には優先順位１、優先順位が一番高
い部分画像と四番目に高い部分画像を表示したい場合に
は、優先順位１、および４を指定する。図１６内の表の
例では優先順位１は見出し画像、優先順位４は概要画像
である。属性を指定する場合には、見出しや概要などと
指定を行う。

【００５８】続いてステップＳ３３で各部分画像のヘッ
ダが検索され、ユーザによって指定された優先順位、ま
たは属性に対応する部分画像データが選択されて読み出
され、ステップＳ３４で選択されなかった部分画像の表
示フラグが“ＯＦＦ”に設定される。これは次のステッ
プＳ３５で、選択された部分画像に対する表示フラグを
“ＯＮ”に設定する処理が実行されるためである。

【００５９】ステップＳ３１でユーザによって指定され
た優先順位、または属性の部分画像のみを表示するので
はないと判定されると、ステップＳ３７で部分画像デー
タが順番に読み出され、ステップＳ３５の処理に移行す
る。

【００６０】ステップＳ３５では選択された部分画像の
表示フラグが“ＯＮ”に設定される。図１６のステップ
Ｓ１９に対して説明したように、部分画像が抽出されて
格納される場合に、各部分画像に対する表示フラグは
“ＯＮ”に設定されるが、部分画像の選択と表示が繰り
返される間に、ステップＳ３４で説明したように、選択
されなかった部分画像の表示フラグは“ＯＦＦ”に設定
されるため、このステップＳ３５で選択された部分画像
に対する表示フラグを“ＯＮ”に設定する処理が行われ
る。

【００６１】続いてステップＳ３６で表示の優先順位、
または属性に対応してあらかじめ定められていた縮小率
の部分画像への復元が行われて、部分画像読出し処理が
終了する。この表示の縮小率は属性、または優先順位に
対応してステップＳ３６の横の表のように定められてい
る。優先順位１の見出し画像は縮小率１／４、優先順位
２のヘッダは縮小率１／８のように、元の画像に対する
比率として表示縮小率が示されている。例えば優先順位
１の見出し画像は、元のサイズの１／４の大きさに復元
される。

【００６２】図１８は図１５のステップＳ３、すなわち
部分画像を表示する処理の詳細フローチャートである。
同図において処理が開始されると、まずステップＳ４１
で部分画像の再配置処理の一部として、部分画像を垂直
（または水平）方向に間隔を詰め合わせて再配置して表
示する処理が行われ、続いてステップＳ４２で部分画像
を水平（または垂直）方向に間隔を詰め合わせて再配置
して表示する処理が実行される。これらの処理について
は後述する。

【００６３】続いてステップＳ４３で表示されている部
分画像のうちで、消去すべき部分画像がユーザによって
指示されたか否かが判定され、指示されていない場合に
はそのまま処理を終了する。これに対して指示を受けた
場合には、ステップＳ４４でユーザによって指定された
部分画像の表示が消去され、その部分画像の表示フラグ
が“ＯＦＦ”に設定された後に、ステップＳ４１以降の
処理が繰り返される。すなわち画面上のある部分画像が
消去されると、その表示されていた部分が空白となるた
め、再び部分画像の再配置が行われる。

【００６４】図１９は図１８のステップＳ４１、すなわ
ち垂直方向の間隔を詰めて部分画像を再配置して表示す
る処理の詳細フローチャートである。同図において処理
が開始されると、まずステップＳ５１で垂直方向の部分
画像の間の間隔の最小値ｖmin が設定される。この値は
任意に指定することができるが、例えばページの中での
部分画像のレイアウトと各部分画像の高さから、垂直方
向に間隔を詰めて再配置した時に、全ての部分画像が丁
度ディスプレイの画面内に表示されるような値を算出し
て設定することもできる。

【００６５】ステップＳ５２でページ内での部分画像の
番号を示すｊが“１”とされた後に、ステップＳ５３で
選択されたｊ番目の部分画像が表示対象か否かが表示フ
ラグの内容によってチェックされ、表示フラグが“Ｏ
Ｎ”の場合には、ステップＳ５４でそのｊ番目の部分画
像とその上の部分画像との垂直方向の間隔、すなわち空
白の高さｖｊが求められる。

【００６６】図２０はこの空白の高さｖｊの求め方の説
明図である。同図は５個の部分画像を再配置なしで表示
する場合の例を示す。各部分画像の高さをそれぞれＩｈ
１〜Ｉｈ５、画面の上の端を基準とする垂直方向の表示
位置をＩｙ１〜Ｉｙ５とする時、各部分画像の間の垂直
方向の間隔は図２０の上に示す式によって計算される。

【００６７】続いてステップＳ５５で、求められた間隔
ｖｊが最小間隔ｖmin 以上であれば、間隔を詰めるため
にｊ番目の部分画像が上の方向にｖｊ−ｖmin だけ移動
される。ｖｊがｖmin 未満であれば間隔を元のままとし
てもよく、あるいは見やすくするためにｖmin の値まで
広げてもよい。またステップＳ５３でｊ番目の部分画像
が表示対象でない場合には、ステップＳ５４、およびＳ
５５の処理は実行されず、ステップＳ５６の処理に直ち
に移行する。

【００６８】ステップＳ５６では、そのページ内の最後
の部分画像に対して処理が終了したか否かが判定され、
最後の部分画像である場合には処理を終了して、最後の
部分画像でない場合にはステップＳ５７でｊの値がイン
クリメントされた後に、ステップＳ５３以降の処理が繰
り返される。

【００６９】図２１は図２０の部分画像を垂直方向の間
隔を詰めて再配置した例である。各部分画像の間隔はｖ
１′〜ｖ５′となっており、５つの部分画像が丁度画面
内に全部配置されている。

【００７０】図２２は図１８のステップＳ４２、すなわ
ち水平方向の間隔を詰めて部分画像を再配置して表示す
る処理の詳細フローチャートである。同図では図１９の
垂直方向の間隔を詰める場合とほぼ同様の処理が実行さ
れるため、その詳細な説明は省略するが、ステップＳ６
１で水平方向の間隔の最小値ｈmin が設定され、それぞ
れの部分画像に対してステップＳ６４、およびＳ６５
で、例えば右にある部分画像との間隔ｈｊが最小値ｈmi
n より大きければ、ｊ番目の部分画像を右側にｈｊ−ｈ
min だけ移動する処理が行われる。左側の間隔を詰めて
いく場合には、左の部分画像との間隔について、同様に
ステップＳ６４，Ｓ６５の処理が行われる。

【００７１】次にマーキング領域を部分画像として抽出
する実施例について説明する。一般に人は文書を読む時
に、注目すべき部分や重要な部分にマーカーペンでマー
キングすることがある。このようにマーキングによって
色づけされた文書をスキャンして画像として取り込み、
マーキング部分を検出して部分画像として抽出すること
によって、注目した部分を取り出して表示することがで
きる。このような方法によって容易に注目部分を指定で
き、かつ部分画像抽出のための作業を自動的に行うこと
ができ、実用的な効果を上げることができる。

【００７２】図２３はこのようにマーキングされた部分
を部分画像として抽出する部分画像抽出部の機能的な構
成例のブロック図である。同図において部分画像抽出部
４１は色検出部４２、色領域抽出部４３、および色消去
部４４によって構成される。

【００７３】色検出部４２はマーキングされた入力文書
画像を画素毎に走査し、検出すべき色、すなわちマーカ
ーの色、例えば緑色を背景とする部分を検出する。色領
域抽出部４３は、色検出部４２によって検出されたマー
キング領域、例えば緑色の領域を文書画像から抽出し、
色消去部４４は抽出された画像からマーキングされた色
を消去して部分画像として出力する。

【００７４】図２４は色検出部４２によるマーキング領
域検出処理のフローチャートである。同図において処理
が開始されると、まずステップＳ６１でマーキング色の
指定が行われ、ステップＳ６２でＲＧＢ（Ｒｅｄ赤、Ｇ
ｒｅｅｎ緑、Ｂｌｕｅ青）プレーンの中から、マーキン
グ色を含むプレーンＰが選択される。例えばマーキング
色が緑色である場合には、ＧプレーンがＰとして選択さ
れる。

【００７５】続いてステップＳ６３で選択されたプレー
ンＰ上の画素が１画素ずつスキャンされ、ステップＳ６
４で画素の値が“０”か否かが判定される。“０”でな
い場合にはステップＳ６５でその画素の位置がマーキン
グ領域の構成要素として追加され、画素の値が“０”の
場合にはステップＳ６５の処理を行うことなく、ステッ
プＳ６６で全ての画素に対するスキャンが終了したか否
かが判定される。終了した場合には処理を終了し、終了
していない場合にはステップＳ６３以降の処理が繰り返
される。

【００７６】図２５、および図２６は色消去部４４によ
るマーキング色の消去方法の説明図である。図２５は第
１の方法の説明図であり、文書画像の背景が白であり、
文字は黒であって、その文字が緑色でマーキングされて
いるものとする。緑色でマーキングされた領域が抽出さ
れ、抽出された領域に対するＲ，Ｇ，Ｂの各プレーンの
画素値に対して画素毎に論理演算例えば論理積が取られ
ることによって、文字の黒画素はそのままに、背景はマ
ーキング色の緑色から白にすることができる。

【００７７】図２６はマーキング色の第２の消去方法の
説明図である。同図においては図２５の第１の方法と異
なって、抽出されたマーキング領域に対するＲプレーン
の画素値だけが部分画像として出力されることにより、
黒の文字部分だけが部分画像内に残ることになる。なお
マーキング領域の抽出、およびマーキング色の消去方法
については、このような方法に限定されないことは当然
である。

【００７８】最後に本発明の文書画像表示方法を実現す
るための表示装置としての、コンピュータシステムへの
プログラムのローディングについて、図２７を用いて説
明する。同図においてコンピュータ５１は本体５４と、
メモリ５５とから構成されており、本体５４に対しては
可搬型記憶媒体５２からプログラムなどをローディング
することも、またプログラム提供者側からネットワーク
５３を介してプログラムなどをローディングすることも
可能である。

【００７９】本発明の特許請求の範囲の請求項１９、お
よび請求項２０に記載されているプログラムや、図１５
〜図１９、図２２、および図２４のフローチャートに示
されているプログラムなどは、例えば図２７におけるメ
モリ５５に格納され、そのプログラムが本体５４の図示
しない主記憶上に展開されて実行される。ここでメモリ
５５としては、例えばランダムアクセスメモリ（ＲＡ
Ｍ）、またはハードディスクなどが用いられる。

【００８０】また文書画像から部分画像を抽出して格納
したり、部分画像を表示するためのプログラムなどが、
可搬型記憶媒体５２に記録され、コンピュータ５１にそ
のプログラムをロードすることによって、文書画像表示
を行うことも可能である。この可搬型記憶媒体５２とし
てはメモリカード、フロッピーディスク、ＣＤ−ＲＯＭ
（コンパクトディスクリードオンリーメモリ）、光デ
ィスク、光磁気ディスクなど、市販され、流通可能な任
意の記憶媒体を用いることができる。更に文書画像表示
のためのプログラムなどが、プログラム提供者側からネ
ットワーク５３を介してコンピュータ５１側に送られ、
そのプログラムがロードされることによって、文書画像
表示を実現することも可能である。

【００８１】

【発明の効果】以上詳細に説明したように、本発明によ
れば入力された文書画像を構造化して、分割された各領
域を部分画像として抽出し、抽出された部分画像の中か
ら必要なものだけを縮小、あるいは再配置して表示する
ことによって、表示画素数の少ない携帯情報機器のディ
スプレイを用いても、解像度の高い文書画像の見たい部
分をより多く、かつ読みやすく表示することができ、画
像情報機器の実用性の向上に寄与するところが大きい。

【図面の簡単な説明】

【図１】本発明の文書画像表示方法の機能的な原理構成
を示すブロック図である。

【図２】本発明の文書画像表示方法の機能的な基本構成
を示すブロック図である。

【図３】スキャナで取り込まれた文書画像の例を示す図
である。

【図４】図３の文書画像の構造化の結果を示す図であ
る。

【図５】図４から抽出された部分画像を示す図である。

【図６】図３の文書画像の再配置結果の例を示す図であ
る。

【図７】画像格納部の機能的な構成例を示すブロック図
である。

【図８】図５の部分画像Ｒ３の縮小画像の例を示す図で
ある。

【図９】２つの部分画像を同じ縮小率を用いて表示した
例を示す図である。

【図１０】図９の２つの部分画像を表示の優先順位に対
応して縮小率を変化させて表示した例を示す図である。

【図１１】縦書きと横書きで圧縮方式を切換える画像圧
縮部の第１の実施例の構成を示すブロック図である。

【図１２】縦書きと横書きで圧縮方式を切換える画像圧
縮部の第２の実施例の構成を示すブロック図である。

【図１３】属性に対応して優先資源順位をつけて表示を
行う例を説明する図である。

【図１４】文書画像のデータ構造の例を示す図である。

【図１５】部分画像抽出から部分画像の表示までの一連
の処理の流れを示すフローチャートである。

【図１６】図１５の部分画像を格納する処理の詳細フロ
ーチャートである。

【図１７】部分画像を読み出す処理の詳細フローチャー
トである。

【図１８】部分画像を表示する処理の詳細フローチャー
トである。

【図１９】垂直方向の間隔を詰めて部分画像を再配置し
て表示する処理の詳細フローチャートである。

【図２０】部分画像の垂直方向の間隔、すなわち空白の
高さの求め方を説明する図である。

【図２１】図２０の部分画像を再配置した例を示す図で
ある。

【図２２】水平方向の間隔を詰めて部分画像を再配置し
て表示する処理の詳細フローチャートである。

【図２３】マーキングされた部分を部分画像として抽出
する部分画像抽出部の機能的な構成例を示すブロック図
である。

【図２４】色検出部によるマーキング領域検出処理のフ
ローチャートである。

【図２５】色消去部によるマーキング色の第１の消去方
法の説明図である。

【図２６】マーキング色の第２の消去方法の説明図であ
る。

【図２７】文書画像表示装置としてのコンピュータシス
テムのプログラムのローディングを説明する図である。

【図２８】従来技術を説明するための文書画像の例を示
す図である。

【図２９】図２８の文書画像の一部分を表示した例を示
す図である。

【図３０】表示領域にあわせて画像の高さを縮小して表
示した例を示す図である。

【符合の説明】

１部分画像抽出過程２画像格納過程３データ読出し過程４画像表示過程１１，４１部分画像抽出部１２画像格納部１３データ読出し部１４画像表示部２０画像圧縮部２１画像縮小部２２データ格納部２３画像復元部３０文字方向判別部３１主走査方向走査部３２第１の領域分離部３３副走査方向走査部３４第２の領域分離部３５符号化部３８画像回転部４２色検出部４３色領域抽出部４４色消去部

Claims

【特許請求の範囲】

【請求項１】文書画像の表示方法であって、表示対象としての文書画像を属性に応じた領域に分割し
て構造化し、該構造化された領域のそれぞれを部分画像
として抽出する部分画像抽出過程と、１つの文書から、該部分画像抽出過程によって抽出され
た部分画像を１つのファイルとして格納する画像格納過
程とを備えることを特徴とする文書画像表示方法。
【請求項２】前記部分画像抽出過程が、抽出した部分
画像の属性に応じて該部分画像に優先順位を付与し、前記画像格納過程が、部分画像と共に該部分画像に付与
された優先順位のデータを格納することを特徴とする請
求項１記載の文書画像表示方法。
【請求項３】前記部分画像抽出過程が、前記構造化さ
れた領域のうちで、特定の色で色づけされた領域を部分
画像として抽出することを特徴とする請求項１記載の文
書画像表示方法。
【請求項４】前記画像格納過程によって１つのファイ
ルとして格納された部分画像を選択して読み出すデータ
読出し過程と、該データ読出し過程によって読み出された各部分画像を
独立に表示する画像表示過程とを更に備えることを特徴
とする請求項１記載の画像表示方法。
【請求項５】前記部分画像抽出過程が、抽出した部分
画像に応じた属性によって該部分画像に優先順位を付与
し、前記画像格納過程が、部分画像と共に該部分画像に付与
さた優先順位のデータを格納することを特徴とする請求
項４記載の文書画像表示方法。
【請求項６】前記画像読出し過程が、部分画像に付与
された優先順位に基づいて、指定された優先順位が付与
された部分画像を選択的に読み出すことを特徴とする請
求項５記載の文書画像表示方法。
【請求項７】前記データ読出し過程が、特定の属性に
応じた部分画像を選択して読み出すことを特徴とする請
求項４記載の文書画像表示方法。
【請求項８】前記画像表示過程が、部分画像の間の余
白を少なくし、より多くの部分画像が表示されるように
各部分画像を再配置して表示することを特徴とする請求
項４記載の文書画像表示方法。
【請求項９】前記画像表示過程が、外部からの指示に
対応して、該指示を受けた部分画像の表示を消去するこ
とを特徴とする請求項４記載の文書画像表示方法。
【請求項１０】前記部分画像抽出過程が、外部から指
示された領域のみ、または外部から指示された属性に応
じた領域のみを部分画像として抽出することを特徴とす
る請求項１、または４記載の文書画像表示方法。
【請求項１１】前記画像格納過程が、前記画像抽出過
程によって抽出された部分画像のデータを圧縮して圧縮
データを格納し、該格納された部分画像の読出し時に該
圧縮データを部分画像に復元して出力することを特徴と
する請求項１、または４記載の文書画像表示方法。
【請求項１２】前記画像格納過程が、前記部分画像の
データ圧縮時に、部分画像の属性が文字である場合に縦
書きと横書きとで圧縮方式を切り換えてデータを圧縮す
ることを特徴とする請求項１１記載の文書画像表示方
法。
【請求項１３】前記画像格納過程が、前記部分画像の
データ圧縮時に、部分画像を複数の段階に縮小して階層
的にデータ圧縮を行い、圧縮されたデータを格納し、該
格納された部分画像の読出し時に指定された段階の縮小
画像に復元して部分画像を出力することを特徴とする請
求項１１記載の文書画像表示方法。
【請求項１４】前記部分画像抽出過程が、部分画像の
属性に応じて、または外部からの指示に対応して部分画
像に優先順位を付与し、前記画像格納過程が、前記部分画像のデータ圧縮時に部
分画像を複数の段階に縮小して階層的にデータ圧縮を行
い、圧縮されたデータを部分画像に付与された優先順位
のデータと共に格納し、該格納された部分画像の読出し
時に部分画像に付与されている優先順位に応じた段階の
縮小画像に復元して部分画像を出力することを特徴とす
る請求項１１記載の文書画像表示方法。
【請求項１５】文書画像の表示方法であって、表示対象の文書画像から、特定の色で色づけされた領域
を部分画像として抽出する部分画像抽出過程と、１つの文書から、該部分画像抽出過程によって抽出され
た部分画像を１つのファイルとして格納する画像格納過
程とを備えることを特徴とする文書画像表示方法。
【請求項１６】前記画像格納過程によって１つのファ
イルとして格納された部分画像を選択して読み出すデー
タ読出し過程と、該データ読出し過程によって読み出された各部分画像を
独立に表示する画像表示過程とを更に備えることを特徴
とする請求項１５記載の文書画像表示方法。
【請求項１７】文書画像の表示装置であって、表示対象としての文書画像を属性に応じた領域に分割し
て構造化し、該構造化された領域のそれぞれを部分画像
として抽出する部分画像抽出手段と、１つの文書から、該部分画像抽出手段によって抽出され
た部分画像を１つのファイルとして格納する画像格納手
段とを備えることを特徴とする文書画像表示装置。
【請求項１８】前記画像格納手段によって１つのファ
イルとして格納された部分画像を選択して読み出すデー
タ読出し手段と、該データ読出し手段によって読み出された各部分画像を
独立に表示する画像表示手段とを更に備えることを特徴
とする請求項１７記載の画像表示装置。
【請求項１９】文書画像を表示するために、表示対象としての文書画像を属性に応じた領域に分割さ
せて構造化させ、該構造化された領域のそれぞれを部分
画像として抽出させる機能と、１つの文書から抽出された部分画像を１つのファイルと
して格納させる機能とを備えるプログラムを記憶した計
算機読出し可能記憶媒体。
【請求項２０】前記プログラムが、１つのファイルと
して格納された部分画像を選択させて読み出させる機能
と、該読み出された各部分画像を独立に表示させる機能とを
更に備えることを特徴とする請求項１９記載の計算機読
出し可能記憶媒体。