JP2009118148A - 画像表示装置、画像表示方法、画像表示プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 視認性と俯瞰性のさらなる向上を実現する画像表示装置、画像表示方法、画像表示プログラム及び記憶媒体を提供することを目的とする。
【解決手段】 複数の画像を同一画面上に表示する画像表示装置であって、
同一画面上に表示された前記複数の画像中の第一の画像群の重心間隔を拡大する重心間隔拡大手段と、前記重心間隔拡大手段により拡大された重心間隔の位置に、前記複数の画像と異なる画像を表示する表示制御手段とを有し、前記重心間隔の変倍率と前記画像のサイズの変倍率との関係が非線形であり、かつ、前記画像間隔の変倍率が前記画像のサイズの変倍率よりも大きい区間を有する。
【選択図】図１６

Description

本発明は、画像表示装置、画像表示方法、画像表示プログラム及び記憶媒体に関する。

従来、画像検索は、画像に対してあらかじめ対応付けられたテキストデータを指定して、キーワード検索により行うのが通常である。しかし、画像に対応付けられたテキストデータがない場合や対応付けられたテキストデータが不正である場合には、画像のサムネイルを一覧表示し、目視によって画像を探すことが一般的である。

こうした目視による画像検索を行う場合、検索対象となる画像数が多い場合には、モニタに表示する画像数を例えば３０程度に制限して、縦横のスクロールを繰り返しながら全ての画像を眺める方法(図１)が一般的である。図１は、従来の画像検索に係る画面表示の例（その１）を示す図である。この方法は、１画像当たりの表示サイズを大きくとれて視認性が良いという利点があるが、一方で、全ての画像を同時には見られないという欠点がある。

また、図２のように、一画像当たりの表示サイズを小さくして、全ての画像を一度に表示する方法もある。図２は、従来の画像検索に係る画面表示の例（その２）を示す図である。この方法によれば、全ての画像を同時に俯瞰することができ、特に各画像が視覚的な特徴に基づいて分類されている場合には、検索対象の画像を見つけやすい利点がある。この場合は、例えば全体を俯瞰しながら画像特徴等によって所定の画像に狙いを定め、その画像付近を中心としたズーム操作(この場合は、複数の画像が同時にズームされるような例を想定している)を行うことで、目的の画像にたどり着くことが可能である。但し、この方法では画像数が多くなればなるほど１画像当たりの表示サイズは小さくなり、さらに画像数が増えると、各画像が重なり合うという状況が生じ得るという欠点がある。

以上のように、視認性と俯瞰性はトレードオフの関係にあるが、各画像が例えば視覚的な特徴に基づいて分類されている場合には、これらの両立を図ることが可能である。

例えば図３のように、画像がいくつかのグループに分けられている場合を考える（ここでのグループとは、画像の視覚的な特徴が似たもの同士のグループであったり、画像ファイルの作成日が近いもの同士であったり、作成者が同一のものであったり等、目的に応じた様々なものが考えられる）。図３は、従来の画像検索に係る画面表示の例（その３）を示す図である。

ここで画像数が多い場合には、さらに、図４のように各グループの中から代表となる画像のみを表示する、或いは各グループの中で最前面にある(＝自分の前面に他の画像が重なっていない)画像のみを表示するようにすることができる。図４は、従来の画像検索に係る画面表示の例（その４）を示す図である。これにより、グループ単位での俯瞰性と代表画像の視認性を両立させることができる。したがって代表画像をもとに全体を俯瞰しながら、画像特徴等によって所定の画像に狙いを定めることが可能である。

以上に示してきたように、従来の画像検索に係る画面表示に係る技術として、例えば特許文献１には、数多くのコンテンツを概観しながら所望のコンテンツを選ぶといった、表示画面上で視野を狭めることなくコンテンツを検索するコンテンツ検索方法等に係る技術が開示されている。

また、特許文献２には、目的の情報を容易かつ短時間に検索することができる情報検索方法に係る技術が開示されている。特許文献３には、探索対象である大量の情報を効率的に探索するための情報探索方法等に係る技術が開示されている。
特開２００４―１７８３８４号公報 特開２００４―２５８８３８号公報 特許第３６１４２３５号公報

ところで、例えば図２又は図４の例で示したような画面表示の形態をとった場合、つまり、全体を俯瞰しながら画像特徴等によって所定の画像に狙いを定め、その画像付近を中心としたズーム操作(この場合は、複数の画像が同時にズームされるような例を想定している)を行うことができるような画面表示の形態である場合、代表画像同士の間隔（即ち画像表示されない領域）が開いてしまう。従来、このように画像のズーム動作に係る非表示領域を有効活用していないため、視認性と俯瞰性のさらなる向上は望めなかった。

本発明は、上記の点に鑑みて、この問題を解決するために発明されたものであり、視認性と俯瞰性のさらなる向上を実現する画像表示装置、画像表示方法、画像表示プログラム及び記憶媒体を提供することを目的とする。

上記の目的を達成するために、本発明における画像表示装置は、複数の画像を同一画面上に表示する画像表示装置であって、同一画面上に表示された前記複数の画像中の第一の画像群の重心間隔を拡大する重心間隔拡大手段と、前記重心間隔拡大手段により拡大された重心間隔の位置に、前記複数の画像と異なる画像を表示する表示制御手段とを有し、前記重心間隔の変倍率と前記画像のサイズの変倍率との関係が非線形であり、かつ、前記画像間隔の変倍率が前記画像のサイズの変倍率よりも大きい区間を有するように構成することができる。

また、上記の目的を達成するために、本発明における画像表示装置は、前記画像間隔の変倍率と前記画像のサイズの変倍率が等しい区間をさらに有するように構成することができる。

また、上記の目的を達成するために、本発明における前記重心間隔拡大手段は、ズームイン指示又はセンタリング指示に基づいて重心間隔を拡大するように構成することができる。

また、上記の目的を達成するために、本発明における画像表示装置は、前記複数の画像から前記第一の画像群を選択する画像選択手段をさらに有するように構成することができる。

また、上記の目的を達成するために、本発明における前記複数の画像は複数のグループに分けられており、前記第一の画像群は、前記複数のグループの各々から選択された所定の画像を有するように構成することができる。

また、上記の目的を達成するために、本発明における前記重心間隔拡大手段は、前記複数のグループの内のいずれかの選択に基づいて重心間隔を拡大するように構成することができる。

また、上記の目的を達成するために、本発明における画像表示方法は、複数の画像を同一画面上に表示する画像表示装置における画像表示方法であって、同一画面上に表示された前記複数の画像中の第一の画像群の重心間隔を拡大する重心間隔拡大工程と、前記重心間隔拡大工程において拡大された重心間隔の位置に、前記複数の画像と異なる画像を表示する表示制御工程とを有し、前記重心間隔の変倍率と前記画像のサイズの変倍率との関係が非線形であり、かつ、前記画像間隔の変倍率が前記画像のサイズの変倍率よりも大きい区間を有するように構成することができる。

また、上記の目的を達成するために、本発明における画像表示プログラムは、コンピュータに、上記の画像表示方法を実現させるための画像表示プログラムであるように構成することができる。

また、上記の目的を達成するために、本発明における記録媒体は、上記の画像表示プログラムが記録されたコンピュータ読み取り可能な記録媒体であるように構成することができる。

本発明によれば、視認性と俯瞰性のさらなる向上を実現する画像表示装置、画像表示方法、画像表示プログラム及び記憶媒体を提供することができる。

以下、本発明を実施するための最良の形態について図面を参照して説明する。

［実施の形態］
以下、本発明の一実施形態について説明を行うが、本実施形態では、ネットワーク上の画像表示装置（サーバ装置）上に圧縮符号の状態で存在する画像が、クライアント装置に送信されて、クライアント装置上で伸張後に表示される。

この際、画像のグループ分けと同時に画像のズーム操作を行うが、ズーム操作の応答速度を向上させるために、画像としてJPEG2000形式の画像データ、画像表示装置とクライアント装置間の通信にJPIP（JPEG2000 Interactive Protocol）と呼ばれる部分画像の転送プロトコルが採用されている。以下、JPEG2000とJPIPについて説明を行う。なお、本発明の適用範囲は、JPEG2000とJPIPに限らず、他のデータ形式の画像データ及び他の通信プロトコルを用いてもよいものとする。

（JPEG2000について）
図５は、JPEG2000の符号化処理の処理フロー例である。JPEG2000の符号化処理は、概ね図５の流れで行われる。図５の流れについて以下説明を行う。

まず、ステップＳ１では、タイル毎にDCレベルシフト及び色変換が行われる（Ｓ１）。ここでは、符号化対象の画像は１以上の矩形のタイルに分割され、各タイルは、輝度・色差等のコンポ−ネントへ色変換される。

続いてステップＳ２へ移って、タイル毎にウェーブレット変換が施される（Ｓ２）。ここでは、ステップＳ１で変換されたコンポ−ネント（タイルコンポ−ネントと呼ばれる）は、ウェーブレット変換によって、LL、HL、LH、HHと略称される４つのサブバンドに分割される。さらに、LLサブバンドに対して再帰的にウェーブレット変換（デコンポジション）を繰返すことにより、最終的に１つのLLサブバンドと複数のHL、LH、HHサブバンドが生成される（図６参照）。図６は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す図である。

続いてステップＳ３へ移って、サブバンド毎に量子化（正規化）される（Ｓ３）。ここでは、ステップＳ２で生成された各サブバンドはプリシンクトとよばれる矩形に分割されることにより量子化される。プリシンクトとは、ステップＳ２で生成したサブバンドを矩形に分割したものをHL、LH及びHHの３つのサブバンド又はLLサブバンドの１つについて集めたものであり、前者の場合にはプリシンクトは３つで１まとまりであり、後者の場合にはプリシンクトは１つで１まとまりである。画像中の場所（Position）を示すものである。プリシンクトはサブバンドと同じサイズにすることも可能であるが、プリシンクトをさらに矩形に分割したものがコードブロックである(図６参照)。即ち、物理的な大きさの序列は、画像≧タイル＞サブバンド≧プリシンクト≧コードブロックとなる。なお、後の説明のため、画像に対して施すウェーブレット変換の回数（デコンポジションレベル）と解像度レベルの関係を図７に示す。図７は、デコンポジションレベルと解像度レベルの関係の一例を示す図である。

図５に戻り、ステップＳ４へ移って、コードブロック毎にビットプレーン符号化を行う（Ｓ４）。ここでは、ステップＳ３で分割されたコードブロック毎にビットプレーン順にビットプレーン符号化（係数のエントロピー符号化）が施される。より詳細に説明する。

ステップＳ３で生成されたプリシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部（ここでの一部は"空（から）"でもよい）を取り出して集め（例えば、全てのコードブロックのMSB（Most Significant Bit）から３枚目までのビットプレーンの符号を集め）、パケットヘッダをつけたものをパケットと呼ぶ。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。

そして、全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば画像全域のウェーブレット係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。レイヤーは、画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がることになる。すなわち、レイヤーは画質の単位である。

すべてのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。図８は、レイヤーとパケットの例を示す図である。図８では、デコンポジションレベル＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤーと、それに含まれるパケットの例を示している。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、HL〜HHサブバンドをまたいだものとなる。図中、いくつかのパケットを太線で囲んである。

以上で生成されたパケットやレイヤーの区切りに従って、パケットを並べることで最終的な符号が形成される。これにより、各パケットは、自身の属するコンポ−ネント（記号Ｃ）、解像度レベル（記号Ｒ）、プリシンクト（"場所"）（記号Ｐ）、レイヤー（記号Ｌ）という４つの属性を有する（以下、単に、「プログレッション属性」と総称する）。パケットの先頭にはパケットヘッダが存在し、該パケットヘッダの後には、ＭＱ符号（パケットデータ）が続いている。パケットの配列とは、パケットヘッダ及びパケットデータをどの属性の順に階層的に並べるかを意味し、該配列順をプログレッションオーダとよび、図９の５通りが規定されている。図９は、プログレッションオーダを示す図である。

ここで、エンコーダがプログレッション順序順にパケットを並べる様子及びデコーダがプログレッション順にパケットの属性を解釈する様子を以下に示す。

LRCPの場合、標準書の記載は以下の通りである。
B．12．1．1 Layer-resolution level-component-position progression
Layer-resolution level-component-position progression is defined as the interleaving of the packets in the foLLowing order:
for eacHL = 0,.., L-1
for each r = 0,..,N max
for each i = 0,.., Csiz-1
for each k = 0,.., numprecincts-1
packet for component i, resolution level r, layer l, and precinct k.
Here, L is the number of layers and N max is the maximum number of decomposition levels, N L, used in any component of the tile. A progression of this type might be useful when low sample accuracy is most desirable, but information is needed for aLL components.
すなわち
for (レイヤー)｛
for (解像度)｛
for (コンポ−ネント)｛
for (プリシンクト)｛
エンコード時：パケットを配置
デコード時：パケットの属性を解釈
｝
｝
｝
｝
という階層順で、パケットの配列（エンコード時）および解釈（デコード時）がなされる。前述の通り各パケットはパケットヘッダを有するが、該ヘッダには、
（１）そのパケットが空かどうか
（２）そのパケットにどのコードブロックが含まれるか
（３）そのパケットに含まれる各コードブロックのゼロビットプレーン数
（４）そのパケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）
（５）そのパケットに含まれる各コードブロックの符号長
が記載されているが、レイヤー番号や解像度番号等は一切記載されていない。デコード時に、そのパケットがどのレイヤーのどの解像度の物かを判別するには、メインヘッダ中のＣＯＤマーカ等に記載されたプログレッションオーダから上記forループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがforループ内のどの位置でハンドリングされたかを見ればよい。これは、パケットヘッダ中の符号長さえ読み出せば、エントロピー符号自体をデコードしなくても、次のパケットを検出できること、すなわち任意のパケットにアクセスできることを意味する。

以上のもと、図１０は、解像度プログレッシブ符号の概要を示す図である。図１０では、RLCPの様な、解像度レベルがforループの最も外にある解像度プログレッション符号の概念を示している。図１１は、RLCPのパケット配列例を示す図である。図１１では、プリシンクトサイズ３２×３２、RLCPのプログレッションの場合の３６個のパケットの配列例を示している。

また、各タイルを構成する符号は、パケットの切れ目でさらに複数に分割することができ、該「タイルを構成する符号を分割したもの」をタイルパートと呼ぶ。各タイルパートは、パケットだけでなく、SOT(Start Of Tile-part)マーカセグメントで始まり、SOD(Start Of Data)マーカで終わるヘッダを有し、該ヘッダをタイルパートヘッダと呼ぶ(図６、図８参照)。図１２は、SOTマーカセグメントの詳細を示す図である。図１２（ｂ）では、タイルパートヘッダの内のＳＯＴマーカセグメント(マーカおよび該マーカに関連するパラメータで構成される部分をマーカセグメントと呼ぶ)の詳細を示されており、この中の"Psot"を読めば、当該タイルパートの長さを知ることができる。したがって、SOTマーカを読み込めば、パケットヘッダをデコードしなくても、タイルパート単位で符号にアクセスすることができる。なお、前記の図１０はタイルパート数＝１の場合である。

（JPIPについて）
以上の様にJPEG2000の符号はパケット単位でのアクセス、あるいはより簡易にはタイルパート単位でのアクセスが可能である。これは、原符号から必要な符号だけを抜き出して、新たな符号を生成できることを意味する。また、原符号から必要に応じて部分的な符号だけを復号できることも意味する。例えば画像表示装置（サーバ装置）にある大きな画像をクライアント装置側に表示する場合に、必要な画質だけの符号、必要な解像度だけの符号、見たい場所だけの符号、見たいコンポ−ネントだけの符号を画像表示装置から受信し、復号することができるのである。この様に、画像表示装置にあるJPEG2000符号から、必要な符号だけを受信するためのプロトコルをJPIPとよぶ。

該JPIPの場合、クライアント装置から画像表示装置には、描画したい解像度と実際に描画するウィンドウサイズを指定することが提案されている。このような指定を受けた場合、画像表示装置は当該解像度の当該領域をカバーするプリシンクトのパケットを送信するか、あるいはより簡易には、当該領域をカバーするタイルパートを送信する。本実施形態では、タイルパートを送信するJPIPシステム(これをJPTシステムという)を用いている。

このようなJPTシステムの場合、画像全体を構成するタイルパート中から、当該領域をカバーするタイルパートを抽出する手順は以下の通りである。まず、画像表示装置は、自身が管理する符号が、どのようにタイルパートに分かれているか知っていることが前提となる。

例えば、図１１の、１タイル、２レイヤ、RLCPプログレッションのパケットを、すべての解像度境界でタイルパートに分けた場合、図１３に示したような３つのタイルパートができる。図１３は、RLCPプログレッションをR境界で分けたタイルパートの例を示す図である。

ここで、画像表示装置は、クライアント装置から例えば「２５×２５画素に相当する解像度部分を、２０×２０のウィンドウサイズで表示したい」というリクエストを受信したとする。２５×２５画素に相当する解像度とは、解像度レベル０の部分を指し、２０×２０のウィンドウとは、解像度レベル０の画素のうちの２０×２０の部分だけを表示するということを意味する。

従って、画像表示装置１は、自身の管理する符号から解像度レベル０をカバーするタイルパートを抽出し、メインヘッダの情報とともにクライアント装置２に対して送信すればよい。タイルパートの先頭には、必ずSOTマーカがあり、タイルパートの長さもわかるため、タイルパートの境界自体は常に判別可能である。図１３〜１５を見れば明らかなように、(何番目から)何番目までのタイルパートを送信すればよいかは、その符号のプログレッションオーダおよびタイルパートへの分割方法という２つのパラメータに依存するが、プログレッションオーダは、メインヘッダやタイルパートヘッダのCODマーカセグメントに入っているため、符号自体から読み取りが可能である。また、タイルパートへの分割法は既知である前提である。

なお、図１４は、本実施形態で用いる、JPEG2000のCODマーカセグメントの詳細を示したものである。図１４（ｃ）に示すデフォルトのプログレッションオーダは、メインヘッダ中のCODマーカセグメントのSgcod（図１４（ｂ）参照）に記載され、必要に応じてタイルパートヘッダ中のCODマーカセグメントにも記載される。

（画像表示装置の装置構成例）
以上、JPEG2000とJPIPについて説明を行ってきたが、続いて本実施形態における画像表示装置について説明を行う。図１５は、本実施形態に係る画像表示装置の装置構成の一例を示す図である。

図１５において、画像表示システム１は、画像表示装置（サーバ装置）２とクライアント装置３を有するクライアントサーバシステムである。画像表示装置２は、データバス４を介して接続されたＣＰＵ（Central Processing Unit）２１、ＲＡＭ(Random Access Memory)２２、ＨＤＤ２３等を有する。なお、ＨＤＤ２３は画像表示装置２に対して外付けされる装置であってもよい。また、ＣＰＵ、ＲＡＭ等を有する一般的なコンピュータ装置であるクライアント装置３が、データバス４を介して画像表示装置２と接続されている。

以上に示す装置構成により、画像表示システム１では、画像表示装置２はクライアント装置３から画像符号の指定、画像の解像度指定(fsize)及び表示ウィンドウ指定等を受けると、（１）まず、ＨＤＤ２３上に記憶された原画像の符号がＣＰＵ２１からの命令によってＲＡＭ２２上に読み込まれる。（２）次に、ＣＰＵ２１は、ＲＡＭ２２上の符号を読み込む。（３）続いて、ＣＰＵ２１は、原画像から所望の符号を抽出する。（４）続いて、抽出された所望の符号は、ＣＰＵ２１からの命令によりクライアント装置３（又はＨＤＤ２３）に対して送信される。但し、本実施形態では、複数の画像を表示するため、表示に要する画像の数だけ（１）〜（４）の処理が行われるものとする。

なお、ここでは、サーバ装置２を画像表示装置として説明を行っているが、この場合に限らない。実際に画像表示を行うクライアント装置３を画像表示装置の一実施形態としてもよいし、また、サーバ装置２とクライアント装置３の両者の機能を実現する画像表示システムを、広義の意味での本発明に係る画像表示装置の一実施形態とすることもできる。

（画像表示装置の機能構成例）
図１６は、本実施形態に係る画像表示システムの機能構成の一例を示す図である。

図１６において、画像表示装置２は、通信部２１０、制御部２２０、画像記憶部２３０を有し、クライアント装置３は、通信部３１０、表示制御部３２０、各種指示入力部３３０等を有する。

通信部２１０は、クライアント装置３との間で各種通信を行う。各種通信とは、例えばクライアント装置３から画像符号の指定、画像の解像度指定（fsize）及び表示ウィンドウ指定を受信する処理である。制御部２２０は、通信部２１０により受信した上記の指定に基づいて画像記憶部２３０に記憶された画像から該当する画像符号情報等を取得する。なお、取得した該当する画像符号情報等は通信部２１０を介してクライアント装置３に対して送信される。画像記憶部２３０は、画像を記憶する。前述したJPEG2000のデータ形式の画像データ等を記憶する。

通信部３１０は、画像表示装置２との間で各種通信を行う。各種通信とは、例えば画像表示装置２から画像符号情報等を受信する処理である。

表示制御部３２０は、例えば表示モニタ等の表示装置３４０に対して画像表示を行う等、表示に係る各種制御を行う。また、後述の各種指示入力部３３０により入力されたズームイン指示、センタリング指示等に基づき同一画面上に表示された前記複数の画像中の第一の画像群の重心間隔を拡大して表示する等、重心間隔拡大手段としての機能を有する。

各種指示入力部３３０は、例えばマウス等の入力装置３５０における画像符号の指定、画像の解像度指定（fsize）及び表示ウィンドウ指定等の入力を行う等、各種指示の入力を行う。

以上の機能構成により、本実施形態に係る画像表示システム１では、ネットワーク上の画像表示装置２上に圧縮符号の状態で存在する画像が、クライアント装置３に送信されて、クライアント装置３上で伸張後に表示される。

（画像表示における座標系について）
図１７は、本実施形態に係る画像表示における座標系を説明する図である。ここでは、図１６の表示装置３４０が、1280×1024ドットの解像度を有する表示モニタである場合を例にとって画像表示における座標系について説明を行う。

図１７では、左上（0、0）〜右下(1280、1024)の座標系を示している。また、表示装置３４０上に表示される各画像は、重心座標Ｇと表示時の横のサイズｗと縦のサイズｈとを持つ。なお、図１７では、定点として、点０は座標（0、0）を、点Ｃを座標（640、512）が設定されている。

（初期の画像表示例について）
図１８は、初期状態の画像表示例を示す図である。図１８に示すような画面は、図１６の表示制御部３２０により表示装置３４０上に表示される。

図１８に示す各画像には、前述のように、初期の重心座標Ｇおよび縦横のサイズｗ、ｈが定義されている。なお、本画像表示例では、図１８中の全ての画像についてｗとｈは共通であるものとする。また、図１８では、画像は複数（ここでは６つ）のグループに分類されており、ユーザが予め選択しておいた所定の代表画像が第１の画像群として表示されている。

また、図１８において、同一のグループ内の各画像間の余白の縦横のサイズは、初期状態でｈ/2、ｗ/2に設定されている（グループ境界においては、これ以上の余白がある）ものとする。

さらに、図１８において破線で示される矩形も実際の画像を表すが、これら破線の画像は図２０（図２０については詳細に後述）では表示領域の外に位置している。

（ズーム操作について）
図１８のように表示装置３４０上に初期状態の画像が表示されたとき、例えば図１６のマウス等の入力装置３５０からズーム操作を行った場合に、該ズーム操作に応じて画像を拡大又は縮小して表示する動作について説明を行う。

図１８における所定の画像の初期の重心座標を、それぞれＧ0、横のサイズをｗ0、縦のサイズをｈ0、あるズーム操作に対応した余白のズーム倍率をＺm、画像のズーム倍率をＺiとした場合、各画像の重心Ｇ1k、横のサイズｗ1、縦のサイズｈ1は、それぞれ以下の式（１）〜（３）で示される。なお、本画像表示例では、常に点Ｃ中心にズームが行われるものとする。

図１９は、ズーム操作に係る余白及び各画像サイズの拡大を説明するための図である。図１９のように、初期状態での２つの画像の重心間の縦方向の距離は1.5ｈ0である。ここでこれら２つの画像の重心が倍率Ｚmによって移動し、かつ、各画像の縦横が倍率Ｚiで拡大されるとする。このとき、倍率Ｚmによってこれら２つの画像の重心間が開き、ちょうどそこにズーム倍率Ｚiによって拡大された拡大後の画像が、余白と共に１つ収まるとすると、ＺmとＺiとの間で1.5ｈ0・Ｚm＝3・ｈ0・Ｚiで示される関係が成立する。

つまり、Ｚm=２・Ｚiとすることにより、ユーザのズーム操作とともに、１つの画像を挿入するだけの余白を生じさせることができる。例えば、Ｚｉ＝１.１（つまり画像の拡大）の場合には、図１８の初期状態の表示画面は図２０の画面へ遷移している。図２０は、ズーム操作後の表示画面の例を示す図である。そしてＺｉが１．１を超えたとき、図２０の余白位置に、例えば図２１のようにハッチングした画像を出現させることが可能になる。また、図２２のような新たな６グループに至ることができる。これらハッチングされた画像は、ユーザが予め選択しておいた所定の代表画像と異なる画像である非代表画像である。図２１、図２２は、それぞれ本実施形態に係るズーム操作後の表示画面の第一、第二の例を示す図である。これにより、画像のズーム動作に係る非表示領域を有効活用することにより視認性と俯瞰性のさらなる向上を図ることが可能となる。

なお、狙いを定めてズーム操作を行った場合に、代表画像同士の間隔が開き、その間隔部から非代表画像や最前面になかった画像(やその一部)が現れるよう構成するのが一つの方法である。つまり、前記ズームイン時には、間隔及び画像サイズの両方が拡大されるが、特に第２の画像群が表示されるまでは、間隔の拡大率の方が画像サイズの拡大率よりも大きいことが望ましい。

以下、本実施形態における余白のズーム倍率Ｚm、画像のズーム倍率Ｚiの関係の例について説明を行う。

（ＺｉとＺｍとの関係例１）

という関係にする（即ち、２つの画像の重心間距離の拡大率と画像サイズの拡大率が非線形であり、かつ重心間の拡大率が画像サイズの拡大率よりも大きい区間を有する）ことにより、ズームアウト時および図２１以降のズームイン時には、画像サイズと余白の比率は一定に保たれる。

（ＺｉとＺｍとの関係例２）
また、Ｚiが１以下の値である場合には、

という関係にすることにより、画像自体を拡大することなく、余白だけを広げることができる。これにより、不要な間隔の拡大を防止することが可能になる。

（ＺｉとＺｍとの関係例３）
また、

という関係にすることにより、図２１以降のズームイン時には、画像サイズの拡大に比べて、余白の拡大率が小さくなっていく。これは、画像の表示サイズが大きくなるほど、余白を小さくした方が総画像表示数を稼げることから、合理的である。

（ＺｉとＺｍとの関係例４）
ただし、前述の関係例３ではk<1であるから、あるズームイン時点で画像同士の重なりが起こるため、画像同士の重なりを防ぐために、

という関係にすることもできる。

（ＺｉとＺｍとの関係例５）
以上、ＺｉとＺｍとの関係例１〜４においては、例えば図１６のマウス等の入力装置３５０からズーム操作を行った場合に、該ズーム操作に応じて画像を拡大又は縮小して表示する場合のＺiとＺｍとの関係について説明を行ってきた。

ここでは、例えば図１６のマウス等の入力装置３５０から、注目点（例えばマウスのポインタ位置）を画面の中央に持ってくる操作であるセンタリング操作を行う場合には、センタリング操作時に、Ｚm＝２、Ｚi＝１・・・式（６）とし、かつ注目点が点Cにくるような平行移動を行うようにすることもできる。

（ＺｉとＺｍとの関係例６）
また、グループ選択とは、いずれか１つのグループを選択することを指し、例えば各グループを構成する画像の外接矩形内での右クリックのような操作で実現される。この場合も同様に、Ｚm＝２、Ｚi＝１・・・式（７）とし、かつセンタリングのような平行移動を行わないようにすることができる。

（画像表示処理の第１の例）
以上、画像表示についてその表示される画面を例に説明を行ってきたが、画像表示処理の例について図２３を用いて説明を行う。図２３は、本実施形態に係る画像表示処理の第一の例を示す図である。

図２３の説明に先立ち、本画像表示処理例において用いられるDTML(DynamicHTML)について説明を行う。

１つの画面に複数の画像を表示させる典型的な手法は、Webページの様に、１つのHTML中に各々の画像の位置と表示サイズを指定して複数の画像を埋め込むことである。また、ユーザによるマウス移動等のイベントを検知し、これに応じてHTML中に埋め込んだオブジェクトの見た目を動的に変換させる典型手法がDynamicHTML（DHTML）であり、本画像表示処理例ではDHTMLを用いている。

これらHTMLやDHTML中には、画像そのものではなく、画像のビューア（画像を表示するコンポ−ネント）を埋め込むこともできる（例えば、動画のビューアが埋め込まれたWebサイトが典型である）。そして、DHTML側から、そのビューアの位置や表示サイズ、表示対象の画像を変えることができる。

HTMLやDHTML中に埋め込んだ状態で、Webブラウザ経由で使用できる(使用＝例えば画像を表示させられる)前記コンポーネントの実装例の典型は、周知のActiveXコントロールである。本画像表示処理例に係る画像のビューアには、JPEG2000符号の復号および復号後の画像の表示が可能なActiveXコントロールとして実装されている。また、表示対象の画像の表示サイズと同じ大きさを持っている(画像の表示サイズに応じて、ビューアのサイズが決定される)。

そして本例で使用するビューアはさらに、JPIPサーバ装置（図１６の画像表示装置２に対応）に対して、JPIPリクエストを送信することが可能であり、またJPIPサーバ装置からのJPIPレスポンスを受信・解析することができる。該ビューアは、JPTストリームを解釈可能な、JPIPクライアント（図１６のクライアント装置３に対応）としての機能を併せ持つものである。

本画像表示処理例では、予め第一画像群として図１８の３０画像が既定されており、各画像には重心座標と縦横のサイズが初期値として既定されている。これと同時に、図２１でグレーで示される２８画像が、非第一画像群として既定され、各画像には重心座標と縦横のサイズが初期値として既定されている。これら第１および非第一の画像を、初期値を用いて同時に表示した場合、相互に重なり合ってしまうため、まずは第一の画像群のみが代表として表示される。

これらDHTML、ビューア、JPIPサーバ相互の処理の流れを示したものが、図２３である。それでは、図２３を用いて本画像表示処理例に係る処理について説明を行う。

まず、DTMLが第一画像群用ビューアに対する初期表示位置と初期サイズ、表示画像を決定する（Ｓ１０１）。ここでは、Webページを表現しているDHTMLは、第一画像群を表示する個々のビューアに対する、初期表示位置と初期サイズ、表示画像（のURL）を設定ファイルから読み込む。

続いてステップＳ１０２へ移って、DTMLが表示を要する全てのビューアに対し、表示位置、表示サイズ及び表示画像をセットする（Ｓ１０２）。ここでは、ステップＳ１０１で設定された初期表示位置等の値を、表示が求められる全てのビューアに対してセットする。続いてステップＳ１０３へ移って、各ビューアはステップＳ１０２でセットされた表示位置、表示サイズ及び表示画像を検知する（Ｓ１０３）。

続いてステップＳ１０４へ移って、各ビューアはJPIPサーバに対して、画像及び表示サイズを指定してJPIPリクエストにて部分符号を要求する（Ｓ１０４）。ここでは、図１７のように、各ビューアは各画像のフル解像度は必要ないが、領域としては部分領域ではなく全領域を必要とすることがほとんどである。したがって各ビューアは、JPIPでいう表示ウィンドウ領域としては、全領域を指定する。

続いてステップＳ１０５へ移って、JPIPサーバは、ステップＳ１０４で受信した各JPIPリクエストを解釈し、表示サイズに最も近い（又は、且つ表示サイズよりも大きい）解像度レベルの符号を抽出し、JPIPクライアントである各ビューアに送信する（Ｓ１０５）。続いてステップＳ１０６へ移って、各ビューアは、JPIPサーバから受信した符号を復号し、復号後の画像を表示が求められているサイズに変倍して、表示を行う（Ｓ１０６）。

続いてステップＳ１０７へ移って、DHTMLはユーザによるズーム操作の検知を待機する（Ｓ１０７）。ここでは、前述のステップＳ１０１〜Ｓ１０６に係る処理により各ビューアによる最初の画像表示が終わった後(あるいはステップＳ１０２の後)、ユーザによるズーム操作(例えば、マウスホイールの回転やズームボタンのクリック)の検知を待機する。

ステップＳ１０７においてＹＥＳの場合、つまり、DHTMLがユーザによるズームを検知した場合（Ｓ１０７、ＹＥＳ）、ステップＳ１０８へ移る。

ステップＳ１０８へ移った場合、第一画像群用ビューアに対する、画像の表示位置と表示サイズを更新する（Ｓ１０８）。ここでは、ステップＳ１０７における例えばマウスホイールの回転量を画像のズーム倍率Ｚiに変換する。そして、前述の式（１）〜（５）によって、第一画像群用ビューアに対する、画像の表示位置と表示サイズを計算する。なお、ここでの処理は、画像群１に対する処理であり、表示画像自体の変更はない。

ステップＳ１０９へ移った場合、ステップＳ１０８で算出された画像のズーム倍率Ｚiが１．１を超えているか否かを判定する（Ｓ１０９）。ステップＳ１０９においてＺi＞１．１である場合（Ｓ１０９、ＹＥＳ）、ステップＳ１１０へ移る。ステップＳ１０９においてＺi＜１．１である場合（Ｓ１０９、ＮＯ）、ステップＳ１０２へ戻る。

ステップＳ１１０へ移った場合、第一画像群以外の全てのビューアに対する、表示位置、表示サイズ及び表示画像を設定ファイルから読み込み、前述した式（１）、（２）、（３）、（４）、（５）によって、非第一画像群用ビューアに対する、画像の表示位置と表示サイズを計算する。ステップＳ１１０に係る処理が終了すると、再びステップＳ１０２へ戻って、DHTMLはステップＳ１１０で読み込まれた表示位置等の値を表示が求められる全てのビューアに対してセットし、以降、JPIPサーバへのリクエスト送信、レスポンス受信、部分符号の復号、画像の変倍表示が繰り返される。

（解像度レベルの算出例）
なお、JPIPにおける表示ウィンドウサイズはrsizというパラメータによって指定され、必要な解像度は、ｘ方向のサイズfx、ｙ方向のサイズfy等からなるfsizというパラメータによって指定され、JPIPクライアントからJPIPサーバへ送信される。その書式は例えば
fsiz = "fsiz" "=" x方向のサイズ "、" y方向のサイズ ["、" "closest"]
rsiz = "rsiz" "=" x方向のウィンドゥサイズ "、" x方向のウィンドゥサイズ
の様に表現される。

JPIPクライアントから、表示すべきファイルと解像度レベルが(fsizとして)JPIPサーバに送信されると、JPIPサーバは図２４に示すフローで、送信に必要な解像度レベル数を算出する。ここでmin[a、b]とは、a、bの内で大きくない方を与える関数であり、log2（）とは2がlogの底であることを示している。図２４は、本実施形態に係る解像度レベルの算出動作例を示す図である。

なお、図２３のステップＳ１０７においてユーザによるズーム操作ではなくセンタリング操作を検知する場合には、前述した式（４）、（５）の代わりに式（６）を用いればよく、またグループ選択を検知する場合には、前述した式（４）、（５）の代わりに式（７）を用いればよい。

なお、センタリング操作の検知は、予めセンタリング操作に対応付けられた、例えばダブルクリックのようなイベントと当該イベント発生時のマウスポインタ位置を検出すればよい。またグループ選択も同様に、予めグループ選択操作に対応付けられた、例えば当該グループを構成する画像の外接矩形内での右クリックのようなイベントと当該イベント時のマウスポインタ位置を検出すればよい。さらに、当該マウスポインタ位置に最も近い位置にある画像のカテゴリを、選択されたカテゴリとすればよい。

以上、実施形態に基づき本発明の説明を行ってきたが、上記実施形態にあげたその他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

従来の画像検索に係る画面表示の例（その１）を示す図である。 従来の画像検索に係る画面表示の例（その２）を示す図である。 従来の画像検索に係る画面表示の例（その３）を示す図である。 従来の画像検索に係る画面表示の例（その４）を示す図である。 JPEG2000の符号化処理の処理フロー例である。 画像、タイル、サブバンド、プリシンクト、コードブロックの関係の一例を示す図である。 デコンポジションレベルと解像度レベルの関係の一例を示す図である。 レイヤーとパケットの例を示す図である。 プログレッションオーダを示す図である。 解像度プログレッシブ符号の概要を示す図である。 RLCPのパケット配列例を示す図である。 SOTマーカセグメントの詳細を示す図である。 RPCLプログレッションをR境界で分けたタイルパートの例を示す図である。 CODマーカセグメントの詳細を示す図である。 本実施形態に係る画像表示装置の装置構成の一例を示す図である。 本実施形態に係る画像表示装置の機能構成の一例を示す図である。 本実施形態に係る画像表示における座標系を説明する図である。 初期状態の画像表示例を示す図である。 ズーム操作に係る余白及び各画像サイズの拡大を説明するための図である。 ズーム操作後の表示画面の例を示す図である。 本実施形態に係るズーム操作後の表示画面の第一の例を示す図である。 本実施形態に係るズーム操作後の表示画面の第二の例を示す図である。 本実施形態に係る画像表示処理の例を示す図である。 本実施形態に係る解像度レベルの算出動作例を示す図である。

符号の説明

１ 画像表示システム
２ 画像表示装置（サーバ装置）
３ クライアント装置
４ データバス
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＨＤＤ
２１０ 通信部
２２０ 記憶制御部
２３０ 画像記憶部
３１０ 通信部
３２０ 表示制御部
３３０ 各種指示入力部
３４０ 表示装置
３５０ 入力装置

Claims (9)

1. 複数の画像を同一画面上に表示する画像表示装置であって、
   同一画面上に表示された前記複数の画像中の第一の画像群の重心間隔を拡大する重心間隔拡大手段と、
   前記重心間隔拡大手段により拡大された重心間隔の位置に、前記複数の画像と異なる画像を表示する表示制御手段と、
   を有し、
   前記重心間隔の変倍率と前記画像のサイズの変倍率との関係が非線形であり、かつ、前記画像間隔の変倍率が前記画像のサイズの変倍率よりも大きい区間を有することを特徴とする画像表示装置。
2. 前記画像間隔の変倍率と前記画像のサイズの変倍率が等しい区間をさらに有することを特徴とする請求項１に記載の画像表示装置。
3. 前記重心間隔拡大手段は、ズームイン指示又はセンタリング指示に基づいて重心間隔を拡大することを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記複数の画像から前記第一の画像群を選択する画像選択手段をさらに有することを特徴とする請求項１又は２に記載の画像表示装置。
5. 前記複数の画像は複数のグループに分けられており、前記第一の画像群は、前記複数のグループの各々から選択された所定の画像を有することを特徴とする請求項１又は２に記載の画像表示装置。
6. 前記重心間隔拡大手段は、前記複数のグループの内のいずれかの選択に基づいて重心間隔を拡大することを特徴とする請求項５に記載の画像表示装置。
7. 複数の画像を同一画面上に表示する画像表示装置における画像表示方法であって、
   同一画面上に表示された前記複数の画像中の第一の画像群の重心間隔を拡大する重心間隔拡大工程と、
   前記重心間隔拡大工程において拡大された重心間隔の位置に、前記複数の画像と異なる画像を表示する表示制御工程と、
   を有し、
   前記重心間隔の変倍率と前記画像のサイズの変倍率との関係が非線形であり、かつ、前記画像間隔の変倍率が前記画像のサイズの変倍率よりも大きい区間を有することを特徴とする画像表示方法。
8. コンピュータに、請求項７に記載の画像表示方法を実現させるための画像表示プログラム。
9. 請求項８に記載の画像表示プログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images