JP2011141748A - オブジェクト処理装置およびオブジェクト選択方法 - Google Patents

Abstract

【課題】画像中に含まれるあるオブジェクトが他のオブジェクトの下側に完全に隠れてしまっている場合でも、極めて簡単な操作で所望のオブジェクトを選択できるようにする。
【解決手段】画像中で複数のオブジェクト２１，２２が重なった部分を複数の小領域３１ａ，３２ａに分割して、当該複数の小領域３１ａ，３２ａに対応する各ドットに対して複数のオブジェクト２１，２２の識別情報を各々付与することによって識別用レイアウト情報を生成することにより、表示画像のレイアウト上では複数のオブジェクトが重なっていても、当該複数のオブジェクトを識別するために生成された識別用レイアウト情報のレイアウト上では、各オブジェクトに対応する識別情報が重なることがないようにして、カーソルの位置から取得される識別情報によって各オブジェクトを識別できるようにする。
【選択図】図４

Description

本発明は、オブジェクト処理装置およびオブジェクト選択方法に関し、特に、画面上に表示された複数のオブジェクトの中から所望のオブジェクトをポインティングデバイスにより選択することを支援するためのオブジェクト処理装置およびオブジェクト選択方法に関するものである。

従来、表示装置の画面上に表示した図形、記号、文字、イラスト等をそれぞれ独立したオブジェクトとして扱い、所望のオブジェクトをマウス等のポインティングデバイスにより指定して選択できるようにした技術が広く提供されている。この技術を適用して所望のオブジェクトを選択することにより、当該選択したオブジェクトに関連する所定の処理をコンピュータに実行させるようにすることが可能である。

また、このようなオブジェクトを含む画像を拡大または縮小する技術も提供されている。ここで、図１０に示すように、複数のオブジェクト １０１〜１０３を含む画像１０４を縮小した場合、画像１０１内に含まれる個々のオブジェクト１０１〜１０３が縮小されると同時に、オブジェクト間の間隔も縮小される。オブジェクト１０１〜１０３の大きさに比べてオブジェクト間の間隔が小さい場合には、縮小率が大きくなると、縮小された複数のオブジェクト１０１〜１０３同士に重なりが生じることもある。

例えば２つのオブジェクトに重なりが生じた場合、所定のルールによって重なりの上下関係が生じる。すなわち、下側のオブジェクトの一部は上側のオブジェクトの一部の下に隠れた状態となる。この場合、２つのオブジェクトが重なっている部分にマウスのカーソルを合わせると、上側のオブジェクトが選択されることになる。したがって、下側のオブジェクトを選択するためには、下側のオブジェクト上で、かつ、上側のオブジェクトと重なっていない部分にカーソルを合わせる必要がある。

ところが、画像を縮小したときにその中に含まれる複数のオブジェクトが完全に重なってしまい、小さいオブジェクトがそれより大きいオブジェクトの下側に完全に隠れてしまうことがある。あるいは、３つ以上のオブジェクトが重なり合って、１つのオブジェクトが他の２つ以上のオブジェクトの下側に完全に隠れてしまうこともある。このような状態の場合は、下側に隠れたオブジェクトをマウスにより選択することができないという問題が生じる。

なお、あるオブジェクトが他のオブジェクトの下側に完全に隠れてしまう場合でも、所望のオブジェクトを選択できるようにした技術が提案されている（例えば、特許文献１を参照）。この特許文献１に記載の技術では、２つのオブジェクトが重なっている部分にマウスのカーソルを合わせ、マウスの左ボタンを押したときは上側のオブジェクトが選択されたものとし、マウスの右ボタンを押したときは下側のオブジェクトが選択されたものとしている。

特開平９−２２３２４１号公報

しかしながら、上記特許文献１に記載の技術では、マウスの左ボタンまたは右ボタンの何れかを押さなければ所望のオブジェクトを選択することができない。すなわち、マウスカーソルをオブジェクトの位置に合わせるだけでは所望のオブジェクトを選択することができないという問題があった。そのため、例えば所望のオブジェクトにマウスカーソルを合わせることによって当該オブジェクトをハイライト表示させ、左ボタンのクリックによって選択状態を確定する（あるいは所定の処理を実行する）といったことができない。

また、画像を縮小した結果、あるオブジェクトが他のオブジェクトの下側に完全に隠れてしまった場合、画面の表示を見ても下側のオブジェクトの存在が分からない。したがって、殆どの場合はマウスの左ボタンをクリックすることによって上側のオブジェクトが選択されることになってしまう。下側のオブジェクトを選択するためには、存在するかどうか分からなくても念のためにマウスの右ボタンを押してみる必要があり、その操作が無駄になることも多い。よって、所望のオブジェクトを選択するための操作が煩雑になるという問題もあった。

本発明は、このような問題を解決するために成されたものであり、あるオブジェクトが他のオブジェクトの下側に完全に隠れてしまっている場合でも、極めて簡単な操作で所望のオブジェクトを選択できるようにすることを目的とする。

上記した課題を解決するために、本発明では、複数のオブジェクトが含まれる画像について、画像と同じ２次元レイアウト上で複数のオブジェクトに関連付けた各ドットに対してオブジェクトの識別情報を各々付与して成る識別用レイアウト情報を生成する。識別用レイアウト情報を生成する際に、画像内で重なりがないオブジェクトについては、当該オブジェクトに対応する各ドットに対して当該オブジェクトの識別情報を付与する。一方、重なりがある複数のオブジェクトについては、重なりのない部分に対応する各ドットに対して複数のオブジェクトの識別情報を各々付与するとともに、重なりのある部分は複数の小領域に分割して、当該複数の小領域に対応する各ドットに対して複数のオブジェクトの識別情報を各々付与する。そして、表示装置に表示された画像上で指定されたドットに対応する識別情報を識別用レイアウト情報から取得し、取得した識別情報に対応するオブジェクトを選択するようにしている。

上記のように構成した本発明によれば、表示装置に表示される画像とは別に生成された識別用レイアウト情報を用いることにより、画像上でカーソルが合わせられた位置にあるオブジェクトを識別することが可能となる。この識別用レイアウト情報は、画像内に含まれる複数のオブジェクト同士に重なりがある場合には、その重なった部分が複数の小領域に分割されて、各小領域に対して各オブジェクトの識別情報を各々付与することによって生成される。そのため、表示装置に表示された画像のレイアウト上では複数のオブジェクトが重なっていても、当該複数のオブジェクトを識別するために生成された識別用レイアウト情報のレイアウト上では、各オブジェクトに対応する識別情報が重なることはなく、カーソルの位置から取得される識別情報によって各オブジェクトを識別することが可能となる。したがって、あるオブジェクトが他のオブジェクトの下側に表示上は完全に隠れてしまっている場合でも、極めて簡単な操作で所望のオブジェクトを選択することができる。

本実施形態によるオブジェクト処理装置を備えた画像処理装置の機能構成例を示すブロック図である。 本実施形態の画像生成部により生成される元画像および縮小画像の例を示す図である。 図２（ａ）に示す元画像から生成される識別用レイアウト情報を示す図である。 オブジェクト同士が重なった部分を小領域に分割して各オブジェクトの識別情報を付与する例を示す図である。 図２（ｂ）に示す縮小画像から生成される識別用レイアウト情報を示す図である。 本実施形態による画像処理装置の動作例を示すフローチャートである。 本実施形態によるオブジェクト処理装置を応用した画像処理装置の機能構成例を示すブロック図である。 本実施形態の画像生成部により生成される画像と当該画像内に含まれる複数のオブジェクトおよびグループの例を示す図である。 本実施形態の識別情報生成部により生成される第１の識別用レイアウト情報および第２の識別用レイアウト情報の例を示す図である。 複数のオブジェクトを含む画像を縮小した場合の例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるオブジェクト処理装置を備えた画像処理装置１００の機能構成例を示すブロック図である。本実施形態の画像処理装置１００は、例えばパーソナルコンピュータに内蔵されている。また、図１に示すように、本実施形態の画像処理装置１００は、その機能構成として、画像生成部１１、識別情報生成部１２、識別情報記憶部１３、表示制御部１４、識別情報取得部１５、オブジェクト選択部１６および動作制御部１７を備えている。

これらの各機能ブロック１１〜１７は、ハードウェア構成、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、本実施形態の画像処理装置１００は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。

画像生成部１１は、元データ記憶部２００に記憶されている元データを用いて、複数のオブジェクトを含む画像を生成する。例えば、元データは複数のオブジェクトとその配置を表わすレイアウト情報とを含むデータであり、画像生成部１１はこの元データを用いて上記複数のオブジェクトを含む所定サイズの画像（以下、元画像という）を生成する。また、画像生成部１１は、この元画像を縮小して縮小画像を生成したり、拡大して拡大画像を生成したりする。

図２は、画像生成部１１により生成される元画像および縮小画像の例を示す図である。図２（ａ）は元画像を示し、図２（ｂ）は縮小画像を示す。図２の例では、背景２４の上に３つのオブジェクト２１，２２，２３が存在する画像を示している。複数のオブジェクト２１〜２３を含む元画像を縮小した場合、元画像内に含まれる個々のオブジェクト２１〜２３が背景２４と共に縮小されると同時に、オブジェクト２１〜２３間の間隔も縮小される。その結果、図２（ｂ）に示す縮小画像では、縮小された複数のオブジェクト２１〜２３同士に重なりが生じている。

後述するように、画像生成部１１により生成された画像内の所望のオブジェクト２１〜２３をマウス４００等のポインティングデバイスにより指定して選択することにより、当該選択したオブジェクトに関連する所定の処理をコンピュータ（例えば、画像処理装置１００を備えたパーソナルコンピュータ）に実行させることができるようになされている。

識別情報生成部１２は、画像生成部１１により生成された画像（元画像、縮小画像、拡大画像）に基づいて、画像上の複数のオブジェクトをそれぞれ識別可能な識別情報を生成し、当該画像と同じ２次元レイアウト（ビットマップレイアウト）上で複数のオブジェクトに関連付けた各ドットに対して識別情報を各々付与して成る識別用レイアウト情報を生成する。本実施形態では、識別情報生成部１２が生成する各ドットの識別情報として、色情報を用いる。識別情報生成部１２は、生成した識別用レイアウト情報を識別情報記憶部１３に記憶する。

識別情報生成部１２は、識別用レイアウト情報を生成する際に、複数のオブジェクト同士に重なりがあるか否かを判定する。そして、重なりがないオブジェクトについては、当該オブジェクトに対応する識別用レイアウト情報の各ドットに対して当該オブジェクトの識別情報を付与する。

一方、重なりがある複数のオブジェクトについては、重なりのない部分に対応する識別用レイアウト情報の各ドットに対して複数のオブジェクトの識別情報を各々付与する。また、重なりのある部分は複数の小領域に分割して、当該複数の小領域に対応する識別用レイアウト情報の各ドットに対して複数のオブジェクトの識別情報を各々付与する。

例えば、図２（ａ）のように、３つのオブジェクト２１〜２３に重なりがない場合は、当該オブジェクト２１〜２３に対応する識別用レイアウト情報の各ドットに対して当該オブジェクト２１〜２３の識別情報を各々付与する。すなわち、第１のオブジェクト２１に対応する識別用レイアウト情報の各ドットに対して第１の識別情報を付与し、第２のオブジェクト２２に対応する識別用レイアウト情報の各ドットに対して第２の識別情報を付与し、第３のオブジェクト２３に対応する識別用レイアウト情報の各ドットに対して第３の識別情報を付与する。

図３は、図２（ａ）に示す元画像から生成される識別用レイアウト情報を示す図である。図３に示すように、複数のオブジェクト２１〜２３に重なりがない場合は、図２（ａ）の元画像と同じ２次元レイアウト上で、複数のオブジェクト２１〜２３と全く同じ領域の各ドットに対して第１〜第３の識別情報３１〜３３を各々付与して成る識別用レイアウト情報が生成される。なお、識別用レイアウト情報において背景２４に対応する部分には、識別情報は付与されていない。

一方、図２（ｂ）のように、３つのオブジェクト２１〜２３に重なりがある場合は、重なっていない部分に対応する識別用レイアウト情報の各ドットに対して、３つのオブジェクト２１〜２３に対応する第１〜第３の識別情報３１〜３３を各々付与する。また、重なった部分については識別用レイアウト情報上の領域を複数の小領域に分割し、当該複数の小領域に対応する識別用レイアウト情報の各ドットに対して、重なりを生じている複数のオブジェクトの識別情報を各々付与する。

図４は、オブジェクト同士が重なった部分を小領域に分割して各オブジェクトの識別情報を付与する例を示す図である。図４に示すように、第１のオブジェクト２１と第２のオブジェクト２２とは一部において重なりが生じている。この場合、識別情報生成部１２は、重なった部分の識別用レイアウト情報上の領域を２つの小領域３１ａ，３２ａに分割し、第１のオブジェクト２１に近い側の一方の小領域３１ａに対して第１の識別情報３１を付与し、第２のオブジェクト２２に近い側の他方の小領域３２ａに対して第２の識別情報３２を付与する。ここで、２つの小領域３１ａ，３２ａは互いに面積が等しくなるように分割される。第１のオブジェクト２１および第２のオブジェクト２２は何れも矩形であるため、２つの小領域３１ａ，３２ａも矩形となる。

また、第１のオブジェクト２１は第３のオブジェクト２３との間でも一部において重なりが生じている。この場合、識別情報生成部１２は、重なった部分の識別用レイアウト情報上の領域を２つの小領域３１ｂ，３３ｂに分割し、第１のオブジェクト２１に近い側の一方の小領域３１ｂに対して第１の識別情報３１を付与し、第３のオブジェクト２３に近い側の他方の小領域３３ｂに対して第３の識別情報３３を付与する。この２つの小領域３１ｂ，３３ｂも、互いに面積が等しくなるように分割される。

なお、第１のオブジェクト２１は矩形であるのに対し、第３のオブジェクト２３は楕円形であるため、２つの小領域３１ｂ，３３ｂの形状が両方とも矩形になることはない。図４の例では、第３のオブジェクト２３に近い側の他方の小領域３３ｂを矩形とし、残りの重複領域を一方の小領域３１ｂとしているが、小領域３１ｂ，３３ｂの形状はこれに限定されない。

図５は、図２（ｂ）に示す縮小画像から生成される識別用レイアウト情報を示す図である。なお、縮小画像から生成される識別用レイアウト情報は、当該縮小画像と同じ２次元レイアウト上で同じサイズにて生成されるが、図５は説明の都合上、識別用レイアウト情報を拡大して図示している。

図５に示すように、複数のオブジェクト２１〜２３において重なりがある場合には、識別用レイアウト情報における第１〜第３の識別情報３１〜３３の領域は、第１〜第３のオブジェクト２１〜２３とは異なる形状となる。すなわち、第１の識別情報３１の領域は、第１のオブジェクト２１の領域から小領域３２ａ，３３ｂが欠けた形状となる。第２の識別情報３２の領域は、第２のオブジェクト２２の領域から小領域３１ａが欠けた形状となる。また、第３の識別情報３３の領域は、第３のオブジェクト２３の領域から小領域３１ｂが欠けた形状となる。

表示制御部１４は、画像生成部１１により生成された画像を表示装置３００に表示させるように制御する。識別情報取得部１５は、表示制御部１４により表示装置３００に表示された画像上でマウス４００のカーソルにより指定されたドットに対応する識別情報（色情報）を、識別情報記憶部１３に記憶されている識別用レイアウト情報から取得する。識別用レイアウト情報は、２次元レイアウトの各ドットに色情報が付与された画像データ（ビットマップデータ）と同じ形態を有していることから、色情報の取得はBitmapDataクラスのgetPixcel関数などを用いて行うことが可能である。

オブジェクト選択部１６は、識別情報取得部１５により取得された識別情報（色情報）に対応するオブジェクトを選択する。すなわち、オブジェクト選択部１６は、識別情報取得部１５により識別用レイアウト情報から取得された識別情報により示されるドット列をオブジェクトとして選択する。例えば、図５に示す第１の識別情報３１の領域内のドットがマウスカーソルにより指定された場合、識別情報取得部１５は識別用レイアウト情報から第１の識別情報３１を取得し、これに対応してオブジェクト選択部１６は第１のオブジェクト２１を選択する。

動作制御部１７は、オブジェクト選択部１６によりオブジェクトが選択されたとき、その選択されたオブジェクトに関する所定の動作を行うように制御する。例えば、動作制御部１７は、オブジェクト選択部１６により選択されたオブジェクトをハイライト表示させるように画像生成部１１と表示制御部１４とを制御する。具体的には、動作制御部１７の制御を受けて画像生成部１１は、オブジェクト選択部１６により選択されたオブジェクトが特定のハイライト色で最前面に現れるように画像を再描画する。そして、表示制御部１４は、画像生成部１１により再描画された画像を表示装置３００に表示させる。

また、動作制御部１７は、オブジェクト選択部１６により選択されたオブジェクトがマウス４００によりクリックされたとき、そのオブジェクトに関する所定の動作を行うように制御する。例えば、オブジェクトに関連付けられたアプリケーションを起動したり、オブジェクトに関する情報を表示装置３００に表示させるように表示制御部１４を制御したりする。このような動作を行うために、例えば、元データ記憶部２００に記憶されている元データにおいてオブジェクトとアプリケーションとの関連情報や、オブジェクトに関する情報を記憶しておく。そして、動作制御部１７は、これらの情報を参照することによって所定の動作を実行するように制御する。

次に、上記のように構成した本実施形態による画像処理装置１００の動作を説明する。図６は、本実施形態による画像処理装置１００の動作例を示すフローチャートである。図６に示すフローチャートは、画像処理装置１００を起動して画像の表示を指示したときにスタートする。

図６において、まず、画像生成部１１は、元データ記憶部２００に記憶されている元データを用いて、複数のオブジェクトを含む画像を生成する（ステップＳ１）。最初は元画像を生成する。次に、識別情報生成部１２は、画像生成部１１により生成された画像に基づいて識別用レイアウト情報を生成し、識別情報記憶部１３に記憶する（ステップＳ２）。続いて、表示制御部１４は、画像生成部１１により生成された画像を表示装置３００に表示させる（ステップＳ３）。

画像が表示装置３００に表示された状態で、識別情報取得部１５は、当該画像上でマウスカーソルによる位置の指定が行われたか否かを判定する（ステップＳ４）。画像上でマウスカーソルによる位置の指定が行われていないと識別情報取得部１５にて判定した場合、画像生成部１１は、画像縮小や画像拡大などの画像生成指示がユーザにより行われたか否かを判定する（ステップＳ５）。

なお、画像縮小や画像拡大の指示は、例えば、マウス４００を操作して画像表示領域の境界部分をドラッグし、当該画像表示領域を任意に縮小または拡大することによって行うことが可能である。または、マウス４００を操作して、所望の縮小率または拡大率をメニューから選択することによって画像の縮小または拡大の指示を行うようにしてもよい。

ここで、画像生成指示が行われていないと判断した場合、処理はステップＳ１１にジャンプする。一方、画像生成指示が行われたと判断した場合、処理はステップＳ１に戻り、画像生成部１１は、マウス４００の操作により指定されたサイズの縮小画像または拡大画像を生成する。そして、識別情報生成部１２は、画像生成部１１により生成された画像に基づいて識別用レイアウト情報を再生成し、識別情報記憶部１３に記憶する（ステップＳ２）。続いて、表示制御部１４は、画像生成部１１により再生成された画像を表示装置３００に表示させる（ステップＳ３）。

このようにして、画像生成部１１により生成された画像（元画像、縮小画像または拡大画像）が表示装置３００に表示された状態で、当該画像上でマウスカーソルによる位置の指定が行われたと識別情報取得部１５により判断された場合（ステップＳ４でＹｅｓ）、識別情報取得部１５は、マウスカーソルにより指定されたドットに対応する識別情報を識別情報記憶部１３の識別用レイアウト情報から取得する（ステップＳ６）。

次に、オブジェクト選択部１６は、識別情報取得部１５により取得された識別情報に対応するオブジェクトを選択する（ステップＳ７）。そして、動作制御部１７は画像生成部１１および表示制御部１４を制御して、オブジェクト選択部１６により選択されたオブジェクトをハイライト表示させる（ステップＳ８）。その後、動作制御部１７は、選択されたオブジェクトがマウス４００によりクリックされたか否かを判定する（ステップＳ９）。

選択されたオブジェクトがクリックされていない場合、処理はステップＳ４に戻る。一方、選択されたオブジェクトがクリックされた場合、動作制御部１７は、クリックされたオブジェクトに関する所定の動作（アプリケーションの起動や関連情報の表示など）を行うように制御する（ステップＳ１０）。最後に、画像処理装置１００は動作を終了するための指示がユーザにより行われたか否かを判定する（ステップＳ１１）。画像処理装置１００の動作を終了するための指示が行われていない場合、処理はステップＳ４に戻る。一方、画像処理装置１００の動作を終了するための指示が行われた場合、図６に示すフローチャートの処理は終了する。

以上詳しく説明したように、本実施形態では、画像に含まれる複数のオブジェクトを識別するための識別用レイアウト情報をマウス判定用に画像とは別に生成している。この識別用レイアウト情報は、画像と同じ２次元レイアウト上で複数のオブジェクトに関連付けた各ドットに対して各オブジェクトの識別情報を付与したものである。特に、複数のオブジェクトが重なっている部分については、その重複領域を複数の小領域に分割して、当該複数の小領域に対応する各ドットに対して各オブジェクトの識別情報を各々付与している。そして、表示装置３００に表示された画像上でマウスカーソルにより指定されたドットに対応する識別情報をこの識別用レイアウト情報から取得し、取得した識別情報に対応するオブジェクトを選択するようにしている。

このように、表示装置３００に表示される画像とは別に生成された識別用レイアウト情報を用いることにより、画像上でカーソルが合わせられた位置にあるオブジェクトを識別することが可能となる。カーソルが合わせられた位置の画像情報を取得するわけではないので、オブジェクトを含めて画像全体がビットマップデータで生成されていても、当該画像内に含まれるオブジェクトを識別することができる。

また、表示装置３００に表示された画像のレイアウト上では複数のオブジェクトが重なっていても（図２（ｂ）参照）、当該複数のオブジェクトを識別するために生成された識別用レイアウト情報のレイアウト上では、各オブジェクトに対応する識別情報が重なることはない（図５参照）。そのため、カーソルの位置から取得される識別情報によって、重なっている各オブジェクトでも識別することが可能となる。したがって、あるオブジェクトが他のオブジェクトの下側に表示上は完全に隠れてしまっている場合でも、カーソルを移動させるだけの極めて簡単な操作で、その隠れてしまっているオブジェクトも含めて所望のオブジェクトを選択することができる。

また、本実施形態では、マウスカーソルの位置判定を行うのに、マウス４００から座標情報を取得するのではなく、識別用レイアウト情報から識別情報を取得している。マウス４００から座標情報を取得する方法であると、カーソルを少し動かす度に外部デバイスのマウス４００から座標情報を一々取得する必要があり、多くの時間を要する。

これに対し、本実施形態のように内部の識別用レイアウト情報から識別情報を取得する方法であれば、マウスカーソルの移動に追随して瞬時に識別情報を取得することができる。このため、マウス位置の判定速度を向上させることができる。これにより、画像の表示からマウス位置の判定を経て、それにより選択したオブジェクトのハイライト表示等を行うまでの一連のパフォーマンスを極めて高いものにすることができる。

なお、上記実施形態では、マウスカーソルによる位置の指定によってオブジェクトが選択された場合はハイライト表示を行い、オブジェクトがクリックされた場合はアプリケーションの起動等を行う例について説明したが、動作制御部１７が制御する動作はこの例に限定されない。すなわち、用途に応じて任意の動作を行わせることが可能である。

次に、本実施形態によるオブジェクト処理装置の応用例について説明する。図７は、本実施形態によるオブジェクト処理装置を応用した画像処理装置１００’の機能構成例を示すブロック図である。なお、この図７において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図７に示す画像処理装置１００’は、その機能構成として、画像生成部１１、識別情報生成部１２’、識別情報記憶部１３、表示制御部１４、識別情報取得部１５’、オブジェクト選択部１６’および動作制御部１７’を備えている。これらの各機能ブロックは、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。

識別情報生成部１２’は、２種類の識別用レイアウト情報を生成する。第１の識別用レイアウト情報と第２の識別用レイアウト情報である。第１の識別用レイアウト情報は、複数のオブジェクトを含むグループを識別するための情報である。また、第２の識別用レイアウト情報は、グループ内に含まれる個々のオブジェクトを識別するための情報である。

すなわち、識別情報生成部１２’は、画像生成部１１により生成された画像に含まれる複数のオブジェクトを複数のグループに分類する。そして、識別情報生成部１２’は、複数のグループの各々について、画像と同じ２次元レイアウト上でグループに含まれる全オブジェクトに対応する各ドットに対してグループの識別情報を各々付与して第１の識別用レイアウト情報を生成する。また、識別情報生成部１２’は、グループに含まれるオブジェクトの各々について、画像と同じ２次元レイアウト上で個々のオブジェクトに対応する各ドットに対してオブジェクトの識別情報を各々付与して第２の識別用レイアウト情報を生成する。

図８は、画像生成部１１により生成される画像と当該画像内に含まれる複数のオブジェクトおよびグループの例を示す図である。図８において、８１Ａ，８２Ａ，８３Ａはアイコンを表わすマークのオブジェクト、８１Ｂ，８２Ｂ，８３Ｂはタイトルを表わすテキストのオブジェクト、８４はグラフ等のチャート画像（この例では、マウスカーソルにより選択可能なオブジェクトではないものとする）である。

図８の例では、チャート画像８４として３本のグラフが表示されている。この３本のグラフに対応して、画像内の複数のオブジェクトが３つのグループに分類されている。すなわち、２つのオブジェクト８１Ａ，８１Ｂが第１グループ８１に分類され、２つのオブジェクト８２Ａ，８２Ｂが第２グループ８２に分類され、２つのオブジェクト８３Ａ，８３Ｂが第３グループ８３に分類されている。なお、どのオブジェクトがどのグループに属するかは、例えば元データにより示される。

図９は、図８に示す画像に基づいて識別情報生成部１２’により生成される第１の識別用レイアウト情報および第２の識別用レイアウト情報の例を示す図である。図９（ａ）が第１の識別用レイアウト情報を示し、図９（ｂ）が第２の識別用レイアウト情報を示している。

図９（ａ）に示すように、識別情報生成部１２’は、第１の識別用レイアウト情報を生成する際に、第１グループ８１内の全オブジェクト８１Ａ，８１Ｂを囲む所定範囲の矩形領域内の各ドットに対して第１の識別情報９１を付与する。また、識別情報生成部１２’は、第２グループ８２内の全オブジェクト８２Ａ，８２Ｂを囲む所定範囲の矩形領域内の各ドットに対して第２の識別情報９２を付与する。また、識別情報生成部１２’は、第３グループ８３内の全オブジェクト８３Ａ，８３Ｂを囲む所定範囲の矩形領域内の各ドットに対して第３の識別情報９３を付与する。

また、図９（ｂ）に示すように、識別情報生成部１２’は、第２の識別用レイアウト情報を生成する際に、第１グループ８１に含まれる個々のオブジェクト８１Ａ，８１Ｂに対応する各ドットに対して第４〜第５の識別情報９４Ａ，９４Ｂを各々付与する。また、識別情報生成部１２’は、第２グループ８２に含まれる個々のオブジェクト８２Ａ，８２Ｂに対応する各ドットに対して第６〜第７の識別情報９５Ａ，９５Ｂを各々付与する。また、識別情報生成部１２’は、第３グループ８３に含まれる個々のオブジェクト８３Ａ，８３Ｂに対応する各ドットに対して第８〜第９の識別情報９６Ａ，９６Ｂを各々付与する。

識別情報生成部１２’は、以上のようにして生成した第１の識別用レイアウト情報および第２の識別用レイアウト情報を識別情報記憶部１３に記憶する。図７に示す応用例においても、識別情報生成部１２’が生成する各ドットの識別情報として、色情報を用いる。具体的には、識別情報生成部１２’が生成する識別用レイアウト情報における各ドットの識別情報は、所定範囲内にある類似色を同一色グループにグルーピングした色情報であり、１つのグループに対して同一色グループの類似色を付与する。ここで言う類似色とは、人間の目では殆ど識別できないがコンピュータでは識別できる色のことをいうものとする。

すなわち、識別情報生成部１２’は、１つのグループに含まれる各オブジェクトに対応する各ドットに対して、同一色グループに属する類似色の色情報を各々付与する。その際に識別情報生成部１２’は、１つのグループ内に含まれるオブジェクトの各々に対応する各ドットに対しては異なる類似色の色情報を各々付与することによって第２の識別用レイアウト情報を生成する。また、グループ内の全オブジェクトを囲む所定範囲の矩形領域内の各ドットに対して、第２の識別用レイアウト情報で使用した類似色とは異なる類似色を付与することによって第１の識別用レイアウト情報を生成する。

例えば、識別情報生成部１２’は、第１グループ８１に含まれる２つのオブジェクト８１Ａ，８１Ｂの各々に対応する第２の識別用レイアウト情報上の各ドットに対して、同一色グループに属するが異なる類似色の色情報を第４〜第５の識別情報９４Ａ，９４Ｂとして各々付与する。また、２つのオブジェクト８１Ａ，８１Ｂを囲む矩形領域に対応する第１の識別用レイアウト情報上の各ドットに対して、第４〜第５の識別情報９４Ａ，９４Ｂとは異なる類似色の色情報を第１の識別情報９１として付与する。

また、識別情報生成部１２’は、第２グループ８２に含まれる２つのオブジェクト８２Ａ，８２Ｂの各々に対応する識別用レイアウト情報上の各ドットに対して、同一色グループ（第１グループ８１に対して設定したものとは異なるグループ）に属するが異なる類似色の色情報を第６〜第７の識別情報９５Ａ，９５Ｂとして各々付与する。また、２つのオブジェクト８２Ａ，８２Ｂを囲む矩形領域に対応する第１の識別用レイアウト情報上の各ドットに対して、第６〜第７の識別情報９５Ａ，９５Ｂとは異なる類似色の色情報を第２の識別情報９２として付与する。

また、識別情報生成部１２’は、第３グループ８３に含まれる２つのオブジェクト８３Ａ，８３Ｂの各々に対応する識別用レイアウト情報上の各ドットに対して、同一色グループ（第１グループ８１および第２グループ８２に対して設定したものとは異なるグループ）に属するが異なる類似色の色情報を第８〜第９の識別情報９６Ａ，９６Ｂとして各々付与する。また、２つのオブジェクト８３Ａ，８３Ｂを囲む矩形領域に対応する第１の識別用レイアウト情報上の各ドットに対して、第８〜第９の識別情報９６Ａ，９６Ｂとは異なる類似色の色情報を第３の識別情報９３として付与する。

識別情報取得部１５’は、表示制御部１４により表示装置３００に表示された画像上でマウス４００のカーソルにより指定されたドットに対応する識別情報（色情報）を、識別情報記憶部１３に記憶されている識別用レイアウト情報から取得する。例えば、識別情報取得部１５’は、単にマウスカーソルが所望の位置に合わせられただけのときは第１の識別用レイアウト情報から色情報を取得し、マウスカーソルが合わせられた位置でクリックが行われたときは第２の識別用レイアウト情報から色情報を取得する。

オブジェクト選択部１６’は、識別情報取得部１５’により第１の識別用レイアウト情報から色情報が取得されたときは、当該色情報に対応するオブジェクトのグループを選択する。また、オブジェクト選択部１６’は、識別情報取得部１５’により第２の識別用レイアウト情報から色情報が取得されたときは、当該色情報に対応するオブジェクトを選択する。すなわち、オブジェクト選択部１６’は、識別情報取得部１５’により第１の識別用レイアウト情報から取得された色情報により示されるドット列をオブジェクトのグループとして選択するとともに、識別情報取得部１５’により第２の識別用レイアウト情報から取得された色情報により示されるドット列をオブジェクトとして選択する。

動作制御部１７’は、オブジェクト選択部１６’によりオブジェクトまたはそのグループが選択されたとき、選択されたオブジェクトまたはグループに関する所定の動作を行うように制御する。例えば、動作制御部１７’は、オブジェクト選択部１６’により所望のオブジェクトのグループが選択された場合、当該選択されたグループをハイライト表示させるように画像生成部１１と表示制御部１４とを制御する。

また、動作制御部１７’は、オブジェクト選択部１６’により所望のオブジェクトが選択された場合（クリックされた場合）、当該選択されたオブジェクトに関連付けられたアプリケーションを起動したり、オブジェクトに関する情報を表示装置３００に表示させるように表示制御部１４を制御したりする。

図７〜図９を用いて説明した応用例においても、例えば図８に示す画像を縮小することによって複数のオブジェクト同士に重なりが生じる場合、または複数のグループ同士に重なりが生じる場合には、その重複領域を複数の小領域に分割して、当該複数の小領域に対応する各ドットに対して識別情報を各々付与する。そして、表示装置３００に表示された画像上でマウスカーソルにより指定されたドットに対応する識別情報を第１の識別用レイアウト情報または第２の識別用レイアウト情報から取得し、取得した識別情報に対応するオブジェクトまたはグループを選択する。

これにより、表示装置３００に表示された画像のレイアウト上では複数のオブジェクトまたはオブジェクトのグループが重なっていても、当該複数のオブジェクトまたはグループを識別するために生成された識別用レイアウト情報のレイアウト上では、各オブジェクトや各グループに対応する識別情報が重なることはない。そのため、カーソルの位置から取得される識別情報によって各オブジェクトや各グループを識別することが可能となる。

したがって、あるオブジェクトのグループが他のグループの下側に表示上は完全に隠れてしまっている場合でも、カーソルを移動させるだけの極めて簡単な操作で、その隠れてしまっているグループも含めて所望のグループを選択することができる。また、あるオブジェクトが他のオブジェクトの下側に表示上は完全に隠れてしまっている場合でも、決められたクリック操作（例えば、左クリック）を行うだけの極めて簡単な操作で、その隠れてしまっているオブジェクトも含めて所望のオブジェクトを選択することができる。

なお、上記応用例では、単にマウスカーソルが所望の位置に合わせられたか、クリックされたかの区別によって、第１の識別用レイアウト情報または第２の識別用レイアウト情報の何れかより色情報を取得する例について説明したが、本発明はこれに限定されない。例えば、グループを識別するための識別情報に関して、第１の識別用レイアウト情報において当該グループの位置を表わす矩形領域のうち、各オブジェクトが位置する領域については色情報を何も付与せず、矩形領域内の残りの領域についてのみ色情報を付与する。そして、複数のオブジェクトを含むグループを表わす矩形領域のうち、各オブジェクトの位置する領域がマウスカーソルにより指定された場合は第２の識別用レイアウト情報から色情報を取得し、矩形領域内の残りの領域がマウスカーソルにより指定された場合は第１の識別用レイアウト情報から色情報を取得するようにしても良い。

この場合、グループを表わす矩形領域のうち、各オブジェクトの位置する領域がマウスカーソルにより指定されたときに当該オブジェクトに関連するアプリケーションの起動等を行う一方、矩形領域内の残りの領域がマウスカーソルにより指定されたときにグループのハイライト表示を行うようにしても良い。このようにすれば、マウスカーソルの位置を変えるだけで、動作制御部１７’が制御する動作の内容を異ならせることができる。

また、上記応用例では、グラフ等のチャート画像８４がマウスカーソルにより選択可能なオブジェクトではないものとして説明したが、これをオブジェクトとして扱うことも可能である。例えば、チャート画像８４により表わされている１つのグラフを１つのグループとし、グラフ上の複数の折れ点をグループ内の各オブジェクトとしてもよい。この場合、グラフ上の各ドットに対して同一色グループの異なる類似色を付与することによって第１の識別用レイアウト情報を生成するとともに、当該第１の識別用レイアウト情報における折れ点の部分に付与した色情報と同じ色情報を折れ点に対応するドットに付与することによって第２の識別用レイアウト情報を生成する。

この場合において、例えば、折れ点以外のグラフ上をマウスカーソルで指定したときは当該グラフをハイライト表示させ、折れ点の部分をマウスカーソルで指定したきは折れ点部分の情報をラベル表示させるようにすることが可能である。なお、ラベル表示に必要な情報は、元データにより示される。このラベル表示に必要な情報を第２の識別用レイアウト情報に関連付けて記憶しておけば、第２の識別用レイアウト情報からマウスカーソルの位置に対応した色情報を取得するときに、対応するラベル情報も合わせて取得することができる。

また、上記実施形態では、識別用レイアウト情報を構成する識別情報として色情報を用いる例について説明したが、本発明はこれに限定されない。すなわち、画像中に含まれる複数のオブジェクト（応用例の場合はオブジェクトおよびグループ）をそれぞれ識別することが可能な情報であれば、色情報以外の情報を用いても良い。

また、上記実施形態では、表示装置３００に表示された画像上のドットをマウス４００のカーソルにより指定する例について説明したが、本発明はこれに限定されない。例えば、表示装置３００にタッチパネルを設け、当該タッチパネルに対するタッチペンや指のタッチにより画像上のドットを指定するようにしても良い。

また、上記実施形態では、複数のオブジェクトを含む画像に基づいて識別用レイアウト情報を生成する例について説明したが、本発明はこれに限定されない。例えば、画像内に含まれるオブジェクトのレイアウトが元データから分かる場合には、その元データに基づいて識別用レイアウト情報を生成するようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１ 画像生成部
１２，１２’ 識別情報生成部
１３ 識別情報記憶部
１４ 表示制御部
１５，１５’ 識別情報取得部
１６，１６’ オブジェクト選択部
１７，１７’ 動作制御部

Claims (5)

1. 複数のオブジェクトを含む画像に関して、上記複数のオブジェクトをそれぞれ識別可能な識別情報を生成し、上記画像と同じ２次元レイアウト上で上記複数のオブジェクトに関連付けた各ドットに対して上記識別情報を各々付与して成る識別用レイアウト情報を生成する識別情報生成部と、
   表示装置に表示された画像上で指定されたドットに対応する識別情報を上記識別用レイアウト情報から取得する識別情報取得部と、
   上記識別情報取得部により取得された識別情報に対応するオブジェクトを選択するオブジェクト選択部とを備え、
   上記識別情報生成部は、上記オブジェクトに重なりがあるか否かを判定し、重なりがないオブジェクトについては、当該オブジェクトに対応する各ドットに対して当該オブジェクトの上記識別情報を付与する一方、重なりがある複数のオブジェクトについては、重なりのない部分に対応する各ドットに対して上記複数のオブジェクトの上記識別情報を各々付与するとともに、重なりのある部分は複数の小領域に分割して上記複数の小領域に対応する各ドットに対して上記複数のオブジェクトの上記識別情報を各々付与することによって、上記識別用レイアウト情報を生成することを特徴とするオブジェクト処理装置。
2. 上記識別情報生成部が生成する各ドットの上記識別情報は色情報であることを特徴とする請求項１に記載のオブジェクト処理装置。
3. 上記識別情報生成部は、上記画像に含まれる複数のオブジェクトを複数のグループに分類し、上記複数のグループの各々について、上記画像と同じ２次元レイアウト上で上記グループに含まれる全オブジェクトを囲む所定領域に対応する各ドットに対して上記複数のグループをそれぞれ識別可能な識別情報を各々付与して成る第１の識別用レイアウト情報と、上記グループに含まれるオブジェクトの各々について、上記画像と同じ２次元レイアウト上で上記グループに含まれる個々のオブジェクトに対応する各ドットに対して上記個々のオブジェクトを識別可能な識別情報を各々付与して成る第２の識別用レイアウト情報とを生成し、
   上記オブジェクト選択部は、上記識別情報取得部により上記第１の識別用レイアウト情報から取得された識別情報に対応するオブジェクトのグループを選択するとともに、上記識別情報取得部により上記第２の識別用レイアウト情報から取得された識別情報に対応するオブジェクトを選択することを特徴とする請求項１に記載のオブジェクト処理装置。
4. 上記識別情報生成部が生成する各ドットの上記識別情報は、所定範囲内にある類似色を同一色グループにグルーピングした色情報であり、上記識別情報生成部は、１つのグループおよびそれに含まれる各オブジェクトに対応する各ドットに対して上記同一色グループに属する類似色の色情報を各々付与し、その際に上記１つのグループ内に含まれるオブジェクトの各々に対応する各ドットに対しては上記第１の識別用レイアウト情報とは異なる類似色の色情報を各々付与することによって上記第２の識別用レイアウト情報を生成することを特徴とする請求項３に記載のオブジェクト処理装置。
5. 複数のオブジェクトを含む画像に関して、上記複数のオブジェクトをそれぞれ識別可能な識別情報を生成し、上記画像と同じ２次元レイアウト上で上記複数のオブジェクトに関連付けた各ドットに対して上記識別情報を各々付与して成る識別用レイアウト情報を生成する識別情報生成ステップと、
   表示装置に表示された画像上で指定されたドットに対応する識別情報を上記識別用レイアウト情報から取得する識別情報取得ステップと、
   上記識別情報取得ステップで取得された識別情報に対応するオブジェクトを選択するオブジェクト選択ステップとを有し、
   上記識別情報生成ステップでは、上記オブジェクトに重なりがあるか否かを判定し、重なりがないオブジェクトについては、当該オブジェクトに対応する各ドットに対して当該オブジェクトの上記識別情報を付与する一方、重なりがある複数のオブジェクトについては、重なりのない部分に対応する各ドットに対して上記複数のオブジェクトの上記識別情報を各々付与するとともに、重なりのある部分は複数の小領域に分割して上記複数の小領域に対応する各ドットに対して上記複数のオブジェクトの上記識別情報を各々付与することによって、上記識別用レイアウト情報を生成することを特徴とするオブジェクト選択方法。