JP2010198130A - 画像処理システム、画像処理装置、表示装置及びそれらの制御方法、プログラム - Google Patents

Abstract

【課題】プレゼンテーションをビデオカメラ等で撮影することなく、プレゼンテーション時に操作者によって操作された所定動作の履歴を示す履歴情報を利用できるようにするための仕組みを提供する。
【解決手段】本画像処理システムは、表示装置においてプレゼンテーション時のユーザの動作、例えば、ポインタの操作や拡大描画の操作を、当該操作の対象となる表示領域とともに履歴情報として記憶する。さらに、画像処理装置において、プレゼンテーション時に用いた表示データと、上記履歴情報とを用いて、プレゼンテーションのダイジェストデータを作成する。
【選択図】図５

Description

本発明は、表示装置と画像処理装置とが接続された画像処理システム、及びその画像処理装置、表示装置、それらの制御方法、プログラムに関するものである。

プロジェクタなどの表示装置を利用した講演が行われる場合に、プレゼンテーションを録画・記録することにより、プレゼンテーションのマルチメディアコンテンツを生成する技術がある。特許文献１には、ビデオカメラによって撮影されるプレゼンターの映像情報と、プレゼンテーションの実施端末から出力され、プロジェクタなどに表示される画面情報とから、プレゼンテーションのマルチメディアコンテンツを生成する装置が提案されている。具体的には、ビデオカメラなどの前でプレゼンテーションを実施し、撮影した映像とプレゼンテーションデータとを同期させることで、自動でコンテンツの生成を行っている。

特開２００５−２５２５７４号公報

しかしながら、上記従来技術には以下に記載する問題がある。例えば、プロジェクタを使ってプレゼンテーションを行う場合に、プロジェクタで投影したプレゼンテーション資料を記録することは可能であるが、ポインタの移動情報や、説明のための拡大描画などを履歴として残すことはできない。これらの情報を残すためには、プレゼンテーション自体をビデオカメラなどで撮影し、撮影した履歴とプレゼンテーション資料とを改めて対比する必要がある。この場合、対比するためにはビデオカメラを再生して確認する必要があるため、その作業に膨大な時間と手間を要する。

このように、特許文献１に記載の技術では、ビデオカメラでの撮影が必要となり、簡易性に欠けてしまう。さらに、特許文献１に記載の技術により生成されたコンテンツは、撮影した映像とプレゼンテーションデータとを同期させるものであり、プレゼンテーションの履歴が残るわけではない。つまり、従来技術においては、プレゼンテーション時にプレゼンター（操作者）が強調した部分や指し示したポイントなどを残してコンテンツ化するためには、プレゼンテーションの記録のための準備及び実際の記録のために煩雑な作業が生じるという問題があった。

本発明は、上述の問題に鑑みて成されたものであり、プレゼンテーションをビデオカメラ等で撮影することなく、プレゼンテーション時に操作者によって操作された所定動作の履歴を示す履歴情報を利用できるようにするための仕組みを提供することを目的とする。

本発明の画像処理システムは、表示装置と、画像処理装置とが接続された画像処理システムであって、前記表示装置は、前記画像処理装置から送信される表示データを受信し、該表示データに従って表示画像を表示する表示手段と、前記表示画像の表示中に操作者によって操作された所定動作を特定する特定手段と、前記特定された所定動作の履歴を示す履歴情報を格納する格納手段とを備え、前記画像処理装置は、前記表示装置へ送信するための前記表示データを生成する生成手段と、前記生成した表示データを前記表示装置に送信した後に、該表示装置から前記履歴情報を受信し、前記生成した表示データに対応付けて記憶する記憶手段とを備えることを特徴とする。

本発明は、例えば、プレゼンテーションをビデオカメラ等で撮影することなく、プレゼンテーション時に操作者によって操作された所定動作の履歴を示す履歴情報を利用できるようにする仕組みを提供できる。

第１の実施形態に係る画像処理システムの構成例を示す図である。 第１の実施形態に係る印刷装置１００の構成例を示すブロック図である。 第１の実施形態に係るプロジェクタ１２０の構成例を示すブロック図である。 第１の実施形態に係るディスプレイリストの生成手順を示すフローチャートである。 第１の実施形態に係る印刷装置１００とプロジェクタ１２０との通信を示すシーケンス図である。 第１の実施形態に係る表示データを出力した表示画像６００を示す図である。 第１の実施形態に係るプレゼンテーションのダイジェストデータを作成する手順を示すシーケンス図である。 第１の実施形態に係るプレゼンテーションのダイジェスト画像１０００、１１００を示す図である。 第２の実施形態に係る表示画像の構造を示す図である。

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念及び下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

＜第１の実施形態＞
＜画像処理システムの構成＞
以下では、図１乃至図８を参照して、第１の実施形態について説明する。図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。なお、画像処理システムに含まれる画像処理装置として、図１では印刷装置を例に説明する。しかし、本発明は、印刷装置に限定されず、コピー機、ファクシミリ装置等の画像処理装置であれば適用可能である。また、以下では、表示装置の一例としてスクリーンや壁等に表示画像を投影するプロジェクタを例に説明するが、モニタ等を用いて表示画像を表示する装置でもよい。

図１に示す画像処理システムでは、パーソナルコンピュータ１４０、２台の印刷装置１００、１１０、及び、表示装置であるプロジェクタ１２０がＬＡＮ１５０に接続されている。１３０は、プロジェクタ１２０が照射画像を投影するスクリーンを示す。本発明の画像処理システムは、図１に示す画像処理システムの機器の接続数に限るものではない。また、ここでは、接続方法としてＬＡＮ１５０を適用しているが、これに限るものではない。例えば、ＷＡＮ（公衆回線）などの任意のネットワーク、ＵＳＢなどのシリアル伝送方式、又はセントロニクスやＳＣＳＩなどのパラレル伝送方式なども適用可能である。プロジェクタ１２０は照射画像をスクリーン１３０へ出力する。

パーソナルコンピュータ（以下、ＰＣと称する。）１４０は、一般的なパーソナルコンピュータの機能を有している。このＰＣ１４０はＬＡＮ１５０やＷＡＮを介してＦＴＰやＳＭＢプロトコルを用いファイルを送受信したり、電子メールを送受信したりすることができる。さらには、ＰＣ１４０は、印刷装置１００、１１０に対して、プリンタドライバを介した印刷命令を行うことも可能である。

本実施形態によれば、本画像処理システムがプレゼンテーションに使用される際に、プレゼンテーション時のプレゼンター（操作者）によって操作された所定動作の履歴情報をプロジェクタ１２０において記憶する。さらに、本画像処理システムは、記憶した所定動作の履歴情報と、プレゼンテーション時の表示データを用いて、印刷装置１００、１１０においてプレゼンテーションのダイジェストデータ（ダイジェスト版）を作成する。また、本実施形態では、所定動作として、操作者によって操作されたポインタの動作や表示画像の一部を拡大描画する動作などの、プレゼンテーション時に操作者が強調して説明した箇所に係る動作をダイジェストデータに付加する例について説明する。

＜印刷装置の構成＞
次に、図２を参照して、本実施形態における印刷装置１００、１１０の構成について説明する。図２は、第１の実施形態に係る印刷装置１００の構成例を示すブロック図である。印刷装置１１０の構成も以下で説明する印刷装置１００の構成と同様であるため、説明を省略する。

印刷装置１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ストレージ制御部２０５、大容量ストレージ２０６、インタフェース制御部２０７、ＮＩＣ２０８、モデム２０９、操作Ｉ／Ｆ２１０、操作部２１１、スキャナ画像処理部２１２、スキャナＩ／Ｆ２１３、スキャナ部２１４、プリンタ画像処理部２１５、プリンタＩ／Ｆ２１６、プリンタ部２１７及びレンダリング部２１８を備える。各ブロックは、データバス２０４を介して、相互にデータ通信可能に接続されている。

ＣＰＵ２０１は、印刷装置１００全体を制御するためのコントローラである。ＣＰＵ２０１はＲＯＭ２０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。このＯＳ上で大容量ストレージ２０６に記憶されているコントローラプログラムや各種アプリケーションプログラムが実行される。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリやワークエリア等の一時的に記憶領域として動作する。さらに、画像処理の一時的に記憶領域としても使用される。

インタフェース制御部２０７は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）２０８などのネットワークＩ／Ｆを制御して、ＬＡＮ１５０などのネットワークに対して、画像データ等の種々のデータを送受信する。また、インタフェース制御部２０７はモデム２０９を制御して、電話回線に対してデータを送受信する。

操作Ｉ／Ｆ２１０は、タッチパネルやハードキーといった操作部２１１からユーザの操作指示を入力する。また、操作Ｉ／Ｆ２１０は、ＬＣＤやＣＲＴなどの操作部２１１を制御して、操作画面をユーザに対して表示する。

スキャナ画像処理部２１２は、スキャナ部２１４からスキャナＩ／Ｆ２１３を介して受け取った画像データに対して、補正、加工、及び編集を行う。なお、スキャナ画像処理部２１２は、受け取った画像データがカラー原稿であるか又は白黒原稿であるかや、文字原稿であるか又は写真原稿であるかなどを判定する。これらの判定結果は、画像データに付加される。以下では、こうした付加情報を属性データと称する。

プリンタ画像処理部２１５は、プリント出力用の画像処理を行い、ビットマップデータを生成する。その後、プリンタＩ／Ｆ２１６を介してプリンタ部２１７にビットマップデータを送信する。プリンタ部２１７は、プリンタＩ／Ｆ２１６を介して出力された受信したビットマップデータに従って用紙等の記録材に対して印刷処理を実行する。

レンダリング部２１８は、プリント画像となるビットマップデータを生成する。ＰＣ１４０から送信された印刷データは、ＬＡＮ１５０経由で印刷装置１００に入力される。入力された印刷データは、ＣＰＵ２０１にてディスプレイリストに変換された後、レンダリング部２１８に送られる。レンダリング部２１８は、ＣＰＵ２０１が変換したディスプレイリストデータを解釈し、ビットマップデータを生成する。

＜プロジェクタの構成＞
次に、図３を参照して、本実施形態におけるプロジェクタの構成について説明する。図３は、第１の実施形態に係るプロジェクタ１２０の構成例を示すブロック図である。

プロジェクタ１２０は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、インタフェース制御部３０５、ＮＩＣ３０６、操作部３０７、操作Ｉ／Ｆ３０８、レンダリング部３０９及び表示部３１０を備える。各ブロックは、データバス３０４を介して、相互にデータ通信可能に接続されている。

ＣＰＵ３０１は、プロジェクタ１２０全体を制御するためのコントローラである。ＣＰＵ３０１は、ＲＯＭ３０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ）を起動する。このＯＳ上でコントロールプログラムや各種アプリケーションが実行される。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリやワークエリア等の一時的に記憶領域として動作する。さらに、画像処理時における一時的に記憶領域としても使用される。

インタフェース制御部３０５は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）３０６などのネットワークＩ／Ｆを制御して、ＬＡＮなどのネットワークに対して、画像データ等の種々のデータを送受信する。操作Ｉ／Ｆ３０８は、ハードキーやリモコンといった操作部３０７からユーザの操作指示を入力する。また。操作Ｉ／Ｆ３０８は表示部３１０を制御してスクリーン１３０に操作画面を表示する。

レンダリング部３０９は、表示画像となるビットマップデータを生成する。なお、レンダリング部３０９では、ＮＩＣ３０６を介して受信したディスプレイリストデータを解釈してビットマップ生成を行う。表示部３１０は、レンダリング部３０９で生成されたビットマップデータをスクリーン１３０に照射する。

本実施形態によれば、プロジェクタ１２０に入力されるデータとしては、ＰＣ１４０からの印刷データや、印刷装置１００、１１０のスキャナ部２１４によって原稿から読み取られた印刷データ等がある。これらの印刷データは、まず印刷装置１００、１１０内の記憶装置（ＲＡＭ２０３又は大容量ストレージ２０６）に格納される。印刷装置１００、１１０は、印刷データを紙に印刷するための印刷条件、又は、ディスプレイ表示するためのプロジェクタからの要求に従って、ディスプレイリストを作成する。

上述したＰＣ１４０からの印刷データとは、ＰＣ１４０から送信されたＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）を解釈した中間データである。また、スキャナ部２１４からの印刷データとは、スキャナ部２１４で読み取った画像データをスキャナＩ／Ｆ２１３を介して受信し、スキャナ画像処理部２１２で、文字、写真、表、線図などの属性に分割し、ＰＣ１４０からの印刷データである中間データと共通するフォーマットに形成された中間データである。

＜ディスプレイリストの生成方法＞
次に、図４を参照して、本実施形態におけるディスプレイリストの生成方法について説明する。図４は、第１の実施形態に係るディスプレイリストの生成手順を示すフローチャートである。本フローチャートでは、印刷装置１００に対して、出力要求が送信された場合を想定している。したがって、以下で説明する処理は、印刷装置１００のＣＰＵ２０１によって統括的に制御される。

ステップＳ４０１において、ＣＰＵ２０１は、出力要求を受信すると、出力要求の送信先である装置（ここでは、ＰＣ１４０となる。）に対して、出力方法の設定要求を送信する。ここでの出力方法には、例えば、印刷出力や表示出力などが含まれる。続いて、ステップＳ４０２において、ＣＰＵ２０１は、出力方法の設定が実行されたか否かを判定する。ここで、出力方法が設定されると、ステップＳ４０２に進み、設定されていない場合はステップＳ４０２の判定を定期的に繰り返す。

出力方法が設定されると、ステップＳ４０３において、ＣＰＵ２０１は、設定された出力方法を判定する。ここで、出力方法が印刷出力の場合には、ステップＳ４０４に進み、出力方法が表示出力の場合にはステップＳ４０７に進む。

出力方法が印刷出力の場合、ステップＳ４０４において、ＣＰＵ２０１は、インタフェース制御部２０７を介して受信した後に、記憶装置（ＲＡＭ２０３、大容量ストレージ２０６等）に格納したＰＣ１４０からのデータを解析する。或いは、ＣＰＵ２０１は、スキャナ部２１４から受信した後に、記憶装置に格納したデータを解析する。ここでの解析は、記憶装置に格納されたデータが印刷データであるか否かが解析される。

ステップＳ４０５において、ＣＰＵ２０１は、解析結果に基づき、記憶装置に格納されたデータが印刷データであるか否かを判定する。ここで、格納したデータが印刷データである場合にはステップＳ４０９に進み、印刷データでない場合にはステップＳ４０６に進む。

格納したデータが印刷データである場合、ステップＳ４０９において、ＣＰＵ２０１は、格納した印刷データからディスプレイリストを生成する。次に、ステップＳ４１０において、ＣＰＵ２０１は、出力先を判定する。ここでの判定は、生成したディスプレイリストを出力する出力先が内部デバイス（プリンタ部２１７）であるか、外部デバイス（プロジェクタ１２０）であるかを判定する。内部デバイスである場合には、ＣＰＵ２０１は、ステップＳ４１１に進み、記憶装置にディスプレイリストを格納する。一方、外部デバイスである場合には、ＣＰＵ２０１は、ステップＳ４１２に進み、インタフェース制御部２０７を介してディスプレイリストを送信する。

一方、ステップＳ４０５において、格納されたデータが印刷データでないと判定された場合、ステップＳ４０６において、ＣＰＵ２０１は、格納されたデータを印刷データに変換する。その後、変換した印刷データを用いて、上述したステップＳ４０９乃至Ｓ４１２の処理を実行する。

また、ステップＳ４０３において、設定された出力方法が表示出力であると判定されると、ステップＳ４０７に進み、ＣＰＵ２０１は、インタフェース制御部２０７を介して受信した後に、記憶装置に格納したＰＣ１４０からのデータを解析する。或いは、ＣＰＵ２０１は、スキャナ部２１４から受信した後に、記憶装置に格納したデータを解析する。ここでは、具体的には、記憶装置に格納されたデータが表示データであるか否かを解析する。

続いて、ステップＳ４０８において、ＣＰＵ２０１は、解析結果に基づき、記憶装置に格納されたデータが表示データであるか否かを判定する。ここで、格納したデータが表示データである場合にはステップＳ４０９に進み、表示データでない場合にはステップＳ４０６に進む。ステップＳ４０６又はＳ４０９以降の処理については、上述した出力方法が印刷出力である場合の処理と同様であるため、説明を省略する。

＜プロジェクタへの表示制御＞
次に、図５を参照して、印刷装置１００からプロジェクタ１２０への表示制御について説明する。図５は、第１の実施形態に係る印刷装置１００とプロジェクタ１２０との通信を示すシーケンス図である。図１に示すように、印刷装置１００とプロジェクタ１２０とは、ＬＡＮ１５０を介して接続され、相互にデータの送受信を行うことができる。

まず、ステップＳ５０１において、プロジェクタ１２０は、印刷装置１００に対し、格納データの情報要求を送信する。具体的には、プレゼンテーションを行うユーザが、プロジェクタ専用リモコンやプロジェクタの操作部を用いて、直接ファイルを指定したり、キーワードでファイル検索したりして、格納データ情報を要求する。格納データ情報は、必ずしも１つのファイルではなく、複数のファイルリストから構成されてもよい。

次に、ステップＳ５０２において、印刷装置１００は、プロジェクタ１２０に対し、格納データの情報送信を行う。具体的には、ユーザが指定したファイル名、又は、ファイルリストを送信する。その後、プロジェクタ１２０は、プロジェクタの操作部画面又はプロジェクタが投影しているスクリーン１３０の画面上に対して、ファイル名やファイルリストを、テキスト表示又はサムネイル表示で表示する。ここで、ユーザは、スクリーン１３０の画面上に表示されたファイル名やファイルリストを確認し、プロジェクタ１２０で表示したいファイルを、プロジェクタ専用リモコンやプロジェクタの操作部を用いて選択する。ユーザが選択すると、ステップＳ５０３において、プロジェクタ１２０は、印刷装置１００に対し、表示データ要求を送信する。

プロジェクタ１２０からの表示データ要求を受信すると、ステップＳ５０４において、印刷装置１００は、表示要求されたデータのディスプレイリストの生成処理を実行する。このとき、図４で説明した通り、表示する出力デバイスに応じて、最適なディスプレイリストを生成する。したがって、ここでは、プロジェクタ１２０に送信するため、出力方法は表示出力となり、表示データのディスプレイリストを生成する。ディスプレイリストを生成すると、ステップＳ５０５において、印刷装置１００は、プロジェクタ１２０に対して、ディスプレイリストを送信する。

ディスプレイリストを受信すると、ステップＳ５０６において、プロジェクタ１２０のレンダリング部３０９は、ディスプレイリストを展開し、展開したディスプレイリストを表示部３１０へ送信する。続いて、表示部３１０は、当該ディスプレイリストのデータに従って、スクリーン１３０に投影する。

ユーザは、スクリーン１３０に投影されたプレゼンテーションデータに従って表示された表示画像の表示中にプレゼンテーションを実施する。ここで、ユーザは、効果的なプレゼンテーションを行うために、プロジェクタ専用リモコンやプロジェクタの操作部を用いて説明する場合がある。例えば、強調ポイントをポインタで指し示したり、又は、強調ポイントを拡大描画させたりする場合がある。このとき、ステップＳ５０７において、プロジェクタ１２０は、ポインタの動作やその座標データ、拡大描画などのコマンド情報、又は描画中のページ情報などを、上述した所定動作の履歴情報として、プロジェクタ内のＲＡＭ３０３などに一時的に記憶する。なお、描画中の特定部分を拡大描画する場合は、ディスプレイリストを再レンダリングすることが望ましい。再レンダリングすることで、単純にビットマップデータを拡大描画するより、描画画質の向上が期待できる。

プレゼンテーションが終了すると、ステップＳ５０８において、プロジェクタ１２０は、印刷装置１００に対して、ＲＡＭ３０３に一時的に記憶した履歴情報を送信する。履歴情報を受信すると、ステップＳ５０９において、印刷装置１００は、対応する格納データに対し、履歴情報を付加する。ここで、格納データとは、プロジェクタ１２０に送信した表示データを示す。このとき、格納データに対し、直接履歴情報を付加してもよいし、格納データとは別に、履歴情報を保持してもよい。なお、格納データと履歴情報とを別に保持する場合は、格納データと履歴情報とを対応付けて管理する必要がある。

ここでは、プレゼンテーションを１つのジョブとして、ジョブ単位で表示データの要求、ディスプレイリストの送信、履歴情報の送信を制御する例を説明したが、ジョブ単位に限るものではない。例えば、プロジェクタ１２０のハードウェアやそのシステムの規模に応じ、ページ単位で実施してもよい。或いは、ページ単位でも、複数ページを単位に実施してもよい。また、ジョブ単位であっても、単一のジョブではなく、複数のジョブを一括で扱ってもよい。これらは、ハードウェアやそのシステムの規模により、適宜構成すればよい。

＜履歴情報の取得方法＞
次に、図６を参照して、本実施形態における履歴情報の取得方法について説明する。図６は、第１の実施形態に係る表示データを出力した表示画像６００を示す図である。

プロジェクタ１２０のレンダリング部３０９でレンダリングされた表示データは、ＣＰＵ３０１によって表示部３１０に送られ、スクリーン１３０に投影表示される。ユーザは、スクリーン１３０に投影された表示画像６００を用いてプレゼンテーションを実施する。このとき、ユーザは、プロジェクタ専用リモコンやプロジェクタの操作部を用いて、強調ポイントを、描画ポインタで指し示したり又は拡大描画させたりする。ＣＰＵ３０１は、このような動作を強調動作として特定し、当該強調動作の履歴情報を記憶する。

図６に示す表示画像６００は、表示画像の所定の１ページを示したもので、タイトル文６０１、説明文６０２、６０３、６０４、及び画像６０５などの文字オブジェクトや画像オブジェクトを含んで構成される。例えば、ユーザが、この表示画像６００を用いてプレゼンテーションを行い、説明文６０４を強調してプレゼンテーションした場合、即ち、ユーザが、リモコンのポインタを用い、強調したい説明文付近を指し示した場合を想定する。この場合、当該ポインタは、表示画像６００上で描画され、表示画像６００とともに、スクリーン１３０に投影表示される。

このとき、ＣＰＵ３０１は、例えば、当該ポインタが所定の表示領域に対して、所定回数以上表示された場合に、ポインタを用いた強調動作であると特定する。つまり、ＣＰＵ３０１は、ポインタが所定の表示領域に表示された頻度に基づいて、強調動作を特定する。ポインタの強調動作であると特定すると、ＣＰＵ３０１は、当該強調動作の種別と、当該ポインタが操作された表示領域の情報とをＲＡＭ３０３に一時的に記憶する。強調動作の種別とは、強調動作に用いられたユーザ操作を示し、ここではポインタ操作となる。なお、ＣＰＵ３０１は、ポインタの軌跡を全て記憶してもよいが、強調した表示領域を取得するだけでもよい。

図６に示す座標ブロック７００では、水平方向がＸ０からＸ７に８分割され、垂直方向がＹ０からＹ５に６分割されている。この分割数は一例であって、限定するわけではない。つまり、利用目的に応じて、精度を上げるために分割数を増やしてもよいし、逆に、処理負荷を低減させるために分割数を減らしてもよい。

図６の８００に示すように、座標ブロック７００を表示画像６００に重ね合わせると、ユーザが強調した説明文６０４を座標ブロックで特定できる。具体的には、ＣＰＵ３０１は、説明文６０４が水平方向Ｘ０からＸ４、垂直方向Ｙ４内に描画されていると特定する。つまり、ＣＰＵ３０１は、履歴情報として、ポインタを操作したという動作と、ポインタが動いた座標ブロックを、ＲＡＭ３０３に一時的に記憶する。なお、本発明によれば、位置の取得方法はこれに限定されず、例えば、描画の画素数に対応する画素位置を用いてもよい。

ユーザによって他の強調動作が行われた場合の強調した領域の取得方法について説明する。ここでは、ユーザが、画像６０５を拡大描画させた場合、即ち、ユーザが描画部の一部をリモコンのポインタで示し、拡大コマンドを用いて表示画像６００内の一部の領域を拡大描画させた場合を想定する。このとき、ＣＰＵ３０１は、操作者による操作部３０７やリモコンを介した入力に基づいて、例えば、拡大コマンドが入力された場合に、拡大描画の強調動作であると特定する。拡大描画の強調動作を特定すると、ＣＰＵ３０１は、当該強調動作の種別と、拡大描画された表示領域の情報とをＲＡＭ３０３に一時的に記憶する。ここで、表示領域の情報は、例えば、座標ブロック７００を用いて、拡大された画像の領域が水平方向Ｘ５からＸ６、垂直方向Ｙ２からＹ３内という情報となる。つまり、ＣＰＵ３０１は、履歴情報として、拡大描画したという動作と、拡大描画した領域の座標ブロックを、ＲＡＭ３０３に一時的に記憶する。

また、表示画像６００内でのどのような動作を強調動作として特定するかは、予め定めることが可能である。例えば、上述したように、ある表示領域での、ポインタの指し示した時間又は重複度（頻度）に基づいて、当該動作を強調動作として特定するように予め設定してもよい。或いは、リモコンや操作部３０７での操作指示をそのコマンドとともに動作として特定するように予め設定してもよい。ＣＰＵ３０１は、これらの動作を検知した場合に、当該動作が行われた表示領域を座標ブロック７００を用いて特定する。

また、ＲＡＭ３０３に一時的に記憶された履歴情報は、図５で説明したプロジェクタ１２０と印刷装置１００とのやり取りに従い、所定のタイミングで印刷装置１００に転送され、印刷装置１００のＲＡＭ２０３又は大容量ストレージ２０６に保持される。

＜ダイジェスト版の作成方法＞
次に、図７及び図８を参照して、本実施形態におけるダイジェストデータ（ダイジェスト版）の作成方法について説明する。図７は、第１の実施形態に係るプレゼンテーションのダイジェストデータを作成する手順を示すシーケンス図である。本来、「ダイジェスト版」という用語は、要点を絞ったコンテンツ等を示すが、本実施形態はそれに限るものではない。つまり、ここでは、プレゼンテーションにおける資料のダイジェスト版を意味するのではなく、プレゼンテーション時の操作者による所定動作を含めたプレゼンテーションのダイジェスト版を作成することを意味している。もちろん、本発明はそれに限定されず、一般的なダイジェスト版のように、資料自体のダイジェスト版を作成してもよい。

まず、ステップＳ９０１において、プロジェクタ１２０は、印刷装置１００に対して、格納済みの履歴情報の要求を送信する。格納済みの履歴情報とは、上述したプレゼンテーション時に取得した、履歴情報であり、プレゼンテーション時のユーザ操作による動作、動作指示コマンド、又はそれらの位置情報等を含む情報である。

次に、ステップＳ９０２において、印刷装置１００は、プロジェクタ１２０に対して、格納済みの履歴情報を送信する。格納済みの履歴情報を受け取ったプロジェクタ１２０は、操作部３０７、又は、表示部３１０を介して、スクリーン１３０に格納済みの履歴情報を表示する。この履歴情報を参照し、ユーザは、ダイジェスト版の作成を、操作部又はリモコンを用いてスクリーン１３０での表示を介して指示を入力する。ユーザからの指示を受けると、ステップＳ９０３において、プロジェクタ１２０は、印刷装置１００に対して、ダイジェスト版の作成要求を送信する。

ダイジェスト版の作成要求を受けると、ステップＳ９０４において、印刷装置１００は、プレゼンテーションに用いられた表示データとプレゼンテーション時に取得した履歴情報とを用いて、ダイジェストデータを作成する。作成したダイジェストデータについては、図８を用いて後述する。

次に、ステップＳ９０５において、印刷装置１００は、作成したダイジェストデータを、ＣＰＵ２０１によってディスプレイリストに変換し、プロジェクタ１２０に対して、当該データを送信する。なお、ディスプレイリストの生成については、図４で説明した方法と同様であるため、説明を省略する。

ディスプレイリストを受信すると、ステップＳ９０６において、プロジェクタ１２０は、レンダリング部３０９でレンダリングし、その結果を表示部３１０へ送り、スクリーン１３０に表示する。ユーザは、スクリーン１３０に表示されたダイジェスト版を確認し、必要に応じて修正の指示を行う。問題なければ、ユーザによりダイジェスト版の出力要求が指示される。

ユーザからの指示を受け、ステップＳ９０７において、プロジェクタ１２０は、印刷装置１００に対して、ダイジェスト版の出力要求を送信する。ここでの出力要求には、例えば、印刷装置１００において印刷出力する要求や、ＬＡＮ１５０を介して接続された外部装置に送信する要求が含まれる。したがって、印刷装置１００は、指示の内容に従い、ダイジェスト版の印刷処理又は送信処理を実行する。

印刷処理の場合、印刷装置１００のＣＰＵ２０１は、印刷データであるダイジェスト版のディスプレイリストを生成し、レンダリング部２１８でレンダリング処理を実行させる。その後、プリンタ画像処理部２１５でプリンタ画像処理を施し、プリンタＩ／Ｆ２１６を介し、プリンタ部２１７で出力する。出力の部数や書式は、予め定められた初期設定に従ってもよいし、ダイジェスト版の出力要求に付加されたユーザ指示に従ってもよい。なお、印刷装置１００では、ダイジェスト版の生成において、プレゼンテーションデータをＰＤＬとして保持しているため、ダイジェスト版の生成や色づけなどの強調処理が容易に実現できる。

一方、送信処理の場合、ＣＰＵ２０１は、ディスプレイリスト化し、レンダリング部２１８でレンダリング処理を実行させる。その後、ＣＰＵ２０１は、例えば、ＰＤＦ化し、インタフェース制御部２０７、ＮＩＣ２０８開始、及びＬＡＮ１５０を介して、所定の宛先に送信する。宛先は、予め定められた初期設定に従ってもよいし、ダイジェスト版の出力要求時にユーザが指示してもよい。なお、送信時のファイルフォーマットはＰＤＦに限定されず、ＴＩＦＦやＪＰＥＧなどの画像ファイルでもよいし、ＸＰＳ（ＸＭＬ Ｐａｐｅｒ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）などでもよい。

図８は、第１の実施形態に係るプレゼンテーションのダイジェスト画像１０００、１１００を示す図である。図８に示すダイジェスト画像１０００は、ポインタによる強調動作を元に作成したダイジェスト版である。具体的には、ダイジェスト画像１０００は、表示画像６００と表示画像６００をプレゼンテーションした際の動作とを含む。したがって、ここでは、表示画像６００と同一の表示内容については、同一の番号を付し、説明を省略する。

表示画像６００とダイジェスト画像１０００とを比較すると、プレゼンテーション時に強調した説明文６０４が、ダイジェスト画像１０００では、説明文１００４のように、太字にされ、文字サイズが大きくされて表示されている。このように表示制御することで、プレゼンテーション時のユーザの強調した領域をダイジェスト版に反映させることができる。なお、ここでは、強調の方法として、太字にしたり、文字サイズを大きくしたりする表示制御について説明したが、これに限らず、色づけ、枠付け、斜体字、反転文字など、一般的に用いられる強調方法を用いてもよい。

図８に示すダイジェスト画像１１００は、拡大描画の強調動作を元に作成したダイジェスト版である。具体的には、ダイジェスト画像１１００は、表示画像６００と表示画像６００をプレゼンテーションした際の動作とを含む。したがって、ここでは、表示画像６００と同一の表示内容については、同一の番号を付し、説明を省略する。

表示画像６００とダイジェスト画像１１００とを比較すると、プレゼンテーション時に拡大描画し、強調した画像６０５が、ダイジェスト画像１１００では、画像１１０５のように、画像が拡大されて表示されている。このように表示制御することで、プレゼンテーション時のユーザの強調した領域をダイジェスト版に反映させることができる。なお、ここでは、強調の方法として、表示サイズを拡大描画する表示制御について説明したが、これに限定されず、枠付け、色づけ、下地の反転など、一般的に用いる強調方法を用いてもよい。

なお、上述したように、ダイジェスト版の作成要求については、プロジェクタ１２０から要求することに限定する必要はない。例えば、印刷装置１００の操作部２１１から指示してもよいし、ＰＣ１４０から指示してもよい。

以上説明したように、本実施形態に係る画像処理システムは、表示装置であるプロジェクタにおいてプレゼンテーション時のユーザの動作、例えば、ポインタの操作や拡大描画の操作を、当該操作の対象となる表示領域とともに履歴情報として記憶する。さらに、画像処理装置である印刷装置において、プレゼンテーション時に用いた表示データと、上記履歴情報とを用いて、プレゼンテーションのダイジェストデータを作成する。したがって、本画像処理システムでは、操作者によるプレゼンテーションをビデオカメラ等で撮影することなく、プレゼンテーション時の操作者による強調動作を含むダイジェストデータを作成することができる。

なお、本発明は上記実施形態に限らず様々な変形が可能である。例えば、表示装置は、強調動作の表示領域を示す情報として、表示画像における座標データを用いてもよい。これにより、本画像処理システムは、強調動作の対象となる表示領域を容易に特定することができる。

また、送信機能を持つ印刷装置を用いれば、ダイジェスト版の印刷だけでなく、他の装置への配信も可能となる。また、本画像処理システムは、表示装置としてプロジェクタ以外に、モニタ等に画像を表示する装置を適用してもよい。

＜第２の実施形態＞
次に、図９を参照して、第２の実施形態について説明する。本実施形態は、第１の実施形態と異なり、履歴情報の取得（強調動作の検知）において、描画前後の表示画像の差分から強調動作を検知することを特徴とする。なお、ここでは、第１の実施形態と異なる技術についてのみ説明を記載する。即ち、以下で説明する技術以外については、第１の実施形態と同様である。図１２は、第２の実施形態に係る表示画像の構造を示す図である。

図６に示す表示画像６００は、画像１２００と、画像１２１０とから構成される。画像１２００は、プロジェクタ１２０において、ディスプレイリストをレンダリング部３０９でレンダリングした画像となる。また、画像１２１０は、操作部３０７からファイル操作や設定操作を行うためにスクリーン１３０上に表示される画像となる。したがって、表示画像６００は、画像１２００に画像１２１０を上書きした状態で表示されている。

したがって、プレゼンテーション時にユーザがポインタで画像を指し示して強調したときには、画像１２１０上に当該ポインタが描画されているため、画像１２００と直接比較して強調動作を検知することは難しい。そこで、本実施形態によれば、レンダリングした画像１２００に配置される文字オブジェクトや画像オブジェクトの外枠を定義した外枠画像１２２０を作成する。このとき、外枠画像１２２０を画像として保持する必要はなく、矩形情報１２０１、１２０２、１２０３、１２０４、１２０５の矩形座標を保持すればよい。

これらの矩形座標を用いて、ＣＰＵ３０１は、ポインタが矩形座標内（外枠画像に対応する表示領域内）にポインタが表示された頻度に基づき、強調動作を特定する。例えば、ユーザ操作によってポインタが矩形情報１２０４内を予め定められた時間又は回数（頻度）を超えて表示された場合に、ＣＰＵ３０１は、当該動作を強調動作として特定し、矩形情報１２０４に対応する説明文６０４に対して強調動作が行われたと認識する。つまり、本実施形態では、ユーザによって強調動作が行われた領域を、プロジェクタ１２０による表示画像に含まれる文字オブジェクトや画像オブジェクトとして特定する。また、ＣＰＵ３０１は、履歴情報として、強調動作の種別と、当該強調動作の対象となった表示領域を示す外枠画像の情報（矩形情報）を、ＲＡＭ３０３に一時的に記憶する。

以上説明したように、本実施形態に係る画像処理システムは、所定動作が行われた表示領域を、表示画像に含まれる各オブジェクトの矩形情報（外枠画像の情報）を用いて特定する。例えば、強調動作がポインタの操作である場合には、当該矩形情報に対応する表示領域内にポインタが表示された頻度に基づいて、強調動作を特定する。このように、各オブジェクトの矩形情報を用いて強調動作を特定すると、どのオブジェクトに対して強調動作が行われたかを容易に推定することがきる。したがって、より正確な履歴情報を生成することができる。

＜第３の実施形態＞
次に、第３の実施形態について説明する。上述した第１及び第２の実施形態では、プロジェクタ用のリモコンなどで、描画画像上にポインタを上書き表示する例について説明した。しかし、プレゼンテーションでは、レーザポインタなどが使われるケースもあるため、描画画像からでは強調した領域の履歴情報を取得することができない場合もある。そこで、本実施形態では、ユーザがレーザポインタなどで指し示すケースに対応する方法について説明する。なお、ここでは、第１の実施形態と異なる技術についてのみ説明を記載する。即ち、以下で説明する技術以外については、第１の実施形態と同様である。

近年のプロジェクタには、投影画像を見やすくするための機能が搭載されている。例えば、壁やスクリーンの色を検知し、最適な色温度に変換し、投影する機能が搭載されている。また、傾きのある壁やスクリーンに投影しても、投影画像が歪曲しないように、傾きを検知する機能が搭載されている。このような機能を実現するために、プロジェクタには、投影用の光学系以外に、投影対象となる壁やスクリーンの色及び傾きを検知する検知センサが搭載されている。

本実施形態では、この検知センサを用いて、表示画像が投影された後に、次の表示画像が投影されるまでの間に検知センサが検出したデータの発生頻度、及び発生位置を算出する。具体的には、本実施形態に係るプロジェクタは、当該検知センサを用いて、レーザポインタにより照射されたポインタの照射時間や照射位置を検知する。したがって、本プロジェクタは、この検知結果に基づき、プレゼンテーションの強調動作を特定し、履歴情報を取得する。

以上説明したように、本画像処理システムは、操作者がレーザポインタを用いてプレゼンテーションを行う場合であっても、検知センサによってレーザポインタにより照射された時間や位置を把握し、上述の実施形態と同様の履歴情報を生成することがきる。

なお、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (17)

1. 表示装置と、画像処理装置とが接続された画像処理システムであって、
   前記表示装置は、
   前記画像処理装置から送信される表示データを受信し、該表示データに従って表示画像を表示する表示手段と、
   前記表示画像の表示中に操作者によって操作された所定動作を特定する特定手段と、
   前記特定された所定動作の履歴を示す履歴情報を格納する格納手段とを備え、
   前記画像処理装置は、
   前記表示装置へ送信するための前記表示データを生成する生成手段と、
   前記生成した表示データを前記表示装置に送信した後に、該表示装置から前記履歴情報を受信し、前記生成した表示データに対応付けて記憶する記憶手段と
   を備えることを特徴とする画像処理システム。
2. 前記画像処理装置が、
   前記生成した表示データと前記記憶した履歴情報とを用いて、前記操作者によるプレゼンテーションのダイジェストデータを作成する作成手段を更に備えることを特徴とする請求項１に記載の画像処理システム。
3. 前記特定手段は、
   前記所定動作が前記表示画像に表示されるポインタの動作である場合に、前記ポインタが所定の表示領域に表示された頻度に基づき、該所定動作を特定し、
   前記所定動作が前記表示画像に含まれる一部の画像が拡大描画される動作である場合に、前記拡大描画するための前記操作者による入力に基づいて該所定動作を特定することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記格納手段は、
   前記履歴情報として、前記所定動作の種別と、前記所定動作の対象となった表示領域を示す前記表示画像における座標データとを格納することを特徴とする請求項３に記載の画像処理システム。
5. 前記表示装置は、
   前記表示画像に含まれる文字オブジェクト又は画像オブジェクトの表示領域における外枠を定義した外枠画像を生成する手段をさらに備え、
   前記特定手段は、
   前記所定動作が前記表示画像に表示されるポインタの動作である場合に、前記外枠画像に対応する表示領域内に前記ポインタが表示された頻度に基づき、該所定動作を特定し、
   前記所定動作が前記表示画像に含まれる一部の画像が拡大描画される動作である場合に、前記拡大描画するための前記操作者による入力に基づいて該所定動作を特定することを特徴とする請求項１又は２に記載の画像処理システム。
6. 前記格納手段は、
   前記履歴情報として、前記所定動作の種別と、前記所定動作の対象となった表示領域を示す前記外枠画像の情報とを格納することを特徴とする請求項５に記載の画像処理システム。
7. 前記表示装置は、
   前記画像処理装置に対して前記ダイジェストデータの作成を要求する要求手段をさらに備え、
   前記作成手段は、前記要求手段によって前記ダイジェストデータの作成が要求された場合に、該ダイジェストデータを作成することを特徴とする請求項２に記載の画像処理システム。
8. 前記作成手段は、前記所定動作が行われた領域を強調して表示させた前記ダイジェストデータを作成することを特徴とする請求項２に記載の画像処理システム。
9. 前記画像処理装置は、
   前記作成手段によって作成された前記ダイジェストデータを、記録材に印刷するか、又は、ネットワークを介して接続された外部装置に送信する出力手段をさらに備えることを特徴とする請求項２に記載の画像処理システム。
10. 前記表示装置は、前記表示データに従って表示画像を投影するプロジェクタであることを特徴とする請求項１乃至９の何れか１項に記載の画像処理システム。
11. 前記表示装置は、
    投影した前記表示画像に対して、前記操作者がレーザポインタを用いて照射した照射時間及び照射位置を検知する検知手段をさらに備え、
    前記特定手段は、前記検知手段による検知結果に基づいて前記所定動作を特定することを特徴とする請求項１０に記載の画像処理システム。
12. 表示装置に接続された画像処理装置であって、
    前記表示装置へ送信するための表示データを生成する生成手段と、
    前記生成した表示データを前記表示装置に送信した後に、該表示装置において前記表示データに従って表示された表示画像の表示中に、操作者によって操作された所定動作の履歴を示す履歴情報を前記表示装置から受信し、前記表示データ及び前記履歴情報を用いて、前記操作者による前記表示画像を用いたプレゼンテーションのダイジェストデータを作成する作成手段と
    を備えることを特徴とする画像処理装置。
13. 画像処理装置に接続された表示装置であって、
    前記画像処理装置から送信される表示データを受信し、該表示データに従って表示画像を表示する表示手段と、
    前記表示画像の表示中に操作者によって操作された所定動作を特定する特定手段と、
    前記特定された所定動作の履歴を示す履歴情報を前記画像処理装置に送信する送信手段と
    を備えることを特徴とする表示装置。
14. 表示装置と、画像処理装置とが接続された画像処理システムの制御方法であって、
    前記表示装置が、
    前記画像処理装置から送信される表示データを受信し、該表示データに従って表示画像を表示するステップと、
    前記表示画像の表示中に操作者によって操作された所定動作を特定するステップと、
    前記特定された所定動作の履歴を示す履歴情報をメモリに格納するステップとを実行し、
    前記画像処理装置が、
    前記表示装置へ送信するための前記表示データを生成するステップと、
    前記生成した表示データを前記表示装置に送信した後に、該表示装置から前記履歴情報を受信し、前記生成した表示データに対応付けてメモリに記憶するステップと
    を実行することを特徴とする画像処理システムの制御方法。
15. 表示装置に接続された画像処理装置の制御方法であって、
    前記表示装置へ送信するための表示データを生成するステップと、
    前記生成した表示データを前記表示装置に送信した後に、該表示装置において前記表示データに従って表示された表示画像の表示中に、操作者によって操作された所定動作の履歴を示す履歴情報を前記表示装置から受信し、前記表示データ及び前記履歴情報を用いて、前記操作者による前記表示画像を用いたプレゼンテーションのダイジェストデータを作成するステップと
    を実行することを特徴とする画像処理装置の制御方法。
16. 画像処理装置に接続された表示装置の制御方法であって、
    前記画像処理装置から送信される表示データを受信し、該表示データに従って表示画像を表示するステップと、
    前記表示画像の表示中に操作者によって操作された所定動作を特定するステップと、
    前記特定された所定動作の履歴を示す履歴情報を前記画像処理装置に送信するステップと
    を実行することを特徴とする表示装置の制御方法。
17. 請求項１４に記載の画像処理システムの制御方法、請求項１５に記載の画像処理装置の制御方法、または請求項１６に記載の表示装置の制御方法をコンピュータに実行させるためのプログラム。

Images