JP5541679B2 - 画像処理装置及び方法、並びに、プログラム - Google Patents

Description

本発明は、撮影装置により撮影して得られた画像データを保存することに関する。より詳細には、投影装置によって画像が投影されている投影板（ホワイトボード）に手書き加筆されている状態においてカメラで撮影して得た画像データについて形状及び位置を補正して保存することに関する。

近年、ネットワークの普及により、文書が電子的に配布される機会が増え、会議を行う場合に、ホワイトボードを投影板として用いて電子データを資料として投影し、更にホワイトボード上に水性ペンなどで手書き記入することも多い。そこで、プロジェクターにより画像データを投影した状態の投影板（ホワイトボード）に手書き情報を加えた状態をデジタルカメラなどで撮影し、議事録として電子配布可能なデータとするための技術が考えられている。

また、投影板などの平面に正対しない状態で撮影した画像から既知の矩形枠を取得することで歪パラメータを発見し、正対した状態の画像に補正する技術があった（特許文献１）。この技術を用いれば、投影内容中の既知の矩形枠、例えば投影領域の外枠や投影板自体の枠などに対応する枠を検出し、当該検出した枠の歪みに基づいて、歪みパラメータを求めることができる。そして、算出した歪パラメータを用いた補正により、投影板に正対しない状態で撮影した画像から歪みのない画像が得られる。

また、外枠画像を投影して撮影することで投影画像の外枠を検出し、投影板に記入された筆記画像の位置とサイズを当該検出した外枠に合わせて補正し、補正後の筆記画像を、投影されていた元の画像データにずれなく合成する技術があった（特許文献２）。

特開平０３−０９４３８３号公報 特開２００７−０１７５４３号公報 特開２００３−２８８５８８号公報 特許第３０２６５９２号明細書

実際に非固定の可搬プロジェクターを用いる際は、投影板とプロジェクターが正確に正対しない状態で運用する場合も多い。このような状態においてデジタルカメラなどで撮影された画像は投影板と撮影位置との位置関係による歪みを含む他、投影装置と投影板の位置関係による歪みも含む。すなわち、撮影画像において、投影装置により投影された画像の部分は、両方の歪みが複合したものとなる。一方、ユーザーは投影版（ホワイトボード）に正対して文字などの書き込みを行うので、書き込み部分（筆記画像）は、投影装置と投影版の位置関係による歪みは含まず、投影板と撮影位置との位置関係による歪みの影響だけを含む。したがって、投影領域の外枠を基準として撮影画像を補正すると手書き部分の形状に歪が生じる問題があった。

上記課題を解決するために案出された本発明に係る画像処理装置は、投影装置によって投影オブジェクトが投影され且つユーザーによって手書きオブジェクトが手書きされた板を撮影して得た画像データを入力する入力手段と、前記入力された画像データから、前記板の四辺を構成する第１の枠と、前記投影装置によって投影される投影領域の四辺を構成する第２の枠とを抽出する枠抽出手段と、前記第１の枠に基づいて第１の歪み補正値を取得し、前記第２の枠に基づいて第２の歪み補正値を取得する補正値取得手段と、前記入力された画像データから、前記投影オブジェクトと前記手書きオブジェクトとを抽出するオブジェクト抽出手段と、前記抽出された手書きオブジェクトに対しては前記第１の歪み補正値を用いて歪み補正を行い、前記抽出された投影オブジェクトに対しては前記第２の歪み補正値を用いて歪み補正を行う歪み補正手段と、前記歪み補正された手書きオブジェクトと前記歪み補正された投影オブジェクトとを用いて歪み補正された画像データを生成する出力手段と、を備える。

投影装置による投影データに傾きが在る状態で撮影装置により投影画像及び手書きによる画像を撮影した場合であっても、手書きの記入物の画像を本来の記述形状と同じ形状に補正した上で、投影データ上の適切な位置に重ね合わせた画像データを生成することができる。

実施形態１の入力画像取得環境の例を示す図である。 実施形態１における入力画像の例を示す図である。 実施形態１の構成例を示す図である。 実施形態１の動作を示すブロック図である。 実施形態１における画像処理のフローチャートである。 実施形態１における枠抽出処理の例を示す図である。 実施形態１におけるオブジェクト分割処理結果の例を示す図である。 実施形態１におけるオブジェクト補正処理結果の例を示す図である。 実施形態１における出力画像の例を示す図である。 実施形態２における画像処理のフローチャートである。 実施形態２における入力画像の例を示す図である。 実施形態２における手書き部分抽出の例を示す図である。 実施形態２における出力画像の例を示す図である。

〔実施形態１〕
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。

図１は、本発明の実施形態の画像処理装置へと入力される画像が取得される環境を示す図である。

四辺形形状を有する白板(ホワイトボード)１０１は投影板と記入板を兼ねている。白板１０１へ記入を行うためにペン１０２が用いられる。投影装置(プロジェクター)１０３から白板１０１へ画像を投影する。該投影画像はＰＣ１０４などのコンピューターから投影装置１０３へ入力される。白板１０１は、投影画像及び手書き画像の背景となる。投影領域を包含する白板１０１を撮影するために撮影装置(デジタルカメラ)１０５が用いられる。上記環境において、投影装置１０３より白板１０１上つまり背景上へ、撮影装置１０５で撮影した画像の投影データ１１０が投影される。投影画像が投影されている白板上に手書き加筆されることで、投影画像及び手書き画像は同時に存在し得る。

図２は本発明の画像処理装置に入力される入力画像の例を説明するための図である。

撮影装置１０５により撮影された入力画像２００は、四辺からなる白板領域枠２０１と、四辺からなる投影領域枠２０２と、投影された画像のオブジェクト２０３、ペン１０２により記入された手書きオブジェクト２０４を含む。投影装置２０３が白板１０１の斜め方向から投影すると、投影領域は白板に対して歪みが生じる。また、撮影位置と対象物の位置関係から傾き、すなわち線形歪みが生じる。したがって、撮影した画像２００において、特に、投影領域枠２０２、投影画像オブジェクト２０３は、投影装置１０３と白板１０１の位置関係によって、白板１０１の白板領域枠２０１の歪みとは別の歪みを持っている。

図３は本発明を実施する画像処理装置の構成例を示すブロック図である。

画像処理装置３００は、外部記憶媒体Ｉ／Ｆ３０１とＣＰＵ３０２とメモリ３０３とハードディスク３０４を含んで構成される。撮影した画像データの入力を外部記憶媒体Ｉ／Ｆ３０１から行ない、画像データに本発明の処理を施すための画像処理プログラムをＣＰＵ３０２が実行する。メモリ３０３は、該プログラムを実行する際のワークメモリやデータの一時保存などに用いられ、ハードディスク３０４は、該プログラムやデータを格納するために用いられる。

図３に示した画像処理装置３００の構成は一例であり、本発明の画像処理をＰＣ１０４により実行しても、或いは撮影装置１０５の電子回路またはＡＳＩＣ上で実行してもよい。

図４は本実施形態の画像処理を説明するブロックダイアグラムである。

撮影装置１０５で撮影された画像が、外部記憶媒体Ｉ／Ｆ３０１からの入力画像４００として枠抽出処理部４０１およびオブジェクト分割処理部４０７に入力される。

枠抽出処理部４０１は、入力画像４００から４つの直線で構成された枠を抽出し、白板領域の輪郭に相当する白板領域枠形状４０２および投影領域の輪郭に相当する投影領域枠形状４０３を、歪み補正値抽出処理部４０４へ提供する。歪み補正値抽出処理部４０４は、白板領域枠形状４０２、投影領域枠形状４０３からそれぞれの歪みを数値化する処理を行い、白板領域枠形状４０２から白板歪み補正値４０５を算出し、投影領域枠形状４０３から投影歪み補正値４０６を算出する。

一方、オブジェクト分割処理部４０７は、入力画像４００から、活字や記号、手書き文字などのオブジェクトを分割して得た各オブジェクトデータ４０８を、オブジェクト補正処理部４０９へ提供する。オブジェクト補正処理部４０９は、該オブジェクトデータについて白板歪み補正値４０５および投影歪み補正値４０６をもとに補正をし、補正されたオブジェクトデータの集合により形成される出力画像４１０を出力する。

図５は、図４のブロックダイアグラムに従った本実施形態の処理手順を説明するための詳細フローチャートである。以下、図２の画像２００を入力画像４００として用いた場合に、幅ｗ、高さｈの出力画像４１０を生成する例を、同フローチャートにより説明する。

ステップＳ５０１では、枠抽出処理部４０１が入力画像４００中から投影領域の枠に相当する四角形を抽出する。

枠に相当する四角形の抽出は、公知の手法を用いて次のように行うことができる。SobelやLaplacianフィルタなどを用いたエッジ強調手法により、入力画像中の白板領域の境界部分や投影領域の境界部分に該当する画素を極立たせる。この強調画像に対しハフ変換や最小近似法などの公知の直線抽出手法を用いることで、四角形を構成する十分に長い４辺を抽出する。

図２の入力画像２００に対してエッジ強調を行った画像の例を図６に示す。四角形６０１が、投影領域の枠に相当する。なお、図６が示すように、エッジ強調された画像からは投影領域の枠６０１の外側に、後述する白板領域の枠６０２が抽出される。ステップＳ５０１では抽出された２つの枠のうち内側のものを投影領域の枠として選択することとする。

ステップＳ５０２では、枠抽出手段が入力画像中から白板領域の枠に相当する不等辺四角形を抽出する。本処理は、ステップＳ５０１の処理に付随して行い、入力画像をエッジ強調した画像から抽出される２つの枠のうち、外側の枠を白板領域の枠として選択すればよい。もし枠が１つしか見つからない場合は、２つの枠が検出されるようにエッジ強調のパラメータや直線検出方法を変更して再度ステップＳ５０１〜Ｓ５０２の処理を行うようにしてもよい。また、白板の種類によっては角が丸まっているものもあるが、そのような場合は、エッジ強調された画像から、白板の上辺・下辺・左辺・右辺を構成する各直線を検出し、当該直線の位置を基準にして四角形の位置を得るように構成してもよい。

ステップＳ５０３では、補正値取得手段が、入力画像中の歪みについて投影領域を基準にして補正するための投影歪み補正値を抽出し取得する。

ここで投影歪み補正値とは、矩形領域を３次元的な角度をもって２次元平面に投影した場合に生成される不等辺四角形領域を、元の矩形領域へと補正する演算、いわゆる逆透視変換演算で用いられる変換行列のパラメータである。例えば特許文献３に開示されているように、逆透視変換の演算式に変換前の４頂点の座標と変換後の４頂点の座標をそれぞれ代入し、得られる連立方程式を解くことにより変換行列のパラメータが抽出される。

ステップＳ５０３の処理の場合、上記変換前の４頂点の座標は、ステップＳ５０１で抽出された投影領域枠の４頂点の座標に相当する。変換後の４頂点の座標は、予めユーザーによって指定された、投影領域部分に対する出力サイズｗ×ｈの画像領域の４隅、すなわち（０，０），（ｗ，０），（ｗ，ｈ），（０，ｈ）の４点である。両座標を用いて作られた連立方程式を解いて得られた行列の各パラメータは、投影歪み補正値として記憶される。

ステップＳ５０４では、補正値取得手段が、入力画像中の歪みについて白板領域枠を基準にして補正するための白板歪み補正値４０５を抽出し取得する。

白板歪み補正値４０５を求める処理は、ステップＳ５０３と同様に行うことができる。ここで変換前の４頂点の座標として代入するのは、ステップＳ５０２で抽出された白板領域枠の４頂点である。変換後の４頂点の座標は、予めユーザーが指定した白板のアスペクト比ａ（横／縦）、投影領域部分に対する出力サイズｗ×ｈ、および入力画像中の投影領域に対する白板領域の高さ比ｒから次のように求められる。

（０，０），（Ｗ，０），（Ｗ，Ｈ），（０，Ｈ） 但し、Ｈ＝ｈ×ｒ、Ｗ＝ａ×Ｈ
図６における白板領域枠６０２の上辺の中点Ａと下辺の中点Ｂを結ぶ線分ＡＢが投影領域枠６０１の上辺と交差する点をＣ、下辺と交差する点をＤとする。このとき、上記のｒは、線分ＡＢの長さＬ１と線分ＣＤの長さＬ２の比Ｌ１／Ｌ２で求められる。

ステップＳ５０５では、オブジェクト分割出手段により、入力画像中の白板に記入された記入物、および投影された投影物を個別のオブジェクトに分割し抽出する。分割された抽出オブジェクトは形状と位置を持ったデータとして記憶される。

オブジェクト分割の処理は次のように行う。まずオブジェクト画素が黒、背景画素が白となるように入力画像を二値画像に変換する。例えば多値画像の輝度ヒストグラムを取得し、それらのピークから適応的に求めた閾値を用いて二値化画像に変換する手法を用いることができる。次に公知の手法によりラベリング画像を生成する。例えば以下のような手法を用いることができる。二値画像を形成する各ラインの画素をスキャンし、黒画素が連続する区間について、スタート位置と終了位置をテーブルに格納する。全ラインについてこの処理を終えると、ライン間で接している区間に同じラベルを与え、黒画素領域を形成することでラベリング画像を生成する。生成したラベリング画像内で同一ラベルを持つ画素塊をそれぞれオブジェクトとみなす。

ステップＳ５０５では、オブジェクトデータに記憶される形状情報および位置情報の初期値を与える。形状情報とは、同オブジェクトが特定可能なラベリング画像を指し示す情報、および同画像上で対応する画素のラベル値である。位置情報とは、同ラベリング画像上で対応するラベル画素集合に外接する矩形の左下の座標である。

図７は入力画像２００に対してオブジェクト分割処理を行った結果を表す。

連続する黒画素にラベリングした結果、入力画像２００の投影画像２０３について、外接矩形で示した１２個のオブジェクト７３０１〜７３１２に分割される。入力画像２００の手書き記入物２０４について、外接矩形で示した１３個のオブジェクト７４０１〜７４１３に分割される。

ステップＳ５０６は、ステップＳ５０５で抽出されたオブジェクトそれぞれに対し、以降繰り返し終端ステップＳ５１２までの繰り返し処理を制御するステップである。つまり本実施形態では、２５個のオブジェクト７３０１〜７３１２および７４０１〜７４１３に対して処理を繰り返すように制御が行われる。

まずはオブジェクト７３０１を処理対象としてステップＳ５０７へ進み、オブジェクト選別手段が、対象となるオブジェクトが手書き記入物のオブジェクトか投影物のオブジェクトであるかの判定を行う。手書きオブジェクトであれば選別してステップＳ５０８に進み、その他のオブジェクトであればステップＳ５０９に進む。

手書きオブジェクトか投影物オブジェクトかの判定は、例えば、予め投影物と手書き記入物が異なる色になるように定めておき、入力画像から取得した各オブジェクトの色を用いて判断すればよい。或いは、線の揺れ度合の大きさや濃淡の不均一性などで手書き性を評価して判断することもできる。或いは、各オブジェクトについて投影歪みを用いて一度補正したうえで、オブジェクト内の線分が水平・垂直であるものを投影物と判断することもできる。或いは、近傍オブジェクトの判定結果を利用して、例えば位置、大きさの揃った投影物のオブジェクトが近くに存在する場合、対象を投影物と判断することもできる。或いは、予め手書き記入物の色を指定し、対象オブジェクトの色情報と手書き記入物の指定色情報とを比較して、別の色であると判断された場合は、投影オブジェクトと判断することができる。或いは、入力画像の撮影時に、手書き記入物判断のために投影装置による投影を停止して手書き記入物だけの状態を撮影して判断することもできる。このようにして得られた分類結果（判定結果）は各オブジェクトのデータに付随して保持される。

ここで、オブジェクト７３０１は手書きオブジェクト以外であると判断されるためステップＳ５０９へ進み、歪み補正手段が対象オブジェクト形状を投影歪み補正値で補正する。

この補正処理では、白板歪み補正値４０５を用いた逆透視変換により、ステップＳ５０５で生成されたラベリング画像の各画素を配置し直した、白板歪み補正済みラベリング画像を生成する。そして、対象オブジェクトデータの形状情報において、参照先となるラベリング画像がこの白板歪み補正済みラベリング画像になるように書き換える。

ステップＳ５１０では、歪み補正手段が対象オブジェクトの位置情報である左下の座標を投影歪み補正値で補正する。この補正処理は、変換行列に投影歪み補正値のパラメータを設定し、補正前の左下座標を逆透視変換演算することで行われる。

手書きオブジェクト以外と判断されるオブジェクト７３０１の様に、ステップＳ５０９において投影歪みで形状補正されたオブジェクトについては、位置についても同じ投影歪み値を用いれば良い。

ステップＳ５１１では、オブジェクトのデータに関連付けられた補正済ラベリング画像と、同画像内で対応する画素のラベル値情報から、補正済のオブジェクト画素形状を抽出し、オブジェクトの補正済み位置情報に従って出力画像上に配置する。これは単に、補正済ラベリング画像上での対象ラベル付き画素を出力画像内にコピーしてもよい。或いは出力画像内で独立したオブジェクトとして配置してもよい。例えば対象ラベル付き画素がオブジェクト色となり、それ以外が透明になるような部分画像データを生成し、出力画像内の指定位置に描画されるようなグラフィック記述データを構成してもよい。或いはこの部分画像の線部分の輪郭や芯線などを公知のベクトル変換技術によりベクトルパスデータに変換したデータを用いて構成してもよい。

例えば特許文献４が開示する技術では、画像をラスタ走査しながら注目画素とその近傍画素の状態に基づいて水平及び垂直方向の画素間ベクトルを検出する。次に、これら画素間ベクトル同士の接続状態を基に画像データの輪郭を抽出することで、アウトラインベクトルと呼ばれる連結画素データの周回を画素間ベクトルの集合で記述する情報を生成する。

ステップＳ５１２では、未処理オブジェクトがあればステップＳ５０６に戻って処理を繰り返し、未処理オブジェクトが無ければ繰り返さず終了する。ここでは未処理オブジェクトが２４個残っているため、ステップＳ５０６に戻ってオブジェクト７３０２を処理対象として、処理を繰り返す。オブジェクト７３０２〜７３１２はオブジェクト７３０１と同様にステップ５０７で手書きオブジェクトではないと判断されるため、説明を省略する。

オブジェクト７３１２の処理に続いてオブジェクト７４０１が処理対象とされ、ステップＳ５０７ではオブジェクト７４０１が手書きオブジェクトであると判断されるので、ステップＳ５０８へ進む。

ステップＳ５０８では、手書きと判定されたオブジェクトに対し、歪み補正手段が対象オブジェクトの形状を白板歪補正値で補正する。この補正処理は、パラメータに投影歪み補正値ではなく白板歪み補正値４０５を用いる点でステップＳ５０９の補正処理と異なり、その他は同一である。続いてステップＳ５１０〜Ｓ５１２の処理を行う。

手書き部分の歪みをなくすために白板の枠を基準にして補正すると、手書き部分と投影画像部分の補正量が異なるので、補正後の手書き部分画像をそのまま投影画像データに合成すると位置ずれが生じる恐れがある。一方、本発明では、手書きオブジェクトに対して、形状補正をする際は白板歪み補正値で補正し、且つ、位置補正をする際は投影歪み補正値を用いることで、形状の歪みを補正しつつ、手書きオブジェクトと投影オブジェクトの位置ずれを極力減らすことができる。

オブジェクト７４０２〜７４１３についても、ステップＳ５０７で手書きオブジェクトと判断され、オブジェクト７４０１と同様に、ステップＳ５０８，Ｓ５１０〜Ｓ５１２の処理が行われ、未処理オブジェクトがなくなると本フローチャートの処理を終了する。

図８は図５のフローチャートの各処理の過程を説明する図である。

手書きオブジェクトではない投影オブジェクト７３０１〜７３１２についてステップＳ５０９の形状補正、ステップＳ５１０の位置補正を行った結果、つまり投影領域枠２０２の歪みで逆透視変換処理をした結果、補正後画像８０１が得られる（図８（Ａ））。手書きオブジェクト７４０１〜７４１３についてステップＳ５０８の形状補正を行った結果、つまり白板領域枠２０１の歪みで逆透視変換処理をした結果、補正後画像８０２が得られる（図８（Ｂ））。両画像のサイズについては、ステップＳ５０４で求めた投影領域に対する白板領域の高さ比ｒに基づいて示してある。

オブジェクト７４０１〜７４１３の位置情報、つまり矩形左下座標について、ステップＳ５１０に従い投影領域枠位置補正をした結果、補正後の１３個のオブジェクト左下座標の位置８０３が得られる（図８（Ｃ））。同座標位置８０３は、説明のためにドットで示してある。破線８０４は、投影オブジェクトの位置を参考のため示している。

図９は、本実施形態による出力画像を従来技術の例と比較して示す図である。

２つの歪み補正値を用いた本実施形態の出力画像９０１（図９（Ａ））は、位置及び形状補正した投影オブジェクトを図８（Ａ）の通りに、図８（Ｂ）に示した補正形状の手書きオブジェクトを同（Ｃ）に示した補正位置に配置している。

従来技術による出力画像９０２は、投影歪み補正値のみを用いて全オブジェクトを補正したため、記入者が手書きしたオブジェクトの形状が元と異なり歪んだ形状となっているが（図９（Ｂ））、出力画像９０１は手書きオブジェクトの形状が歪むことがない。

以上説明したように本実施形態によれば、画像を投影し手書きで情報を追記した白板を撮影した画像を、見易い形状に補正して合成した画像とすることができる。

〔実施形態２〕
実施形態１では、単純に撮影画像から補正処理を行ったが、ＰＣ１０４から投影装置へ入力する画像データが特定・取得できる状態なら、該画像データに追記する形で補正してもよい。また、手書きオブジェクトの種類によって、適用する補正値の判断をしてもよい。

図１０は、本実施形態の画像処理方法の処理手順を説明するためのフローチャートである。以下、入力画像４００として図１１の画像１１００を用い、投影された画像データに追記し重ね合わせる形で出力画像４１０を生成する場合の処理を、同フローチャートに従って説明する。画像１１００は、投影画像に手書きで下線が付されたものである。

ステップＳ１００１では、データ特定手段が、撮影装置１０５が入力画像１１００を撮影した際に投影装置１０３が投影していた電子データを特定する。このデータ特定は、ＰＣ１０４内に対象ファイルが保存されていることを前提にして、文字列を用いた全文検索などの検索技術により行える。検索の為のキー情報は、入力画像１１００の投影領域枠内を投影歪で補正した画像やそのＯＣＲ結果の文字列から得られる。或いは、ユーザーに対応する電子データのファイル名を入力するように促し、入力された結果を用いて特定するようにしても良い。或いは、画像処理装置３００と投影装置１０３へ画像を入力するＰＣ１０４で通信することにより投影データを送信しても良い。

続いてステップＳ１００２〜Ｓ１００５では、ステップＳ５０１〜Ｓ５０４（図５）と同様の処理を行う。ステップＳ１００４における逆透視変換による変換後の４頂点の座標値には、ステップＳ１００１により特定された投影データの持つ幅ｗと高さｈから求めた座標値（０，０），（ｗ，０），（ｗ，ｈ），（０，ｈ）を用いる。

上記各ステップの処理により投影領域枠と白板領域枠についてそれぞれ投影歪補正値と白板歪補正値を抽出するとステップＳ１００６に進み、特定された投影データの内容を、出力画像内に配置する。例えば、投影データをレンダリングした画像を、出力画像の大きさにリサイズしたものを貼り付ければよい。或いは、投影データを背景および前景の各オブジェクトに分離し、オブジェクト毎に対応する位置に配置してもよい。

続いてステップＳ１００７でステップＳ５０５（図５）と同様にオブジェクト分割をした後、ステップＳ１００８では、分割すなわち抽出されたオブジェクト毎にステップＳ１００９〜Ｓ１０１４を繰り返す処理を制御する。

ステップＳ１００９では、投影データ内に対象オブジェクトと一致するオブジェクトが存在するか否かを判定する。一致、不一致の判断は、該当オブジェクトに対して投影歪み補正値を適用し補正した結果と、ステップＳ１００５で特定した投影データの画素の重なりによって行える。或いは、投影データのオブジェクトの位置情報から推測するなどの方法を用いることもできる。

図１２は投影データと一致するオブジェクトの検出例を示す。画像１２０１は入力画像１１００を投影歪み補正値で補正したもの、画像１２０２は投影データの色を反転したものである。画像１２０３は画像１２０１と画像１２０２の色情報を加算したもの、つまり画像１２０１から投影データの色情報を減算することで、投影データとの差分をとったものである。

ステップＳ１００９において一致すると判断した場合はステップＳ１００６で出力画像上へ配置済みであるため繰り返し終端のステップＳ１０１５に進む。一方、一致しない場と判断した合は手書きのオブジェクトとみなしてステップＳ１０１０に進み、オブジェクトが投影画像に対して記入された下線や囲みなどのマークオブジェクトであるかどうかを判定する。マークオブジェクトであるか否かの判断は、例えば投影オブジェクトに近接しているオブジェクトで文字以外がマークオブジェクトであるとすればよい。具体的には大きさ一定以下で、縦横比が１に近い物を文字とし、或いは直線や、楕円状などといった形状のものをマークオブジェクトと判断するようにしてもよい。

マークオブジェクトと判定された場合はステップＳ１０１２に進み、それ以外の手書きの記号などの場合はステップＳ１０１１に進む。画像１１０１（図１１）はマークオブジェクトであると判断される。

ステップＳ１０１１〜Ｓ１０１４ではステップＳ５０８〜Ｓ５１１と同様の処理を行ない、未処理オブジェクトがあればステップＳ１００８に戻って処理を繰り返し、未処理オブジェクトが無ければ繰り返さずに終了する。

図１３は、本実施形態による出力画像を従来技術の例と比較して示す図である。

本実施形態による出力画像１３０１（図１３（Ａ））は、投影データ部分に関して投影装置１０３へ入力した画像データを用いているため、投影データ部分に関し劣化の無い状態で再現することができる。

従来技術による出力画像１３０２（図１３（Ｂ））は、マークオブジェクト１１０１に対しても文字部分同様に、白板歪み値で形状補正した結果の出力画像例である。出力画像１３０２では、手書きマークオブジェクト１１０１が投影データ部分に重なってしまう。

以上説明したように、本実施形態によれば、投影データが特定できる場面においては、投影データ部分の画質の劣化がない。また、手書きの下線、囲みに対する補正値の判定処理を加えることで、手書きで追記した下線、囲みを見易い形で付加することができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 投影装置によって投影オブジェクトが投影され且つユーザーによって手書きオブジェクトが手書きされた板を撮影して得た画像データを入力する入力手段と、
   前記入力された画像データから、前記板の四辺を構成する第１の枠と、前記投影装置によって投影される投影領域の四辺を構成する第２の枠とを抽出する枠抽出手段と、
   前記第１の枠に基づいて第１の歪み補正値を取得し、前記第２の枠に基づいて第２の歪み補正値を取得する補正値取得手段と、
   前記入力された画像データから、前記投影オブジェクトと前記手書きオブジェクトとを抽出するオブジェクト抽出手段と、
   前記抽出された手書きオブジェクトに対しては前記第１の歪み補正値を用いて歪み補正を行い、前記抽出された投影オブジェクトに対しては前記第２の歪み補正値を用いて歪み補正を行う歪み補正手段と、
   前記歪み補正された手書きオブジェクトと前記歪み補正された投影オブジェクトとを用いて歪み補正された画像データを生成する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記歪み補正手段は、更に、前記手書きオブジェクトが前記投影オブジェクトに付されたマークオブジェクトであるか否か判定し、当該手書きオブジェクトがマークオブジェクトであると判定した場合は前記第２の歪み補正値を用いて当該手書きオブジェクトの形状を補正し、一方、当該手書きオブジェクトがマークオブジェクトでないと判定した場合は前記第１の歪み補正値を用いて当該手書きオブジェクトの形状を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記歪み補正手段は、前記第２の歪み補正値を用いて、前記手書きオブジェクトと前記投影オブジェクトの位置の補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記オブジェクト抽出手段は、前記入力された画像データに含まれる各オブジェクトの色、各オブジェクトの線の揺れ、濃淡の不均一性の少なくともいずれかを用いて、前記手書きオブジェクトと前記投影オブジェクトとを選別して抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記オブジェクト抽出手段は、前記入力された画像データに含まれる各オブジェクトの近傍に存在するオブジェクトの位置と大きさとに基づいて、前記手書きオブジェクトと前記投影オブジェクトとを選別して抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記オブジェクト抽出手段は、前記投影装置によって投影された前記投影オブジェクトの電子データを特定し、
   該特定した電子データとの比較により、前記入力された画像データから前記電子データに存在しない手書きオブジェクトを抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記出力手段は、前記歪み補正手段により歪み補正された手書きオブジェクトと前記特定した電子データを合成した画像データとを生成し出力することを特徴とする請求項６に記載の画像処理装置。
8. 投影装置によって投影オブジェクトが投影され且つユーザーによって手書きオブジェクトが手書きされた板を撮影して得た画像データを入力する入力ステップと、
   前記入力された画像データから、前記板の四辺を構成する第１の枠と、前記投影装置によって投影される投影領域の四辺を構成する第２の枠とを抽出する枠抽出ステップと、
   前記第１の枠に基づいて第１の歪み補正値を取得し、前記第２の枠に基づいて第２の歪み補正値を取得する補正値取得ステップと、
   前記入力された画像データから、前記投影オブジェクトと前記手書きオブジェクトとを抽出するオブジェクト抽出ステップと、
   前記抽出された手書きオブジェクトに対しては前記第１の歪み補正値を用いて歪み補正を行い、前記抽出された投影オブジェクトに対しては前記第２の歪み補正値を用いて歪み補正を行う歪み補正ステップと、
   前記歪み補正された手書きオブジェクトと前記歪み補正された投影オブジェクトとを用いて歪み補正された画像データを生成する出力ステップと、
   を有することを特徴とする画像処理方法。
9. コンピューターを、
   投影装置によって投影オブジェクトが投影され且つユーザーによって手書きオブジェク
   トが手書きされた板を撮影して得た画像データを入力する入力手段、
   前記入力された画像データから、前記板の四辺を構成する第１の枠と、前記投影装置によって投影される投影領域の四辺を構成する第２の枠とを抽出する枠抽出手段、
   前記第１の枠に基づいて第１の歪み補正値を取得し、前記第２の枠に基づいて第２の歪み補正値を取得する補正値取得手段、
   前記入力された画像データから、前記投影オブジェクトと前記手書きオブジェクトとを抽出するオブジェクト抽出手段、
   前記抽出された手書きオブジェクトに対しては前記第１の歪み補正値を用いて歪み補正を行い、前記抽出された投影オブジェクトに対しては前記第２の歪み補正値を用いて歪み補正を行う歪み補正手段、
   前記歪み補正された手書きオブジェクトと前記歪み補正された投影オブジェクトとを用いて歪み補正された画像データを生成する出力手段、
   として機能させることを特徴とするプログラム。

Images