JP2020098420A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】筆記対象に筆記された筆記内容の画像である筆記内容画像の視認性を高めることを可能とする画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】システム１において、画像処理装置は、入力装置によって検出された筆記対象の情報に基づいて、筆記対象に筆記された筆記内容の画像である筆記内容画像の色相、明度若しくは彩度の補正、筆記内容画像の幅の補正、あるいは筆記内容画像の輪郭の強調、あるいは筆記内容画像の幅の補正等の形態を補正する補正部及び補正した筆記内容画像を含む出力画像を制御する出力部を備える。【選択図】図２

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

近年、黒板や白板などに筆記された板書を抽出し、抽出した板書の情報を出力する技術が開発されている。例えば特許文献１では、黒板や白板などを撮像し、撮像した画像から板書に対応する画像を抽出し、抽出した画像を出力する技術が開示されている。

特開２０１６−３０３６９号公報

しかし、特許文献１に記載の技術では、抽出された画像がそのままモノクロ画像データとして出力されるため、当該画像の視認性が良くない場合が想定される。また、抽出された画像がカラー画像としてそのまま出力される場合でも、板書を物理空間で直接見る場合と、ディスプレイ上で見る場合とで見え方が異なり得るため、当該画像の視認性が良くない場合が想定される。

また一般的に、板書は、筆記される対象に適するような形態で筆記される。そのため、板書の画像が抽出され、筆記される対象とは異なる下地の画像に合成されて出力画像として出力された場合に、当該出力画像における板書の画像の視認性が良くない場合が想定される。

本開示によれば、検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正する補正部、を備える、画像処理装置が提供される。

また、本開示によれば、プロセッサが、検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正すること、を含む、画像処理方法が提供される。

また、本開示によれば、コンピュータを、検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正する補正部、として機能させるための、プログラムが提供される。

本開示の一実施形態に係る画像処理装置１００および入力装置２００の概要を説明するための図である。 本実施形態に係るシステム１の機能構成の一例を説明するための図である。 同実施形態に係る取得部１１が取得する画像の一例について説明するための図である。 同実施形態に係る抽出部１４による抽出処理の一例について説明するための図である。 同実施形態に係る抽出部１４による筆記対象領域の抽出処理の一例について説明するための図である。 同実施形態に係る抽出部１４による筆記対象領域の抽出処理の結果の一例について説明するための図である。 同実施形態に係る補正部１５による補正方法の一例について説明するための図である。 同実施形態に係る補正部１５による補正方法の一例について説明するための図である。 同実施形態に係る補正部１５による補正方法の一例について説明するための図である。 同実施形態に係る補正部１５による色相角５０度から７０度にあたる色相における二字曲線による補正の一例について説明するための図である。 同実施形態に係る補正部１５によるフィルタを使用した補正処理の実行の具体例について説明するための図である。 同実施形態に係る補正部１５による筆記内容画像２２の輪郭の補正処理に係る一例について説明するための図である。 同実施形態に係る出力装置３００による出力の一例について説明するための図である。 同実施形態に係るシステム１の動作の流れの一例について説明するための図である。 同実施形態に係る補正部１５による筆記者が筆記対象２に筆記を行っているか否かを示す行動検出情報に基づく補正処理の一例について説明するための図である。 同実施形態に係る補正部１５による筆記者が筆記対象２に筆記を行っているか否かを示す行動検出情報に基づく補正処理の一例について説明するための図である。 同実施形態に係る補正部１５による筆記者３と筆記対象２との位置関係に基づく筆記内容画像の補正処理について説明するための図である。 本開示の一実施形態に係るシステム１を有する情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施形態
１−１．背景
１−２．全体構成例
１−３．機能構成例
２．動作例
３．応用例
３−１．応用例１
３−２．応用例２
４．ハードウェア構成例
５．まとめ

＜１．実施形態＞
＜＜１−１．背景＞＞
まず、最初に、本開示の実施形態の背景について説明する。

近年、黒板や白板など（以下、筆記対象２と称する）を撮像した画像から、筆記対象２に筆記された板書（以下、筆記内容４と称する）を抽出し、抽出した筆記内容４を画像として出力する技術が開発されている。講義や会議などの場面において、筆記内容４の画像（以下、筆記内容画像２２と称する）がディスプレイなどに出力されることで、例えば遠隔にいる参加者は筆記内容を容易に確認できるようになる。

ところで、撮像された筆記内容４が、筆記内容画像２２としてそのまま出力された場合において、当該筆記内容画像２２の視認性が良くない場合が想定される。理由として、例えば、筆記内容を物理空間で直接見る場合と、ディスプレイ上で筆記内容画像２２を見る場合とで、見え方が異なり得ることなどが挙げられる。

また、筆記の際に使用される頻度が高い色は、一般的に、筆記対象２の種類毎に異なり得る。そのため、筆記に使用される色と出力される画像の下地の色との組み合わせにより、出力される画像が含む筆記内容画像２２の視認性が、良くない場合が想定される。

本開示の一実施形態に係る技術思想は、上記の点に着目して発想されたものであり、筆記内容画像の視認性を高めるような筆記内容画像の形態の補正を可能とする。以下、本開示の実施形態に係る構成例および動作例について順次詳細に説明する。

＜＜１−２．全体構成例＞＞
続いて、図１を参照しながら、本開示の一実施形態に係る画像処理装置１００および入力装置２００の概要を説明する。

図１は、本開示の一実施形態に係る画像処理装置１００および入力装置２００の概要を説明するための図である。図１には、画像処理装置１００および画像処理装置１００に接続される入力装置２００が示されている。

筆記対象２は、点、線、文字、文章、数式、記号、絵、図形又は画像等の視覚的な情報（筆記内容４）が筆記される物体である。筆記対象２は、黒板、ホワイトボード、電子ペーパー、またはタッチパネル等である。

筆記者３は、筆記対象２に対して動作を行う。例えば、筆記者３は、筆記対象２に筆記内容４を筆記する。

筆記内容４は、筆記対象２に筆記される視覚的な情報である。上述したように、筆記内容４は、チョーク、マーカー、スタイラス又は指等により筆記対象２に筆記される。なお、筆記内容４は、種々の色であり得る。例えば、筆記対象２が黒板である場合、筆記内容４は、白色、赤色、黄色などである。

入力装置２００は、入力装置２００が設置された物理空間に関する情報を入力する装置である。入力装置２００は、例えば、撮像装置及び音声入力装置を含む。撮像装置は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を含む。音声入力装置は、周囲の音を収音するマイクロフォン、マイクロフォンで得られた音声信号を増幅処理するマイクアンプ回路、Ａ／Ｄ変換器、及びノイズキャンセラ等の信号処理回路を含む。入力装置２００は、デジタル信号とされた画像データ及び撮像時の音声データを出力する。

入力装置２００は、物理空間における物体を撮像対象として、撮像可能である。なお、入力装置２００は、物理空間における筆記内容４が筆記された筆記対象２を撮像対象として撮像し、撮像時刻と撮像により得られた画像（以下、撮像画像２０と称する）とを対応付けて画像処理装置１００に出力してもよい。撮像画像２０は、筆記対象２、筆記内容４以外も含み得る。その場合、入力装置２００は、筆記対象２、筆記内容４以外も写された撮像画像を画像処理装置１００に出力する。

また、入力装置２００としての機能は、筆記対象２に有されていてもよい。例えば、入力装置２００および筆記対象２は、電子黒板としても実現される。電子黒板としての入力装置２００は、筆記対象２の状態をスキャニングすることで、上述した撮像画像２０に対応する画像を取得してよい。その場合、入力装置２００は、筆記内容４が筆記された筆記対象２の画像を取得し、画像処理装置１００へ提供する。当該画像は、画像処理装置１００へ提供された後は、撮像画像２０と同様に扱われてよい。なお、電子黒板として実現される入力装置２００及び筆記対象２が取得する画像は、筆記対象２および筆記内容４のみ含み得る。

画像処理装置１００は、入力装置２００が入力する撮像画像２０から筆記内容画像２２を抽出し、抽出した筆記内容画像２２の形態を補正する装置である。画像処理装置１００は、補正した筆記内容画像２２を含む画像（以下、出力画像２５と称する）を、後述する出力装置３００（図１には図示されていない）へ出力する。

ここで、筆記内容画像２２の形態とは、例えば、筆記内容画像２２の色や、幅、輪郭などをいう。画像処理装置１００による筆記内容画像２２の色や幅、輪郭の補正の詳細については後述する。なお、画像処理装置１００は、入力装置２００と有線で接続されてもよいし無線で接続されてもよい。

＜＜１−３．機能構成例＞＞
以下、本実施形態に係るシステム１の機能構成の一例について説明していく。図２は、本実施形態に係るシステム１の機能構成の一例を説明するための図である。図２に示すように、システム１は、画像処理装置１００、入力装置２００および出力装置３００を含む。

［１−３−１．入力装置２００］
入力装置２００は、撮像画像２０を入力し、撮像画像２０を画像処理装置１００に出力する。

［１−３−２．画像処理装置１００］
画像処理装置１００は、システム１の動作全体を制御する装置である。画像処理装置１００は、ＰＣ（Personal Computer）、スマートフォン又はタブレット端末等の任意の装置により実現される。

画像処理装置１００は、入力装置２００が入力した撮像画像から筆記内容画像２２を抽出し、画像処理装置１００は、抽出した筆記内容画像２２の形態を補正し、補正した筆記内容画像２２を含み、下地が所定の色である出力画像２５を生成する。

図２に示すように、画像処理装置１００は、取得部１１、検出部１２、設定部１３、抽出部１４、補正部１５、記憶部１６および出力部１７を含む。

（１−３−２−１．取得部１１）
取得部１１は、入力装置２００から撮像画像２０を取得する機能を有する。撮像画像２０は、筆記内容４が筆記された筆記対象２以外も含み得る。

ここで、図３を参照して、本実施形態に係る取得部１１が取得する撮像画像２０の一例について説明する。図３は、本実施形態に係る取得部１１が取得する撮像画像２０の一例について説明するための図である。図３には、撮像画像２０ａが示されている。撮像画像２０ａは、筆記対象画像２１ａ、筆記内容画像２２ａおよび筆記者画像２３ａを含む。

図３の一例において、撮像画像２０ａは、筆記対象画像２１ａおよび筆記内容画像２２ａ以外にも、筆記者画像２３ａや他の領域も含む。

ここで、上述したように、筆記対象画像２１とは、撮像画像２０中の筆記対象２が写されている領域（画像）をいう。また、筆記内容画像２２とは、撮像画像２０中の筆記内容４が写されている領域（画像）をいう。

なお、撮像画像２０は、筆記内容画像２２が所定の割合以上の大きさであり得る。撮像画像２０は、ホワイトバランス補正が行われている画像が用いられてよい。入力装置２００が電子黒板である場合は、取得部１１による筆記対象画像２１および筆記内容画像２２のみ含む画像の取得が容易であり得る。一方で、入力装置２００が電子黒板である場合でも、取得部１１は、撮像装置が電子黒板を撮像した撮像画像２０を入力装置２００から取得してもよい。

（１−３−２−２．検出部１２）
検出部１２は、撮像画像２０が含む筆記対象画像２１に基づいて、筆記対象２の情報を検出する。なお、筆記対象２の情報としては、筆記対象２の種類などが挙げられる。具体的には、例えば、検出部１２は、撮像画像２０およびラベル付けデータに基づいて、画像認識に係る処理を実行し、筆記対象２の種類を検出してもよい。ここで、筆記対象２の種類は、例えば黒板や白板、電子黒板などである。ラベル付けデータは、例えば黒板や白板、電子黒板などが撮像された画像にラベルが付されているデータである。

なお、検出部１２は、筆記対象２の情報を後述する記憶部１６を参照することにより検出してもよい。

また、検出部１２は、筆記者３の状態を検出してもよい。筆記者３の状態とは、例えば筆記者３のモーションの状態をいう。筆記者３の状態は、後述する補正部１５による補正処理に用いられる。

（１−３−２−３．設定部１３）
設定部１３は、出力画像２５の下地の色を設定する。ここで、出力画像２５の下地とは、出力装置３００が出力する画像の背景をいう。下地の色は、例えば白色や黒色などでよい。下地の色は、出力画像２５毎に異なる色に設定されてもよいし、固定の色に設定されてもよい。設定部１３が設定した下地の色は、後述する補正部１５による補正処理の際に用いられる。

（１−３−２−４．抽出部１４）
抽出部１４は、撮像画像２０から筆記内容画像２２を抽出する。具体的には、抽出部１４は、筆記対象画像２１などから独立した筆記内容画像２２を抽出する。すなわち、抽出部１４は、筆記内容画像２２のみ含まれる画像データを生成する。筆記内容画像２２を抽出する方法としては、例えば二値化処理などが挙げられる。

図４は、本実施形態に係る抽出部１４による抽出処理の一例について説明するための図である。図４には、抽出処理後の撮像画像２０ｂが示されている。抽出処理後の撮像画像２０ｂは、筆記内容画像２２ｂを含む。筆記対象画像２１は、取り除かれ余白２１ｂになっている。図４に示されるように、筆記内容画像２２ｂは抽出され得る。ここで、図４一例において、筆記内容画像２２ｂは、白色である。

しかしながら、抽出部１４による二値化処理などで筆記内容画像２２のみを抽出することが困難である状況があり得る。例えば、図３に示されたように、撮像画像２０は、筆記対象画像２１と筆記内容画像２２の他に、筆記者画像２３や、それ以外の他の領域を含む場合があり、例えば二値化処理を実行すると筆記内容画像２２以外も抽出されてしまうからである。筆記内容画像２２のみを抽出するためには、まず、筆記者画像２３や他の領域を撮像画像２０から取り除く必要がある。

抽出部１４は、他の領域を取り除くために、筆記対象領域の抽出処理を行う。また、抽出部１４は、筆記者画像２３を取り除くために、筆記者画像２３の分離処理を実行する。以下、筆記対象領域の抽出処理および筆記者画像２３の分離処理の詳細について説明していく。

（１−３−２−４−１．筆記対象領域の抽出処理）
まず、筆記対象領域の抽出処理について説明する。具体的には、筆記対象領域の抽出処理とは、撮像画像２０中の複数の点、例えば４点、を指定することにより特定される領域を筆記対象領域として抽出する処理をいう。ここでの筆記対象領域とは、撮像画像２０から、他の領域を取り除いた画像をいう。

以下、図５を参照して説明する。図５は、本実施形態に係る抽出部１４による筆記対象領域の抽出処理の一例について説明するための図である。図５には、撮像画像２０ｃおよび筆記対象領域抽出後の撮像画像２０ｄが示されている。

ここで、撮像画像２０ｃは、筆記対象画像２１ｃおよび筆記内容画像２２ｃ以外に、筆記者画像２３ｃや他の領域も含む。抽出部１４は、筆記対象画像２１ｃに基づいて、筆記対象２の領域を囲むように指定された複数の点に基づいて、筆記対象領域抽出後の撮像画像２０ｄを生成する。筆記対象領域抽出後の撮像画像２０ｄは、筆記対象画像２１ｃ、筆記内容画像２２ｃおよび筆記者の一部２３ｄを含む。

（１−３−２−４−２．筆記者画像２３と筆記内容画像２２との分離処理）
続いて、筆記者画像２３と筆記内容画像２２との分離処理について説明する。

上述した筆記対象領域抽出後の撮像画像２０ｄの抽出処理により抽出された筆記対象領域抽出後の撮像画像２０ｄは、筆記者画像の一部２３ｄを含む。抽出部１４は、筆記対象領域抽出後の撮像画像２０ｄから筆記内容画像２２を抽出するために、筆記対象領域抽出後の撮像画像２０ｄから筆記者画像の一部２３ｄを取り除く必要がある。

具体的には、筆記者画像２３と筆記内容画像２２との分離処理とは、筆記対象領域抽出後の撮像画像２０から筆記者画像の一部２３の形状を、例えばパターン認識し、認識した筆記者画像２３を除外することをいう。

抽出部１４は、筆記者画像２３と筆記内容画像２２との分離処理を実行し、実行した画像に対し二値化処理を実行することで、図６に示されるような、筆記対象画像２１ｅおよび筆記内容画像２２ｃを含む抽出処理後の撮像画像２０ｅが生成される。

このように、筆記対象領域の抽出処理および筆記者画像２３の分離処理を実行することで、筆記内容画像２２の抽出処理を正しく実行することができるようになる。なお、上記では、筆記対象領域の抽出処理を先に実行する例について説明したが、筆記者画像２３の分離処理を先に実行することも可能であり得る。

（１−３−２−５．補正部１５）
補正部１５は、抽出部１４が抽出した筆記内容画像２２の形態を補正する。具体的には、補正部１５は、出力画像２５中の筆記内容画像２２の視認性が向上するように、抽出部１４が抽出した筆記内容画像２２の形態を補正する。

なお、補正部１５による筆記内容画像２２の色の補正とは、筆記内容画像２２の色の三属性を補正することをいう。色の三属性は、色相、彩度、明度である。補正部１５は、筆記内容画像２２の色の色相、彩度、明度のうち、少なくとも１つを補正する。なお、補正部１５は、視認性の向上を目的とする場合には、彩度または明度の一方もしくは双方の補正を実行してもよい。

勿論、色の三属性とは異なる尺度が用いられる場合でも、補正部１５による色の補正処理は実行可能であり得る。例えば、補正部１５は、ＹＵＶデータの色を補正する場合、ＹＵＶデータをＨＳＶデータに変換して、彩度または明度の一方もしくは双方の補正を実行してもよい。

以下、本明細書では、補正部１５が彩度または明度の一方もしくは双方を補正する場合について説明していく。

補正部１５は、筆記対象画像２１の種類と出力画像２５の下地の色との組み合わせに基づいて、色の補正処理の方法を決定し、決定した補正処理の方法により筆記内容画像２２の色の補正処理を実行する。なお、補正部１５は、出力画像２５の下地の色が固定の色であると想定される場合、筆記対象画像２１の種類のみに基づいて、色の補正処理の方法を決定してよい。

続いて、色の補正処理の方法の決定について説明する。ここでの色の補正処理の方法の決定とは、例えば、筆記内容画像２２の彩度や明度を補正するフィルタの決定をいう。ここでフィルタとは、彩度や明度を入力した際に、入力した彩度または明度に対応する彩度や明度が出力される関係をいう。

なお、彩度を補正するフィルタおよび明度を補正するフィルタは、それぞれ独立して決定されてもよい。補正部１５は、フィルタを使用して、抽出部１４が抽出した筆記内容画像２２が有する各々の色に対応する彩度や明度を補正する。

補正部１５は、筆記対象画像２１の種類と出力画像２５の下地の色との組み合わせに対応するフィルタを、彩度および明度についてそれぞれ決定してよい。具体的には、補正部１５は、筆記対象２の色の明度と設定部１３が設定した下地の色の明度との差に基づいて、筆記内容画像２２の色の明度を補正してよい。より具体的には、補正部１５は、筆記対象２の色の明度と設定部１３が設定した下地の色の明度との差が所定以上である場合、筆記内容画像２２の色の明度を反転させるように補正してよい。すなわち、補正部１５は、筆記内容画像２２が有する複数色間の明度の関係性を補正前の複数色間の明度の関係性とは反転するように、筆記内容画像２２の色の明度を補正してよい。

例えば、補正部１５は、筆記対象画像２１が黒板であり出力画像２５の下地の色が白色である場合、白色の筆記内容画像２２が黒色に補正されるようなフィルタを決定してよい。これは、白色の筆記内容画像２２が白色の下地へ合成された場合、当該筆記内容画像２２の視認性が低下することが理由である。また、筆記内容画像２２が白色の下地へ合成される場合、当該筆記内容画像２２の色が黒色であると視認性が高くなることも理由である。

また、補正部１５は、筆記内容画像２２が複数の色を有する場合、筆記内容画像２２が有する複数色間の彩度や明度の差が、補正前の筆記内容画像２２が有する複数色間の明度差よりも増大するようなフィルタを決定してよい。具体的には、補正部１５は、筆記内容画像２２が有する色の彩度や明度のうち、他の色の彩度や明度よりも高い彩度や明度がより高く、他の色の彩度や明度よりも低い彩度や明度がより低くなるようにフィルタを決定してもよい。

上述したようなフィルタについて、以下、図７〜図９を参照して具体例を説明していく。図７〜図９は、本実施形態に係る補正部１５による補正方法の一例について説明するための図である。以下、説明するフィルタの具体例は、彩度および明度の双方の補正への使用が可能であり得る。

図７には、入力と出力との関係を示すグラフＧ１が示されている。ここで示される「入力」は、抽出部１４が抽出した筆記内容画像２２が有する色の各々の彩度または明度である。また、ここで示される「出力」は、各々の「入力」に対応する補正後の彩度または明度である。図７に示されるグラフＧ１では、所定以上の彩度または明度は、「入力」の彩度または明度よりも「出力」の彩度または明度の方が高くなる。また、一方で、図７に示されるように、所定以下の彩度または明度は、「入力」の彩度または明度よりも「出力」の彩度または明度の方が低くなる。

なお、グラフＧ１の曲線は、例えば式（１）により表される。

式（１）において、ｓは横軸方向へのシフト量、γは係数、ＩＮＰＵＴおよびＯＵＴＰＵＴはそれぞれ入力と出力である。

また、図８には、図７とは異なる、入力と出力との関係を示すグラフＧ２が示されている。グラフＧ２は、グラフＧ１とは異なり、「入力」よりも「出力」が高くなる彩度または明度の範囲が広い。例えば、グラフＧ２に示されるようなフィルタにより彩度が補正された場合、無彩色や無彩色に近い色以外の色の彩度は、抽出部１４が抽出した筆記内容画像２２の彩度が高くなる。

また、フィルタには、彩度や明度を反転させるものも存在してよい。ここで、彩度や明度の反転とは、それぞれの色において、他の色よりも高い彩度や明度を低くするように補正し、他の色よりも低い彩度や明度を高くするように補正することをいう。

図９には、入力と出力との関係を示すグラフＧ３が示されている。グラフＧ３は、グラフＧ１とは逆の出力結果となる。具体的には、所定以上の彩度または明度は、「入力」よりも「出力」の彩度または明度が低くなり、一方で、所定以下の彩度または明度は、「入力」よりも「出力」の彩度または明度が高くなる。

なお、グラフＧ３の曲線は、例えば式（２）により表される。

式（２）において、式（１）と同様に、ｓは横軸方向へのシフト量、γは係数、ＩＮＰＵＴおよびＯＵＴＰＵＴはそれぞれ入力と出力である。

なお、式（１）および式（２）は、あくまで一例であり他の式を用いたフィルタが使用されてもよい。

グラフＧ３に示されるフィルタは、例えば黒板に筆記された筆記内容４の画像である筆記内容画像２２を補正し、下地の色が白色で出力画像２５を生成する場合に使用される。通常、筆記者３は、黒板へ筆記する際には、白チョークを用いて白色の筆記内容４を筆記することが多い。白色の筆記内容４に対応する筆記内容画像２２および白色の下地から、出力画像２５を生成した場合、筆記内容画像２２と白色の下地との判別が困難となり得る。そのため、例えば、筆記対象２の種類が黒板であり下地の色が白色である場合は、補正部１５は、グラフＧ３に示されるフィルタを使用して、白色の筆記内容画像２２の明度を反転させるように、筆記内容画像２２の色の補正を行ってよい。

補正部１５は、上述した図７〜図９に示されるようなフィルタを使用して、筆記内容画像２２が有する色の彩度や明度を補正してよい。

なお、補正部１５は、図７〜図９に示される彩度差や明度差を増大させるようなフィルタ以外を使用してもよい。言い換えれば、補正部１５は、彩度差や明度差を増大させないフィルタを使用してもよい。例えば、補正部１５は、入力された彩度や明度を変化させずに、そのまま出力するフィルタや、入力された彩度や明度を反転させて、出力するフィルタなどを使用してもよい。

ここで、筆記対象画像２１が黒板で、筆記内容画像２２が黄色を有し、下地が白色である出力画像２５を生成する場合について考える。黒板に板書される黄色の筆記内容画像２２の明度は、黒板に筆記される筆記内容画像２２の他の色と比較して高く、黄色の筆記内容画像２２を他色の筆記内容画像２２よりも強調するために用いられる場合がある。しかしながら、筆記対象画像２１が黒板であり、下地が白色である出力画像２５を生成する場合は明度を反転させるようなフィルタが用いられ、明度の高い黄色の筆記内容画像２２は補正後に明度が低くなる。そのため、補正後の黄色の筆記内容画像２２と、補正後の白色の筆記内容画像２２とを見分けることが困難となる状況が発生し得る。

このような状況の発生が想定される場合、補正部１５は、黄色の筆記内容画像２２の明度が上がるように、例えばフィルタによる補正の後、さらに補正してもよい。

上述した状況と同様の状況は、黄色の色相以外の色相の色の筆記内容画像２２においても発生し得る。そのため、補正部１５は、筆記対象画像２１の種類と下地情報との組み合わせに応じて、所定の色相の色を補正してもよい。具体的には、補正部１５は、筆記内容画像２２の色のうち、出力画像２５の下地の色との明度差が所定値以下である色相の色の明度が、他の色相の色よりも大きく変化するように補正してもよい。具体的には、補正部１５は、補正後の筆記内容画像２２の色の明度と下地の色の明度との関係において、最低明度と最大明度の差の１０％以下に当たる明度差が生じた場合、当該明度差が２０％以上になるように筆記内容画像２２の明度を補正してよい。例えば、補正部１５は、最低明度が０であり最高明度が２５５である場合に、明度差が２５以下の場合には当該明度差が５１以上になるように筆記内容画像２２の明度を補正してよい。

上記明度差に応じた補正において、補正部１５は、筆記対象画像２１の種類と下地情報との組み合わせに応じて、フィルタを使用する補正に際し、所定色相に対応する明度の出力を変化させてもよい。以下、図１０を参照して、一例について説明する。図１０は、本実施形態に係る補正部１５による色相角５０度から７０度にあたる色相における二字曲線による補正の一例について説明するための図である。図１０には、グラフＧ４が示されている。グラフＧ４では、各々の色相に対応する係数の値が示されている。ここで、係数は、式（１）および式（２）における係数γである。図１０においては、色相角５０度から７０度にあたる色相における補正の一例について説明したが、勿論、他の範囲の色相においても同様の補正を行ってもよい。

なお、上記では、出力画像２５の下地の色との明度差に応じた明度の補正について説明したが、他にも、筆記内容４に対する照明の影響を考慮して、同様の明度の補正を行ってもよい。例えば、筆記内容４が照明器具により照明されている場合に、当該筆記内容４に対応する筆記内容画像２２は、照明の影響により、所定の色相の色において、筆記内容４の本来の色とは異なる色に見え得る。補正部１５が本来の色とは異なる色を有する筆記内容画像２２の色を補正した場合、本来筆記者３が意図するような色の相違による差別化がされない状況が発生し得る。そのため、補正部１５は、当該状況の発生が予想される場合などにおいて、所定の色相の色の明度を補正し、補正した色相の色の筆記内容画像２２と他色の筆記内容画像２２との差異を強調してもよい。

このように、補正部１５により筆記対象画像２１の種類に応じて適切に筆記内容画像２２を出力することができる。係る機能によれば、出力画像２５中の筆記内容画像２２の視認性を高めることや、筆記対象画像２１に係る照明の影響を打ち消すことが可能となる。

続いて、上述した補正部１５によるフィルタを使用した補正処理の実行の具体例について図１１を参照して説明する。図１１は、補正部１５によるフィルタを使用した補正処理の実行の具体例について説明するための図である。

図１１上側には、抽出部１４による抽出処理後の撮像画像２０ｆが示されている。撮像画像２０ｆは、筆記対象画像２１ｆ、並びに筆記内容画像２２ｆとしての白色の文字２２Ｗ、色Ｒの線２２Ｒ、色Ｂの線２２Ｂおよび色Ｙの線２２Ｙを含む。ここで、筆記対象画像２１の種類は黒板である。補正部１５は撮像画像２０ｆを補正し、下地の色が白色である出力画像２５ｇを生成する。例えば、色Ｒは赤色、色Ｂは青色、色Ｙは黄色である。

図１１下側には、補正部１５により補正された出力画像２５ｇが示されている。出力画像２５ｇは、白色の下地画像２４ｇ、補正後の黒色の文字２２Ｗｇ、補正された色Ｒの線２２Ｒｇ、補正された色Ｂの線２２Ｂｇ、補正された色Ｙの線２２Ｙｇを含む。ここで、色Ｒの線２２Ｒｇ、色Ｂの線２２Ｂｇ、色Ｙの線２２Ｙｇは、色Ｒの線２２Ｒ、色Ｂの線２２Ｂ、色Ｙの線２２Ｙのそれぞれの明度が補正されたものである。

このように、出力画像２５の下地の色に応じて視認性を高めるように筆記内容画像２２の補正を行うことができる。

なお、フィルタの決定および補正の対象は、上述した例に限定されない。例えば、上記では、筆記対象２の種類および出力画像２５の下地の色に基づいて、筆記内容画像２２の色を変換するフィルタが決定されたが、他にも例えば、撮像画像２０の部分的な箇所毎に、フィルタが決定されてもよい。

また、補正部１５は、筆記内容画像２２の色の補正以外に、筆記内容画像２２の輪郭の補正を行ってもよい。筆記内容画像２２の輪郭の補正とは、例えば筆記内容画像２２の輪郭を強調し、筆記内容画像２２の輪郭以外の箇所を消去する処理などをいう。以下、図１２を参照して、補正部１５による筆記内容画像２２の輪郭の補正処理に係る一例について説明する。図１２は、本実施形態に係る補正部１５による筆記内容画像２２の輪郭の補正処理に係る一例について説明するための図である。

図１２上側には、抽出部１４による抽出処理後の撮像画像２０ｈが示されている。撮像画像２０ｈは、筆記対象画像２１ｈおよび筆記内容画像２２ｈを含む。ここで、補正部１５は、筆記内容画像２２ｈの輪郭を補正してもよい。図１２下側には、補正部１５により補正された筆記内容画像２２ｉを含む出力画像２５ｉが示されている。出力画像２５ｉは、下地画像２４ｉを含む。筆記内容画像２２ｉは、筆記内容画像２２ｈの色および輪郭が補正されたものである。

なお、補正部１５は、一部の筆記内容画像２２の輪郭を補正し、他の部分の筆記内容画像２２の輪郭を補正しなくてもよい。例えば、補正部１５は、フィルタを使用した彩度や明度の補正処理の実行後、補正処理の実行後の筆記内容画像２２のうち、所定色相の色の筆記内容画像２２の輪郭を補正し、当該所定色相以外の色の筆記内容画像２２の輪郭を補正しなくてもよい。他にも、例えば、補正部１５は、筆記内容画像２２のうち、検出部１２が文字として検出した筆記内容画像２２の輪郭を補正してもよい。補正部１５による輪郭の補正を実行する対象については、係る例に限定されない。

このように、補正部１５は筆記内容画像２２の輪郭を強調するように補正を行うことができる。係る機能によれば、輪郭が補正された筆記内容画像２２が他の筆記内容画像２２とは異なる意味を持つものであると表現すること等が可能となる。

（１−３−２−６．記憶部１６）
記憶部１６は、撮像画像２０の補正処理に係る種々の情報を記憶する。例えば、記憶部１６は、検出部１２が使用する筆記対象２の種類に係るラベル付けデータや抽出部１４が使用する筆記者３のパターン認識用画像などを記憶する。また、記憶部１６は、補正部１５が生成した出力画像２５を記憶してもよい。

（１−３−２−７．出力部１７）
出力部１７は、補正部１５が補正した筆記内容画像２２を含む出力画像２５を出力するように制御する。具体的には、出力部１７は、補正部１５が生成した出力画像２５を、後述する出力装置３００に出力させる。出力部１７は、出力画像２５を後述する出力装置３００にリアルタイムに出力させてもよい。また、出力部１７は、記憶部１６が記憶している出力画面を出力装置３００に出力させてもよい。

［１−３−３．出力装置３００］
出力装置３００は、画像処理装置１００による制御に基づき情報を出力する装置である。出力装置３００は、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置により実現される。

出力装置３００は、出力部１７かから出力画像２５を受け取り、当該出力画像２５を出力する。出力装置３００は、出力画像２５を動画としてストリーム形式で出力してもよい。言い換えれば、出力装置３００は、出力画像２５をリアルタイムに出力してもよい。

出力装置３００は、出力部１７から出力画像２５を受信したタイミングで、当該出力画像２５を出力してもよい。一方で、出力装置３００は、出力部１７かから受信した出力画像２５を記憶しておき、後のタイミングで出力してもよい。なお、出力装置３００は、記憶部１６が記憶する出力画像２５を受信して、当該出力画像２５を静止画または動画として出力してもよい。

上述したように出力装置３００は、種々の表示装置により実現される。出力装置３００は、複数の表示装置により構成されてもよい。ここで、出力装置３００の具体例について図１３を参照して説明する。図１３は、本実施形態に係る出力装置３００による出力の一例について説明するための図である。図１３には、入力装置２００および出力装置３００ａ、３００ｂ、３００ｃが示されている。

図１３に示されるように、出力装置３００は、出力装置３００ａ、３００ｂのようなディスプレイ装置でもよい。出力装置３００は、出力装置３００ｃのようなタブレット端末でもよい。出力装置３００ａ、３００ｂ、３００ｃは、それぞれ出力画像２５ｐを出力している。なお、出力装置３００ｃのように、他の端末が画像処理装置１００へ接続し、出力画像２５ｐへアクセスしてもよい。勿論、出力装置３００による出力画像２５の出力は、上記の例に限定されない。

このように、種々の表示装置により出力画像２５が出力されることで、個々人の状況に応じた出力画像２５の確認が可能となる。

＜２．動作例＞
続いて、本実施形態に係るシステム１の動作の流れの一例について説明する。図１４は、本実施形態に係るシステム１の動作の流れの一例について説明するための図である。

図１４を参照すると、まず、入力装置２００は筆記対象画像２１を撮像する（Ｓ１１０１）。次に、取得部１１はステップＳ１１０１で撮像された画像を取得する（Ｓ１１０２）。次に、検出部１２はステップＳ１１０２で取得された画像から筆記対象画像２１の情報を検出する（Ｓ１１０３）。次に、設定部１３は出力画像２５の下地の色を設定する（Ｓ１１０４）。次に、抽出部１４はステップＳ１１０２で取得された画像から筆記内容画像２２を抽出する（Ｓ１１０５）。

次に、抽出部１４はステップＳ１１０２で取得された画像から筆記内容画像２２を抽出する（Ｓ１１０５）。次に、補正部１５は、ステップＳ１１０３で検出された筆記対象画像２１の情報およびステップＳ１１０４で設定された下地の色に基づいて、ステップＳ１１０５で抽出された筆記内容画像２２の形態を補正し、当該筆記内容画像２２を含む出力画像２５を生成する（Ｓ１１０６）。また、ステップＳ１１０６で、補正部１５は筆記内容画像２２の形態以外に、筆記内容画像２２の幅や輪郭を補正してもよい。最後に、出力装置３００は、ステップＳ１１０６で生成された出力画像２５を出力し（Ｓ１１０７）、システム１は動作を終了する。

なお、上述したステップＳ１１０６では、補正部１５は、ステップＳ１１０５で抽出された筆記内容画像２２の形態を補正した後に、当該筆記内容画像２２を下地の画像と合成することで出力画像２５を生成してもよい。一方で、上述したステップＳ１１０６では、補正部１５は、筆記内容画像２２を下地の画像と合成した後に、当該筆記内容画像２２の形態を補正することで出力画像２５を生成してもよい。

＜３．応用例＞
上述したように、補正部１５は、筆記対象画像２１の情報および出力画像２５の下地の色に基づいて、筆記内容画像２２を補正する。他にも、補正部１５は、検出部１２が検出した筆記者の状態に基づいて、筆記内容画像２２を補正してもよい。以下、補正部１５による筆記者の状態に基づく補正処理について説明していく。

＜＜３−１．応用例１＞＞
まず、筆記者の状態は、筆記者のモーション情報でもよい。補正部１５は、筆記者のモーション情報にさらに基づいて、筆記内容画像２２の形態を補正してもよい。ここで、モーション情報とは、例えば筆記者が筆記対象画像２１に筆記を行っているか否かを示す行動検出情報などをいう。検出部１２は、例えば筆記者が筆記対象画像２１に筆記を行っていることを検出してもよい。

なお、検出部１２は、筆記者の行動認識を行うことにより筆記者のモーションを検出する。具体的には、検出部１２は、静止画または動画の各々のフレームにおいて行動認識を実行することで、筆記者がモーションを実行したタイミングを捉えることができる。

以下、図１５Ａ、図１５Ｂを参照して補正部１５による筆記者が筆記対象画像２１に筆記を行っているか否かを示す行動検出情報に基づく補正処理について説明する。図１５Ａ、図１５Ｂは、本実施形態に係る補正部１５による筆記者が筆記対象画像２１に筆記を行っているか否かを示す行動検出情報に基づく補正処理の一例について説明するための図である。

検出部１２により筆記対象画像２１に筆記を行っていない筆記者が検出された場合、補正部１５は、上述したように筆記対象２の種類と出力画像２５の下地の色との組み合わせに基づいて、筆記内容画像２２の色を補正する。一方、検出部１２により筆記対象２に筆記を行っている筆記者が検出された場合、検出部１２により筆記対象２に筆記を行っていない筆記者が検出された場合とは異なる補正を筆記対象画像２１に行う。

図１５Ａには、取得部１１により取得された撮像画像２０ｊが示されている。撮像画像２０ｊは、筆記対象画像２１ｊに筆記を行っていない筆記者画像２３ｊを含む。また、図１５Ａには、出力画像２５ｋが示されている。出力画像２５ｋは、下地画像２４ｋおよび補正後の筆記内容画像２２ｋが示されている。なお、図１５Ａの一例において、筆記内容画像２２ｋは筆記内容画像２２ｊと同様である。

図１５Ｂには、取得部１１により取得された撮像画像２０ｌが示されている。撮像画像２０ｌは、筆記対象画像２１ｌ、筆記内容画像２２ｊおよび筆記者画像２３ｌを含む。ここで、筆記者画像２３ｌは、筆記を行っている最中である筆記者の画像である。

ここで、補正部１５は、検出部１２により筆記者３が筆記を行っていることを検出され、筆記内容画像２２ｊの色および幅を補正する。図１５Ｂには、出力画像２５ｍが示されている。出力画像２５ｍは、下地画像２４ｍおよび補正後の筆記内容画像２２ｍを含む。ここで、筆記内容画像２２ｍは、筆記内容画像２２ｊと比較して、色が変化し幅が広くなっている。

図１５Ａ、図１５Ｂに示されたように、例えば補正部１５は、筆記者３が筆記を行っている際、筆記者３が筆記を行っていることを、出力画像２５を見ている人が理解できるように、筆記内容画像２２を補正してよい。

なお、上記では、図１５Ａ、図１５Ｂを参照して、筆記者３が筆記を行っていることを検出部１２が検出した場合に、補正部１５が筆記内容画像２２の幅を広くする（膨張させる）補正を行う例について説明した。しかし一方で、筆記者３が筆記を行っていることを検出部１２が検出した場合に、補正部１５は筆記内容画像２２の幅を狭くする（縮小させる）処理を行ったり、筆記内容画像２２の輪郭の補正、例えば筆記内容画像２２を中抜きにして輪郭部分のみを残すような補正、を行ったりしてもよい。

このように、筆記が完了した状態の静止画や動画を確認するだけで筆記内容画像２２を把握するだけで済むようになる。係る機能によれば、筆記内容画像２２を後から確認したい場合などに、視聴者の手間を省くことが可能となる。

＜＜３−２．応用例２＞＞
また、筆記者３の状態に係る情報が、筆記者３と筆記対象画像２１との位置関係を示す位置関係情報でもよい。補正部１５は、位置関係情報にさらに基づいて、筆記内容画像２２を補正してもよい。ここで、筆記者３と筆記対象画像２１との位置関係は、筆記対象画像２１に対する筆記者３の位置などをいう。位置関係情報は、筆記者３と筆記対象画像２１との位置関係に対応する時間および、筆記内容画像２２のうち、当該位置関係に対応する筆記内容画像２２を含んでよい。

なお、位置関係情報の取得は、システム１が測距装置を備えることにより実現される。ここで、測距装置は、例えば測距センサを備え、当該測距センサと対象物との距離を取得することが可能な装置である。

以下、図１６を参照して補正部１５による筆記者３と筆記対象画像２１との位置関係に基づく筆記内容画像２２の補正処理について説明する。図１６は、本実施形態に係る補正部１５による筆記者３と筆記対象画像２１との位置関係に基づく筆記内容画像２２の補正処理について説明するための図である。

図１６は、講義の様子を示している。図１６には、筆記対象２ａ、筆記者３ａ、筆記内容の一部４ａ、受講者５、出力装置３００および複数の測距装置４００が示されている。出力装置３００が出力する出力画像２５は筆記者３にのみ見えるように設置されてよい。ここで、筆記者３は筆記内容４を隠すような場所に立っている。そのため、筆記内容の一部４ａのみが受講者５に見えている状況である。ここで、補正部１５は、筆記者３と筆記対象画像２１との位置関係に基づいて、筆記内容画像２２の色の補正を行ってよい。

図１６の一例において説明する。複数の測距装置４００は、各々の測距装置４００と筆記者３との距離を取得する。検出部１２は、筆記対象画像２１に対する筆記者の位置を検出する。

ここで、補正部１５は、検出部１２が検出した筆記者の位置が所定時間の間、筆記内容画像２２を隠すような位置である場合、筆記内容画像２２を隠していることを筆記者３へ通知するように、筆記内容画像２２を補正してもよい。

具体的には、補正部１５は、所定時間の間、筆記者３と筆記内容画像２２との位置関係の変化が所定量以下であることが位置関係情報として示される場合、当該位置関係に対応する筆記内容画像２２の補正を行ってもよい。例えば、補正部１５は、所定時間の間、筆記者３の位置の変化が所定量以下である場合、筆記者３の位置に近い筆記対象２の位置に存在する筆記内容画像２２が隠れていることを、筆記者３に通知するように筆記内容画像２２の色を、例えば、隠れている筆記内容画像２２または隠れている筆記内容画像２２付近の色を所定の色に、補正してもよい。

図１６の一例の場合、補正部１５は、所定時間の間、筆記者３の位置の変化が所定量以下である場合、筆記内容４ａや筆記者３に隠されている筆記内容画像２２の色を所定の色に補正する。図１６の一例の場合、当該補正された筆記内容画像２２は、出力装置３００により出力され、筆記者３へ通知される。

このように、筆記内容画像２２が隠れているため受講者が筆記内容画像２２をできないことを筆記者へ通知することができる。係る機能によれば、受講者にとってより快適な講義を受けることできるように筆記者は行動することが可能となる。

なお、筆記者３と筆記対象２との位置関係を示す情報は、測距装置４００以外にも、撮像装置を用いて取得されてもよい。撮像装置としては、例えば入力装置２００が用いられてもよい。また、筆記対象２が電子黒板である場合は、筆記対象２が出力画像２５を直接出力してもよい。

＜４．ハードウェア構成例＞
次に、本開示の一実施形態に係る画像処理装置１００、入力装置２００、出力装置３００のハードウェア構成例について説明する。図１７は、本開示の一実施形態に係る画像処理装置１００、入力装置２００、出力装置３００のハードウェア構成例を示すブロック図である。図１７を参照すると、画像処理装置１００、入力装置２００、出力装置３００は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

（プロセッサ８７１）
プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

なお、プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３とソフトウェアとの協働により、上述した取得部１１、検出部１２、設定部１３、抽出部１４、補正部１５、出力部１７、入力装置２００および出力装置３００などの機能が実現される。

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。

（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。

（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。出力装置８７９により、出力装置３００の機能が実現される。

（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。ストレージ８８０により、記憶部１６などの機能が実現される。

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。通信装置８８３が用いられることにより、画像処理装置１００による出力装置３００としての端末装置との無線通信が実現される。

＜５．まとめ＞
以上、図１〜図１７を参照して、本開示の一実施形態について説明した。上記説明したように、本実施形態に係る画像処理装置１００は、筆記対象画像２１に筆記された筆記内容画像２２を抽出し、筆記対象画像２１の情報および出力画像２５の下地の色に基づいて、筆記内容画像２２の形態を補正する。これにより、出力画像２５の筆記内容画像２２の視認性が向上することが可能となる。また、付加的な意味を筆記内容画像２２に与えることも可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正する補正部、
を備える、
画像処理装置。
（２）
前記補正部は、出力画像の下地に関する情報にさらに基づいて、前記筆記内容画像の形態を補正する、
前記（１）に記載の画像処理装置。
（３）
前記筆記内容画像の形態は、前記筆記内容画像の色相、明度、および彩度を含み、
前記補正部は、前記筆記内容の形態の補正として少なくとも前記筆記内容画像の色相、明度若しくは彩度のいずれか１つを補正する、
前記（１）または（２）に記載の画像処理装置。
（４）
前記補正部は、前記筆記内容画像が有する複数色間の明度差が補正前の複数色間の明度差よりも増大するように前記筆記内容画像の色の明度を補正する、
前記（３）に記載の画像処理装置。
（５）
前記補正部は、前記筆記内容画像が有する複数色間の明度の関係性を補正前の複数色間の明度の関係性とは反転するように前記筆記内容画像の色の明度を補正する、
前記（３）または（４）に記載の画像処理装置。
（６）
前記補正部は、前記検出された筆記対象の情報に対応する色の明度と前記下地の色の明度との差に基づいて、前記筆記内容画像の色の明度を補正する、
前記（５）に記載の画像処理装置。
（７）
前記補正部は、前記筆記内容画像の色相に応じて、前記筆記内容画像の色の明度の補正処理の方法を変更し、前記補正処理の方法により前記筆記内容画像の色の明度を補正する、
前記（６）に記載の画像処理装置。
（８）
前記補正部は、前記筆記内容画像の色相のうち、補正後の前記筆記内容画像の色と前記下地の色との明度差が所定値以下になる色相の明度を、前記下地の色の明度差が所定値以上になるように補正する、
前記（７）に記載の画像処理装置。
（９）
前記補正部は、前記筆記内容画像が有する複数色間の彩度差が補正前の複数色間の彩度差よりも増大するように前記筆記内容画像の色の彩度を補正する、
前記（３）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記補正部は、検出された筆記者の状態に係る情報にさらに基づいて、前記筆記内容画像の形態を補正する、
前記（１）〜（９）のいずれか一項に記載の画像処理装置。
（１１）
前記筆記者の状態に係る情報は、前記筆記者が筆記を行っているか否かの行動を示す行動検出情報であり、
前記補正部は、前記筆記者の行動検出情報として、前記筆記者が前記筆記対象に筆記を行っていると示された場合に、前記筆記内容画像の形態を補正する、
前記（１０）に記載の画像処理装置。
（１２）
前記筆記者の状態に係る情報は、前記筆記者と前記筆記対象との位置関係を示す位置関係情報であり、
前記補正部は、前記位置関係情報にさらに基づいて、前記筆記内容画像の形態を補正する、
前記（１０）に記載の画像処理装置。
（１３）
前記位置関係情報は、前記位置関係に対応する時間および前記筆記内容画像のうち前記位置関係に対応する前記筆記内容画像を示す情報を含み、
前記補正部は、前記位置関係情報として所定時間の間、前記位置関係の変化が所定量以下であることを示す場合、前記位置関係に対応する前記筆記内容画像の形態を補正する、
前記（１２）に記載の画像処理装置。
（１４）
前記補正部は、さらに前記筆記内容画像の幅を補正する、
前記（１）〜（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記補正部は、さらに前記筆記内容画像の輪郭を補正する、
前記（１）〜（１４）のいずれか一項に記載の画像処理装置。
（１６）
前記筆記対象を検出する検出部をさらに備え、
前記補正部は、前記検出部が検出した前記筆記対象の情報に基づいて、前記筆記内容画像の形態を補正する、
前記（１）〜（１５）のいずれか一項に記載の画像処理装置。
（１７）
前記筆記対象の画像から前記筆記内容画像を抽出する抽出部をさらに備え、
前記補正部は、前記抽出部が抽出した前記筆記内容画像の形態を補正する、
前記（１）〜（１６）のいずれか一項に記載の画像処理装置。
（１８）
前記補正部が補正した前記筆記内容画像を含む出力画像の出力を制御する出力部をさらに備える、
前記（１）〜（１７）のいずれか一項に記載の画像処理装置。
（１９）
プロセッサが、
検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正すること、
を含む、
画像処理方法。
（２０）
コンピュータを、
検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正する補正部、
として機能させるための、プログラム。

１００ 画像処理装置
１１ 取得部
１２ 検出部
１３ 設定部
１４ 抽出部
１５ 補正部
１６ 記憶部
１７ 出力部
２００ 入力装置
３００ 出力装置
４００ 測距装置

Claims (20)

1. 検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正する補正部、
   を備える、
   画像処理装置。
2. 前記補正部は、出力画像の下地に関する情報にさらに基づいて、前記筆記内容画像の形態を補正する、
   請求項１に記載の画像処理装置。
3. 前記筆記内容画像の形態は、前記筆記内容画像の色相、明度、および彩度を含み、
   前記補正部は、前記筆記内容の形態の補正として少なくとも前記筆記内容画像の色相、明度若しくは彩度のいずれか１つを補正する、
   請求項２に記載の画像処理装置。
4. 前記補正部は、前記筆記内容画像が有する複数色間の明度差が補正前の複数色間の明度差よりも増大するように前記筆記内容画像の色の明度を補正する、
   請求項３に記載の画像処理装置。
5. 前記補正部は、前記筆記内容画像が有する複数色間の明度の関係性を補正前の複数色間の明度の関係性とは反転するように前記筆記内容画像の色の明度を補正する、
   請求項３に記載の画像処理装置。
6. 前記補正部は、前記検出された筆記対象の情報に対応する色の明度と前記下地の色の明度との差に基づいて、前記筆記内容画像の色の明度を補正する、
   請求項５に記載の画像処理装置。
7. 前記補正部は、前記筆記内容画像の色相に応じて、前記筆記内容画像の色の明度の補正処理の方法を変更し、前記補正処理の方法により前記筆記内容画像の色の明度を補正する、
   請求項６に記載の画像処理装置。
8. 前記補正部は、前記筆記内容画像の色相のうち、補正後の前記筆記内容画像の色と前記下地の色との明度差が所定値以下になる色相の明度を、前記下地の色の明度差が所定値以上になるように補正する、
   請求項７に記載の画像処理装置。
9. 前記補正部は、前記筆記内容画像が有する複数色間の彩度差が補正前の複数色間の彩度差よりも増大するように前記筆記内容画像の色の彩度を補正する、
   請求項３に記載の画像処理装置。
10. 前記補正部は、検出された筆記者の状態に係る情報にさらに基づいて、前記筆記内容画像の形態を補正する、
    請求項１に記載の画像処理装置。
11. 前記筆記者の状態に係る情報は、前記筆記者が筆記を行っているか否かの行動を示す行動検出情報であり、
    前記補正部は、前記筆記者の行動検出情報として、前記筆記者が前記筆記対象に筆記を行っていると示された場合に、前記筆記内容画像の形態を補正する、
    請求項１０に記載の画像処理装置。
12. 前記筆記者の状態に係る情報は、前記筆記者と前記筆記対象との位置関係を示す位置関係情報であり、
    前記補正部は、前記位置関係情報にさらに基づいて、前記筆記内容画像の形態を補正する、
    請求項１０に記載の画像処理装置。
13. 前記位置関係情報は、前記位置関係に対応する時間および前記筆記内容画像のうち前記位置関係に対応する前記筆記内容画像を示す情報を含み、
    前記補正部は、前記位置関係情報として所定時間の間、前記位置関係の変化が所定量以下であることを示す場合、前記位置関係に対応する前記筆記内容画像の形態を補正する、
    請求項１２に記載の画像処理装置。
14. 前記補正部は、さらに前記筆記内容画像の幅を補正する、
    請求項１に記載の画像処理装置。
15. 前記補正部は、さらに前記筆記内容画像の輪郭を補正する、
    請求項１に記載の画像処理装置。
16. 前記筆記対象を検出する検出部をさらに備え、
    前記補正部は、前記検出部が検出した前記筆記対象の情報に基づいて、前記筆記内容画像の形態を補正する、
    請求項１に記載の画像処理装置。
17. 前記筆記対象の画像から前記筆記内容画像を抽出する抽出部をさらに備え、
    前記補正部は、前記抽出部が抽出した前記筆記内容画像の形態を補正する、
    請求項１に記載の画像処理装置。
18. 前記補正部が補正した前記筆記内容画像を含む出力画像の出力を制御する出力部をさらに備える、
    請求項１に記載の画像処理装置。
19. プロセッサが、
    検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正すること、
    を含む、
    画像処理方法。
20. コンピュータを、
    検出された筆記対象の情報に基づいて、前記筆記対象に筆記された筆記内容の画像である筆記内容画像の形態を補正する補正部、
    として機能させるための、プログラム。

Images