JP6379811B2 - 表示装置、表示制御方法及び表示制御プログラム - Google Patents

Description

本発明は、表示装置、表示制御方法及び表示制御プログラムに関する。

撮像された時系列の画像（フレーム）を処理することにより、光通信を行う技術が知られている。例えば、情報で変調した光を発する屋外の照明等を光源とする送信装置として用いた場合、通信機器に内蔵されたカメラが送信装置を撮影し、受けた光を復調することにより情報を取得することができる（例えば、特許文献１参照）。

特開２００７−１４７９９４号公報

上述した光通信においては、光過敏を考慮して、光源の発光周期が例えば１秒間に３回等に制限されている。あるいは、高速通信を可能にすべく、発光周期の制限はないものの、光源が小型の発光ダイオード（ＬＥＤ：Light Emitting Diode）に制限されている。

しかしながら、通信機器のカメラのズーム機能や画像の拡大表示の機能により、高い周期で点滅する大きな画像が表示される虞があり、上述の光過敏の症状を引き起こす可能性が高くなる。

本発明は、このような問題に鑑みてなされたものであり、高い周期で点滅する光源を用いた光通信を適切に行うことが可能な表示装置、表示制御方法及び表示制御プログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る表示装置は、撮像を行う撮像手段と、前記撮像手段による撮像により得られた画像を表示する表示手段と、前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示手段による画像の表示態様を、表示される画像のコントラストを低下させる表示態様へ変更することが可能な態様変更手段と、を備えることを特徴とする。
また、本発明に係る表示装置は、撮像を行う撮像手段と、前記撮像手段による撮像により得られた画像を表示する表示手段と、前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示手段による画像の表示態様を、前記撮像手段によって撮像された時系列上の複数の画像を平均化させた画像の表示態様へ変更することが可能な態様変更手段と、を備えることを特徴とする。
また、本発明に係る表示装置は、撮像を行う撮像手段と、前記撮像手段による撮像により得られた画像を表示する表示手段と、前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記撮像手段による撮像により得られた画像に対する前記情報光源からの光の像の画像の領域の割合が所定値以下となるように、前記撮像手段による撮像時の拡大処理、及び、前記表示手段における表示時の拡大処理の少なくとも何れかを制限する態様に変更することが可能な態様変更手段と、を備えることを特徴とする。

本発明によれば、高い周期で点滅する光源を用いた光通信を適切に行うことが可能となる。

表示装置としてのスマートフォンを含む情報提供システムの構成を示す図である。 スマートフォンの構成を示す図である。 画面全体のコントラスト低下処理を示すフローチャートである。 スマートフォンの表示画面の第１の例を示す図である。 候補領域のマスク処理を示すフローチャートである。 スマートフォンの表示画面の第２の例を示す図である。 平均化による表示フレーム数低減処理を示すフローチャートである。 スマートフォンの表示画面の第３の例を示す図である。 間引きによる表示フレーム数低減処理を示すフローチャートである。 ズーム制限処理を示すフローチャートである。 スマートフォンの表示画面の第４の例を示す図である。 態様変更可否判定処理を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る表示装置、表示制御方法及び表示制御プログラムを説明する。

図１は、本発明の実施形態に係る表示装置を含む情報提供システムの構成を示す図である。図１に示す情報提供システム１は、表示装置としてのスマートフォン１００と、街頭に設置される大型表示装置４００とを含んで構成される。スマートフォン１００が大型表示装置４００における光通信領域２００からの光を受けることにより、光通信が行われる。

大型表示装置４００は、ＬＥＤ（Light Emitting Diode）等の発光体を配列して構成される。大型表示装置４００の一部（図１では左下）には、光通信時に点滅する光通信領域２００が設けられる。光通信領域２００は、広告等の様々な情報（コンテンツ）に対応して色変移や輝度（明滅）で変調された光を発する。

具体的には、大型表示装置４００は、コンテンツのデータをビットデータ列に符号化し、ビットデータ列に基づくデジタル変調を行う。符号化方式及び変調方式は任意であるが、変調方式として望ましくは周波数を２８．８（ｋＨｚ）とする搬送波を用いた４ＰＰＭ（Pulse Position Modulation）が採用される。更に、大型表示装置４００は、デジタル変調後の信号に対応し、多値の輝度値及び色相値で送信するために発光色（詳細にはＲＧＢの三色）を時間的に変化させるための駆動信号を生成する。更に、大型表示装置４００は、駆動信号に基づいて、光通信領域２００から光を発する。

スマートフォン１００はユーザ５００によって所持される。スマートフォン１００は、大型表示装置４００の光通信領域２００からの光を受けてコンテンツを取得し、そのコンテンツの表示等を行う。

図２は、スマートフォン１００の構成を示す図である。図２に示すように、スマートフォン１００は、制御部１０２、メモリ１０４、操作部１０６、表示部１０７、無線通信部１０８、アンテナ１１０、レンズ１１２、撮像部１１４、画像処理部１１６、バッファ１１８、復号処理部１２０、加速度センサ１２１、照度センサ１２２、レンズ１２４、サブ撮像部１２６、画像処理部１２８を含む。

制御部１０２は、ＣＰＵ（Central Processing Unit）によって構成される。制御部１０２は、メモリ１０４に記憶されたプログラム（例えば、後述する図３、図５、図７、図９、図１０、図１２に示すスマートフォン１００の動作を実現するためのプログラム）に従ってソフトウェア処理を実行することにより、スマートフォン１００が具備する各種機能（撮像態様変更部１３２、表示態様変更部１３４、表示制御部１３６等）を制御する。メモリ１０４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ１０４は、スマートフォン１００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部１０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部１０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）ディスプレイ等によって構成される。表示部１０７は、制御部１０２から出力された画像信号に従って画像（例えば、後述するライブビュー画像）を表示する。

無線通信部１０８は、例えば無線周波数（ＲＦ：Radio Frequency）回路やベースバンド（ＢＢ：Base Band）回路等を用いて構成される。無線通信部１０８は、アンテナ１１０を介して、無線信号の送信及び受信を行う。また、無線通信部１０８は、送信信号の符号化及び変調と、受信信号の復調及び復号とを行う。

レンズ１１２は、ズームレンズ等により構成される。レンズ１１２は、操作部１０６からのズーム制御操作、及び、制御部１０２による合焦制御により移動する。レンズ１１２の移動によって撮像部１１４が撮像する撮像画角や光学像が制御される。

撮像部１１４は、スマートフォン１００の筐体において、表示部１０７が設置された面とは反対側の面に配置される。撮像部１１４は、受光面１１５に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスである。撮像部１１４は、レンズ１１２を介して入光された光学像を、制御部１０２からの制御信号に基づいて所定範囲の撮像画角で撮像（受光）し、その撮像画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮像部１１４は、撮像とフレームの生成とを時間的に連続して行い、連続するフレームの画像データを画像処理部１１６に出力するとともに、バッファ１１８に逐次記憶させ、更新させる。

制御部１０２内の変調領域探索部１３８は、フレームにおける光通信により明度変化及び色相変化の少なくとも一方が生じる箇所の探索を行う。具体的には、変調領域探索部１３８は、バッファ１１８に記憶されたフレームの画像データ内の各画素の明度及び色相を判別する。更に、変調領域探索部１３８は、明度が所定値以上の画素を光通信領域２００からの光を受光することにより明度変化及び色相変化が生じる箇所（変化領域）の候補（候補領域）であると見なす。更に、変調領域探索部１３８は、直近に取得された所定数のフレームのそれぞれにおける候補領域内の同一座標において明度及び色相を判別する。判別の結果、候補領域内の座標における明度が、あるフレームでは第１の所定値以上であり、他のフレームでは第２の所定値以下となる場合や、色相を示す数値が、あるフレームでは第３の所定値であり、他のフレームでは第４の所定値である場合というように、所定のパターンで大きく変化する場合には、当該候補領域は、光通信領域２００からの光を受光することにより明度変化及び色相変化の少なくとも一方が生じる箇所（変化領域）であると見なす。また、変調領域探索部１３８は、必要に応じて当該候補領域の各画素を明度や色相の変化に応じて二値化して白又は黒の何れか一方に分類（ラベリング）する。

変化領域が存在する場合には、変調領域探索部１３８は、フレームにおけるこの変化領域の座標（以下、「変化座標」と称する）と当該変化座標における直近の所定数のフレーム間の時間的な明度変化及び色相変化の態様をビットデータ列に復号し、当該ビットデータ列をバッファ１１８に構成される座標データリストに記憶させ、更新させる。

画像処理部１１６は、制御部１０２からの制御信号に基づいて、撮像部１１４から出力されたフレームの画像データ（デジタルデータ）について、表示部１０７にライブビュー画像として表示させるべく、画質や画像サイズを調整して制御部１０２へ出力する。また、画像処理部１１６は、操作部１０６からの記録指示操作に基づく制御信号が入力されると、記録指示された時点の撮像部１１４における撮像画角内、あるいは、表示部１０７に表示された表示範囲内の光学像を、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮符号化方式にて符号化、ファイル化する機能を有する。制御部１０２内の表示制御部１３６は、画像処理部１１６からのフレームの画像データに基づいて、ライブビュー画像を表示部１０７へ表示させる制御を行う。

復号処理部１２０は、制御部１０２からの制御信号に基づいて、バッファ１１８内の座標データリストに格納された明度変化及び色相変化の態様を示すビットデータ列をデジタルデータ（コンテンツデータ）に復号する。更に、復号処理部１２０は、コンテンツデータと変化領域を特定するための情報とを制御部１０２へ出力する。復号方式は、光通信領域２００における符号化方式に対応する方式が採用される。制御部１０２は、コンテンツデータと変化領域を特定するための情報とをメモリ１０４に記憶させる。また、制御部１０２内の表示制御部１３６は、入力されたコンテンツデータに基づいて、コンテンツの画像を表示部１０７へ表示させる制御を行う。

加速度センサ１２１は、スマートフォン１００の加速度を検出して加速度値を制御部１０２へ出力する。照度センサ１２２は、スマートフォン１００の周辺の照度を検出して照度値を制御部１０２へ出力する。

レンズ１２４は、レンズ１１２と同様、ズームレンズ等により構成される。レンズ１２２は、操作部１０６からのズーム制御操作、及び、制御部１０２による合焦制御により移動する。レンズ１２２の移動によってサブ撮像部１２６が撮像する撮像画角や光学像が制御される。

サブ撮像部１２６は、スマートフォン１００の筐体において、表示部１０７が設置された面に配置される。サブ撮像部１２６は、撮像部１１４と同様、受光面１２５に規則的に二次元配列された複数の受光素子（ＣＣＤ、ＣＭＯＳ）等の撮像デバイスである。サブ撮像部１２６は、レンズ１２４を介して入光された光学像を、制御部１０２からの制御信号に基づいて所定範囲の撮像画角で撮像（受光）し、その撮像画角内の画像信号をデジタルデータに変換してフレームを生成する。

次に、スマートフォン１００の光通信時の動作を以下の第１の動作〜第６の動作により説明する。以下の第１〜第６の動作は、スマートフォン１００において、光通信のアプリケーションが実行されたときに行われる。

（第１の動作）
図３は、スマートフォン１００の光通信時の第１の動作である画面全体のコントラスト（明度差）低下処理を示すフローチャートである。

スマートフォン１００の制御部１０２内の表示制御部１３６は、撮像部１１４による撮像によって得られたフレームの画像データを、画像処理部１１６を介して取得する（ステップＳ１０１）。次に、表示制御部１３６は、フレームの画像データについて所定の色変換処理を行い、赤、緑、青の光の三原色の組み合わせであるＲＧＢのフレームの画像データに変換する（ステップＳ１０２）。表示制御部１３６は、ＲＧＢのフレーム画像データを取得する毎にメモリ１０４に記憶させる。

次に、制御部１０２内の表示態様変更部１３４は、撮像部１１４から今回取得したＲＧＢのフレームの画像データと、過去に取得されたＲＧＢのフレームの画像データとの明度及び色相の差分を検出する（ステップＳ１０３）。具体的には、表示態様変更部１３４は、メモリ１０４に記憶された過去のＲＧＢのフレーム画像データを読み出す。更に、表示制御部１３６は、今回取得したＲＧＢのフレームの画像データと、メモリ１０４から読み出した過去のＲＧＢのフレームの画像データとについて、フレームの同一座標における明度、色相のそれぞれの差分を数値化する。

次に、表示態様変更部１３４は、各座標における明度の差分の数値が所定値以上であるか否か、及び、色相の差分の数値が所定値以上であるか否かを判定する（ステップＳ１０４）。

各座標における明度の差分の数値が所定値以上、及び、色相の差分の数値が所定値以上の少なくとも何れか一方を満たす場合（ステップＳ１０４；ＹＥＳ）、表示態様変更部１３４は、今回取得したＲＧＢのフレームの画像データに対して、フレーム全体のコントラストを低下させるべく、ガンマ補正を行う（ステップＳ１０５）。その後、表示制御部１３６は、ガンマ補正後のＲＧＢのフレームの画像データに基づいて、ライブビュー画像を表示部１０７へ表示させる制御を行う。一方、明度、色相の差分の数値の合計値が所定値以上でない場合（ステップＳ１０４；ＮＯ）、ステップＳ１０５の処理は実行されない。

上述したような画面全体のコントラスト低下処理により、表示部１０７に表示される画像はコントラストが低下した状態で表示される。例えば、通常は、図４（Ａ）に示すように光通信領域２００の画像６０２を含む全体画像６００が表示されるが、画面全体のコントラスト低下処理により、図４（Ｂ）に示すように全体画像６００全体のコントラストが低下した状態で表示される。

（第２の動作）
図５は、スマートフォン１００の光通信時の第２の動作である候補領域のマスク処理を示すフローチャートである。

ステップＳ１５１及びステップＳ１５２の動作は、図３のステップＳ１０１及びステップＳ１０２の動作と同様である。すなわち、スマートフォン１００の制御部１０２内の表示制御部１３６は、撮像部１１４による撮像によって得られたフレームの画像データを、画像処理部１１６を介して取得する（ステップＳ１５１）。次に、表示制御部１３６は、フレームの画像データについて所定の色変換処理を行い、赤、緑、青の光の三原色の組み合わせであるＲＧＢのフレームの画像データに変換する（ステップＳ１５２）。表示制御部１３６は、ＲＧＢのフレーム画像データを取得する毎にメモリ１０４に記憶させる。

次に、制御部１０２内の変調領域探索部１３８にてフレーム内の画素のラベリング処理を行う（ステップＳ１５３）。具体的には、変調領域探索部１３８は、フレーム内の各画素を明度に応じて二値化して白又は黒の何れか一方に分類する。更に、変調領域探索部１３８は、連続する白の画素又は黒の画素の領域毎に番号を付与する。

次に、変調領域探索部１３８は、フレーム内の候補領域を検出する（ステップＳ１５４）。具体的には、変調領域探索部１３８は、フレーム内の各画素の明度を判別する。更に、変調領域探索部１３８は、明度が所定値以上の画素を候補領域であると見なす。

次に、変調領域探索部１３８は、候補領域と、過去のフレームにおける候補領域と同一の領域とにおいて、明度及び色相の少なくとも一方が変化しているか否かを判定する（ステップＳ１５５）。具体的には、変調領域探索部１３８は、今回取得したフレームと過去の所定数のフレームのそれぞれにおける候補領域内の同一座標において明度及び色相の変化を判別する。判別の結果、明度が、あるフレームでは第１の所定値以上であり、他のフレームでは第２の所定値以下となる場合や、色相を示す数値が、あるフレームでは第３の所定値であり、他のフレームでは第４の所定値である場合というように、所定のパターンで大きく変化する場合には、変調領域探索部１３８は、候補領域と、過去のフレームにおける候補領域と同一の領域とにおいて、明度、色相が変化していると判定する。

候補領域と、過去のフレームにおける候補領域と同一の領域とにおいて、明度及び色相の少なくとも一方が変化している場合（ステップＳ１５５；ＹＥＳ）、次に、変調領域探索部１３８は、過去の所定数のフレームにおいて明度及び色相の少なくとも一方の変化が継続しているか否かを判定する（ステップＳ１５６）。具体的には、変調領域探索部１３８は、ステップＳ１５５の処理の結果に基づいて、過去の所定数のフレームのそれぞれにおける候補領域内の同一座標において、明度が、あるフレームでは第１の所定値以上であり、他のフレームでは第２の所定値以下となる場合や、色相を示す数値が、あるフレームでは第３の所定値であり、他のフレームでは第４の所定値である場合というように、所定のパターンで大きく変化する場合には、過去の所定数のフレームにおいて明度及び色相の少なくとも一方の変化が継続していると判定する。

候補領域と、過去のフレームにおける候補領域と同一の領域とにおいて、明度及び色相の少なくとも一方が変化しており、且つ、過去の所定数のフレームにおいて明度及び色相の少なくとも一方の変化が継続している場合、候補領域は変化領域となる。

過去の所定数のフレームにおいて明度及び色相の少なくとも一方の変化が継続している場合（ステップＳ１５６；ＹＥＳ）、変調領域探索部１３８は、フレーム内の変化領域を特定する情報を制御部１０２へ出力する。次に、制御部１０２は、光通信が成功したか否かを判定する（ステップＳ１５７）。具体的には、制御部１０２は、復号処理部１２０による復号が成功し、当該復号処理部１２０からのコンテンツデータが取得された場合には、光通信が成功したと判定し、当該復号処理部１２０からのコンテンツデータが取得されない場合には、光通信が失敗したと判定する。

光通信が成功した場合（ステップＳ１５７；ＹＥＳ）、表示態様変更部１３４は、今回取得したＲＧＢのフレームの画像データに対して、候補領域をマスク（遮蔽）すべく、当該候補領域の画像にアイコン画像を重畳する処理を行う（ステップＳ１５８）。フレーム内の候補領域は、変調領域探索部１３８からのフレーム内の変化領域を特定する情報により特定される。その後、表示制御部１３６は、アイコン画像重畳後のＲＧＢのフレームの画像データに基づいて、ライブビュー画像を表示部１０７へ表示させる制御を行う。これにより、例えば、図６（Ａ）に示すように、全体画像６００において、候補領域の位置に「検出中」等のアイコン画像６０４が表示される。

一方、光通信が失敗した場合（ステップＳ１５７；ＮＯ）、表示態様変更部１３４は、今回取得したＲＧＢのフレームの画像データに対して、候補領域のコントラストを低下させる処理、例えば、ガンマ補正を行う（ステップＳ１５９）。その後、表示制御部１３６は、候補領域のコントラスト低下後のＲＧＢのフレームの画像データに基づいて、ライブビュー画像を表示部１０７へ表示させる制御を行う。これにより、例えば、図６（Ｂ）に示すように、全体画像６００において、候補領域の画像６０３を含む領域の画像６０６が、コントラストが低下した状態で表示される。

ステップＳ１５８において、候補領域の画像にアイコン画像を重畳する処理が行われた後、ステップＳ１５９において、候補領域のコントラストを低下させる処理が行われた後、ステップＳ１５５において、候補領域と、過去のフレームにおける候補領域と同一の領域とにおいて、明度及び色相の何れも変化していないと判定された後（ステップＳ１５５；ＮＯ）、ステップＳ１５６において、過去の所定数のフレームにおいて明度及び色相の何れも変化が継続していないと判定された後（ステップＳ１５６；ＮＯ）、制御部１０２は、全ての候補領域についてステップＳ１５５〜ステップＳ１５９の処理が終了したか否かを判定する（ステップＳ１６０）。全ての候補領域についてステップＳ１５５〜ステップＳ１５９の処理が終了していない場合（ステップＳ１６０；ＮＯ）、未処理の候補領域についてステップＳ１５５以降の動作が繰り返される。一方、全ての候補領域についてステップＳ１５５〜ステップＳ１５９の処理が終了した場合（ステップＳ１６０；ＹＥＳ）、一連の動作が終了する。

（第３の動作）
図７は、スマートフォン１００の光通信時の第３の動作である平均化による表示フレーム数低減処理を示すフローチャートである。

ステップＳ２０１〜ステップＳ２０４の動作は、図３のステップＳ１０１〜ステップＳ１０４の動作と同様である。すなわち、スマートフォン１００の制御部１０２内の表示制御部１３６は、撮像部１１４による撮像によって得られたフレームの画像データを、画像処理部１１６を介して取得する（ステップＳ２０１）。次に、表示制御部１３６は、フレームの画像データについて所定の色変換処理を行い、赤、緑、青の光の三原色の組み合わせであるＲＧＢのフレームの画像データに変換する（ステップＳ２０２）。表示制御部１３６は、ＲＧＢのフレーム画像データを取得する毎にメモリ１０４に記憶させる。

次に、制御部１０２内の表示態様変更部１３４は、撮像部１１４から今回取得したＲＧＢのフレームの画像データと、過去に取得されたＲＧＢのフレームの画像データとの明度及び色相の差分を検出する（ステップＳ２０３）。次に、表示態様変更部１３４は、各座標における明度の差分の数値が所定値以上であるか否か、及び、色相の差分の数値が所定値以上であるか否かを判定する（ステップＳ２０４）。

各座標における明度の差分の数値が所定値以上、及び、色相の差分の数値が所定値以上の何れでもない場合（ステップＳ２０４；ＮＯ）、一連の動作が終了する。一方、各座標における明度の差分の数値が所定値以上、及び、色相の差分の数値が所定値以上の少なくとも何れか一方を満たす場合（ステップＳ２０４；ＹＥＳ）、表示態様変更部１３４は、今回取得したＲＧＢのフレームの画像データと、過去の所定数のＲＧＢのフレームの画像データとの平均化を行う（ステップＳ２０５）。具体的には、表示態様変更部１３４は、今回取得したＲＧＢのフレームの画像データと、過去の所定数のＲＧＢのフレームの画像データとのそれぞれの同一座標の画素について、明度値の平均値と、色相値の平均値とを算出し、これらの平均値を当該画素の明度値及び色相値とする。その後、表示制御部１３６は、平均化されたＲＧＢのフレームの画像データに基づいて、ライブビュー画像を表示部１０７へ表示させる制御を行う。これにより、例えば、図８に示すように、全体画像６００には、光通信領域２００の画像を平均化した画像６０２ａが含まれる。

（第４の動作）
図９は、スマートフォン１００の光通信時の第４の動作である間引きによる表示フレーム数低減処理を示すフローチャートである。

ステップＳ２５１〜ステップＳ２５４の動作は、図３のステップＳ１０１〜ステップＳ１０４の動作と同様である。すなわち、スマートフォン１００の制御部１０２内の表示制御部１３６は、撮像部１１４による撮像によって得られたフレームの画像データを、画像処理部１１６を介して取得する（ステップＳ２５１）。次に、表示制御部１３６は、フレームの画像データについて所定の色変換処理を行い、赤、緑、青の光の三原色の組み合わせであるＲＧＢのフレームの画像データに変換する（ステップＳ２５２）。表示制御部１３６は、ＲＧＢのフレーム画像データを取得する毎にメモリ１０４に記憶させる。

次に、制御部１０２内の表示態様変更部１３４は、撮像部１１４から今回取得したＲＧＢのフレームの画像データと、過去に取得されたＲＧＢのフレームの画像データとの明度及び色相の差分を検出する（ステップＳ２５３）。次に、表示態様変更部１３４は、各座標における明度の差分の数値が所定値以上であるか否か、及び、色相の差分の数値が所定値以上であるか否かを判定する（ステップＳ２５４）。

各座標における明度の差分の数値が所定値以上、及び、色相の差分の数値が所定値以上の少なくとも何れか一方を満たす場合（ステップＳ２５４；ＹＥＳ）、表示態様変更部１３４は、今回取得したＲＧＢのフレームの画像データに基づく画像表示を制限し、１つ前のＲＧＢのフレームの画像データでの表示を継続する制御を行う（ステップＳ２５５）。一方、明度、色相の差分の数値の合計値が所定値以上でない場合（ステップＳ２５４；ＮＯ）、ステップＳ２５５の処理は実行されない。

（第５の動作）
図１０は、スマートフォン１００の光通信時の第５の動作であるズーム制限処理を示すフローチャートである。

ステップＳ３０１〜ステップＳ３０６の動作は、図５のステップＳ１５１〜ステップＳ１５６の動作と同様である。すなわち、スマートフォン１００の制御部１０２内の表示制御部１３６は、撮像部１１４による撮像によって得られたフレームの画像データを、画像処理部１１６を介して取得する（ステップＳ３０１）。次に、表示制御部１３６は、フレームの画像データについて所定の色変換処理を行い、赤、緑、青の光の三原色の組み合わせであるＲＧＢのフレームの画像データに変換する（ステップＳ３０２）。表示制御部１３６は、ＲＧＢのフレーム画像データを取得する毎にメモリ１０４に記憶させる。

次に、変調領域探索部１３８は、フレーム内の画素のラベリング処理を行う（ステップＳ３０３）。次に、変調領域探索部１３８は、フレーム内の候補領域を検出する（ステップＳ３０４）。

次に、変調領域探索部１３８は、候補領域と、過去のフレームにおける候補領域と同一の領域とにおいて、明度及び色相の少なくとも一方が変化しているか否かを判定する（ステップＳ３０５）。

候補領域と、過去のフレームにおける候補領域と同一の領域とにおいて、明度及び色相の少なくとも一方が変化している場合（ステップＳ３０５；ＹＥＳ）、次に、変調領域探索部１３８は、過去の所定数のフレームにおいて明度及び色相の少なくとも一方の変化が継続しているか否かを判定する（ステップＳ３０６）。

過去の所定数のフレームにおいて明度及び色相の少なくとも一方の変化が継続している場合（ステップＳ３０６；ＹＥＳ）、変調領域探索部１３８は、フレーム内の変化領域を特定する情報を制御部１０２へ出力する。次に、制御部１０２は、画像（フレーム）全体に占める候補領域の割合が所定値以上であるか否かを判定する（ステップＳ３０７）。具体的には、制御部１０２は、変調領域探索部１３８からのフレーム内の変化領域を特定する情報に基づいて、画像（フレーム）全体に占める候補領域の割合を特定し、その割合が所定値以上（例えば、３０％以上）であるか否かを判定する。

画像（フレーム）全体に占める候補領域の割合が所定値以上である場合（ステップＳ３０７；ＹＥＳ）、撮像態様変更部１３２及び表示態様変更部１３４は、候補領域の割合が所定値未満になるように、撮像部１１４のデジタルズーム倍率制限やレンズ１１２の移動による光学的ズームの倍率制限、表示部１０７にライブビュー画像を表示する際の拡大表示を制限する制御を行う（ステップＳ３０８）。ここでは、撮像態様変更部１３４によるズーム制限と、表示態様変更部１３４による拡大表示制限との何れか一方のみが行われてもよいし、双方が行われてもよい。

撮像態様変更部１３４によるズーム制限のみが行われる場合には、撮像態様変更部１３２は、画像（フレーム）全体に占める候補領域の割合が例えば１０％以下になるようなズーム倍率を算出し、その算出したズーム倍率をズーム倍率の上限として設定する。これにより、撮像部１１４は、ズーム倍率の上限以下のズーム倍率でのみ撮像が可能となる。一方、表示態様変更部１３４による拡大表示制限のみが行われる場合には、表示態様変更部１３４は、画像（フレーム）全体に占める候補領域の割合が例えば１０％以下になるような拡大表示倍率を算出し、その算出した拡大表示倍率を表示部１０７における拡大表示倍率の上限として設定する。これにより、表示部１０７は、拡大表示倍率の上限以下の拡大表示倍率でのみ表示が可能となる。

また、撮像態様変更部１３２によるズーム倍率制限と、表示態様変更部１３４による拡大表示制限との双方が行われる場合、撮像態様変更部１３２と表示態様変更部１３４とは、共同して、画像（フレーム）全体に占める候補領域の割合が例えば１０％以下になるようなズーム倍率及び拡大表示倍率を算出し、算出したズーム倍率を撮像部１１４によるズーム倍率の上限として設定するとともに、算出した拡大表示倍率を表示部１０７における拡大表示倍率の上限として設定する。

これにより、例えば、通常は、図１１（Ａ）に示すように光通信領域２００の画像６０２を含む全体画像６００が表示されるが、ズーム倍率制限や拡大表示制限により、図１１（Ｂ）に示すように全体画像６００に占める画像６０２の割合が低下した状態で表示される。

ステップＳ３０８の後、ステップＳ３０５で否定判断された場合の後、ステップＳ３０６で否定判断された場合の後、ステップＳ３０７で否定判断された後、制御部１０２は、全ての候補領域について、ステップＳ３０５〜ステップＳ３０８の処理が終了したか否かを判定する（ステップＳ３０９）。未処理の候補領域が存在する場合（ステップＳ３０９；ＮＯ）には、ステップＳ３０５以降の動作が繰り返される。一方、未処理の候補領域が存在しない場合（ステップＳ３０９；ＹＥＳ）には、一連の動作が終了する。

（第６の動作）
図１２は、スマートフォン１００の光通信時の第６の動作である態様変更可否判定処理を示すフローチャートである。

スマートフォン１００の制御部１０２内の表示制御部１３６は、撮像部１１４による撮像によって得られたフレームの画像データを、画像処理部１１６を介して取得する（ステップＳ３５１）。

次に、制御部１０２は、照度センサ１２２からの照度値に基づいて、スマートフォン１００の周辺の照度（環境照度）が所定値以上であるか否かを判定する（ステップＳ３５２）。

環境照度が所定値以上でない場合（ステップＳ３５２；ＮＯ）、次に、制御部１０２は、ユーザ５００が表示部１０７を目視しているか否かを判定する（ステップＳ３５３）。具体的には、制御部１０２は、サブ撮像部１２６による撮像によって得られた画像データを取得し、顔検出（目の位置の検出）等の画像解析処理を行うことにより、ユーザ５００が表示部１０７を目視しているか否かを判定する。

ユーザ５００が表示部１０７を目視している場合（ステップＳ３５３；ＹＥＳ）、制御部１０２は、加速度センサ１２１からの加速度値に基づいて、スマートフォン１００の振動（加速度）が所定値以上であるか否かを判定する（ステップＳ３５４）。

スマートフォン１００の振動（加速度）が所定値以上でない場合（ステップＳ３５５；ＮＯ）、制御部１０２は、ユーザ５００による明示的な光通信モードが設定されているか否かを判定する（ステップＳ３５５）。ここで、ユーザ５００による明示的な光通信モードとは、例えば、ユーザ５００が表示部１０７の表面に対してタップ等の操作を行うことにより、画像内の光通信領域２００を指定することが行われた場合等を意味する。

ユーザ５００による明示的な光通信モードでない場合（ステップＳ３５５；ＮＯ）、図３に示すコントラスト低下処理が行われる（ステップＳ３５６）。一方、ステップＳ３５２で肯定判断された後、ステップＳ３５３で否定判断された後、ステップＳ３５４で肯定判断された後、ステップＳ３５５で肯定判断された後の場合には、一連の処理が終了する。

このように、スマートフォン１００は、光通信領域２００が撮像された場合、撮像部１１４による撮像態様や表示部１０７による表示態様が通常の態様から変更される。具体的には、画像（フレーム）全体のコントラストを低下させる処理、候補領域へのアイコン画像の重畳表示処理や、候補領域のコントラストを低下させるマスク処理、画像の平均化や間引きによる表示フレーム数の低減処理、撮像部１１４のズーム倍率の上限や表示部１０７における拡大表示倍率の上限を制限するズーム制限処理が行われる。

画像（フレーム）全体のコントラストを低下させることにより、１の画像内における明度差が小さくなり、高い周期で光通信領域２００が点滅する場合でも画像が見やすくなる。また、候補領域にアイコン画像を重畳させる、または、候補領域のコントラストを低下させることにより、明度の高い光通信領域２００に対応する画像がそのまま表示されず、高い周期で光通信領域２００が点滅する場合でも画像が見やすくなる。また、画像の平均化や間引きによる表示フレーム数の低減処理により、高い周期で光通信領域２００が点滅する場合でも、表示される画像においては光通信領域２００に対応する画像が高い周期で点滅することがなく、画像が見やすくなる。また、撮像部１１４のズーム倍率の上限や表示部１０７における拡大表示倍率の上限を制限するズーム制限処理が行われることで、画像全体に占める光通信領域２００に対応する画像の割合を小さくすることができ、高い周期で光通信領域２００が点滅する場合でも画像が見やすくなる。

また、撮像部１１４の撮像により得られたフレームの画像データは、情報復号によるコンテンツ取得のためにバッファ１１８に出力されるとともに、表示部１０７における表示のために画像処理部１１６に出力されており、情報復号と画像表示の双方が互いに支障を及ぼすことなく適切に行うことができる。

また、ユーザ５００が表示部１０７を目視している場合のみ、画像全体のコントラストの低下処理が実行されるため、ユーザ５００による見やすさの向上を目的とする当該コントラストの低下処理を必要に応じて行うことができる。

なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。上述した実施形態では、ユーザ５００が表示部１０７を目視している場合のみ、画像全体のコントラストの低下処理が実行されたが、ユーザ５００が表示部１０７を目視している場合のみ、候補領域へのアイコン画像の重畳表示処理、候補領域のコントラストを低下させるマスク処理、画像の平均化や間引きによる表示フレーム数の低減処理、撮像部１１４のズーム倍率の上限や表示部１０７における拡大表示倍率の上限を制限するズーム制限処理が行われるようにしてもよい。

また、上述した実施形態では、表示装置としてスマートフォン１００が用いられる場合について説明したが、携帯電話機、タブレット型パーソナルコンピュータ、ノート型パーソナルコンピュータ等の撮像可能な表示装置であれば、本発明を適用することができる。

また、例えば、コンピュータがプログラムを実行することで、スマートフォン１００の機能を実現してもよい。また、スマートフォン１００の機能を実現するためのプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記憶媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
撮像を行う撮像手段と、
前記撮像手段による撮像により得られた画像を表示する表示手段と、
前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記撮像手段による撮像態様、及び、前記表示手段による画像の表示態様の少なくとも何れかを基準として定められた態様から変更することが可能な態様変更手段と、
を備えることを特徴とする表示装置。

（付記２）
前記撮像手段は、情報復号用の画像信号と、前記表示手段による表示用の画像信号とを並行して出力することを特徴とする付記１に記載の表示装置。

（付記３）
前記態様変更手段は、前記表示装置の利用者が前記表示手段に表示される画像を目視している場合に、前記撮像手段による撮像態様、及び、前記表示手段による画像の表示態様の少なくとも何れかを基準として定められた態様から変更することを特徴とする付記１又は２に記載の表示装置。

（付記４）
前記態様変更手段は、前記表示手段に表示される画像のコントラストを低下させることを特徴とする付記１〜３の何れか１つに記載の表示装置。

（付記５）
前記態様変更手段は、前記撮像手段による撮像により得られた画像のうち、前記情報光源からの光の像の画像の領域に対して、コントラストを低下させる処理を行うことを特徴とする付記４に記載の表示装置。

（付記６）
前記態様変更手段は、前記表示手段に表示される画像の数を減らすことを特徴とする付記１〜３の何れか１つに記載の表示装置。

（付記７）
前記態様変更手段は、時系列上の複数の画像を平均化した画像を表示対象とすることを特徴とする付記６に記載の表示装置。

（付記８）
前記態様変更手段は、時系列上の複数の画像のうち、一部の画像を表示対象として選択することを特徴とする付記６に記載の表示装置。

（付記９）
前記態様変更手段は、前記撮像手段による撮像により得られた画像のうち、前記情報光源からの光の像の画像の領域に他の画像を重畳することを特徴とする付記１〜３の何れか１つに記載の表示装置。

（付記１０）
前記態様変更手段は、前記撮像手段による撮像により得られた画像に対する前記情報光源からの光の像の画像の領域の割合が所定値以下となるように、前記撮像手段による撮像時の拡大処理、及び、前記表示手段における表示時の拡大処理の少なくとも何れかを制限することを特徴とする付記１〜３の何れか１つに記載の表示装置。

（付記１１）
撮像を行う撮像ステップと、
前記撮像ステップにおける撮像により得られた画像を表示する表示ステップと、
前記撮像ステップにおける撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記撮像ステップにおける撮像態様、及び、前記表示ステップにおける画像の表示態様の少なくとも何れかを基準として定められた態様から変更することが可能な態様変更ステップと、
を含むことを特徴とする表示制御方法。

（付記１２）
コンピュータを、
撮像を行う撮像手段、
前記撮像手段による撮像により得られた画像を表示する表示手段、
前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記撮像手段による撮像態様、及び、前記表示手段による画像の表示態様の少なくとも何れかを基準として定められた態様から変更することが可能な態様変更手段、
として機能させるための表示制御プログラム。

１…情報提供システム、１００…スマートフォン、１０２…制御部、１０４…メモリ、１０６…操作部、１０７…表示部、１０８…無線通信部、１１０…アンテナ、１１２、１２４…レンズ、１１４…撮像部、１１５、１２５…受光面、１１６…画像処理部、１１８…バッファ、１２０…復号処理部、１２１…加速度センサ、１２２…照度センサ、１２６…サブ撮像部、１２８…画像処理部、１３２…撮像態様変更部、１３４…表示態様変更部、１３６…表示制御部、１３８…変調領域探索部、２００…光通信領域、６００…全体画像、６０２…光通信領域の画像、６０２ａ…光通信領域の画像を平均化した画像、６０３…候補領域の画像、６０４…アイコン画像、６０６…候補領域の画像を含む領域の画像、４００…大型表示装置、５００…ユーザ

Claims (13)

1. 撮像を行う撮像手段と、
   前記撮像手段による撮像により得られた画像を表示する表示手段と、
   前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示手段による画像の表示態様を、表示される画像のコントラストを低下させる表示態様へ変更することが可能な態様変更手段と、
   を備えることを特徴とする表示装置。
2. 前記態様変更手段は、前記撮像手段による撮像により得られた画像のうち、前記情報光源からの光の像の画像の領域に対して、コントラストを低下させる処理を行うことを特徴とする請求項１に記載の表示装置。
3. 撮像を行う撮像手段と、
   前記撮像手段による撮像により得られた画像を表示する表示手段と、
   前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示手段による画像の表示態様を、前記撮像手段によって撮像された時系列上の複数の画像を平均化させた画像の表示態様へ変更することが可能な態様変更手段と、
   を備えることを特徴とする表示装置。
4. 撮像を行う撮像手段と、
   前記撮像手段による撮像により得られた画像を表示する表示手段と、
   前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記撮像手段による撮像により得られた画像に対する前記情報光源からの光の像の画像の領域の割合が所定値以下となるように、前記撮像手段による撮像時の拡大処理、及び、前記表示手段における表示時の拡大処理の少なくとも何れかを制限する態様に変更することが可能な態様変更手段と、
   を備えることを特徴とする表示装置。
5. 前記撮像手段は、情報復号用の画像信号と、前記表示手段による表示用の画像信号とを並行して出力することを特徴とする請求項１乃至４の何れか１項に記載の表示装置。
6. 前記態様変更手段は、前記表示装置の利用者が前記表示手段に表示される画像を目視している場合に、前記撮像手段による撮像態様、及び、前記表示手段による画像の表示態様の少なくとも何れかを、予め定められた態様から変更することを特徴とする請求項１乃至５の何れか１項に記載の表示装置。
7. 前記態様変更手段は、前記撮像手段による撮像により得られた画像のうち、前記情報光源からの光の像の画像の領域に他の画像を重畳することを特徴とする請求項１乃至６の何れか１項に記載の表示装置。
8. 撮像を行う撮像ステップと、
   前記撮像ステップにおける撮像により得られた画像を表示する表示ステップと、
   前記撮像ステップにおける撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示ステップにおける画像の表示態様を、表示される画像のコントラストを低下させる表示態様へ変更することが可能な態様変更ステップと、
   を含むことを特徴とする表示制御方法。
9. 撮像を行う撮像ステップと、
   前記撮像ステップにおける撮像により得られた画像を表示する表示ステップと、
   前記撮像ステップにおける撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示ステップにおける画像の表示態様を、前記撮像ステップにおいて撮像された時系列上の複数の画像を平均化させた画像の表示態様へ変更することが可能な態様変更ステップと、
   を含むことを特徴とする表示制御方法。
10. 撮像を行う撮像ステップと、
    前記撮像ステップにおける撮像により得られた画像を表示する表示ステップと、
    前記撮像ステップにおける撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記撮像ステップにおける撮像により得られた画像に対する前記情報光源からの光の像の画像の領域の割合が所定値以下となるように、前記撮像ステップにおける撮像時の拡大処理、及び、前記表示ステップにおける表示時の拡大処理の少なくとも何れかを制限する態様に変更することが可能な態様変更ステップと、
    を含むことを特徴とする表示制御方法。
11. コンピュータを、
    撮像を行う撮像手段、
    前記撮像手段による撮像により得られた画像を表示する表示手段、
    前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示手段による画像の表示態様を、表示される画像のコントラストを低下させる表示態様へ変更することが可能な態様変更手段、
    として機能させるための表示制御プログラム。
12. コンピュータを、
    撮像を行う撮像手段、
    前記撮像手段による撮像により得られた画像を表示する表示手段、
    前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記表示手段による画像の表示態様を、前記撮像手段によって撮像された時系列上の複数の画像を平均化させた画像の表示態様へ変更することが可能な態様変更手段、
    として機能させるための表示制御プログラム。
13. コンピュータを、
    撮像を行う撮像手段、
    前記撮像手段による撮像により得られた画像を表示する表示手段、
    前記撮像手段による撮像により得られた画像に情報光源からの光の像が含まれる場合に、前記撮像手段による撮像により得られた画像に対する前記情報光源からの光の像の画像の領域の割合が所定値以下となるように、前記撮像手段による撮像時の拡大処理、及び、前記表示手段における表示時の拡大処理の少なくとも何れかを制限する態様に変更することが可能な態様変更手段、
    として機能させるための表示制御プログラム。

Images