WO2021020355A1

WO2021020355A1 - 色推定装置、色推定方法及びプログラム

Info

Publication number: WO2021020355A1
Application number: PCT/JP2020/028749
Authority: WO
Inventors: 直知宮本
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2019-07-29
Filing date: 2020-07-27
Publication date: 2021-02-04
Anticipated expiration: 2022-01-29
Also published as: US12154298B2; CN114175613A; CN114175613B; US20220277487A1

Abstract

サーバは、デベイヤフィルタよりもサイズが小さいマーカ候補の領域について色を推定する場合、カラーフィルタのベイヤー配列を考慮して、マーカ候補の領域の色相Ｈ、彩度Ｓ、明度Ｖの平均値であるＨＳＶ平均値を用いて、マーカ候補の領域の色を推定する。更に、サーバは、ＨＳＶ平均値を適宜修正するとともに、ピクセルフォーマットの変換を行うことにより、ＨＳＶ平均値をＲＧＢ（ＲＧＢ平均値）に変換し、そのＲＧＢ平均値をマーカの領域の全画素に設定する。

Description

色推定装置、色推定方法及びプログラム

　本発明は、色推定装置、色推定方法及びプログラムに関する。

　マーカが情報を可視光の波長領域における輝度、色で変調して発光し、情報送信する技術が考えられている。また、この変調された可視光をカメラのイメージセンサで受光し、イメージセンサにおける受光した位置と復調された情報とを対応付けさせる技術も存在する（例えば特許文献１参照）。

特開２０１６－１３９９９８号公報

　しかしながら、マーカとカメラとの距離が長く、結果的に撮像素子における受光面において、マーカが発光する光の像が所定サイズ以下で撮像されるようになると、その光の像の色（発光色）はカラーフィルタの赤、緑、青（ＲＧＢ）配列の何れかの色の影響を強く受けてしまい、発光色が正しく認識できなくなるという問題が生じる。

　本願発明はこのような問題点に鑑みてなされたものであり、色の特定が困難なサイズの画像の色を正しく推定することを目的とする。

　上記目的を達成するため、本発明に係る色推定装置は、
　受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段と、
　前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段と、
　を備えることを特徴とする。

　上記目的を達成するため、本発明に係る色推定方法は、
　受光した位置から受光した光が属する色が特定される複数の配列された受光素子により受光する受光ステップと、
　前記受光ステップにおいて受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定ステップと、
　を含むことを特徴とする。

　上記目的を達成するため、本発明に係るプログラムは、
　コンピュータを、
　受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段、
　前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段、
　として機能させることを特徴とする。

　本発明によれば、色の特定が困難なサイズの画像の色を正しく推定することができる。

本発明の実施形態に係る可視光通信システムの一例を示す図である。同実施形態に係る移動機器の構成の一例を示す図である。同実施形態に係るサーバの構成の一例を示す図である。同実施形態に係るカラーフィルタのベイヤー配列の一例を示す図である。（ａ）は同実施形態に係る赤のマーカの領域が赤フィルタに含まれる一例を示す図であり、（ｂ）は同実施形態に係る赤のマーカの領域が緑フィルタや青フィルタに重なる一例を示す図であり、（ｃ）は同実施形態に係る赤のマーカの領域が緑フィルタや青フィルタに重なる他の一例を示す図である。（ａ）は同実施形態に係る色相環の一例を示す図であり、（ｂ）は同実施形態に係る色平面の一例を示す図である。同実施形態に係るサーバによる色推定の動作の一例を示すフローチャートである。同実施形態に係るサーバによる色推定の詳細な第１の動作の一例を示すフローチャートである。同実施形態に係るサーバによる色推定の詳細な第２の動作の一例を示すフローチャートである。同実施形態に係るサーバによる色推定の詳細な第３の動作の一例を示すフローチャートである。同実施形態に係るサーバによる色推定の詳細な第４の動作の一例を示すフローチャートである。

　以下、図面を参照して、本発明の実施形態に係る情報処理システムとしての可視光通信システムを説明する。

　図１は、可視光通信システムの構成を示す図である。図１に示すように、可視光通信システム１は、サーバ２００と、移動機器１００ａ、１００ｂ、１００ｃと、サーバ２００とを含む。以下、移動機器１００ａ、１００ｂ、１００ｃのそれぞれを限定しない場合には、適宜「移動機器１００」と称する。移動機器１００ａは、マーカであるＬＥＤ（Light Emitting Diode）１０２ａを含み、移動機器１００ｂは、ＬＥＤ１０２ｂを含み、移動機器１００ｃは、ＬＥＤ１０２ｃを含む。以下、ＬＥＤ１０２ａ、１０２ｂ、１０２ｃのそれぞれを限定しない場合には、適宜「ＬＥＤ１０２」と称する。サーバ２００は、撮影部２０１を含む。

　本実施形態において、移動機器１００内のＬＥＤ１０２が送信対象の情報である移動機器１００のＩＤ（Identification）等に対応する光を発することにより情報を送信する。一方、サーバ２００では、サーバ２００内の撮影部２０１が撮影を行い、撮影により得られた光の画像から移動機器１００のＩＤを取得する。

　図２は、移動機器１００の構成の一例を示す図である。図２に示すように、移動機器１００は、ＬＥＤ１０２、制御部１０３、メモリ１０４、通信部１０８、駆動部１１２、及び、電池１５０を含む。

　制御部１０３は、例えばＣＰＵ（Central Processing Unit）によって構成される。制御部１０３は、メモリ１０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、移動機器１００が具備する各種機能を制御する。

　メモリ１０４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ１０４は、移動機器１００における制御等に用いられる各種情報（プログラム等）を記憶する。通信部１０８は、例えばＬＡＮ（Local Area Network）カードである。通信部１０８は、他の通信装置との間で通信を行う。電池１５０は、移動機器１００の作動に必要な電力を各部に供給する。

　制御部１０３には、機能的に、発光制御部１２４が構成される。発光制御部１２４は、移動機器１００のＩＤ等に応じて、ＬＥＤ１０２が発する色相の時間的な変化に変調された任意の情報を含む所定の光を発光する発光パターンを決定する。

　更に、発光制御部１２４は、ＩＤ等に対応する発光パターンの情報を駆動部１１２へ出力する。駆動部１１２は、発光制御部１２４からの発光パターンの情報に応じて、ＬＥＤ１０２が発する光の色相や輝度を時間的に変化させるための駆動信号を生成する。ＬＥＤ１０２は、駆動部１１２から出力される駆動信号に応じて、時間的に色相や輝度が変化する光を発する。発光色は３原色であり、可視光通信における色変調に用いる波長帯の色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかである。

　図３は、サーバ２００の構成の一例を示す図である。図３に示すように、サーバ２００は、撮影部２０１、制御部２０２、画像処理部２０４、メモリ２０５、操作部２０６、表示部２０７及び通信部２０８を含む。

　撮影部２０１は、レンズ２０３を含む。レンズ２０３は、ズームレンズ等により構成される。レンズ２０３は、操作部２０６からのズーム制御操作、及び、制御部２０２による合焦制御により移動する。レンズ２０３の移動によって撮影部２０１が撮影する撮影画角や光学像が制御される。

　撮影部２０１は、規則的に二次元配列された複数の受光素子により受光面が構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮影デバイスである。撮影部２０１は、レンズ２０３を介して入光された光学像を、制御部２０２からの制御信号に基づいて所定範囲の撮影画角で撮影（受光）し、その撮影画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮影部２０１は、撮影とフレームの生成とを時間的に連続して行い、連続するフレームを画像処理部２０４に出力する。

　受光面には、ベイヤー配列のカラーフィルタが構成されている。図４に示すように、ベイヤー配列のカラーフィルタは、横方向に赤フィルタ３０２と緑フィルタ３０４とが交互に配置された第１の列と、横方向に青フィルタ３０６と緑フィルタ３０４とが交互に配列された第２の列とが上下方向に交互に配置されて構成される。

　画像処理部２０４は、制御部２０２からの制御信号に基づいて、撮影部２０１から出力されたフレーム（デジタルデータ）をそのまま制御部２０２へ出力するとともに、当該フレームについて、表示部２０７にライブビュー画像として表示させるべく、画質や画像サイズを調整して制御部２０２へ出力する。また、画像処理部２０４は、操作部２０６からの記録指示操作に基づく制御信号が入力されると、記録指示された時点の撮影部２０１における撮影画角内、あるいは、表示部２０７に表示される表示範囲内の光学像を、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮符号化方式にて符号化、ファイル化する機能を有する。

　制御部２０２は、例えばＣＰＵによって構成される。制御部２０２は、メモリ２０５に記憶されたプログラムに従ってソフトウェア処理を実行することにより、後述する図７～図１１に示す動作を行う等、サーバ２００が具備する各種機能を制御する。

　メモリ２０５は、例えばＲＡＭやＲＯＭである。メモリ２０５は、サーバ２００における制御等に用いられる各種情報（プログラム等）を記憶する。通信部２０８は、例えばＬＡＮカードである。通信部２０８は、外部の通信装置との間で通信を行う。

　操作部２０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部２０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro Luminescence）ディスプレイ等によって構成される。表示部２０７は、制御部２０２から出力された画像信号に従って画像を表示する。

　制御部２０２には、機能的に、位置特定部２３２、推定部２３４及び復号部２３６が構成される。位置特定部２３２は、受光面における、移動機器１００内のＬＥＤ１０２が発光した光が照射されている領域の位置（以下、発光の位置）を特定する。換言すると、発光の位置とは、マーカの位置を中心とした所定範囲の枠からなるマーカ候補を構成する領域の位置である。

　推定部２３４は、マーカ候補を構成する領域の色が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかであるかを推定する。制御部２０２は、推定した領域の色の変化に基づいて、その変化に応じて送信される、移動機器１００のＩＤ等の情報を復元する。ここで、推定部２３４は、受光面における上記領域がカラーフィルタの赤フィルタ３０２、緑フィルタ３０４、青フィルタ３０６に対して十分大きい場合には、マーカの領域の色が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかであるかを容易に推定することができる。

　一方、受光面におけるマーカ候補を構成する領域がデベイヤフィルタの大きさ（ｎ×ｍ画素）より小さい場合には、そのままでは推定部２３４はマーカの領域の色を正しく推定することができない場合がある。ここで、デベイヤフィルタの大きさとは、カラーフィルタの配列によって定まる、カラー画像を生成するために必要となる最小の大きさを示す。例えば、図５（ａ）～（ｃ）に示すようカラーフィルタの赤フィルタ３０２、緑フィルタ３０４、青フィルタ３０６の位置と、小さな領域である赤色で発光するマーカ候補の領域３１０が存在する場合を考える。

　図５（ａ）では、マーカ候補の領域３１０が赤フィルタ３０２に含まれている。このような場合には、マーカ候補の領域３１０は、明度が高い赤となる。このため、推定部２３４は、マーカ候補の領域３１０が赤であると判定することができる。

　一方、図５（ｂ）、（ｃ）では、マーカ候補の領域３１０が緑フィルタ３０４と青フィルタ３０６とに重なっている。このような場合には、マーカ候補の領域３１０は、明度が低くなったり、緑フィルタ３０４や青フィルタ３０６によって緑や青が混ざった色となる。特にベイヤー配列は緑フィルタ３０４の比率が高いため、図４に示すような緑フィルタ３０４の影響を受けやすい。

　そこで、本実施形態では、推定部２３４は、図６（ａ）に示す色相環、及び、図６（ｂ）に示す色平面に応じて、マーカ候補の領域の色の推定を行う。図６（ａ）に示すように、色は、ＨＳＶ色空間では、色相（Ｈｕｅ）、明度（Ｖａｌｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）によって特定され、円柱の色空間上の位置で特定される。図６（ａ）の色相環においては、円周方向が色相（Ｈ）を示し（０～３６０）、高さ方向（垂直方向）が明度（Ｖ）を示し、半径方向が彩度（Ｓ）を示す。また、図６（ａ）の色相環、及び、図６（ｂ）の色平面に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）は色相値によって区分される。色相値は０～３６０の値の何れかとなる。本実施形態では、色相値が１０５～１８０は緑と判定される領域、色相値が１８０～２５５は青と判定される領域、色相値が３３０～３０は赤と判定される領域である。

　復号部２３６は、推定部２３４により推定された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号するよう制御し、可視光通信における通信対象の情報である移動機器１００のＩＤ等を取得する。

　以下、フローチャートを参照しつつ、色推定の動作を説明する。図７は、サーバ２００による色推定の動作の一例を示すフローチャートである。

　制御部２０２内の位置特定部２３２は、受光面における、移動機器１００内のＬＥＤ１０２における発光の位置とみなしうる所定明度以上の領域をマーカ候補として構成されている領域として検出する（ステップＳ１０１）。

　次に、推定部２３４は、マーカ候補の領域がデベイヤフィルタの大きさ以下であるか否かを判定する（ステップＳ１０２）。本実施形態では、マーカ候補の領域がデベイヤフィルタの大きさ以下である場合には、マーカ候補の領域の色がカラーフィルタの赤フィルタ３０２、緑フィルタ３０４、青フィルタ３０６の何れかに偏って特定される可能性が高いため、通常の色判定ではマーカ候補の領域の色を正確に判定することができないものとみなしている。

　マーカ候補の領域がデベイヤフィルタの大きさを超える場合（ステップＳ１０２；ＮＯ）、色推定部２３４は、マーカ候補の領域について通常の色推定を行う（ステップＳ１０３）。すなわち、色推定部２３４は、マーカ候補の領域の色について、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値（ＲＧＢの値）に基づいて、色推定を行う。

　一方、マーカ候補の領域がデベイヤフィルタの大きさ以下である場合（ステップＳ１０２；ＹＥＳ）、色推定部２３４は、受光面のカラーフィルタのベイヤー配列を考慮した色推定を行う（ステップＳ１０４）。以下、ステップＳ１０４における動作の詳細を説明する。

　図８はサーバ２００による色推定の詳細な第１の動作の一例、図９は第２の動作の一例、図１０は第３の動作の一例、図１１は第４の動作の一例をそれぞれ示すフローチャートである。

　まず、図８に示すように、推定部２３４は、マーカ候補の領域に含まれる全画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値の平均値（ＲＧＢ平均値）を算出し、ピクセルフォーマットの変換を行うことにより、当該ＲＧＢ平均値を、マーカ候補の領域に含まれる全画素の色相Ｈの平均値（Ｈ平均値）、彩度Ｓの平均値（Ｓ平均値）及び明度Ｖの平均値（Ｖ平均値）からなるＨＳＶ平均値に変換する（ステップＳ２０１）。

　次に、推定部２３４は、Ｈ平均値＜３０、又は、Ｈ平均値＞３３０であるか否かを判定する（ステップＳ２０２）。Ｈ平均値＜３０、又は、Ｈ平均値＞３３０とは赤と推定される領域をマーカ候補として抽出する趣旨である。Ｈ平均値＜３０、又は、Ｈ平均値＞３３０である場合（ステップＳ２０２；ＹＥＳ）、推定部２３４は、Ｓ平均値＞１０であるか否かを判定する（ステップＳ２０３）。Ｓ平均値＞１０とは彩度Ｓが高い領域をマーカ候補として抽出する趣旨である。Ｓ平均値＞１０である場合（ステップＳ２０３；ＹＥＳ）、推定部２３４は、Ｖ平均値＞１０であるか否かを判定する（ステップＳ２０４）。Ｖ平均値＞１０とは明度Ｖが高い領域をマーカ候補として抽出する趣旨である。

　Ｖ平均値＞１０である場合（ステップＳ２０４；ＹＥＳ）、推定部２３４は、現在、色推定の対象となっている画像のフレームよりも前のフレームまでにおいて、今回と同じ箇所で赤と推定されたマーカ候補の領域があるか否かを判定する（ステップＳ２０６）。例えば、フレーム毎のマーカ候補の領域の色推定の結果である色相Ｈ、彩度Ｓ、明度Ｖ等はメモリ２０５に記憶されている。

　前のフレームまでにおいて、赤と推定されたマーカ候補の領域がある場合（ステップＳ２０６；ＹＥＳ）、推定部２３４は、明度補正値を、前のフレームまでにおいて、赤と推定されたマーカ候補の領域内の最大の明度に設定する（ステップＳ２０７）。一方、前のフレームまでにおいて、赤と推定されたマーカ候補の領域がない場合（ステップＳ２０６；ＮＯ）、推定部２３４は、明度補正値を３２に設定する（ステップＳ２０８）。ここで、明度補正値の３２とはマーカであるＬＥＤ１０２が発光した場合に推定される値（発光輝度値）を示している。

　ステップＳ２０７又はステップＳ２０８において明度補正値が設定された後、推定部２３４は、マーカ候補の領域のＶ平均値が明度補正値未満であるか否かを判定する（ステップＳ２０９）。マーカ候補の領域のＶ平均値が明度補正値未満である場合（ステップＳ２０９；ＹＥＳ）、推定部２３４は、マーカ候補の領域のＶ平均値を、ステップＳ２０７又はステップＳ２０８において設定した明度補正値に修正する。これにより、ＨＳＶ平均値のうち、Ｖ平均値がより大きくされた値に修正される。次に、推定部２３４は、修正後のＨＳＶ平均値をＲＧＢ平均値に変換する。更に、推定部２３４は、マーカ候補の領域の全画素に、ＲＧＢ平均値を設定し、ＨＳＶ平均値とＲＧＢ平均値とをメモリ２０５に記憶し、マーカ候補の領域を赤であると推定する（ステップＳ２１０）。

　一方、マーカ候補の領域のＶ平均値が明度補正値未満でない場合（ステップＳ２０９；ＮＯ）、推定部２３４は、ピクセルフォーマットの変換を行うことにより、ＨＳＶ平均値をＲＧＢ平均値に変換する。更に、推定部２３４は、マーカ候補の領域の全画素に、ＲＧＢ平均値を設定し、ＨＳＶ平均値とＲＧＢ平均値とをメモリ２０５に記憶し、マーカ候補の領域を赤であると推定する（ステップＳ２１１）。

　また、Ｓ平均値＞１０でない場合（ステップＳ２０３；ＮＯ）、又は、Ｖ平均値＞１０でない場合（ステップＳ２０４；ＮＯ）、推定部２３４は、マーカ候補の領域がマーカではないと推定する（ステップＳ２１２）。また、Ｈ平均値＜３０又はＨ平均値＞３３０ではない場合（ステップＳ２０２；ＮＯ）、図９の動作に移行する。

　推定部２３４は、マーカ候補の領域に含まれる全画素（今回のケースでは最大デベイヤフィルタの大きさ）について色相Ｈを判別し、色相Ｈが１８０＜Ｈ＜２５５となるＡ領域の画素数と、色相Ｈが１０５＜Ｈ≦１８０となるＢ領域の画素数とを特定する（ステップＳ３０１）。１８０＜Ｈ＜２５５とは青に対応する色相の値を示し、１０５＜Ｈ≦１８０とは緑に対応する色相の値を示す。

　次に、推定部２３４は、Ａ領域及びＢ領域のそれぞれの画素数がマーカ候補の全領域の画素数の１／３以上あるか否かを判定する（ステップＳ３０２）。Ａ領域及びＢ領域の画素数がそれぞれマーカ候補の領域の１／３以上ある場合（ステップＳ３０２；ＹＥＳ）、推定部２３４は、Ａ領域及びＢ領域のそれぞれにおける彩度Ｓの平均値（Ｓ平均値）と明度Ｖの平均値（Ｖ平均値）を算出し、Ａ領域においてＳ平均値＞１０、Ｖ平均値＞１０であり、Ｂ領域においてＳ平均値＞１０、Ｖ平均値＞１０であるか否かを判定する（ステップＳ３０３）。

　Ａ領域及びＢ領域において彩度Ｓの平均値Ｓ＞１０、明度Ｖの平均値＞１０である場合（ステップＳ３０３；ＹＥＳ）、次に、推定部２３４は、Ａ領域に含まれる全画素の色相Ｈの平均値（Ｈ平均値）、彩度Ｓの平均値（Ｓ平均値）及び明度Ｖの平均値（Ｖ平均値）からなるＨＳＶ平均値（Ａ領域のＨＳＶ平均値）を算出する。更に、推定部２３４は、ピクセルフォーマットの変換を行うことにより、Ａ領域のＨＳＶ平均値をＡ領域のＲＧＢ平均値に変換する（ステップＳ３０５）。

　更に、推定部２３４は、マーカ候補の領域の全画素についてＡ領域のＲＧＢ平均値を設定し、ＨＳＶ平均値とＲＧＢ平均値とをメモリ２０５に記憶し、マーカ候補の領域を青であると推定する（ステップＳ３０６）。

　一方、Ａ領域及びＢ領域においてＳ平均値＞１０、Ｖ平均値＞１０でない場合（ステップＳ３０３；ＮＯ）、推定部２３４は、マーカ候補の領域がマーカではないと推定する（ステップＳ３０７）。また、Ａ領域及びＢ領域の何れかのマーカ候補の領域の画素数が全画素数の１／３以上でなく１／３未満である場合（ステップＳ３０２；ＮＯ）、図１０の動作に移行する。

　ステップＳ３０８の後、図１０の動作に移行し、推定部２３４は、図８のステップＳ２０１において取得した、マーカ候補の領域についてのＨＳＶ平均値に含まれるＨ平均値について、１８０＜Ｈ平均値＜２５５であるか否かを判定する（ステップＳ４０１）。

　１８０＜Ｈ平均値＜２５５である場合（ステップＳ４０１；ＹＥＳ）、推定部２３４は、マーカ候補の領域のＳ平均値、Ｖ平均値について、Ｓ平均値＞１０、Ｖ平均値＞１０であるか否かを判定する（ステップＳ４０２）。

　Ｓ平均値＞１０、Ｖ平均値＞１０である場合（ステップＳ４０２；ＹＥＳ）、次に、推定部２３４は、マーカ候補の領域について、ピクセルフォーマットの変換を行うことにより、ＨＳＶ平均値をＲＧＢ平均値に変換する。更に、推定部２３４は、マーカ候補の領域の全画素に、ＲＧＢ平均値を設定し、ＨＳＶ平均値とＲＧＢ平均値とをメモリ２０５に記憶し、マーカ候補の領域を青であると推定する（ステップＳ４０４）。

　一方、Ｓ平均値＞１０、Ｖ平均値＞１０でない場合（ステップＳ４０２；ＮＯ）、推定部２３４は、マーカ候補の領域がマーカではないと推定する（ステップＳ４０５）。また、１８０＜Ｈ平均値＜２５５でない場合（ステップＳ４０１；ＮＯ）、図１１の動作に移行する。

　推定部２３４は、図８のステップＳ２０１において取得した、マーカ候補の領域についてのＨＳＶ平均値に含まれるＨ平均値について、１０５＜Ｈ平均値≦１８０であるか否かを判定する（ステップＳ５０１）。

　１０５＜Ｈ平均値≦１８０である場合（ステップＳ５０１；ＹＥＳ）、推定部２３４は、マーカ候補の領域のＳ平均値、Ｖ平均値について、Ｓ平均値＞１０、Ｖ平均値＞１０であるか否かを判定する（ステップＳ５０２）。

　Ｓ平均値＞１０、Ｖ平均値＞１０である場合（ステップＳ５０２；ＹＥＳ）、次に、推定部２３４は、マーカ候補の領域について、ピクセルフォーマットの変換を行うことにより、ＨＳＶ平均値をＲＧＢ平均値に変換する。更に、推定部２３４は、マーカ候補の領域の全画素に、ＲＧＢ平均値を設定し、ＨＳＶ平均値とＲＧＢ平均値とをメモリ２０５に記憶し、マーカ候補の領域を緑であると推定する（ステップＳ５０４）。

　一方、１０５＜Ｈ平均値≦１８０でない場合（ステップＳ５０１；ＮＯ）、又は、Ｓ平均値＞１０、Ｖ平均値＞１０でない場合（ステップＳ５０２；ＮＯ）、推定部２３４は、マーカ候補の領域がマーカではないと推定する（ステップＳ５０５）。

　このように本実施形態では、移動機器１００は、自身のＩＤ等に応じて、マーカであるＬＥＤ１０２を発光させる。一方、サーバ２００は、受光面におけるマーカの領域の位置を検出し、そのマーカの領域の色を推定し、更に推定したマーカの領域の色の変化に基づいて、復号部２３６にて、移動機器１００のＩＤ等の情報に復号する。

　但し、受光面におけるマーカの領域がカラーフィルタにおける所定の範囲（例えば赤フィルタ３０２、緑フィルタ３０４、青フィルタ３０６の各フィルタ）よりも小さい場合には、そのままではマーカの領域の色を正しく推定することができない場合がある。この場合、本実施形態では、サーバ２００は、通常の色推定の処理とは異なり、カラーフィルタのベイヤー配列を考慮して、マーカ候補の領域の画素の色相Ｈ、彩度Ｓ、明度Ｖの平均値であるＨＳＶ平均値を用いて、マーカ候補の領域の色を推定する。更に、サーバ２００は、ＨＳＶ平均値を適宜修正するとともに、ピクセルフォーマットの変換を行うことにより、ＨＳＶ平均値をＲＧＢ平均値に変換し、そのＲＧＢ平均値をマーカの領域の全画素に設定する。これにより、マーカの領域のサイズに左右されずに正しい色を推定することができる。

　なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。

　例えば、上述した実施形態では、図９に示すように、マーカ候補の領域に１８０＜Ｈ＜２５５となるＡ領域と１０５＜Ｈ≦１８０となるＢ領域のそれぞれが１／３以上存在する場合、マーカ候補の領域は青であると推定された。しかし、これに限定されず、受光素子状のカラーフィルタの特性やホワイトバランス等の処理によっては、緑と判定したり、青及び緑以外と判定するようにしてもよい。

　例えば、上述した実施形態では、移動機器１００による送信対象の情報は、当該移動機器１００のＩＤであったが、これに限定されず、移動機器１００の位置情報や移動機器１００に生じた障害等の情報であってもよい。

　また、上述した実施形態では、可視光である赤、緑、青の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよい。また、発光は色相や輝度が時間的に変化するものに限定されず、彩度が時間的に変化するものであってもよい。

　また、移動機器１００内の光源はＬＥＤに限定されない。例えば、表示装置を構成するＬＣＤ、ＰＤＰ、ＥＬディスプレイ等の一部に光源が構成されていてもよい。

　また、サーバ２００は、撮影部が設けられて撮影が可能であれば、どのような装置でもよい。

　また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read - Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto - Optical disc）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

　また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

　なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

　以上、本発明の好ましい実施形態について説明したが、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

　本出願は、２０１９年７月２９日に出願された日本国特許出願特願２０１９－１３８４６９号、２０２０年２月２８日に出願された日本国特許出願特願２０２０－０３２５７２号に基づく。本明細書中に日本国特許出願特願２０１９－１３８４６９号、特願２０２０－０３２５７２号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

　本発明は、光の色を用いた通信等の技術分野において、利用可能である。

１…可視光通信システム、１００、１００ａ、１００ｂ、１００ｃ…移動機器、１０２、１０２ａ、１０２ｂ、１０２ｃ…ＬＥＤ、１０３、２０２…制御部、１０４、２０５…メモリ、１０８、２０８…通信部、１１２…駆動部、１２４…発光制御部、１５０…電池、２００…サーバ、２０１…撮影部、２０３…レンズ、２０４…画像処理部、２０６…操作部、２０７…表示部、２３２…位置特定部、２３４…推定部、２３６…復号部、３０２…赤フィルタ、３０４…緑フィルタ、３０６…青フィルタ、３１０…マーカ候補の領域

Claims

　受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段と、
　前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段と、
　を備えることを特徴とする色推定装置。
　前記推定手段による推定後の前記受光した受光素子の位置にある光の明るさを更に明るくするよう補正することで、前記受光素子の位置にある光が属する色の特定が容易になるように制御する制御手段を更に備えることを特徴とする請求項１に記載の色推定装置。
　前記光の属する色の特定が可能な位置以外である場合とは、前記受光した受光素子が複数で且つ隣り合う位置である場合を含むことを特徴とする請求項１又は２に記載の色推定装置。
　前記受光した受光素子が複数で且つ隣り合う位置である場合、前記推定手段は前記光の属する色には複数の色が含まれるものと判断し、更に、色相環をパラメータに含む色空間の情報に基づいて前記光が属する色を推定することを特徴とする請求項３に記載の色推定装置。
　前記配列された複数の受光素子の各位置に対応するように、三原色の各色に対応する波長帯域の光を透過する透過部材が規則的に配列されたカラーフィルタを更に備え、
　前記透過部材が透過する光の波長帯域の種類に基づいて、前記光が属する色が特定されることを特徴とする請求項１乃至４の何れか１項に記載の色推定装置。
　前記推定手段によって推定された色から、情報を色に変調して通信を行う通信システムで用いられる情報へ復号する復号手段を更に備えることを特徴とする請求項１乃至５の何れか１項に記載の色推定装置。
　受光した位置から受光した光が属する色が特定される複数の配列された受光素子により受光する受光ステップと、
　前記受光ステップにおいて受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定ステップと、
　を含むことを特徴とする色推定方法。
　コンピュータを、
　受光した位置から受光した光が属する色が特定される複数の受光素子が配列された受光手段、
　前記受光した受光素子の位置が、前記受光した光の属する色の特定が可能な位置以外である場合、前記受光した光の明るさに基づいて前記光が属する色を推定する推定手段、
　として機能させることを特徴とするプログラム。