JP2019220007A - 半導体装置、メッセージ画像信号出力方法、およびプログラム - Google Patents

Abstract

【課題】投影面によって受ける影響による画像の劣化を抑える半導体装置を提供する。【解決手段】イメージ画像投影システム１０において、半導体装置１００は、移動体の移動情報に基づき、メッセージ画像を投影する予定時刻に移動体の推定位置を算出する位置推定回路１３１と、推定位置に移動体と投影領域の相対的な位置関係に基づき、予め設定された参照画像を投影する領域である参照領域を決定するとともに、参照領域に対応した参照画像の信号である参照画像信号を出力する参照画像信号出力回路１３２と、参照画像が投影された参照領域を撮像した画像の信号であるテスト画像信号を取得するテスト画像信号取得回路１３３と、参照画像信号とテスト画像信号とを比較する比較回路１３４と、比較の結果に基づいてメッセージ画像信号を調整する画像調整回路１３５と、調整したメッセージ画像信号を出力する出力回路１３７と、を有する画像処理回路１３０を備える。【選択図】図３

Description

本発明は半導体装置、メッセージ画像信号出力方法、およびプログラムに関する。

車両に関する情報等に基づいて、車両の周囲に所定の情報を含む光を投影する種々の技術が提案されている。

例えば、特許文献１に記載の映像投影装置は、車両に関する情報を取得する取得部と、取得した情報に応じて所定のメッセージ等を含む映像等を投影する映像投影部とを備える。

また、特許文献２に記載の前照灯制御装置は、車両走行状態検出装置および走行道路状況検出装置からの検出信号を取得する信号取得手段と、取得した検出信号に基づいて投影画像を決定し、投影部を制御してその投影画像を生成させる投影画像制御手段とを備える。

国際公開第２０１６／１１４０４８号 特開２００８−１４３５０５号公報

しかしながら、これらの文献には、路面等に投影した映像等が、これを認識すべき運転者等にとって認識可能な態様であるか否かを課題として捉えている記載や示唆はない。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、半導体装置は、移動体との相対的な関係により成される投影領域に投影するメッセージ画像の信号であるメッセージ画像信号を出力するものである。また、半導体装置は、前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の推定位置を算出する位置推定部を有する。また、半導体装置は、前記推定位置における前記移動体と前記投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定するとともに、前記参照領域に対応した参照画像の信号である参照画像信号を出力する参照画像信号出力部を有する。また、半導体装置は、前記参照画像が投影された前記参照領域を撮像した画像の信号であるテスト画像信号を取得するテスト画像信号取得部と、前記参照画像信号と前記テスト画像信号とを比較する比較部とを有する。また、半導体装置は、前記比較の結果に基づいて前記メッセージ画像信号を調整する画像調整部と、調整した前記メッセージ画像信号を出力するメッセージ画像出力部とを有するものである。

一実施の形態によれば、メッセージ画像信号出力方法は、移動体との相対的な関係により成される投影領域に投影するメッセージ画像の信号であるメッセージ画像信号を出力するものである。また、メッセージ画像信号出力方法は、前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の推定位置を算出するステップを有する。また、メッセージ画像信号出力方法は、前記推定位置における前記移動体と前記投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定するとともに、前記参照領域に対応した参照画像の信号である参照画像信号を出力するステップを有する。また、メッセージ画像信号出力方法は、前記参照画像が投影された前記参照領域を撮像した画像の信号であるテスト画像信号を取得するステップと、前記参照画像信号と前記テスト画像信号とを比較するステップとを有する。また、メッセージ画像信号出力方法は、前記比較の結果に基づいて前記メッセージ画像信号を調整するステップと、調整した前記メッセージ画像信号を出力するステップとを有するものである。

一実施の形態によれば、プログラムは、以下の方法をコンピュータに実行させるものである。前記方法とは、移動体との相対的な関係により成される投影領域に投影するメッセージ画像の信号であるメッセージ画像信号を出力するメッセージ画像信号出力方法である。また、前記方法は、前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の推定位置を算出するステップを有する。また、前記方法は、前記推定位置における前記移動体と前記投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定するとともに、前記参照領域に対応した参照画像の信号である参照画像信号を出力するステップを有する。また、前記方法は、前記参照画像が投影された前記参照領域を撮像した画像の信号であるテスト画像信号を取得するステップと前記参照画像信号と前記テスト画像信号とを比較するステップとを有する。また、前記方法は、前記比較の結果に基づいて前記メッセージ画像信号を調整するステップと、調整した前記メッセージ画像信号を出力するステップとを有するものである。

前記一実施の形態によれば、投影面によって受ける影響による画像の劣化を抑える半導体装置等を提供することができる。

実施の形態１に係るメッセージ画像投影システムの概略図である。 実施の形態１に係るメッセージ画像投影システムのハードウェア構成図である。 実施の形態１に係るメッセージ画像投影システムの機能ブロック図である。 メッセージ画像投影システムが行う自車位置推定を説明するための図である。 メッセージ画像投影システムが行う参照画像投影を説明するための図である。 カメラが撮像したテスト画像の例を示す図である。 参照画像信号とテスト画像信号の輝度値の比較を説明するための図である。 メッセージ画像信号の輝度値を調整する原理を説明するための図である。 メッセージ画像投影システムがメッセージ画像を投影している状態の図である。 実施の形態１に係るメッセージ画像投影システムのフローチャートである。 実施の形態１の変形例１によるメッセージ画像の調整方法を説明するための図である。 実施の形態１の変形例２によるメッセージ画像の調整方法を説明するための図である。 実施の形態２に係るメッセージ画像投影システムのハードウェア構成図である。 実施の形態２に係るメッセージ画像投影システムの機能ブロック図である。 実施の形態２に係るメッセージ画像発信者側の処理を示すフローチャートである。 実施の形態２に係るメッセージ画像受信者側の処理を示すフローチャートである。 メッセージ画像投影システムが行う自車位置推定および参照画像投影を説明するための図である。 実施の形態２に係るメッセージ画像投影システムが行うメッセージ画像投影を説明するための図である。 実施の形態３に係るメッセージ画像投影システムのハードウェア構成図である。 実施の形態３に係るメッセージ画像投影システムの機能ブロック図である。 メッセージ画像投影システムが行う参照画像投影を説明するための図である。 参照画像信号をグリッド状に処理する状態を説明するための図である。 メッセージ画像投影システムが算出した最適経路の例を示す図である。 実施の形態３に係るメッセージ画像投影システムのフローチャートである。 最適経路決定回路の処理の例について説明するための図である。

説明の明確化のため、以下の記載及び図面は、適宜、省略、および簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。したがって、以下の説明において、回路として例示した構成は、ハードウェア又はソフトウェアのいずれか又はその両方によって実現することが可能であり、ある機能を実現する回路として示され構成は、同様の機能を実現するソフトウェアの一部としても示され得る。例えば、制御回路と記載された構成は、制御部として記載され得る。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

＜実施の形態１＞
図１を参照しながら、実施の形態１の構成概略について説明する。図１は、実施の形態１に係るメッセージ画像投影システムの概略図である。図１は、自動車１の上面図である。図１に示すように、メッセージ画像投影システム１０は、自動車１に搭載されている。メッセージ画像投影システム１０は、自動車１の進行方向に沿ってメッセージ画像を路面等に投影するためのシステムである。メッセージ画像とは、自動車１の運転者や、自動車１の周囲の者に対して所定のメッセージを伝えるための画像である。また、メッセージ画像投影システム１０は、投影するメッセージ画像が投影する路面の影響を受けて変化することを抑制するための機能を有している。すなわち、メッセージ画像投影システム１０は、予め設定された参照画像を投影し、投影した参照画像を撮像し、撮像することにより生成画像信号を利用することにより、メッセージ画像信号の輝度を調整する。メッセージ画像投影システム１０は、主な構成として、半導体装置１００、外部メモリ９５０、ＥＣＵ（Electronic Control Unit）装置９６０、カメラ９７０、参照画像投影装置９８０、およびメッセージ画像投影装置９９０を有している。

半導体装置１００、外部メモリ９５０、およびＥＣＵ装置９６０は、自動車１の所定の位置に搭載されている。これらの詳細については後述する。カメラ９７０は、自動車１の進行方向の画像を撮像するための装置である。カメラ９７０は、自動車１の進行方向が撮像可能に固定されている。参照画像投影装置９８０は、予め設定された参照画像を自動車１の進行方向に投影するための装置である。参照画像投影装置９８０は、自動車１の前面に固定されている。メッセージ画像投影装置９９０は、予め設定されたメッセージ画像を自動車１の進行方向に投影するための装置である。メッセージ画像投影装置９９０は、自動車１の前面に固定されている。

なお、参照画像とは、メッセージ画像の信号であるメッセージ画像信号を調整するための参照とされる信号を含む画像である。参照画像は、例えば、所定の領域に投射される白色光である。メッセージ画像投影システム１０は、このような参照画像を投影し、投影された領域をカメラ９７０により撮像する。

次に、図２を参照しながら、メッセージ画像投影システム１０における各ハードウェアの機能および接続関係について説明する。図２は、実施の形態１に係るメッセージ画像投影システムのハードウェア構成図である。

半導体装置１００は、メッセージ画像投影システム１０の各構成に接続し、これらを適宜制御する機能を有している。半導体装置１００は、内部の構成として、制御回路１１０、内部メモリ１２０、画像処理回路１３０、画像信号入力ＩＦ１４０、バス信号ＩＦ１５０、および画像信号出力ＩＦ１６０を有しており、これらはバス１７０により接続されている。

制御回路１１０は、ＣＰＵを含む演算装置であり、所定のプログラムを実行するとともに、半導体装置１００が有する各構成に対して種々の指示を送る。

内部メモリ１２０は、所定のデータを記憶する記憶装置である。内部メモリ１２０は、ＳＳＤ（Solid State Drive）やフラッシュメモリのような不揮発性のメモリ若しくはＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）のような揮発性メモリ又はこれらの組合せにより構成されている。

画像処理回路１３０は、バス１７０を介して受け取った画像の信号に対して予め設定された処理を施すとともに、処理を施した信号を出力する機能を有している。画像処理回路１３０の機能の詳細については後述する。

画像信号入力ＩＦ１４０は、半導体装置１００の外部から画像信号を受け取るインタフェースである。画像信号入力ＩＦ１４０は、カメラ９７０に接続しており、カメラ９７０が生成した画像信号を受け取り、受け取った画像信号を、バス１７０を介して画像処理回路１３０に供給する。

バス信号ＩＦ１５０は、半導体装置１００が半導体装置１００の外部の装置と種々の信号についてバス１７０を介して送受信するためのインタフェースである。より具体的には、バス信号ＩＦ１５０は、外部メモリ９５０から所定のメッセージ画像信号を受け取り、受け取った画像信号を、バス１７０を介して画像処理回路１３０に供給する。また、バス信号ＩＦ１５０は、ＥＣＵ装置から自動車１の運行に関するデータを受け取り、受け取ったデータを、バス１７０を介して内部メモリ１２０又は画像処理回路１３０などに送信する。また、バス信号ＩＦ１５０は、制御回路１１０や画像処理回路１３０から所定の信号を受け取り、受け取った信号を、外部メモリ９５０又はＥＣＵ装置９６０に供給する。

画像信号出力ＩＦ１６０は、半導体装置１００の外部の装置へ画像信号を供給するインタフェースである。画像信号出力ＩＦ１６０は、参照画像投影装置９８０、およびメッセージ画像投影装置９９０にそれぞれ接続している。画像信号出力ＩＦ１６０は、画像処理回路１３０から画像信号を受け取り、受け取った画像信号を、適宜、参照画像投影装置９８０、又はメッセージ画像投影装置９９０に供給する。

外部メモリ９５０は、半導体装置１００のバス信号ＩＦ１５０と接続し、半導体装置１００と種々の信号について送受信を行う記憶装置である。外部メモリ９５０は、例えば、フラッシュメモリ、ＳＳＤ、又はＨＤＤ（Hard Disc Drive）などの不揮発性記憶装置である。外部メモリ９５０は、所定のメッセージ画像信号を予め記憶している。外部メモリ９５０は、半導体装置１００から要求信号を受け取り、受け取った要求信号に応じて、予め記憶しておいたメッセージ画像信号を半導体装置１００に供給する。

ＥＣＵ装置９６０は、自動車１の移動速度、ステアリングの操舵角、ＧＰＳ（Global Positioning System）からの自車位置情報等、自動車の運行に関わる種々の情報を管理又は制御する装置である。ＥＣＵ装置９６０は、自動車１の内部において、車載イーサネット（登録商標）、ＣＡＮ（Controller Area Network）、又はＬＩＮ（Local Interconnect Network）などの車内通信バスにより通信可能に接続されている。ＥＣＵ装置９６０は、半導体装置１００のバス信号ＩＦ１５０に対して、自動車１の移動に関する情報である移動情報を供給する。移動情報には、自動車１の移動速度、操舵角、およびこれらの情報を取得した時刻が含まれる。また、移動情報は、ＧＰＳからの位置情報が含まれていてもよい。

カメラ９７０は、半導体装置１００の指示を受け取り、受け取った指示に応じて撮像を行う。カメラ９７０は、撮像することにより生成した画像信号を半導体装置１００の画像信号入力ＩＦ１４０に供給する。

参照画像投影装置９８０は、所定の参照画像を投影するための投影装置である。参照画像投影装置９８０は、投影するための光を照射する光源、投影する参照画像を生成する表示装置、および生成された画像を所望の位置に投影するためのレンズ等により構成される。参照画像投影装置９８０は、半導体装置１００の画像信号出力ＩＦ１６０に接続している。参照画像投影装置９８０は、画像信号出力ＩＦ１６０から参照画像信号を受け取り、受け取った参照画像信号に対応した参照画像を投影する。なお、参照画像信号が単色の場合、参照画像投影装置９８０は、表示装置は不要となる。この場合、参照画像投影装置９８０は、指向性の高い光を所望の位置に投影するものであってもよい。また、参照画像投影装置９８０は、投影する参照画像の投影領域を制御するために、参照画像の投影領域を変更するための可動部を有していてもよい。

メッセージ画像投影装置９９０は、所定のメッセージ画像を投影するための投影装置である。メッセージ画像投影装置９９０は、投影するための光を照射する光源、投影するメッセージ画像を生成する表示装置、および生成された画像を所望の位置に投影するためのレンズ等により構成される。メッセージ画像投影装置９９０は、半導体装置１００の画像信号出力ＩＦ１６０に接続している。メッセージ画像投影装置９９０は、画像信号出力ＩＦ１６０からメッセージ画像信号を受け取り、受け取ったメッセージ画像信号に対応したメッセージ画像を投影する。なお、メッセージ画像投影装置９９０は、メッセージ画像を所望の位置に投影するために、可動部を有していてもよい。

次に、図３を参照しながら、メッセージ画像投影システム１０の機能および信号の流れについて更に説明する。図３は、実施の形態１に係るメッセージ画像投影システムの機能ブロック図である。

半導体装置１００の内部メモリ１２０は、参照画像記憶領域１２１を有している。参照画像記憶領域１２１には、参照画像信号が格納されている。参照画像信号は、参照画像記憶領域１２１に予め記憶されているものであってもよいし、システムが起動した後に、外部メモリ９５０から読み込んだものであってもよい。参照画像信号は、制御回路１１０からの指示に応じて、画像処理回路１３０に供給される。

画像処理回路１３０は、位置推定回路１３１、参照画像信号出力回路１３２、テスト画像信号取得回路１３３、比較回路１３４、画像調整回路１３５、メッセージ画像信号取得回路１３６、および出力回路１３７を有している。以下に、画像処理回路１３０が有する各機能ブロックについて説明する。

位置推定回路１３１は、自動車１の移動情報に基づいて、メッセージ画像を投影する予定時刻における自動車１の推定位置を算出する機能を担う。位置推定回路１３１は、ＥＣＵ装置９６０から自動車１の移動情報を受け取る。また、位置推定回路１３１は、制御回路１１０からメッセージ画像を投影する予定時刻に関する情報を受け取る。そして、位置推定回路１３１は、メッセージ画像を投影する予定時刻における自動車１の位置を推定する。位置推定回路１３１は、推定した自動車１の位置に関する情報を参照画像信号出力回路１３２に供給する。

図４を参照しながら位置推定回路１３１の機能について具体的に説明する。図４は、メッセージ画像投影システムが行う自車位置推定を説明するための図である。図４は、時刻ｔ０において、自動車１が位置Ａ０に存在することを示している。ここでは、メッセージ画像を投影する予定時刻が時刻ｔ１であるとする。この場合、位置推定回路１３１は、時刻ｔ０における自動車１の移動情報に基づいて、時刻ｔ１における自動車１の位置を推定する。図４において、時刻ｔ１における自動車１の位置Ａ１は、位置Ａ０から前方に距離Ｆ１、且つ左側に距離Ｔ１の場所である。このように、位置推定回路１３１は、時刻ｔ１に自動車１が位置Ａ１に移動することを推定する。

図３に戻り説明を続ける。参照画像信号出力回路１３２は、推定位置における移動体と投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定する。また、参照画像信号出力回路１３２は、内部メモリ１２０から参照画像信号を受け取る。そして、参照画像信号出力回路１３２は、参照領域に対応した参照画像の信号である参照画像信号を参照画像投影装置９８０に出力する。

図５を参照しながら参照画像信号出力回路１３２の機能について具体的に説明する。図５は、メッセージ画像投影システムが行う参照画像投影を説明するための図である。図５は、参照画像投影装置９８０が参照画像Ｃ１０を投影領域である位置Ｐ１に投影している状態を示している。参照画像信号出力回路１３２は、位置推定回路１３１から予定時刻ｔ１における自動車１の位置Ａ１に関する情報を受け取ると、位置Ａ１におけるメッセージ画像の投影領域を算出する。ここで、メッセージ画像の投影領域は、自動車１の前方に距離Ｄ１の位置であるとする。参照画像信号出力回路１３２は、位置Ａ１の前方に距離Ｄ１の位置Ｐ１に、参照画像Ｃ１０を投影する。

ところで、図５において、自動車１は、位置Ａ０から前方に距離ΔＦ移動している。これは、参照画像信号出力回路１３２が位置推定回路１３１から自動車１の推定位置に関する情報を受け取ってから、参照画像を投影するまでに時間Δｔが経過するためである。参照画像信号出力回路１３２は、このように処理に要する時間を加味したうえで、参照画像信号を出力している。なお、参照画像投影装置９８０が参照画像を投影するのは、例えば数十ミリ秒程度の時間である。したがって、参照画像投影装置９８０が参照画像の相対位置を変化させながら投影するなどの処理を行う必要はない。

図３に戻り説明を続ける。テスト画像信号取得回路１３３は、参照画像が投影された参照領域を撮像した画像の信号であるテスト画像信号を取得する機能を担う。すなわち、参照画像投影装置９８０が参照画像を投影するのに応じて、カメラ９７０が、参照画像を含む画像を撮像する。カメラ９７０は、撮像した画像の信号であるテスト画像信号を、テスト画像信号取得回路１３３に供給する。

図６を参照しながら、テスト画像信号取得回路１３３が取得するテスト画像について説明する。図６は、カメラが撮像したテスト画像の例を示す図である。図６は、カメラ９７０が撮像した画像９７１である。画像９７１は、自動車１の前方の位置Ｐ１に参照画像Ｃ１０を含んでいる。テスト画像信号取得回路１３３は、画像９７１から位置Ｐ１における参照画像Ｃ１０の信号であるテスト画像信号を取得する。テスト画像信号を取得するに際し、テスト画像信号取得回路１３３は、参照画像が投影された位置に関する情報を、参照画像信号出力回路１３２から受け取ってもよい。参照画像信号出力回路１３２と、テスト画像信号取得回路１３３とは、例えば、画像９７１の左上の角部を原点として、横方向にＸ座標、縦方向にＹ座標を設定し、ＸＹ座標系により、参照画像の位置を共有する。より具体的には、例えば以下に示す処理を行う。すなわち、テスト画像信号取得回路１３３は、テスト画像内における参照画像の表示画素位置を検出し、検出したエリアを抽出し、抽出したエリアが矩形になるように、台形補正等の幾何変換を施す。このように、テスト画像信号取得回路１３３は、カメラ９７０から受け取ったテスト画像信号から、参照画像が投影されている領域（位置Ｐ１）を抽出し、参照画像とテスト画像とが同じ矩形サイズになり、画素単位に１対１に比較できるようにする。

図３に戻る。比較回路１３４は、参照画像信号とテスト画像信号とを比較する機能を担う。すなわち、比較回路１３４は、内部メモリ１２０から参照画像信号を受け取るとともに、テスト画像信号取得回路１３３からテスト画像信号を受け取る。ここで、比較回路１３４は、参照画像信号の各色の輝度値と、テスト画像信号の各色の輝度値とを比較する。このとき、テスト画像信号の各色の輝度値は、画像９７１に含まれる位置Ｐ１の領域内の各色の輝度値の平均値であってもよいし、中央値であってもよい。また、比較回路１３４は、位置Ｐ１におけるテスト画像信号のアスペクト比と、参照画像信号のアスペクト比とを対応させ、画素ごとに比較してもよい。このような画素ごとの比較処理については変形例１として詳細を後述する。比較回路１３４は、比較結果を画像調整回路１３５に供給する。

メッセージ画像信号取得回路１３６は、外部メモリ９５０のメッセージ画像記憶領域９５１から、メッセージ画像信号を受け取り、受け取ったメッセージ画像信号を、画像調整回路１３５に供給する。画像調整回路１３５は、メッセージ画像信号取得回路１３６からメッセージ画像信号を受け取る。また、画像調整回路１３５は、比較回路１３４から比較の結果を受け取り、受け取った比較の結果に基づいてメッセージ画像信号を調整する。画像調整回路１３５は、このような各色の輝度値の調整を、メッセージ画像信号の各画素に対して行う。換言すると、画像調整回路１３５は、メッセージ画像信号の画素値を調整する。

画像調整回路１３５は、メッセージ画像信号を調整すると、調整したメッセージ画像信号を出力回路１３７に供給する。出力回路１３７は、画像調整回路１３５から調整されたメッセージ画像信号を受け取ると、受け取ったメッセージ画像信号をメッセージ画像投影装置９９０に供給する。

図７は、メッセージ画像投影システムがメッセージ画像を投影している状態の図である。図７に示すように、時刻ｔ１において、自動車１は、位置Ａ１に移動している。そして、メッセージ画像投影装置９９０は、自動車１の前方に距離Ｄ１の位置Ｐ１にメッセージ画像Ｃ１１を投影している。以上のように、メッセージ画像投影システム１０は、メッセージ画像を投影する位置に、予め参照画像を投影し、投影した参照画像を撮像する。そして、メッセージ画像投影システム１０は、撮像した画像から取得したテスト画像信号を利用して、メッセージ画像信号を調整し、調整したメッセージ画像信号を投影する。

次に、半導体装置１００が行うメッセージ画像信号の調整の一例について説明する。本実施の形態において、半導体装置１００は、路面の反射率に基づいて、メッセージ画像の色を調整する。まず、図８を参照しながら、参照画像信号と、テスト画像信号の輝度値の比較について説明する。図８は、参照画像信号とテスト画像信号の輝度値の比較を説明するための図である。図８の上側は、走行しながら参照画像Ｃ１０を投影する自動車１の側面を示している。自動車１は、参照画像投影装置９８０から路面に参照画像Ｃ１０を投影している。そして、カメラ９７０は、投影された参照画像Ｃ１０を撮像する。

図８の下側には、表Ｃ９８０および表Ｃ９７０を示している。表Ｃ９８０は、参照画像信号の輝度値である。表Ｃ９８０は、横軸に赤色（Ｒ信号）、緑色（Ｇ信号）、および青色（Ｂ信号）を示し、縦軸に輝度値を示している。すなわち、参照画像記憶領域１２１に格納されている参照画像信号は、Ｒ信号、Ｇ信号、およびＢ信号の全てが２５６である白色の信号である。参照画像投影装置９８０は、白色の参照画像Ｃ１０を投影する。

表Ｃ９７０は、テスト画像信号の輝度値である。カメラ９７０は、参照画像を撮像し、撮像した画像からテスト画像信号を取得する。テスト画像信号に含まれる各色の輝度値は、Ｒ信号の輝度値が１２８、Ｇ信号の輝度値が１２８、そしてＢ信号の輝度値が２５６である。図に示すように、参照画像信号と同じではない。つまり、路面に投影した参照画像は、路面が有する反射率の影響を受ける。テスト画像信号は、路面が有する反射率により、各色の輝度値が決定される。図８の例を色ごとに観察すると、Ｒ信号は、参照画像の輝度値が２５６であったが、テスト画像信号では１２８に低下している。すなわち、路面が有するＲ信号の反射率は５０パーセント（１２８／２５６）である。同様に、路面が有するＧ信号の反射率も５０パーセントであり、Ｂ信号の反射率は１００パーセントである。このように、半導体装置１００は、参照画像信号とテスト画像信号との輝度値の差を算出し、算出した輝度値の差から、路面の反射率を算出する。

次に、図９を参照しながら、メッセージ画像信号の調節方法について説明する。図９は、メッセージ画像信号の輝度値を調整する原理を説明するための図である。図９の上側には、走行中である自動車１のメッセージ画像投影装置９９０が、メッセージ画像を投影している状態を示している。図９の下側には、走行中の自動車１が行う画像処理の例として、表Ｃ９５１、表Ｃ９９１、表Ｃ９７１、および表Ｃ９７２を示している。表Ｃ９５１は、メッセージ画像記憶領域９５１に格納されているメッセージ画像の各色の輝度値である。ここでは、理解を容易にするため、メッセージ画像を単色とし、メッセージ画像は、Ｒ信号が５１、Ｇ信号が２０４、そしてＢ信号が２０４という色を有しているとする。したがって、メッセージ画像の色は、緑色と青色が強く、人間の肉眼には、青緑色に見えることを期待している筈である。

表Ｃ９７１は、輝度値の調整を行わないでメッセージ画像を路面に投影した場合に、カメラ９７０が撮像するメッセージ画像の輝度値を示している。Ｃ９５１に示したメッセージ画像の各色の輝度値は、図８に示した反射率を有する路面に投影した後に、カメラ９７０が撮像すると、表Ｃ９７１の輝度値となる。具体的には、Ｒ信号の輝度値は５１の５０パーセントである２６パーセントになり、Ｇ信号の輝度値は２０４の５０パーセントである１０２になり、そしてＢ信号の輝度値は２０４の１００パーセントである２０４になる。つまり、路面に投影したメッセージ画像の色は緑色が弱くなり、人間の肉眼には青色が強く見える。このように、画像信号の輝度値の調整を行わない場合、メッセージ画像信号の色は、路面に投影することにより、路面が有する反射率の影響を受ける。そのため、メッセージ画像信号の色は、路面の状況により変化する可能性がある。

次に、表Ｃ９９１および表Ｃ９７２について説明する。表Ｃ９９１は、画像調整回路１３５がメッセージ画像の輝度値を調整した後の各色の輝度値を示している。画像調整回路１３５は、路面の反射率に基づいて、メッセージ画像の輝度値を調整する。ここでは、画像調整回路１３５が、路面の反射率の変化を抑える調整を行う例について説明する。画像調整回路１３５は、路面の反射率（５０パーセント）の逆数（１／０．５＝２）を、メッセージ画像の各色の輝度値に乗じる（Ｒ：５１×２＝１０２、Ｇ：２０４×２＝４０８、Ｂ：２０４×１＝２０４）。そして、乗じた値を、最大が２５６になるように正規化する（Ｒ：１０２÷４０８×２５６≒６４、Ｇ：４０８÷４０８×２５６＝２５６、Ｂ：２０４÷４０８×２５６≒１２８）。このような処理をした結果、メッセージ画像の各色の輝度値は、Ｒ信号が６４、Ｇ信号が２５６、そしてＢ信号が１２８となる。メッセージ画像投影装置９９０は、画像調整回路１３５が調整したメッセージ画像信号を路面に投影する。

表Ｃ９７２は、画像調整回路１３５が調整したメッセージ画像信号を路面に投影し、投影したメッセージ画像をカメラ９７０が撮像した場合の輝度値を示している。表Ｃ９７２に示すように、Ｃ９９１に示したメッセージ画像の輝度値はＲ信号が６４の５０パーセントである３２に変化し、Ｇ信号が２５６の５０パーセントである１２８に変化し、そして、Ｂ信号が１２８の１００パーセントである１２８となっている。このように、Ｃ９７２に示すメッセージ画像は、Ｃ９７２に示すメッセージ画像と比べるとトーンが暗い方へ変化しているものの、緑色と青色が強く、人間の肉眼には青緑色に見える。

以上のように、実施の形態１に係る半導体装置１００は、メッセージ画像の輝度値を調整し、自動車１に搭乗している運転者等にとって視認性が低下することを抑制する処理を行うことができる。なお、本実施の形態において、半導体装置１００は、メッセージ画像信号の色を調整する例を示した。しかし、本実施の形態において、調整するのはメッセージ画像信号のコントラストであってもよい。この場合、半導体装置１００は、メッセージ画像信号の輝度のダイナミックレンジの低下を抑制するような調整を行う。また、半導体装置１００は、画像全体のトーンを調整してもよい。すなわち、半導体装置１００は、メッセージ画像信号に対してガンマ補正を行ってもよい。また、半導体装置１００は、メッセージ画像の彩度を調整してもよい。

また、半導体装置１００は、画像の調整信号を、路面の典型的なパタンごとに予め記憶しておき、予め記憶しておいた調整信号によりメッセージ画像を調整してもよい。すなわち、メッセージ画像投影システム１０は、外部メモリ又は内部メモリに、数パタンの典型的な調整信号を予め格納しておく。典型的な調整信号とは、例えば、コンクリート、アスファルト、又は石畳、雪上、晴天、雨天等の路面状況による反射率を予め鑑みて生成された調整信号である。そして、半導体装置１００は、テスト画像信号と参照画像信号の比較により、走行中の路面の反射率が、予め記憶された典型的な調整信号のいずれか近いパタンを選択する。そして、半導体装置１００は、選択したパタンの調整信号を利用してメッセージ画像を調整する。このような構成により、メッセージ画像投影システム１０は、より簡易的に、速い処理速度で視認性の低下を抑制する処理を行うことができる。

また、半導体装置１００は、投影するメッセージ画像の輝度が急激に変化することを抑制する処理を加えてもよい。例えば、半導体装置１００は、直前に投影したメッセージ画像信号の平均輝度値Ａｖｅ（ｔ０）を算出するとともに、これから投影するメッセージ画像信号の平均輝度値Ａｖｅ（ｔ１）を算出し、これらの値の加重平均を算出し、算出した加重平均に基づいて、輝度値のゲインＧを設定する。
ここで、Ｗは１以下の正の実数である。また、半導体装置１００は、加重平均に代えて、移動平均により輝度の調整を行ってもよい。このような処理を行うことにより、メッセージ画像投影システム１０は、運転者等にとって視認性が低下することを抑制するとともに、急激な輝度値の変化を抑えることができる。

次に、図１０を説明しながら、メッセージ画像投影システム１０が行う処理について説明する。図１０は、実施の形態１に係るメッセージ画像投影システムのフローチャートである。図１０は、半導体装置１００の処理について示している。

まず、半導体装置１００は、外部メモリ９５０からメッセージ画像信号を取得する（ステップＳ１０）。次に、半導体装置１００は、取得したメッセージ画像信号の調整を行い、調整したメッセージ画像信号を出力する（ステップＳ１１）。以下に、ステップＳ１１をより詳細に説明する。

半導体装置１００は、自車位置を推定する（ステップＳ１１１）。すなわち、半導体装置１００は、ＥＣＵ装置９６０から移動情報を受け取り、受け取った移動情報に基づいて、メッセージ画像を投影する予定時刻における自動車１の位置を推定する。

次に、半導体装置１００は、参照画像を投影する参照領域を決定する（ステップＳ１１２）。更に、半導体装置１００は、参照領域に投影する参照画像信号を参照画像投影装置９８０に出力する（ステップＳ１１３）。

次に、半導体装置１００は、カメラ９７０からテスト画像信号を取得する（ステップＳ１１４）。そして、半導体装置１００は、参照画像信号と、テスト画像信号との輝度値を比較する（ステップＳ１１５）。そして、半導体装置１００は、比較の結果に基づいて、メッセージ画像の各色の輝度値を調整する（ステップＳ１１６）。更に、半導体装置１００は、輝度値が調整されたメッセージ画像をメッセージ画像投影装置９９０に出力する（ステップＳ１１７）。

メッセージ画像投影システム１０において、半導体装置１００は、以上に説明した処理を実行する。なお、図１０のフローチャートにおいて、メッセージ画像信号を取得するステップは、ステップＳ１１６の前であれば、どのようなタイミングで行ってもよい。

以上に説明したように、実施の形態１におけるメッセージ画像投影システム１０は、
路面の反射率に応じて、メッセージ画像を各色の輝度値を調整する。これにより、メッセージ画像投影システム１０は、路面の影響による色の変化を抑えたメッセージ画像を投影することができる。

なお、半導体装置１００において、参照画像信号出力回路１３２は、参照領域を決定する場合に、参照領域に代えて、又は参照領域に加えて、参照画像を投影する時刻を決定してもよい。すなわち、例えば、自動車１の走行速度が比較的速い場合は、走行速度が比較的遅い場合に比べて、参照画像を投影するタイミングを比較的早く設定する。このように、参照画像を投影する時刻を制御することにより、半導体装置１００は、自動車１の走行速度に応じて、より好適に参照領域を決定することができる。

以上に説明したように、本実施の形態によれば、投影面によって受ける影響による画像の劣化を抑える半導体装置等を提供することができる。

＜実施の形態１の変形例１＞
次に、実施の形態１の変形例１について説明する。本例示は、比較回路１３４および画像調整回路１３５の機能が実施の形態１と異なる。図１１は、実施の形態１の変形例１によるメッセージ画像の調整方法を説明するための図である。図１１は、位置Ｐ１に投影された参照画像Ｃ１０を示している。

本例示において、参照画像Ｃ１０は、左右で反射率が異なっている。このような場合には、参照画像の反射率を一様であると設定してメッセージ画像信号の調整を行うと、部分的に見えにくいエリアが発生したり、メッセージ画像が正しく認識されない虞がある。そこで、本例示における半導体装置１００における比較回路１３４は、参照画像の画角とテスト画像の画角とを対応させて、画素ごとに参照画像信号とテスト画像信号とを比較する機能を有している。また、本例示における半導体装置１００における画像調整回路１３５は、テスト画像の画角とメッセージ画像の画角とを対応させて、メッセージ画像信号の画素ごとにメッセージ画像信号を調整する機能を有している。

以下に図１１を参照しながら、本例示について具体的に説明する。本例示における比較回路１３４は、まず、投影された参照画像を撮像したテスト画像Ｃ１２の画像信号を取得する。次に、比較回路１３４は、テスト画像Ｃ１２を線形変換処理する。これにより、テスト画像Ｃ１２の画角は、参照画像Ｃ１０の画角と同じになるように処理される。図１１に示す画像Ｃ１３は、テスト画像Ｃ１２の画角を線形変換により処理したものである。次に、比較回路１３４は、参照画像Ｃ１０と画像Ｃ１３とを、画素ごとに比較する。例えば図１１に示すように、比較回路１３４は、Ｘ方向のｎ番目、Ｙ方向のｍ番目の画素である画素Ｐ_９について、輝度値を比較する。このようにして、比較回路１３４は、全ての画素の輝度値を画素ごとに比較する。

次に、画像調整回路１３５は、比較回路１３４が行った比較の結果に基づいて、メッセージ画像を調整する。図１１に示すメッセージ画像Ｃ１４は、比較回路１３４が行った比較の結果に基づいて調整されたものである。図１１に示すように、調整されたメッセージ画像Ｃ１４は、路面の反射率に応じて、輝度の調整を画素ごとに行う。したがって、本例示によれば、路面によって受ける画像の劣化をより細かく抑えることができる。

＜実施の形態１の変形例２＞
次に、図１２を参照しながら、実施の形態１の変形例２について説明する。図１２は、実施の形態１の変形例２によるメッセージ画像の調整方法を説明するための図である。本例示における半導体装置１００は、参照画像の幅がメッセージ画像よりも広い点と、最適投影領域決定部を更に有している点において、実施の形態１と異なる。

参照画像信号出力回路１３２は、メッセージ画像の幅よりも広い幅を有する参照画像信号を出力する。図１２に示すように、本例示における参照画像Ｃ１５は、位置Ｐ１１〜Ｐ１３にそれぞれ参照画像を含んでいる。位置Ｐ１１〜Ｐ１３は、幅方向において一部が重なり合っている。参照画像Ｃ１５は、実施の形態１における参照画像Ｃ１０あるいはメッセージ画像Ｃ１１よりも幅が広く設定されている。参照画像投影装置９８０は、参照画像Ｃ１５を投影する。そして、カメラ９７０は、参照画像Ｃ１５を撮像し、参照画像Ｃ１５に対応したテスト画像信号を取得する。比較回路１３４は、位置Ｐ１１〜Ｐ１３に対応したテスト画像信号を生成する。そして、比較回路１３４は、位置Ｐ１１におけるテスト画像信号と、参照画像信号とを比較する。同様に、比較回路１３４は、位置Ｐ１２におけるテスト画像信号と、参照画像信号とを比較し、更に、位置Ｐ１２におけるテスト画像信号と、参照画像信号とを比較する。このように、Ｐ１１〜Ｐ１３のそれぞれと、参照画像信号とを比較した結果に基づいて、最適投影領域決定部は、輝度値の差が最も少ない位置を選択する。そして、メッセージ画像投影装置９９０は、自動車１が位置Ａ１に移動したときに、比較回路１３４が選択した位置Ｐ１１〜Ｐ１３の内のいずれかの位置に、メッセージ画像を投影する。

なお、参照画像Ｃ１５に示した位置Ｐ１１〜Ｐ１３は一例であり、これらは重なっていてもよいし、重なっていなくてもよい。また、位置は３つでなくても２つでも、４つ以上でもよい。

このような構成により、メッセージ画像投影システム１０は、路面の影響を受けにくい投影領域を選択する。すなわち、本実施の形態におけるメッセージ画像投影システム１０は、自動車１に搭乗する運転者等にとって視認性の高いメッセージ画像を投影することができる。以上のように、本開示によれば、路面によって受ける画像の劣化を抑える半導体装置等を提供することができる。なお、参照画像投影装置９８０とメッセージ画像投影装置９９０は別の装置として説明したが、一体の投影装置が参照画像およびメッセージ画像を投影するものであってもよい。その場合、この投影装置は、参照画像を投影する領域に参照画像を投影するとともに、メッセージ画像を投影する領域メッセージ画像を投影することができる。また、かかる一体の投影装置が、所定の時刻に参照画像を投影し、これと異なる時刻にメッセージ画像を投影するものであってもよい。さらに、かかる一体の投影装置は、複数の異なる時刻に投影するメッセージ画像にそれぞれ対応する複数の参照画像を同時に投影した後に、かかる複数の異なる時刻に順次メッセージ画像を投影してもよい。このように、一体の投影装置が参照画像およびメッセージ画像を投影するものとすれば、装置の製造コストを低減し、また、システムの軽量化を計ることができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２に係るメッセージ画像投影システムは、移動中である２台の自動車の内、一方がメッセージの発信者となり、他方がメッセージの受信者となる。そして、発信者は、受信者のためにメッセージ画像を投影する。そして、メッセージ画像投影システムは、投影するメッセージ画像が受信者にとって視認性が低下したものとならない機能を有している。また、メッセージ画像投影システムは、発信者がメッセージ画像を投影するに際し、発信者が投影する参照画像を受信者が撮像し、受信者が生成した調整信号を発信者に送信する機能を有している。

図１３は、実施の形態２に係るメッセージ画像投影システムのハードウェア構成図である。実施の形態２に係るメッセージ画像投影システム２０は、半導体装置１００に代えて半導体装置２００を有し、更に通信装置９４０を有する点において、実施の形態１と主に異なる。

半導体装置２００は、通信ＩＦ２４０を有している点において、実施の形態１における半導体装置１００と異なっている。通信ＩＦ２４０は、半導体装置２００においてバス１７０に接続し、半導体装置２００の外部の通信装置９４０に接続するインタフェースである。半導体装置２００は、通信ＩＦ２４０を介して通信装置９４０と信号の送受信を行う。また、半導体装置２００は、画像処理回路１３０に代えて、画像処理回路２３０を有している。画像処理回路２３０について、後述する。

通信装置９４０は、電波、赤外線、又は光等を利用して無線通信を行う通信装置である。通信装置９４０は、直接又は間接に、周囲の通信装置と通信を行う。通信装置９４０は、半導体装置２００

次に、図１４を参照しながら、実施の形態２の機能ブロックについて説明する。図１４は、実施の形態２に係るメッセージ画像投影システムの機能ブロック図である。メッセージ画像投影システム２０における半導体装置２００は、制御回路１１０に代えて、制御回路２１０を有し、画像処理回路１３０に代えて画像処理回路２３０を有する点において、半導体装置１００と異なっている。以下に、実施の形態１において説明した機能と異なる点において説明する。

制御回路２１０は、申請受付回路２１１および許可信号出力回路２１２を有している。申請受付回路２１１は、通信装置９４０を介して、他のシステムから受け取る接続申請信号を受け付ける。許可信号出力回路２１２は、接続申請信号に対する許可信号を出力する。許可信号出力回路２１２が出力した許可信号は、通信装置９４０に出力される。許可信号は、通信装置９４０によって、接続を許可する相手に送信される。半導体装置２００は、申請受付回路２１１および許可信号出力回路２１２により、接続の許可をした相手と所定の通信を行うとともに、接続の許可をした相手が投影する参照信号を撮像する処理を行う。これらの処理についての詳細は後述する。

次に、画像処理回路２３０について説明する。画像処理回路２３０は、調整信号出力回路２３１、許可判定回路２３２、および調整信号取得回路２３３を有している点において、実施の形態１に係る半導体装置１００と異なる。

調整信号出力回路２３１は、比較回路１３４から比較の結果に関する情報を受け取り、受け取った情報を、通信装置９４０に供給する機能を担う。これにより、メッセージ画像投影システム２０は、カメラ９７０から受け取ったテスト画像信号と、参照画像信号との比較の結果を、他者に送信する。

許可判定回路２３２は、通信装置９４０を介して、他者から接続の許可があったか否かを判定する機能を担う。許可判定回路２３２は、判定結果に関する信号を、調整信号取得回路２３３に供給する。調整信号取得回路２３３は、通信装置９４０を介して、他者からメッセージ画像信号に対する調整信号を受け取る。調整信号取得回路２３３は、受け取った調整信号を、画像調整回路１３５に供給する。

このように、半導体装置２００は、比較回路１３４と画像調整回路１３５の間に、調整信号出力回路２３１、許可判定回路２３２、および調整信号取得回路２３３を有するとともに、これらの構成が通信装置９４０に接続している。これにより、半導体装置２００は、他者が投影した参照画像に係る調整信号を他者に送信することができる。また、これにより、半導体装置２００は、他者が生成した調整信号に基づいて調整されたメッセージ画像信号を出力することができる。

次に、図１５〜図１８を参照しながら、メッセージ画像投影システム２０を有する２台の自動車において実行されるそれぞれの処理について説明する。本実施の形態における処理において、メッセージ画像の発信者は、受信者の走行している進行方向前方に侵入するために、受信者の前方にメッセージ画像を発信することを試みる。

図１５を参照しながら、メッセージ画像の発信者の処理について説明する。図１５は、実施の形態２に係るメッセージ画像発信者側の処理を示すフローチャートである。図１５に示すフローチャートは、メッセージ画像発信者側の半導体装置（２００Ｓと称する）の処理について示している。

半導体装置２００Ｓは、メッセージ画像記憶領域９５１からメッセージ画像を取得する（ステップＳ２１０）。次に、半導体装置２００Ｓは、メッセージ画像の受信者に接続を行う（ステップＳ２１１）。半導体装置２００Ｓは、受信者から接続の許可を受けたか否かを判定する（ステップＳ２１２）。受信者から接続の許可を受けたと判定しなかった場合（ステップＳ２１２：Ｎｏ）、半導体装置２００Ｓは、ユーザに対して接続許可を受けなかったことを通知する（ステップＳ２１９）。次に、半導体装置２００Ｓは、受信者の前方ではなく、発信者自身の前方の領域に、図１０において説明したメッセージ画像を投影する処理を行う（ステップＳ１１）。メッセージ画像を投影する処理が終了すると、半導体装置２００Ｓは、一連の処理を終了させる。

一方、受信者からの接続許可を受けたと判定した場合（ステップＳ２１２：Ｙｅｓ）、半導体装置２００Ｓは、自車位置の推定を行う（ステップＳ２１３）。そして、半導体装置２００Ｓは、推定した自車位置に基づいて、参照領域を決定する（ステップＳ２１４）。更に、半導体装置２００Ｓは、決定した参照領域に対して参照画像を投影するために、参照画像投影装置９８０に対して参照画像信号を出力する（ステップＳ２１５）。

図１７を参照しながらステップＳ２１３〜ステップＳ２１５の処理について具体的に説明する。図１７は、メッセージ画像投影システムが行う自車位置推定および参照画像投影を説明するための図である。図１７において、発信者である自動車１は、受信者である自動車２の前方に対してメッセージ画像の投影を行おうとしている。時刻ｔ０において、自動車１は、位置Ａ０に位置している。そして、半導体装置２００Ｓは、メッセージ画像を投影する予定時刻である時刻ｔ１における自動車１を位置Ａ１であると推定している（ステップＳ２１３）。更に、自動車１は、推定した位置Ａ１から前方に距離Ｄ１、右側に距離Ｔ２を、参照領域を位置Ｐ２に決定している（ステップＳ２１４）。位置Ｐ２は、自動車２の前方に位置している。更に、自動車１は、決定した位置Ｐ２に参照画像Ｃ２０を投影している（ステップＳ２１５）。なお、図１７においては、理解を容易にするためにステップＳ２１３およびステップＳ２１４の時間による自動車１の位置の差については省略しているが、これらの処理を鑑みて制御を行うものとする。

図１５に戻る。半導体装置２００Ｓは、参照画像信号を投影した後、受信者から調整信号を取得したか否かを判定する（ステップＳ２１６）。予め設定された時間内に受信者から調整信号を取得しなかった場合、半導体装置２００Ｓは、調整信号を取得したと判定しない（ステップＳ２１６：Ｎｏ）。この場合、半導体装置２００Ｓは、メッセージ画像信号を調整することができない。そのため、半導体装置２００Ｓは、調整しないメッセージ画像信号を、メッセージ画像投影装置９９０に出力する（ステップＳ２１８）。メッセージ画像投影装置９９０は、調整されていないメッセージ画像を受信者前方に投影する。このように、予め設定された時間内に調整信号を取得しない場合には、調整されていないメッセージ画像を投影することにより、受信者に対して好適なタイミングでメッセージを提示することができる。

一方、調整信号を取得した場合、半導体装置２００Ｓは、調整信号と取得したと判定する（ステップＳ２１６：Ｙｅｓ）。この場合、半導体装置２００Ｓは、受信者から取得した調整信号に基づいて、メッセージ画像信号の輝度値を調整する（ステップＳ２１７）。そして、半導体装置２００Ｓは、調整されたメッセージ画像信号を出力する（ステップＳ２１８）。このようにしてメッセージ画像信号を出力すると、半導体装置２００Ｓは、一連の処理を終了させる。

図１８を参照しながら、ステップＳ２１８の状態について説明する。図１８は、実施の形態２に係るメッセージ画像投影システムが行うメッセージ画像投影を説明するための図である。図１８に示すように、時刻ｔ１において、自動車１は、位置Ａ１に移動し、位置Ｐ２にメッセージ画像Ｃ２１を投影している。自動車２の前方には、自動車１が投射したメッセージ画像が投射されている。

次に、図１６を参照しながら、メッセージ画像の受信者の処理について説明する。図１６は、実施の形態２に係るメッセージ受信者側の処理を示すフローチャートである。図１６に示すフローチャートは、メッセージ画像受信者側の半導体装置（２００Ｒと称する）の処理について示している。

まず、半導体装置２００Ｒは、発信者からの接続申請を受け付ける（ステップＳ２２０）。接続申請の信号には、発信者が投影しようとしている領域に関する信号が含まれている。次に、半導体装置２００Ｒは、接続を許可するか否かを判定する（ステップＳ２２１）。既に他の者と通信中であるなどの理由により、接続を許可できない場合、半導体装置２００Ｒは、接続許可を判定しない（ステップＳ２２１：Ｎｏ）。この場合、半導体装置２００Ｒは、申請を受け付けた相手に対して、接続不許可の通知を送信し（ステップＳ２２７）、一連の処理を終了させる。

一方、接続許可すると判定した場合（ステップＳ２２１：Ｙｅｓ）、半導体装置２００Ｒは、投影領域が重複しているか否かを判定する（ステップＳ２２２）。例えば、図１８において、自動車１が位置Ｐ１にメッセージ画像Ｃ２１を投影している。このような場合に、更に別の者が位置Ｐ１に重なる領域にメッセージ画像を投影することは許可できない。したがって、接続を申請している相手が投影しようとしている領域が、他者のメッセージ画像投影領域と重複していると判定する場合（ステップＳ２２２：Ｙｅｓ）、半導体装置２００Ｒは、申請を受け付けた相手に対して、接続不許可の通知を送信し（ステップＳ２２７）、一連の処理を終了させる。

一方、他者のメッセージ画像投影領域と重複していると判定しない場合（ステップＳ２２２：Ｎｏ）、半導体装置２００Ｒは、許可信号を出力する（ステップＳ２２３）。そして、受信者は、受信者が有するカメラ９７０により発信者が投影した参照画像を撮像する。半導体装置２００Ｒは、カメラ９７０が生成したテスト画像信号を取得する（ステップＳ２２４）。次に、半導体装置２００Ｒは、参照画像記憶領域１２１から参照画像信号を受け取り、受け取った参照画像信号の輝度値と、取得したテスト画像信号の輝度値とを比較する（ステップＳ２２５）。次に、半導体装置２００Ｒは、比較の結果に基づいて調整信号を生成し、生成した調整信号を通信装置９４０に出力する（ステップＳ２２６）。そして、半導体装置２００Ｒは、一連の処理を終了させる。

図１８は、半導体装置２００Ｒを有する自動車２が図１６に示す一連の処理を終了させた後に、自動車１からメッセージ画像が投影された状態である。このような処理を行うことにより、メッセージ画像投影システム２０は、受信者にとって邪魔にならず、かつ視認性が低下することを抑制したメッセージ画像を投影することができる。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３に係るメッセージ画像投影システムは、半導体装置の機能および操舵制御装置を有する点において実施の形態１と異なる。実施の形態３に係るメッセージ画像投影システムは、メッセージ画像を投影する領域を選択し、選択した領域に自動車が進行するように操舵制御装置に信号を出力する。

図１９は、実施の形態３に係るメッセージ画像投影システムのハードウェア構成図である。図１９に示すメッセージ画像投影システム３０は、操舵制御装置９３０を有する。操舵制御装置９３０は、運転者の操作に代えて、又は運転者の操作を補助するために、自動車１の操舵を制御するための装置である。操舵制御装置９３０は、バス信号ＩＦ１５０に接続する。また、メッセージ画像投影システム３０は、半導体装置１００に代えて、半導体装置３００を有する点において実施の形態１と異なる。半導体装置３００については、後述する。

次に、実施の形態３に係るメッセージ画像投影システム３０の機能ブロックについて説明する。図２０は、実施の形態３に係るメッセージ画像投影システムの機能ブロック図である。メッセージ画像投影システム３０における半導体装置３００は、画像処理回路１３０に代えて画像処理回路３３０を有する点において、半導体装置１００と異なっている。以下に、実施の形態１において説明した機能と異なる点において説明する。

画像処理回路３３０は、参照画像信号出力回路１３２、テスト画像信号取得回路１３３、および比較回路１３４に代えて、参照画像信号出力回路３３２、テスト画像信号取得回路３３３、および比較回路３３４をそれぞれ有している。また、画像処理回路３３０は、最適経路決定回路３３１を有している。最適経路決定回路３３１は、比較回路３３４から比較の結果を受け取り、受け取った比較の結果に基づいて、自動車１の経路を決定する。また、最適経路決定回路３３１は、決定した経路に関する情報を、操舵制御装置９３０に出力する。また、最適経路決定回路３３１は、決定した経路に関する情報を、画像調整回路１３５にも出力する。画像調整回路１３５は、最適経路決定回路３３１から受け取った経路に関する情報と、比較回路３３４から受け取った比較の結果とを受け取り、メッセージ画像信号を調整する。

次に、図２１〜図２３を参照しながら、各機能の詳細について説明する。まず、図２１を参照しながら、参照画像信号出力回路３３２について説明する。参照画像信号出力回路３３２は、メッセージ画像よりも幅が広く、且つ奥行が長い参照画像信号を出力する。図２１は、メッセージ画像投影システムが行う参照画像投影を説明するための図である。図２１において、自動車１は、位置Ｐ１にメッセージ画像Ｃ３１を投影するとともに、位置Ｐ３に参照画像Ｃ３０を投影している。メッセージ画像Ｃ３１は、幅Ｈ３１および奥行Ｖ３１を有している。また、参照画像Ｃ３０は、幅Ｈ３０および奥行Ｖ３０を有している。図２１に示すように、参照画像Ｃ３０は幅がメッセージ画像より広く、奥行がメッセージ画像より長い。参照画像信号出力回路３３２は、このようにメッセージ画像より大きい画角の参照画像を生成するとともに、生成した参照画像を参照画像投影装置９８０に供給する。参照画像Ｃ３０は、参照画像投影装置９８０によって投影され、投影された参照画像Ｃ３０は、カメラ９７０によって撮像される。カメラ９７０は、参照画像Ｃ３０を撮像した画像のテスト画像信号を生成し、テスト画像信号取得回路３３３に供給する。

次に、図２２を参照しながら、テスト画像信号取得回路３３３の機能について説明する。図２２は、参照画像信号をグリッド状に処理する状態を説明するための図である。図２２の上側には、カメラ９７０が撮像した参照画像Ｃ３０を含む画像９７３を示している。画像９７３には、自動車１の前方に、台形状の参照画像Ｃ３０が撮像されている。テスト画像信号取得回路３３３は、画像９７３に係るテスト画像信号を取得すると、台形状の参照画像Ｃ３０を抽出するとともに、参照画像Ｃ３０を矩形になるように線形変換処理を施す。図２２の下側は、参照画像Ｃ３０に線形変換処理が施されることによって生成された、テスト画像Ｃ３２を示している。テスト画像Ｃ３２は、参照画像Ｃ３０を図２１に示すように自動車１の上面から観察した場合と同じアスペクト比を有している。つまり、図２２において、テスト画像Ｃ３２のサイズは、幅Ｈ３０、奥行Ｖ３０と仮定することができる。また、テスト画像信号取得回路３３３は、テスト画像Ｃ３２を複数のグリッドに分割する処理を施している。この場合、グリッドサイズは、メッセージ画像と同じである。すなわち、１つのグリッドのサイズは幅Ｈ３１、奥行Ｖ３１である。図２２において、テスト画像Ｃ３２は、幅方向に５個、奥行方向に７個のグリッドに分割されている。

次に、図２３を参照しながら、比較回路３３４および最適経路決定回路３３１の機能について説明する。図２３は、メッセージ画像投影システムが算出した最適経路の例を示す図である。比較回路３３４は、各グリッドに対してそれぞれ参照画像信号との比較を行う。本実施の形態において、比較回路３３４は、参照画像信号の輝度値の平均とグリッドごとに輝度値の平均との差を算出している。各グリッドの枠内に記載している数値は、参照画像信号の平均輝度値と各グリッドの平均輝度値との差を記したものである。比較回路３３４は、このような比較の結果を、最適経路決定回路３３１に供給する。なお、比較回路３３４は、比較の結果を、最適経路決定回路３３１に供給するとともに、画像調整回路１３５にも供給する。

最適経路決定回路３３１は、比較回路３３４から比較の結果を受け取ると、受け取った比較の結果に基づいて、自動車１の経路を決定する。すなわち、最適経路決定回路３３１は、移動体の進行方向に沿って候補領域に対応した複数の候補経路を算出し、複数の候補経路の内、輝度値の差が最小になる候補経路を最適経路に決定する機能を担う。具体的には、最適経路決定回路３３１は、テスト画像Ｃ３２が有する複数のグリッドの内、奥行方向に１つずつのグリッドを、グリッドが連なるように選択する。

以下に具体例と共に説明する。図２３において、理解を容易にするため、テスト画像Ｃ３２には、各グリッドに対して番地が付与されている。テスト画像Ｃ３２の左上のグリッドが（Ｘ１、Ｙ１）であり、テスト画像Ｃ３２の右下のグリッドが（Ｘ５、Ｙ７）である。最適経路決定回路３３１は、Ｙ７の行において、（Ｘ４、Ｙ７）のグリッドを選択している。次に、最適経路決定回路３３１は、Ｙ６の行において、（Ｘ４、Ｙ７）と連なるように隣接している（Ｘ３、Ｙ６）、（Ｘ４、Ｙ６）、（Ｘ５、Ｙ６）のうちいずれか一のグリッドを選択する。最適経路決定回路３３１は、Ｙ７〜Ｙ１まで同様の処理を繰り返し、進行方向に沿った経路を決定する。最適経路決定回路３３１は、このようにして、複数の候補経路を取得する。そして、最適経路決定回路３３１は、取得した複数の候補経路のうち、Ｙ７〜Ｙ１までの輝度値の差の積分値が最も少ない経路を最適経路に決定する。図２３に示す経路Ｒ３１は、上述の処理によって決定された経路である。

最適経路決定回路３３１は、最適経路を決定すると、決定した経路に関する情報を、操舵制御装置９３０に出力する。操舵制御装置９３０は、最適経路決定回路３３１から受け取った最適経路に関する情報に基づいて、自動車１の操舵を行う。自動車１が経路Ｒ３１を進行する場合、経路Ｒ３１に沿って、メッセージ画像が投影される。そして、それぞれのグリッドにおいて投影されるメッセージ画像の信号は、画像調整回路１３５によってそれぞれ調整されたものである。

次に、図２４を参照しながら、メッセージ画像投影システム３０の処理について説明する。図２４は、実施の形態３に係るメッセージ画像投影システムのフローチャートである。図２４に示すフローチャートは、メッセージ画像投影システム３０の半導体装置３００の処理について示すものである。

まず、半導体装置３００は、参照領域を決定する（ステップＳ３１０）。次に、半導体装置３００は、決定した参照領域に係る参照画像信号を参照画像投影装置９８０に出力する（ステップＳ３１１）。次に、半導体装置３００は、カメラ９７０からテスト画像信号を取得する（ステップＳ３１２）。そして、半導体装置３００は、図２２において説明したように、輝度値の比較を行う（ステップＳ３１３）。次に、半導体装置３００は、最適経路を決定する処理と、メッセージ画像の調整をする処理をそれぞれ行う。

最適経路を決定する処理として、半導体装置３００は、図２３を参照しながら説明したように、最適経路を決定する処理を行う（ステップＳ３１４）。そして、半導体装置３００は、操舵制御装置９３０に最適経路を出力する（ステップＳ３１５）。一方、画像を調整する処理として、半導体装置は、最適経路に応じてメッセージ画像信号の輝度値を調整する（ステップＳ３１６）。そして、半導体装置３００は、自動車１の運行状況に合わせて、調整したメッセージ画像信号を出力する（ステップＳ３１７）。

次に、図２５を参照しながら、最適経路決定回路３３１の処理のバリエーションについて説明する。図２５は、最適経路決定回路の処理の例について説明するための図である。図２５において、最適経路決定回路３３１は、経路Ｒ３１と、経路Ｒ３２とを取得している。そして、本例示において、経路Ｒ３１におけるＹ７からＹ４までの輝度値の差の積分値は６０＋７８＋２５＋５０＝２１３である。一方、経路Ｒ３２におけるＹ７からＹ４までの輝度値の差の積分値は６０＋４３＋６０＋５０＝２１３である。つまり、経路Ｒ３１と経路Ｒ３２とは、輝度値の差分の積分値が同じである。このような場合、最適経路決定回路３３１は、差分の最大値が小さい方を選択する。本例示においては、最適経路決定回路３３１は、経路Ｒ３１の最大値である７８と、経路Ｒ３２の最大値である６０とを比較して、最大値がより小さい値である経路Ｒ３２を選択する。このような機能を有することにより、半導体装置３００は、運転者等の視認性が低下するのを防ぎ、且つ、輝度値の変化を抑えた経路を選択することができる。

なお、上述した経路の選択方法において、経路Ｒ３１と経路Ｒ３２のそれぞれの標準偏差を算出し、算出した標準偏差に基づいて経路を選択してもよい。このようにしても、半導体装置３００は、運転者等の視認性が低下するのを防ぎ、且つ、輝度値の変化を抑えた経路を選択することができる。

なお、最適経路決定回路３３１が最適経路を決定するに際し、半導体装置３００は、以下のような機能を有していてもよい。すなわち、半導体装置３００は、運転者等であって、メッセージ画像を視認する者の視線を検出する視線検出装置からの信号を取得する。そして、半導体装置３００は、運転者等の視線の動きに合わせて最適経路を決定してもよい。このようにすることで、本実施の形態に係る半導体装置３００は、運転者等の視線の動きに応じて、運転者等に負担の少ないメッセージ画像を投影することができる。

また、本実施の形態においては、テスト画像信号取得回路１３３は、テスト画像を重なり合わないグリッドに分割したが、グリッドは重なり合うように設定してもよい。このようにグリッドを設定することにより、本実施の形態に係る半導体装置３００は、より連続性を高めた経路を決定することができる。

また、本実施の形態において、半導体装置３００は、決定した最適経路を操舵制御装置９３０に出力したが、操舵制御装置９３０に対して、操舵を指示する信号を出力してもよい。この場合、操舵制御装置９３０は、半導体装置３００からの指示に基づいて、自動車１の運行を行う。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

上記実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
移動体との相対的な関係により成される投影領域に投影するメッセージ画像の信号であるメッセージ画像信号を出力する半導体装置であって、
予め設定された参照画像の信号である参照画像信号を記憶するメモリと、
前記参照画像を投影した参照領域を撮像した画像の信号であるテスト画像信号を取得するテスト画像信号入力インタフェースと、
前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の位置を推定し、
前記推定位置における前記移動体と前記投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定するとともに、前記参照領域に対応した参照画像の信号である参照画像信号を出力し、
前記参照画像が投影された前記参照領域を撮像した画像の信号であるテスト画像信号を取得し、
前記参照画像信号と前記テスト画像信号とを比較し、
前記比較の結果に基づいて前記メッセージ画像信号を調整し、
調整した前記メッセージ画像信号を出力するプロセッサと、
を備える半導体装置。

（付記２）
半導体装置と、
前記移動体に搭載され、前記半導体装置が出力した前記メッセージ画像を投影する投影装置と、
を備える投影システムであって、
前記半導体装置は、
移動体との相対的な関係により成される投影領域に投影するメッセージ画像の信号であるメッセージ画像信号を出力する半導体装置であって、
前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の位置を推定する位置推定部と、
前記推定位置における前記移動体と前記投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定するとともに、前記参照領域に対応した参照画像の信号である参照画像信号を出力する参照画像信号出力部と、
前記参照画像が投影された前記参照領域を撮像したテスト画像の信号であるテスト画像信号を取得するテスト画像信号取得部と、
前記参照画像信号と前記テスト画像信号とを比較する比較部と、
前記比較の結果に基づいて前記メッセージ画像信号を調整する画像調整部と、
調整した前記メッセージ画像信号を出力するメッセージ画像出力部とを備える半導体装置である
投影システム。

１、２ 自動車
１０、２０、３０ メッセージ画像投影システム
１００、２００、３００ 半導体装置
１１０、２１０ 制御回路
１２０ 内部メモリ
１２１ 参照画像記憶領域
１３０、２３０、３３０ 画像処理回路
１３１ 位置推定回路
１３２、３３２ 参照画像信号出力回路
１３３、３３３ テスト画像信号取得回路
１３４、３３４ 比較回路
１３５ 画像調整回路
１３６ メッセージ画像信号取得回路
１３７ 出力回路
１４０ 画像信号入力ＩＦ
１５０ バス信号ＩＦ
１６０ 画像信号出力ＩＦ
１７０ バス
２１１ 申請受付回路
２１２ 許可信号出力回路
２３１ 調整信号出力回路
２３２ 許可判定回路
２３３ 調整信号取得回路
２４０ 通信ＩＦ
３３１ 最適経路決定回路
９３０ 操舵制御装置
９４０ 通信装置
９５０ 外部メモリ
９５１ メッセージ画像記憶領域
９６０ ＥＣＵ装置
９７０ カメラ
９８０ 参照画像投影装置
９９０ メッセージ画像投影装置

Claims (20)

1. 移動体との相対的な関係により成される投影領域に投影するメッセージ画像の信号であるメッセージ画像信号を出力する半導体装置であって、
   前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の推定位置を算出する位置推定部と、
   前記推定位置における前記移動体と前記投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定するとともに、前記参照領域に対応した参照画像の信号である参照画像信号を出力する参照画像信号出力部と、
   前記参照画像が投影された前記参照領域を撮像したテスト画像の信号であるテスト画像信号を取得するテスト画像信号取得部と、
   前記参照画像信号と前記テスト画像信号とを比較する比較部と、
   前記比較の結果に基づいて前記メッセージ画像信号を調整する画像調整部と、
   調整した前記メッセージ画像信号を出力するメッセージ画像出力部と、
   を備える半導体装置。
2. 前記参照画像信号出力部は、前記推定位置に基づいて、前記参照画像信号を出力する時刻を決定する
   請求項１に記載の半導体装置。
3. 前記画像調整部は、前記メッセージ画像信号に含まれる画素値を調整する
   請求項１に記載の半導体装置。
4. 前記参照画像信号出力部は、赤色、緑色、青色の輝度値が互いに等しい前記参照画像信号を出力する
   請求項１に記載の半導体装置。
5. 前記比較部は、前記参照画像信号に含まれる輝度値と、前記テスト画像信号に含まれる輝度値とを比較して、輝度値の差を算出する
   請求項１に記載の半導体装置。
6. 前記比較部は、前記参照画像の画角と前記テスト画像の画角とを対応させて、画素ごとに前記参照画像信号と前記テスト画像信号とを比較する
   請求項５に記載の半導体装置。
7. 前記画像調整部は、前記テスト画像の画角と前記メッセージ画像の画角とを対応させて、前記メッセージ画像信号の画素ごとに前記メッセージ画像信号を調整する
   請求項６に記載の半導体装置。
8. 前記半導体装置は、最適投影領域決定部を更に備え、
   前記参照画像信号出力部は、前記メッセージ画像の幅よりも広い幅を有する参照画像信号を出力し、
   前記比較部は、前記参照画像の幅方向について、前記メッセージ画像と同じ幅であって異なる位置の候補領域を複数抽出するとともに、前記候補領域ごとに前記テスト画像信号と輝度値の差を算出し、
   前記最適投影領域決定部は、前記候補領域の内、前記輝度値の差が最小になる一の候補領域を最適投影領域に決定する
   請求項１に記載の半導体装置。
9. 前記半導体装置は、前記移動体の周囲を移動する標的から、前記移動体が投影した参照画像に対応する調整信号を取得する調整信号取得部を更に備え、
   前記画像調整部は、前記標的から取得した前記調整信号に基づいて、メッセージ画像を調整する
   請求項１に記載の半導体装置。
10. 前記標的が前記参照画像の投影を許可しているか否かを判定する許可判定部を更に備える、
    請求項９に記載の半導体装置。
11. 前記調整信号取得部は、前記メッセージ画像信号に含まれる画素値を調整するための信号を取得する、
    請求項９に記載の半導体装置。
12. 前記位置推定部は、前記移動体の移動情報と、前記標的の移動情報とに基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の位置と前記標的の位置とをそれぞれ推定する、
    請求項９に記載の半導体装置。
13. 前記調整信号取得部は、前記メッセージ画像信号を台形補正するための信号を取得する、
    請求項９に記載の半導体装置。
14. 前記半導体装置は、調整信号出力部を更に備え、
    前記テスト画像信号取得部は、前記移動体の周囲を移動する投影装置が投影したサンプル画像を撮像した画像の信号であるサンプル画像信号を取得し、
    前記比較部は、前記参照画像信号と前記サンプル画像信号とを比較し、
    前記調整信号出力部は、前記参照画像信号と前記サンプル画像信号とを比較した結果に基づいて前記サンプル画像信号を調整するための調整信号を出力する
    請求項１に記載の半導体装置。
15. 前記投影装置が前記サンプル画像を投影するに際し、前記投影装置に対して前記サンプル画像の投影を許可する信号を出力する許可信号出力部を更に備える
    請求項１４に記載の半導体装置。
16. 前記半導体装置は、最適経路決定部を更に備え、
    前記参照画像信号出力部は、前記メッセージ画像の幅よりも広く、且つ、前記メッセージ画像の奥行方向の長さよりも長い参照画像信号を出力し、
    前記比較部は、前記参照画像について、前記メッセージ画像に対応した画角であって異なる位置の候補領域を複数抽出するとともに、前記候補領域ごとに前記テスト画像信号と輝度値の差を算出し、
    前記最適経路決定部は、前記移動体の進行方向に沿って前記候補領域に対応した複数の候補経路を算出し、前記複数の候補経路の内、前記輝度値の差が最小になる候補経路を最適経路に決定する
    請求項１に記載の半導体装置。
17. 前記最適経路決定部は、前記テスト画像信号の台形補正を行うとともに、前記テスト画像を複数のグリッドに分割し、分割したグリッドに対応した経路を算出する
    請求項１６に記載の半導体装置。
18. 前記最適経路に基づいて前記移動体の操舵を指示する操舵指示部を更に備える
    請求項１６に記載の半導体装置。
19. 移動体との相対的な関係により成される投影領域に投影するメッセージ画像の信号であるメッセージ画像信号を出力するメッセージ画像信号出力方法であって、
    前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定時刻における前記移動体の推定位置を算出するステップと、
    前記推定位置における前記移動体と前記投影領域との相対的な位置関係に基づいて、予め設定された参照画像を投影する領域である参照領域を決定するとともに、前記参照領域に対応した参照画像の信号である参照画像信号を出力するステップと、
    前記参照画像が投影された前記参照領域を撮像したテスト画像の信号であるテスト画像信号を取得するステップと、
    前記参照画像信号と前記テスト画像信号とを比較するステップと、
    前記比較の結果に基づいて前記メッセージ画像信号を調整するステップと、
    調整した前記メッセージ画像信号を出力するステップと、
    を備えるメッセージ画像信号出力方法。
20. 請求項１９の方法をコンピュータに実行させるプログラム。