JP2017032870A

JP2017032870A - Image projection device and image display system

Info

Publication number: JP2017032870A
Application number: JP2015154397A
Authority: JP
Inventors: 豊田　治; Osamu Toyoda; 治豊田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2015-08-04
Filing date: 2015-08-04
Publication date: 2017-02-09
Anticipated expiration: 2035-08-04
Also published as: JP6686319B2

Abstract

PROBLEM TO BE SOLVED: To provide an image projection device capable of increasing capturable information amount when an image is visually recognized by projecting the image exceeding a display screen of an image display apparatus.SOLUTION: The image projection device includes: a detection section 54 that detects a display image displayed on a display screen 34 of an image display apparatus (smart phone 24) from an image picked up by an imaging unit (camera 52); and a control unit 50 that controls a projection part (projector 48) to project a projection image different from the display image at a position different from the display screen 34 on the basis of a piece of display information on the display image detected by the detection section 54.SELECTED DRAWING: Figure 2

Description

本願の開示する技術は画像投影装置及び画像表示システムに関する。 The technology disclosed in the present application relates to an image projection apparatus and an image display system.

スクロールされたコンテンツ画像に撮影画像が重ねられ且つ軌跡画像を含む重畳画像の映像信号をＣＰＵが生成するヘッドマウントディスプレイがある。 There is a head mounted display in which a CPU generates a video signal of a superimposed image in which a captured image is superimposed on a scrolled content image and includes a trajectory image.

また、入力キー及び入力値表示欄の模擬画像が、現実空間の操作パネルの表示部に位置・形状・傾斜などと合わせ込まれて投影される操作入力システムがある。 In addition, there is an operation input system in which a simulated image in an input key and an input value display field is projected on the display unit of the operation panel in the real space together with the position, shape, inclination, and the like.

特開２０１５−６９４８１号公報Japanese Patent Laying-Open No. 2015-69481 特開２０１３−１１０５１４号公報JP 2013-110514 A

スマートフォン等の携帯端末では、画像を表示する画面の大きさに制限がある。したがって、使用者が画像から得られる情報量にも限りがある。また、画面を備えた画像表示機器（電子機器）であれば、携帯端末でなくても、画像を視認できる領域を広くし、画像からより多くの情報が得られるようにすれば、利便性が高い。 In a portable terminal such as a smartphone, there is a limit to the size of a screen that displays an image. Therefore, the amount of information that the user can obtain from the image is also limited. In addition, if an image display device (electronic device) having a screen is used, even if it is not a mobile terminal, it is convenient if the area where the image can be viewed is widened and more information can be obtained from the image. high.

本願の開示技術は、１つの側面として、画像表示機器の表示画面以外に画像を投影し、画像を視認したときの取得できる情報量を多くすることが目的である。 One aspect of the disclosed technique of the present application is to increase the amount of information that can be acquired when an image is projected on a screen other than the display screen of the image display device and the image is viewed.

本願の開示する技術では、撮像部で撮影された画像から、画像表示機器の表示画面に表示された表示画像を検出する検出部を有する。さらに、検出部で検出した表示画像の表示情報に基いて、表示画面と異なる位置に表示画像と異なる投影画像を投影するように投影部を制御する制御部を有する。 The technology disclosed in the present application includes a detection unit that detects a display image displayed on a display screen of an image display device from an image captured by an imaging unit. Furthermore, based on display information of the display image detected by the detection unit, a control unit that controls the projection unit to project a projection image different from the display image at a position different from the display screen.

本願の開示する技術では、画像表示機器の表示画面以外に画像を投影し、画像を視認したときの取得できる情報量を多くできる。 With the technology disclosed in the present application, it is possible to increase the amount of information that can be acquired when an image is projected on a screen other than the display screen of the image display device and the image is viewed.

図１は第一実施形態の画像表示システムを示す図である。FIG. 1 is a diagram showing an image display system according to the first embodiment. 図２は第一実施形態の画像表示システムを示すブロック図である。FIG. 2 is a block diagram showing the image display system of the first embodiment. 図３は候補画像組と候補画像の関係を示す表である。FIG. 3 is a table showing the relationship between candidate image sets and candidate images. 図４は第一実施形態の画像表示システムにおける画像投影の手順を示すフローチャートである。FIG. 4 is a flowchart showing the procedure of image projection in the image display system of the first embodiment. 図５は第二実施形態の画像表示システムを示す図である。FIG. 5 is a diagram showing an image display system according to the second embodiment. 図６は第二実施形態の画像表示システムを示すブロック図である。FIG. 6 is a block diagram showing an image display system according to the second embodiment. 図７は第三実施形態の画像表示システムを示す図である。FIG. 7 is a diagram showing an image display system according to the third embodiment. 図８は第三実施形態の画像表示システムを示すブロック図である。FIG. 8 is a block diagram showing an image display system according to the third embodiment. 図９は第四実施形態の画像表示システムを示すブロック図である。FIG. 9 is a block diagram showing an image display system according to the fourth embodiment.

第一実施形態について、図面に基づいて詳細に説明する。 A first embodiment will be described in detail based on the drawings.

図１及び図２に示すように、第一実施形態の画像表示システム２２は、スマートフォン２４及びメガネ型投影装置２６を有する。スマートフォン２４は画像表示機器の一例であり、メガネ型投影装置２６は画像投影装置の一例である。 As shown in FIGS. 1 and 2, the image display system 22 of the first embodiment includes a smartphone 24 and a glasses-type projection device 26. The smartphone 24 is an example of an image display device, and the glasses-type projection device 26 is an example of an image projection device.

スマートフォン２４は、図２に示すように、制御部３２、ディスプレイ３４及びアンテナ３６を有する。制御部３２は、スマートフォン２４の各種の処理を行うプロセッサや、各種のデータ（情報）を記憶するメモリを有する。 The smartphone 24 includes a control unit 32, a display 34, and an antenna 36 as shown in FIG. The control unit 32 includes a processor that performs various processes of the smartphone 24 and a memory that stores various data (information).

ディスプレイ３４は、制御部３２から画像データを受け、この画像データに基いて所定の画像を表示することができる。以下、スマートフォン２４のディスプレイ３４に表示される画像を表示画像ＨＧという。 The display 34 can receive image data from the control unit 32 and display a predetermined image based on the image data. Hereinafter, an image displayed on the display 34 of the smartphone 24 is referred to as a display image HG.

本実施形態では、図１に示すように、表示画像ＨＧの内部に、マーカＭ１を表示できる。このマーカＭ１は、たとえば、表示画像ＨＧの種類（後述する候補画像ＫＧを特定する情報及び格納先のアドレス）や、ディスプレイ３４の形状、サイズ、位置等に関連付けられた情報を有する。マーカＭ１が有するこれらの情報は、あらまじめ制御部３２内のメモリに設定・保存して置くことができる。そして、その情報の一部もしくは全部を、メガネ型投影装置２６の後述する制御部５０内のメモリと同期させてもよい。 In the present embodiment, as shown in FIG. 1, the marker M1 can be displayed inside the display image HG. The marker M1 includes, for example, information associated with the type of display image HG (information for specifying a candidate image KG described later and a storage destination address), the shape, size, position, and the like of the display 34. These pieces of information included in the marker M1 can be set and stored in the memory in the preliminarily control unit 32. Then, a part or all of the information may be synchronized with a memory in a control unit 50 (to be described later) of the glasses-type projector 26.

アンテナ３６は、スマートフォン２４の外部の機器との間で、無線信号の送受信を行う。アンテナ３６が受信したデータを、制御部３２内のメモリへ書き込んだり、制御部３２内のメモリのデータをアンテナ３６から外部に送信したりすることが可能である。アンテナ３６は、制御部３２に内蔵されていてもよい。 The antenna 36 transmits and receives radio signals to and from devices outside the smartphone 24. Data received by the antenna 36 can be written to a memory in the control unit 32, or data in the memory in the control unit 32 can be transmitted from the antenna 36 to the outside. The antenna 36 may be built in the control unit 32.

図１に示すように、メガネ型投影装置２６は、フレーム４２及び一対のテンプル４４を有し、使用者がメガネと同様に顔面へ装着できる。テンプル４４に代えて、たとえばベルトや紐等によって使用者が装着する構造でもよい。 As shown in FIG. 1, the eyeglass-type projector 26 includes a frame 42 and a pair of temples 44, and can be worn on the face by the user in the same manner as glasses. Instead of the temple 44, a structure that a user wears with a belt, a string, or the like may be used.

フレーム４２には、装着状態で使用者の目の前に位置するスクリーン４６が設けられる。スクリーン４６は光透過性を有しており、使用者がメガネ型投影装置２６を装着した状態で、外部の光がスクリーン４６を透過する。すなわち、メガネ型投影装置２６の使用者はスクリーン４６越しに外部の景色を視認できる。たとえば、メガネ型投影装置２６の使用者（装着者）は、図１に示すように、スクリーン４６越しに、手に持ったスマートフォン２４を視認できる。 The frame 42 is provided with a screen 46 that is positioned in front of the user's eyes when worn. The screen 46 is light transmissive, and external light passes through the screen 46 while the user wears the glasses-type projector 26. That is, the user of the eyeglass-type projector 26 can visually recognize the external scenery through the screen 46. For example, a user (wearer) of the glasses-type projection device 26 can visually recognize the smartphone 24 held in the hand through the screen 46 as shown in FIG.

さらにスクリーン４６には、後述するようにプロジェクタ４８から画像を投影できる。以下、プロジェクタ４８によりスクリーン４６に投影される画像を投影画像ＴＧという。この投影画像ＴＧは、使用者が視認できる。 Further, an image can be projected from the projector 48 onto the screen 46 as will be described later. Hereinafter, an image projected on the screen 46 by the projector 48 is referred to as a projected image TG. The projection image TG can be visually recognized by the user.

メガネ型投影装置２６は、図２にも示すように、制御部５０、プロジェクタ４８、カメラ５２、検出部５４及びアンテナ５６を有する。 As shown in FIG. 2, the glasses-type projector 26 includes a control unit 50, a projector 48, a camera 52, a detection unit 54, and an antenna 56.

制御部５０は、メガネ型投影装置２６の各種の処理を行うプロセッサや、各種のデータ（情報）を記憶するメモリを有する。 The control unit 50 includes a processor that performs various types of processing of the glasses-type projection device 26 and a memory that stores various types of data (information).

カメラ５２は撮像部の一例であり、メガネ型投影装置２６の外部を撮像し、撮像データを検出部５４に送る。本実施形態では、カメラ５２は、メガネ型投影装置２６の前方側、換言すれば、メガネ型投影装置２６を装着した使用者の視界の範囲を撮像できる。たとえば、メガネ型投影装置２６の前方側にスマートフォン２４が位置している場合は、スマートフォン２４のディスプレイ３４に表示される表示画像ＨＧを撮像できる。 The camera 52 is an example of an image pickup unit, picks up an image of the outside of the glasses-type projection device 26, and sends the image pickup data to the detection unit 54. In the present embodiment, the camera 52 can image the front side of the glasses-type projector 26, in other words, the range of the field of view of the user wearing the glasses-type projector 26. For example, when the smartphone 24 is located on the front side of the glasses-type projection device 26, the display image HG displayed on the display 34 of the smartphone 24 can be captured.

検出部５４は、カメラ５２から送られた撮像データから、スマートフォン２４のディスプレイ３４に表示された表示画像ＨＧを検出する。本実施形態では、表示画像ＨＧの形状及び位置を検出する。そして、表示画像ＨＧに関するこれらのデータを制御部５０に送る。 The detection unit 54 detects the display image HG displayed on the display 34 of the smartphone 24 from the imaging data sent from the camera 52. In the present embodiment, the shape and position of the display image HG are detected. And these data regarding the display image HG are sent to the control part 50. FIG.

なお、制御部５０及び検出部５４は、たとえば１枚の回路基板上で一体的に形成されていてもよい。 Note that the control unit 50 and the detection unit 54 may be integrally formed on a single circuit board, for example.

プロジェクタ４８は、制御部５０から、後述する投影画像ＴＧの画像データを受け、この画像データに基いて、所定の投影画像ＴＧをスクリーン４６に投影する。各投影画像ＴＧの投影位置は、スマートフォン２４の表示画像ＨＧ（表示画面３４）とは重ならない位置である。 The projector 48 receives image data of a projection image TG, which will be described later, from the control unit 50, and projects a predetermined projection image TG on the screen 46 based on this image data. The projection position of each projection image TG is a position that does not overlap the display image HG (display screen 34) of the smartphone 24.

アンテナ５６は、メガネ型投影装置２６の外部の機器との間で、無線信号の送受信を行う。アンテナ５６が受信したデータを、制御部５０内のメモリへ書き込んだり、制御部５０内のメモリのデータをアンテナ５６から外部に送信したりすることが可能である。アンテナ５６は、制御部５０に内蔵されていてもよい。 The antenna 56 transmits and receives radio signals to and from equipment external to the glasses-type projection device 26. Data received by the antenna 56 can be written to a memory in the control unit 50, or data in the memory in the control unit 50 can be transmitted to the outside from the antenna 56. The antenna 56 may be built in the control unit 50.

スマートフォン２４の制御部３２は、スマートフォン２４のディスプレイ３４に表示するか、又はメガネ型投影装置２６のスクリーン４６に投影する複数の画像のデータを所定領域から読み足したり、生成したりする。 The control unit 32 of the smartphone 24 reads or generates data of a plurality of images displayed on the display 34 of the smartphone 24 or projected on the screen 46 of the glasses-type projection device 26 from a predetermined area.

これらの画像は、ディスプレイ３４への表示画像またはスクリーン４６への投影画像の候補であり、以下、これを候補画像ＫＧという。候補画像ＫＧは、所定の操作、条件あるいはタイミングで更新される。 These images are candidates for a display image on the display 34 or a projection image on the screen 46, and these are hereinafter referred to as candidate images KG. The candidate image KG is updated with a predetermined operation, condition, or timing.

候補画像ＫＧとしては、たとえば、ブラウザ画像、メール画像、文書画像、写真画像等、特に限定されない。さらに、スマートフォン２４の各種状態（バッテリ残量）や時刻等を表示する画像でもよい。以下では、例として、５つの候補画像ＫＧを挙げ、候補画像ＫＧ−Ａから候補画像ＫＧ−Ｅとして区別する。 The candidate image KG is not particularly limited, for example, a browser image, a mail image, a document image, a photographic image, or the like. Furthermore, the image which displays the various states (battery remaining amount), time, etc. of the smart phone 24 may be sufficient. Below, five candidate images KG are mentioned as an example, and it distinguishes from candidate image KG-A as candidate image KG-E.

スマートフォン２４の使用者は、スマートフォン２４の制御部３２のメモリに格納された画像から、複数の候補画像ＫＧを選択し順位付けすることができる。この順位付けが異なる候補画像組ＧＧとして、本実施形態では、５つの候補画像組ＧＧ−Ａ〜候補画像組ＧＧ−Ｅが存在する。 A user of the smartphone 24 can select and rank a plurality of candidate images KG from the images stored in the memory of the control unit 32 of the smartphone 24. In this embodiment, there are five candidate image sets GG-A to GG-E as candidate image sets GG having different rankings.

図３に示す例では、候補画像組ＧＧ−Ａにおいては、候補画像ＫＧ−Ａから候補画像ＫＧ−Ｅへと順に順位が付けられる。候補画像組ＧＧ−Ｂにおいては、候補画像ＫＧ−Ｂから候補画像ＫＧ−Ｅを経て候補画像ＫＧ−Ａへと順位付けられる。候補画像組ＧＧ−Ｃにおいては、候補画像ＫＧ−Ｃから候補画像ＫＧ−Ｅを経て、さらに候補画像ＫＧ−Ａから候補画像ＫＧ−Ｂへと順位付けられる。 In the example illustrated in FIG. 3, in the candidate image set GG-A, the ranking is sequentially performed from the candidate image KG-A to the candidate image KG-E. In the candidate image set GG-B, the candidate image KG-B is ranked through the candidate image KG-E to the candidate image KG-A. In the candidate image set GG-C, the candidate image KG-C, the candidate image KG-E, and the candidate image KG-A to the candidate image KG-B are ranked.

候補画像組ＧＧ内において、第１位に順位付けされる候補画像ＫＧは、スマートフォン２４のディスプレイ３４に表示される画像（表示画像ＨＧ）である。これに対し、候補画像組ＧＧ内において、第２位以降に順位付けされる候補画像ＫＧは、メガネ型投影装置２６においてプロジェクタ４８から投影される画像（投影画像ＴＧ）である。 The candidate image KG ranked first in the candidate image set GG is an image (display image HG) displayed on the display 34 of the smartphone 24. On the other hand, the candidate images KG ranked second and subsequent in the candidate image set GG are images (projected images TG) projected from the projector 48 in the glasses-type projector 26.

メガネ型投影装置２６の制御部５０では、検出部５４から送られた表示画像ＨＧのデータから、スマートフォン２４の表示画像ＨＧの形状及び位置の情報を得る。そして、この情報から、特定の候補画像組ＧＧ内の候補画像ＫＧのうち、表示画像ＨＧ以外の画像を、投影画像ＴＧとしてプロジェクタ４８から投影するように制御する。このとき、表示画像ＨＧの位置が分かっているので、この表示画像ＨＧと異なる位置（重ならない位置）に投影するように制御部５０はプロジェクタ４８を制御する。 The control unit 50 of the glasses-type projection device 26 obtains information on the shape and position of the display image HG of the smartphone 24 from the data of the display image HG sent from the detection unit 54. Based on this information, control is performed so that an image other than the display image HG among the candidate images KG in the specific candidate image set GG is projected from the projector 48 as the projection image TG. At this time, since the position of the display image HG is known, the control unit 50 controls the projector 48 so as to project to a position different from the display image HG (a position that does not overlap).

本実施形態では、図１に示すように、候補画像の順位に基き、投影位置があらかじめ決められている。この投影位置は、たとえばスマートフォン２４の所定位置（原点）を基準とした相対位置である。図１に示す例では、第１位の候補画像ＫＧ−Ａが、スマートフォン２４のディスプレイ３４に表示される。そして、第２位の候補画像ＫＧ−Ｂはディスプレイ３４の右に、第３位の候補画像ＫＧ−Ｃはディスプレイ３４の左に、第４位の候補画像ＫＧ−Ｄは表示画面の左上に、第５位の候補画像ＫＧ−Ｅは表示画面の右上に投影される。 In the present embodiment, as shown in FIG. 1, the projection position is determined in advance based on the order of candidate images. This projection position is a relative position based on a predetermined position (origin) of the smartphone 24, for example. In the example illustrated in FIG. 1, the first candidate image KG-A is displayed on the display 34 of the smartphone 24. The second candidate image KG-B is on the right of the display 34, the third candidate image KG-C is on the left of the display 34, and the fourth candidate image KG-D is on the upper left of the display screen. The fifth candidate image KG-E is projected on the upper right of the display screen.

なお、候補画像組ＧＧ内の候補画像ＫＧの数は限定されず、また、候補画像ＫＧの入れ替えや順位変更は、たとえば、スマートフォン２４の使用者が操作することにより可能である。メガネ型投影装置２６の制御部５０内のメモリには、スマートフォン２４から候補画像組ＧＧのデータが格納されており、格納データは、スマートフォン２４から送信されるデータ等に基づき適宜更新される。 Note that the number of candidate images KG in the candidate image set GG is not limited, and the replacement of the candidate images KG and the order change can be performed by the user of the smartphone 24, for example. Data of the candidate image set GG from the smartphone 24 is stored in the memory in the control unit 50 of the glasses-type projection device 26, and the stored data is updated as appropriate based on data transmitted from the smartphone 24 and the like.

図４には、第一実施形態において、メガネ型投影装置２６から投影画像ＴＧを投影する場合の、メガネ型投影装置２６内での処理のフロー（画像投影方法）の一例が示されている。 FIG. 4 shows an example of a processing flow (image projection method) in the glasses-type projection device 26 when the projection image TG is projected from the glasses-type projection device 26 in the first embodiment.

なお、このフローは、たとえば、メガネ型投影装置２６の電源オンによって開始され、電源オフにより任意のステップで終了する。 Note that this flow starts, for example, when the glasses-type projector 26 is turned on, and ends at an arbitrary step when the power is turned off.

スマートフォン２４において、使用者が複数画面表示の開始を指示する動作を行うと、この信号がスマートフォン２４のアンテナ３６から発信される。メガネ型投影装置２６でこの信号を受けると、ステップＳ１０２において、カメラ５２により、メガネ型投影装置２６の外部を撮像する動作を行う。 When the user performs an operation of instructing the start of multi-screen display on the smartphone 24, this signal is transmitted from the antenna 36 of the smartphone 24. When this signal is received by the glasses-type projection device 26, in step S102, the camera 52 performs an operation of imaging the outside of the glasses-type projection device 26.

ステップＳ１０４では、スマートフォン２４の表示画像ＨＧが検出できたか否かを判断する。この表示画像ＨＧの検出の判断には、表示画像ＨＧ全体を検出してもよいし、表示画像ＨＧがマーカＭ１を含む場合は、マーカＭ１を検出してもよい。さらに、表示画像ＨＧ全体の検出と、マーカＭ１の検出とを併用してもよい。 In step S104, it is determined whether or not the display image HG of the smartphone 24 has been detected. For the determination of the detection of the display image HG, the entire display image HG may be detected, or when the display image HG includes the marker M1, the marker M1 may be detected. Further, detection of the entire display image HG and detection of the marker M1 may be used in combination.

ステップＳ１０４において、表示画像ＨＧ又はマーカＭ１を検出できないと判断すると、カメラ５２の撮像範囲内にスマートフォン２４の表示画面３４が視認可能に配置されていないと考えられる。この場合、ステップＳ１０６において、画像の投影を停止する。ここでいう「停止」には、すでに投影画像ＴＧを投影している場合にこの投影を停止する場合と、投影画像ＴＧを投影していない場合に、引き続き投影しない状態を維持する２つの動作を含む。 If it is determined in step S104 that the display image HG or the marker M1 cannot be detected, it is considered that the display screen 34 of the smartphone 24 is not disposed so as to be visible within the imaging range of the camera 52. In this case, the projection of the image is stopped in step S106. The “stop” here includes two operations for maintaining a state in which the projection is stopped when the projection image TG is already projected and when the projection image TG is not projected. Including.

そして、ステップＳ１０２に戻り、スマートフォン２４のディスプレイ３４のマーカＭ１をカメラ５２で撮像する。 And it returns to step S102 and the marker M1 of the display 34 of the smart phone 24 is imaged with the camera 52. FIG.

ステップＳ１０４において、表示画像ＨＧ又はマーカＭ１を検出できたと判断した場合、ステップＳ１０８に移行する。 If it is determined in step S104 that the display image HG or the marker M1 has been detected, the process proceeds to step S108.

ステップＳ１０８では、ディスプレイ３４に表示されている表示画像ＨＧの種類（候補画像ＫＧ−Ａから候補画像ＫＧ−Ｅのいずれの画像か）、形状及びサイズを特定（認証）する。この画像の特定は、表示画像ＨＧ及びマーカＭ１のいずれか一方から行うこともでき、双方に基いて行うことも可能である。図１に示す例では、スマートフォン２４のディスプレイ３４に表示される表示画像ＨＧが候補画像ＫＧ−Ａであると特定できる。候補画像ＫＧ−Ａが表示画像ＨＧとしてディスプレイ３４に表示されているので、図３から、候補画像ＫＧ−Ａが第１位であることが分かる。 In step S <b> 108, the type (displayed image from candidate image KG-A to candidate image KG-E), shape, and size of display image HG displayed on display 34 are specified (authenticated). This image specification can be performed from either the display image HG or the marker M1, or can be performed based on both. In the example illustrated in FIG. 1, the display image HG displayed on the display 34 of the smartphone 24 can be specified as the candidate image KG-A. Since the candidate image KG-A is displayed on the display 34 as the display image HG, it can be seen from FIG. 3 that the candidate image KG-A is first.

このようにして、スマートフォン２４のディスプレイ３４の表示画像ＨＧを特定すると、どの候補画像組ＧＧが選択されているかということも特定できる。図１に示す例では、スマートフォン２４の表示画像ＨＧは候補画像ＫＧ−Ａなので、図３から、候補画像組ＧＧ−Ａが選択されていると特定できる。 Thus, when the display image HG of the display 34 of the smartphone 24 is specified, it can be specified which candidate image set GG is selected. In the example shown in FIG. 1, since the display image HG of the smartphone 24 is the candidate image KG-A, it can be specified from FIG. 3 that the candidate image set GG-A is selected.

そして、候補画像組ＧＧを特定することで、プロジェクタ４８から投影する候補画像ＫＧのそれぞれが、投影位置も含めて決まる。 Then, by specifying the candidate image set GG, each of the candidate images KG projected from the projector 48 is determined including the projection position.

次に、ステップＳ１１０に移行する。ステップＳ１１０では、制御部５０は、特定した候補画像組ＧＧに対応する候補画像ＫＧのデータをメモリから読み出す。そして、プロジェクタ４８から、投影位置に所定の投影画像ＴＧを投影する。図１に示す例では、候補画像組ＧＧ−Ａが選択されている。したがって、第２位の候補画像ＫＧ−Ｂはディスプレイ３４の右に、第３位の候補画像ＫＧ−Ｃはディスプレイ３４の左に、第４位の候補画像ＫＧ−Ｄは表示画面の左上に、第５位の候補画像ＫＧ−Ｅはディスプレイ３４の右上に投影する。 Next, the process proceeds to step S110. In step S110, the control unit 50 reads data of the candidate image KG corresponding to the identified candidate image set GG from the memory. Then, a predetermined projection image TG is projected from the projector 48 to the projection position. In the example shown in FIG. 1, the candidate image set GG-A is selected. Therefore, the second candidate image KG-B is on the right of the display 34, the third candidate image KG-C is on the left of the display 34, and the fourth candidate image KG-D is on the upper left of the display screen. The fifth candidate image KG-E is projected on the upper right of the display 34.

次に、ステップＳ１１２では、候補画像組ＧＧの変更操作が行われたか否かを判断する。この変更操作は、第一実施形態では、たとえば、スマートフォン２４のディスプレイ３４における操作、たとえば、特定のアイコンへのタップや、表示画像ＨＧに対するスワイプ等により行うことが可能である。そして、変更操作が行われると、候補画像組ＧＧの変更を指示する信号がスマートフォン２４のアンテナ３６から発信される。メガネ型投影装置２６でこの信号を受けることで、ステップＳ１０８における判断が可能である。 Next, in step S112, it is determined whether an operation for changing the candidate image set GG has been performed. In the first embodiment, this change operation can be performed, for example, by an operation on the display 34 of the smartphone 24, for example, a tap on a specific icon, a swipe on the display image HG, or the like. When the change operation is performed, a signal instructing change of the candidate image set GG is transmitted from the antenna 36 of the smartphone 24. By receiving this signal with the glasses-type projector 26, the determination in step S108 is possible.

ステップＳ１１２において、候補画像組ＧＧの変更操作が行われていないと判断した場合は、ステップＳ１０２に戻る。 If it is determined in step S112 that the candidate image set GG is not changed, the process returns to step S102.

ステップＳ１１２において、候補画像組ＧＧの変更操作が行われたと判断した場合は、ステップＳ１１４に移行し、候補画像組ＧＧの変更を適切に行う。具体的には、たとえば、スマートフォン２４において、表示画像ＨＧに対し左方向へのスワイプがなされた場合には、候補画像組ＧＧ−Ｂへと切り替わるように予め設定しておく。そして、ステップＳ１０２に戻る。 If it is determined in step S112 that the operation for changing the candidate image set GG has been performed, the process proceeds to step S114, and the candidate image set GG is appropriately changed. Specifically, for example, when the smartphone 24 is swiped leftward with respect to the display image HG, it is set in advance so as to switch to the candidate image set GG-B. Then, the process returns to step S102.

以降は同様のフローを繰り返す。たとえば、ステップＳ１０８において、あらためて表示画像ＨＧの種類、形状及びサイズを特定する。したがって、スマートフォン２４の向きや位置が変わった場合であっても、ステップＳ１１０では、表示画像ＨＧのあらたな形状及びサイズから、投影画像ＴＧを表示画像ＨＧに対し所定の位置（相対位置）に投影できる。 Thereafter, the same flow is repeated. For example, in step S108, the type, shape, and size of the display image HG are specified again. Therefore, even if the orientation or position of the smartphone 24 changes, in step S110, the projection image TG is projected to a predetermined position (relative position) with respect to the display image HG from the new shape and size of the display image HG. it can.

また、候補画像組ＧＧが変更されている場合は、ステップＳ１１０で、あらたな候補画像組ＧＧに基いて、投影位置のそれぞれに、候補画像ＫＧのいずれかを投影する。たとえば、候補画像組ＧＧ−Ｂが選択されている場合、図３に示す例では、第２位の候補画像ＫＧ−Ｃはディスプレイ３４の右に、第３位の候補画像ＫＧ−Ｄはディスプレイ３４の左に投影する。同様に、第４位の候補画像ＫＧ−Ｅは表示画面の右上に、第５位の候補画像ＫＧ−Ａはディスプレイ３４の左上に投影する。 If the candidate image set GG has been changed, in step S110, one of the candidate images KG is projected on each of the projection positions based on the new candidate image set GG. For example, when the candidate image set GG-B is selected, in the example shown in FIG. 3, the second candidate image KG-C is on the right of the display 34, and the third candidate image KG-D is on the display 34. Project to the left of Similarly, the fourth candidate image KG-E is projected on the upper right of the display screen, and the fifth candidate image KG-A is projected on the upper left of the display 34.

次に、第二実施形態について説明する。第二実施形態において、第一実施形態と同様の要素、部材等については第一実施形態と同一の符号を付して、詳細な説明を省略する。 Next, a second embodiment will be described. In the second embodiment, the same elements and members as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.

第二実施形態の画像表示システム１２２は、図５及び図６に示すように、メガネ型投影装置１２６を有する。このメガネ型投影装置１２６は、第一実施形態のメガネ型投影装置２６のカメラ５２（図１及び図２参照）に代えて、測長カメラ１２８を有する。 As shown in FIGS. 5 and 6, the image display system 122 of the second embodiment includes a glasses-type projection device 126. The glasses-type projector 126 has a length measuring camera 128 instead of the camera 52 (see FIGS. 1 and 2) of the glasses-type projector 26 of the first embodiment.

測長カメラ１２８は、スマートフォン２４のディスプレイ３４を撮像することに加えて、スマートフォン２４の使用者（メガネ型投影装置１２６の装着者）の指先の位置と、測長カメラ１２８から指先までの距離を測定できる。たとえば、測長カメラ１２８として、複数の異なる位置から対象を撮像するカメラを用いれば、３次元の画像データを取得でき、上記距離を測定できる。このようなカメラは、立体カメラ、デプスカメラ、３Ｄ(3 Dimension)カメラと称されることがある。 In addition to imaging the display 34 of the smartphone 24, the length measuring camera 128 determines the position of the fingertip of the user of the smartphone 24 (the wearer of the glasses-type projection device 126) and the distance from the length measuring camera 128 to the fingertip. It can be measured. For example, if a camera that captures an object from a plurality of different positions is used as the length measurement camera 128, three-dimensional image data can be acquired and the distance can be measured. Such a camera may be referred to as a stereoscopic camera, a depth camera, or a 3D (3 Dimension) camera.

測長カメラ１２８で測長したデータは、メガネ型投影装置１２６の制御部３２に送信される。ここで言う「指先」は、表示画像ＨＧ又は投影画像ＴＧへの操作を行うための操作体の一例である。このような操作体としては、たとえば、表示画像ＨＧへの接触により操作を行う部材（タッチペン）等を挙げることができる。 Data measured by the length measuring camera 128 is transmitted to the control unit 32 of the glasses-type projection device 126. The “fingertip” referred to here is an example of an operating tool for performing an operation on the display image HG or the projection image TG. As such an operating body, for example, a member (touch pen) that performs an operation by touching the display image HG can be exemplified.

そして、第二実施形態では、測長カメラ１２８を有しており、メガネ型投影装置１２６による投影画像ＴＧと、スマートフォン２４の使用者（メガネ型投影装置１２６の装着者）の指先の相対位置を検出できる。投影画像ＴＧは、現実的には存在しない仮想の画像であるが、この投影画像ＴＧを実際の画像（たとえば表示画像ＨＧ）のように扱い、投影画像ＴＧに対する指先の操作を、投影画像ＴＧに対する実際の操作として処理できる。 And in 2nd embodiment, it has the length measurement camera 128, The projection image TG by the spectacles type projector 126, and the relative position of the fingertip of the user (wearer of the spectacles type projector 126) of the smart phone 24 are shown. It can be detected. Although the projection image TG is a virtual image that does not actually exist, the projection image TG is treated like an actual image (for example, the display image HG), and the operation of the fingertip on the projection image TG is performed on the projection image TG. It can be processed as an actual operation.

したがって、第二実施形態では、スマートフォン２４の表示画像ＨＧだけでなく、メガネ型投影装置２６の投影画像ＴＧに対しても、使用者が指先で操作を行うことができ、利便性が高い。 Therefore, in the second embodiment, the user can operate with the fingertip not only on the display image HG of the smartphone 24 but also on the projection image TG of the glasses-type projection device 26, which is highly convenient.

なお、測長カメラ１２８によって、スマートフォン２４の使用者の指先の位置と、指先までの距離を測定する方法は特に限定されない。たとえば、測長カメラ１２８から赤外線等を使用者の指先に照射し、この赤外線の反射時間によって、上記距離を測定する方法でもよい。実質的に、測長カメラ１２８は、撮像用のカメラと、測長用のセンサとが一体化された構造であるとも言える。 Note that the method for measuring the position of the fingertip of the user of the smartphone 24 and the distance to the fingertip by the length measurement camera 128 is not particularly limited. For example, a method of irradiating the fingertip of the user with infrared rays or the like from the length measuring camera 128 and measuring the distance based on the reflection time of the infrared rays may be used. It can be said that the length measurement camera 128 has a structure in which an imaging camera and a length measurement sensor are integrated.

次に、第三実施形態について説明する。第三実施形態において、第一実施形態と同様の要素、部材等については第一実施形態と同一の符号を付して、詳細な説明を省略する。 Next, a third embodiment will be described. In the third embodiment, the same elements and members as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.

第三実施形態の画像表示システム１４２は、図７及び図８に示すように、メガネ型投影装置１４６を有する。このメガネ型投影装置１４６は、カメラ１５２を有し、さらに、測長センサ１４８を有する。 As shown in FIGS. 7 and 8, the image display system 142 of the third embodiment includes a glasses-type projection device 146. The glasses-type projection device 146 includes a camera 152 and further includes a length measurement sensor 148.

カメラ１５２は、第一実施形態のメガネ型投影装置２６のカメラ５２と同様に、メガネ型投影装置１４６の外部を撮像する。 The camera 152 images the outside of the glasses-type projection device 146 in the same manner as the camera 52 of the glasses-type projection device 26 of the first embodiment.

測長センサ１４８は、スマートフォン２４の使用者（メガネ型投影装置１４６の装着者）の指先まで距離を測定できる。なお、指先の位置は、たとえば、カメラ５２によって撮影した画像により認識してもよいし、測長センサ１４８が、実質的にカメラ５２と同様の撮像機能を備え、指先を撮像することによる位置認識と測長とを行う構造でもよい。 The length measurement sensor 148 can measure the distance to the fingertip of the user of the smartphone 24 (wearer of the glasses-type projection device 146). The position of the fingertip may be recognized by, for example, an image taken by the camera 52, or the length measurement sensor 148 has an imaging function substantially similar to that of the camera 52 and recognizes the position by imaging the fingertip. It is also possible to use a structure for measuring and measuring.

このように、第三実施形態では、カメラ５２及び測長センサ１４８を有しており、メガネ型投影装置１２６による投影画像ＴＧと、スマートフォン２４の使用者（メガネ型投影装置１２６の装着者）の指先の相対位置を認識できる。投影画像ＴＧは、現実的には存在しない仮想の画像であるが、この投影画像ＴＧを、実際の画像のように扱い、投影画像ＴＧに対する指先の操作を、投影画像ＴＧに対する実際の操作として処理できる。 As described above, in the third embodiment, the camera 52 and the length measurement sensor 148 are included, and the projection image TG by the glasses-type projection device 126 and the user of the smartphone 24 (the wearer of the glasses-type projection device 126). The relative position of the fingertip can be recognized. The projection image TG is a virtual image that does not actually exist, but this projection image TG is treated like an actual image, and the operation of the fingertip on the projection image TG is processed as an actual operation on the projection image TG. it can.

したがって、第三実施形態では、スマートフォン２４の表示画像ＨＧだけでなく、メガネ型投影装置２６の投影画像に対しても、使用者が指先で操作を行うことができ、利便性が高い。 Therefore, in the third embodiment, not only the display image HG of the smartphone 24 but also the projection image of the glasses-type projection device 26 can be operated by the user with the fingertip, which is highly convenient.

次に、第四実施形態について説明する。第四実施形態において、第一実施形態と同様の要素、部材等については第一実施形態と同一の符号を付して、詳細な説明を省略する。 Next, a fourth embodiment will be described. In the fourth embodiment, the same elements and members as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and detailed description thereof is omitted.

第四実施形態の画像表示システム１７２では、スマートフォン２４及びメガネ型投影装置２６を有し、さらに、サーバ１７４を有する。 The image display system 172 of the fourth embodiment includes a smartphone 24 and a glasses-type projection device 26, and further includes a server 174.

図９に示すように、サーバ１７４には、スマートフォン２４又はマーカＭ１に対応する複数の候補画像組ＧＧ（たとえば図３に示す候補画像組ＧＧ−Ａから候補画像組ＧＧ−Ｅ）が記憶される。サーバ１７４の記憶情報は、スマートフォン２４の記憶情報と同期されており、スマートフォン２４内の記憶情報と同一内容がサーバ１７４に記憶される。たとえば、スマートフォン２４内の記憶情報が更新されると、サーバ１７４の記憶情報も、スマートフォン２４からの信号を受けて更新される。さらに、第四実施形態では、複数の候補画像組ＧＧのうち、どの候補画像組ＧＧが選択されているか、という情報も、スマートフォン２４からサーバ１７４が受信する。 As shown in FIG. 9, the server 174 stores a plurality of candidate image sets GG (for example, candidate image set GG-A to candidate image set GG-E shown in FIG. 3) corresponding to the smartphone 24 or the marker M1. . The storage information of the server 174 is synchronized with the storage information of the smartphone 24, and the same content as the storage information in the smartphone 24 is stored in the server 174. For example, when the stored information in the smartphone 24 is updated, the stored information in the server 174 is also updated in response to a signal from the smartphone 24. Furthermore, in the fourth embodiment, the server 174 also receives information from the smartphone 24 indicating which candidate image set GG is selected from among the plurality of candidate image sets GG.

第四実施形態では、メガネ型投影装置２６で投影する画像のデータが、サーバ１７４から送信される。メガネ型投影装置２６では、サーバ１７４から受信した画像データに基き、プロジェクタ４８により、所定の投影画像ＴＧをスクリーン４６に投影する。 In the fourth embodiment, data of an image projected by the glasses-type projector 26 is transmitted from the server 174. In the glasses-type projection device 26, a predetermined projection image TG is projected onto the screen 46 by the projector 48 based on the image data received from the server 174.

このように、第四実施形態では、スマートフォン２４による表示画像及びメガネ型投影装置２６による投影画像を、スマートフォン２４だけでなくサーバ１７４にも記憶できる。たとえば、サーバ１７４に記憶された画像情報を、スマートフォン２４の画像情報のバックアップとして用いることができる。 Thus, in the fourth embodiment, the display image by the smartphone 24 and the projection image by the glasses-type projection device 26 can be stored not only in the smartphone 24 but also in the server 174. For example, the image information stored in the server 174 can be used as a backup of the image information of the smartphone 24.

なお、これに対し、第一〜第三実施形態では、メガネ型投影装置２６の投影画像ＴＧの情報がスマートフォン２４から送信され、メガネ型投影装置２６でこの情報を受信する。候補画像を記憶するサーバが不要であり、画像表示システム２２、１２２、１４２としての構造を簡素化できる。 In contrast, in the first to third embodiments, information on the projection image TG of the glasses-type projection device 26 is transmitted from the smartphone 24, and the glasses-type projection device 26 receives this information. A server for storing candidate images is not required, and the structure of the image display systems 22, 122, 142 can be simplified.

第四実施形態において、上記では、第一実施形態のメガネ型投影装置２６と同様のメガネ型投影装置を用いた例を挙げている。このメガネ型投影装置２６に代えて、たとえば、第二実施形態のメガネ型投影装置１２６（図５及び図６参照）や、第三実施形態のメガネ型投影装置１４６（図７及び図８参照）を用いてもよい。 In the fourth embodiment, in the above, an example using a glasses-type projector similar to the glasses-type projector 26 of the first embodiment is given. Instead of the glasses-type projector 26, for example, the glasses-type projector 126 of the second embodiment (see FIGS. 5 and 6) or the glasses-type projector 146 of the third embodiment (see FIGS. 7 and 8). May be used.

各実施形態において、マーカＭ１に記録する情報は、上記した、表示画像ＨＧの種類や、ディスプレイ３４の形状、サイズ、等に関連付けられた情報に限定されない。たとえば、第四実施形態では、サーバ１７４に複数の候補画像ＫＧが候補画像組ＧＧとして記憶されるので、これらの画像データの記憶先のアドレス等を記録してもよい。 In each embodiment, the information recorded in the marker M1 is not limited to the information associated with the type of the display image HG, the shape, size, and the like of the display 34 described above. For example, in the fourth embodiment, since a plurality of candidate images KG are stored as a candidate image set GG in the server 174, the storage destination addresses of these image data may be recorded.

上記各実施形態では、スマートフォン２４のディスプレイ３４の表示画像に加えて、メガネ型投影装置２６、１２６、１４６による投影画像ＴＧを、スマートフォン２４の使用者（メガネ型投影装置２６の装着者）が視認できる。これにより、メガネ型投影装置２６による投影画像が無い構造と比較して、画像視認による取得情報量が多い。 In each of the above-described embodiments, in addition to the display image on the display 34 of the smartphone 24, the projection image TG by the glasses-type projection devices 26, 126, and 146 is visually recognized by the user of the smartphone 24 (the wearer of the glasses-type projection device 26). it can. Thereby, compared with the structure without the projection image by the glasses-type projection device 26, the amount of acquired information by image viewing is large.

メガネ型投影装置２６、１２６、１４６の投影画像ＴＧは、スマートフォン２４の表示画像ＨＧとは異なる画像であり、しかも、投影画像ＴＧは表示画像ＨＧ（表示画面３４）と重ならない。したがって、投影画像ＴＧが表示画像ＨＧと同内容であったり、投影画像ＴＧが表示画像ＨＧと重なっていたりする場合と比較して、画像視認による取得情報量が多い。 The projection image TG of the glasses-type projectors 26, 126, and 146 is an image different from the display image HG of the smartphone 24, and the projection image TG does not overlap the display image HG (display screen 34). Therefore, the amount of information acquired by image viewing is greater than when the projection image TG has the same content as the display image HG or when the projection image TG overlaps the display image HG.

上記各実施形態では、メガネ型投影装置２６のカメラ５２により、スマートフォン２４の表示画像を撮像し、表示画像の形状及び位置を検出する。そしで、メガネ型投影装置２６のプロジェクタ４８では、カメラ５２で撮像し、検出したディスプレイ３４の形状及び位置に基いて、投影画像ＴＧを投影する。したがって、投影画像ＴＧを、表示画像ＨＧに対して所定位置に投影することが可能である。たとえば、投影画像ＴＧを、表示画像ＨＧと重ならない位置に投影することで、投影画像ＴＧを視認者にとって視やすく投影することができる。 In each of the above embodiments, the display image of the smartphone 24 is captured by the camera 52 of the glasses-type projection device 26, and the shape and position of the display image are detected. Therefore, the projector 48 of the glasses-type projection device 26 projects the projection image TG based on the shape and position of the display 34 that is picked up by the camera 52 and detected. Therefore, it is possible to project the projection image TG at a predetermined position with respect to the display image HG. For example, by projecting the projection image TG at a position that does not overlap the display image HG, the projection image TG can be projected easily for the viewer.

上記各実施形態では、表示画像ＨＧの内部にマーカＭ１が表示される。そして、メガネ型投影装置２６のプロジェクタ４８では、検出したマーカＭ１の情報に基いて、投影画像ＴＧを投影する。このマーカＭ１には、たとえば、ディスプレイ３４におけるマーカＭ１の位置情報を登録しておくことで、表示画像ＨＧの上下や、スマートフォン２４の裏表を判別できる。また、マーカＭ１ごとに、異なる候補画像ＫＧと対応付け（関連付け）を行っておけば、マーカＭ１を認識することで、表示画像ＨＧがどの候補画像ＫＧであるかの特定が容易である。 In each of the above embodiments, the marker M1 is displayed inside the display image HG. Then, the projector 48 of the glasses-type projector 26 projects the projection image TG based on the detected information of the marker M1. For example, by registering the position information of the marker M1 on the display 34 in the marker M1, the top and bottom of the display image HG and the front and back of the smartphone 24 can be determined. If each marker M1 is associated (associated) with a different candidate image KG, it is easy to identify which candidate image KG the display image HG is by recognizing the marker M1.

第二実施形態及び第三実施形態では、投影画像ＴＧに対する指先の相対位置を測長カメラ１２８や測長センサ１４８を用いることで検出できる。これにより、たとえば、投影画像ＴＧに対する指先の相対位置に基づいて、投影画像ＴＧの投影内容を変更でき、利便性が高い。 In the second embodiment and the third embodiment, the relative position of the fingertip with respect to the projection image TG can be detected by using the length measurement camera 128 or the length measurement sensor 148. Thereby, for example, the projection content of the projection image TG can be changed based on the relative position of the fingertip with respect to the projection image TG, which is highly convenient.

また、第二実施形態及び第三実施形態では、スマートフォン２４の表示画像だけでなく、メガネ型投影装置１２６、１４６の投影画像に対し、指先等で操作を行うことも可能である。すなわち、投影画像ＴＧに対し指先で行った操作により、スマートフォン２４の表示画像を変更する指示をメガネ型投影装置１２６、１４６からスマートフォン２４に送信し、表示画像ＨＧの表示内容を変更することが可能であり、利便性が高い。 In the second embodiment and the third embodiment, it is possible to operate not only the display image of the smartphone 24 but also the projection images of the glasses-type projection devices 126 and 146 with a fingertip or the like. That is, it is possible to change the display content of the display image HG by transmitting an instruction to change the display image of the smartphone 24 from the glasses-type projection devices 126 and 146 to the smartphone 24 by an operation performed on the projection image TG with a fingertip. It is very convenient.

第二実施形態では、カメラ５２により、メガネ型投影装置２６から指先までの距離を測ることができる。この距離を測るための部材が不要であり、メガネ型投影装置２６及び画像表示システム２２の構造を簡素化できる。 In the second embodiment, the distance from the glasses-type projection device 26 to the fingertip can be measured by the camera 52. A member for measuring this distance is unnecessary, and the structures of the eyeglass-type projector 26 and the image display system 22 can be simplified.

第三実施形態では、測長センサ１４８を有しており、この測長センサ１４８は、カメラ５２とは別体である。したがって、カメラ５２では、ディスプレイ３４を撮像する機能を有すれば十分であり、カメラ５２の機能の簡素化を図ることができる。 In the third embodiment, a length measuring sensor 148 is provided, and this length measuring sensor 148 is separate from the camera 52. Therefore, it is sufficient for the camera 52 to have a function of imaging the display 34, and the function of the camera 52 can be simplified.

上記では、画像表示機器の例としてスマートフォン２４を挙げているが、画像表示機器はスマートフォンに限定されない。たとえば、タブレット型のコンピュータや、ノート型のコンピュータでもよいし、据置型のディスプレイでも良い。 In the above, the smartphone 24 is cited as an example of the image display device, but the image display device is not limited to the smartphone. For example, a tablet computer, a notebook computer, or a stationary display may be used.

上記では、画像投影装置の例として、メガネ型投影装置２６を挙げているが、画像投影装置はメガネ型投影装置に限定さらない。たとえば、頭部に装着する形状の帽子型あるいはヘルメット型の投影装置であってもよい。 In the above description, the eyeglass projector 26 is given as an example of the image projector, but the image projector is not limited to the eyeglass projector. For example, it may be a hat-type or helmet-type projection device shaped to be worn on the head.

以上、本願の開示する技術の実施形態について説明したが、本願の開示する技術は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。 The embodiments of the technology disclosed in the present application have been described above. However, the technology disclosed in the present application is not limited to the above, and can be variously modified and implemented in a range not departing from the gist of the present invention. Of course.

本明細書は、以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像部と、
前記撮像部で撮影された画像から、画像表示機器の表示画面に表示された表示画像を検出する検出部と、
画像を投影する投影部と、
前記検出部で検出した前記表示画像の表示情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
を有する画像投影装置。
（付記２）
前記検出部が、前記表示画像の形状及び位置を検出し、
前記制御部が、前記検出部で検出した前記表示画像の形状及び位置に基いて前記投影画像を投影するように前記投影部を制御する付記１に記載の画像投影装置。
（付記３）
前記検出部が、前記表示画像の内部のマーカを検出し、
前記制御部が、前記検出部で検出した前記マーカに基いて前記投影画像を投影するように前記投影部を制御する付記１又は付記２に記載の画像投影装置。
（付記４）
前記表示画像又は前記投影画像への操作を行うための操作体の前記表示画像又は前記投影画像に対する相対位置を検出する操作体検出部を有する付記１〜付記３のいずれか１つに記載の画像投影装置。
（付記５）
前記操作体検出部で検出した前記操作体の前記相対位置に基づいて、前記制御部が前記投影画像の投影内容を変更する付記４に記載の画像投影装置。
（付記６）
前記操作体検出部で検出した前記操作体の前記相対位置に基づいて、前記制御部が前記表示画像を変更する指示を前記画像表示機器に送信する付記４又は付記５に記載の画像投影装置。
（付記７）
前記検出部が前記操作体検出部を兼ねる付記４〜付記６のいずれか１つに記載の画像投影装置。
（付記８）
前記検出部と前記操作体検出部とが別体である付記４〜付記６のいずれか１つに記載の画像投影装置。
（付記９）
前記制御部は、前記投影画像の画像データを前記画像表示機器から受ける付記１〜付記８のいずれか１つに記載の画像投影装置。
（付記１０）
前記制御部は、前記投影画像の画像データを前記画像表示機器とは異なるサーバから取得する付記１〜付記９のいずれか１つに記載の画像投影装置。
（付記１１）
表示画面に表示画像を表示する画像表示機器と、
撮像部と、
前記撮像部で撮影された画像から、前記表示画像を検出する検出部と、
画像を投影する投影部と、
前記検出部で検出した前記表示画像の表示情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影するように前記投影部を制御する制御部と、
を有する画像表示システム。
（付記１２）
前記画像表示機器が、内部に記憶された複数の記憶画像のうちの特定の前記記憶画像を前記表示画像として前記表示画面に表示し、
前記投影部が、前記表示画像以外の前記記憶画像の画像データを前記画像表示機器から受けて前記投影画像として投影する付記１１に記載の画像表示システム。
（付記１３）
複数の記憶画像を記憶するサーバを有し、
前記画像表示機器が、前記サーバに記憶された複数の記憶画像のうちの特定の前記記憶画像を前記表示画像として前記表示画面に表示し、
前記投影部が、前記表示画像以外の前記記憶画像の画像データを前記サーバから受けて前記投影画像として投影する付記１１に記載の画像表示システム。
（付記１４）
撮影された画像から、画像表示機器の表示画面に表示された表示画像を検出し、
前記検出した前記表示画像の表示情報に基いて前記表示画面と異なる位置に前記表示画像と異なる投影画像を投影する、
を有する画像投影方法。 The present specification further discloses the following supplementary notes regarding the above embodiments.
(Appendix 1)
An imaging unit;
A detection unit for detecting a display image displayed on a display screen of an image display device from an image captured by the imaging unit;
A projection unit for projecting an image;
A control unit that controls the projection unit to project a projection image different from the display image at a position different from the display screen based on display information of the display image detected by the detection unit;
An image projection apparatus.
(Appendix 2)
The detection unit detects the shape and position of the display image;
The image projection apparatus according to appendix 1, wherein the control unit controls the projection unit to project the projection image based on the shape and position of the display image detected by the detection unit.
(Appendix 3)
The detection unit detects a marker inside the display image,
The image projection apparatus according to appendix 1 or appendix 2, wherein the control unit controls the projection unit to project the projection image based on the marker detected by the detection unit.
(Appendix 4)
The image according to any one of supplementary notes 1 to 3, further comprising an operation body detection unit that detects a relative position of the operation body for performing an operation on the display image or the projection image with respect to the display image or the projection image. Projection device.
(Appendix 5)
The image projection device according to appendix 4, wherein the control unit changes the projection content of the projection image based on the relative position of the operation body detected by the operation body detection unit.
(Appendix 6)
The image projection device according to appendix 4 or appendix 5, wherein the control unit transmits an instruction to change the display image to the image display device based on the relative position of the manipulation body detected by the manipulation body detection unit.
(Appendix 7)
The image projection device according to any one of appendix 4 to appendix 6, wherein the detection unit also serves as the operation body detection unit.
(Appendix 8)
The image projection device according to any one of appendix 4 to appendix 6, wherein the detection unit and the operation body detection unit are separate bodies.
(Appendix 9)
The image control apparatus according to any one of Supplementary Note 1 to Supplementary Note 8, wherein the control unit receives image data of the projection image from the image display device.
(Appendix 10)
The image projection device according to any one of Supplementary Note 1 to Supplementary Note 9, wherein the control unit acquires image data of the projection image from a server different from the image display device.
(Appendix 11)
An image display device for displaying a display image on the display screen;
An imaging unit;
A detection unit for detecting the display image from an image captured by the imaging unit;
A projection unit for projecting an image;
A control unit that controls the projection unit to project a projection image different from the display image at a position different from the display screen based on display information of the display image detected by the detection unit;
An image display system.
(Appendix 12)
The image display device displays a specific stored image among a plurality of stored images stored therein as the display image on the display screen,
The image display system according to claim 11, wherein the projection unit receives image data of the stored image other than the display image from the image display device and projects the image data as the projection image.
(Appendix 13)
A server for storing a plurality of stored images;
The image display device displays the specific stored image among the plurality of stored images stored in the server as the display image on the display screen,
The image display system according to claim 11, wherein the projection unit receives image data of the stored image other than the display image from the server and projects the image data as the projection image.
(Appendix 14)
From the captured image, the display image displayed on the display screen of the image display device is detected,
Projecting a projection image different from the display image at a position different from the display screen based on the display information of the detected display image;
An image projection method comprising:

２２画像表示システム
２４スマートフォン（画像表示機器の一例）
２６メガネ型投影装置（画像投影装置の一例）
３２制御部
３４ディスプレイ
３４表示画面
３６アンテナ
４８プロジェクタ（投影部の一例）
５０制御部
５２カメラ（撮像部の一例）
５４検出部
５６アンテナ
１２２画像表示システム
１２６メガネ型投影装置
１２８測長カメラ
１４２画像表示システム
１４６メガネ型投影装置
１４８測長センサ
１５２カメラ
１７２画像表示システム
１７４サーバ
ＧＧ候補画像組
ＨＧ表示画像
ＫＧ候補画像
Ｍ１マーカ 22 Image display system 24 Smartphone (an example of an image display device)
26 Glasses type projector (an example of an image projector)
32 Control unit 34 Display 34 Display screen 36 Antenna 48 Projector (an example of a projection unit)
50 control unit 52 camera (an example of an imaging unit)
54 Detection Unit 56 Antenna 122 Image Display System 126 Eyeglass Type Projector 128 Measuring Camera 142 Image Display System 146 Eyeglass Type Projector 148 Length Sensor 152 Camera 172 Image Display System 174 Server GG Candidate Image Set HG Display Image KG Candidate Image M1 Marker

Claims

An imaging unit;
A detection unit for detecting a display image displayed on a display screen of an image display device from an image captured by the imaging unit;
A projection unit for projecting an image;
A control unit that controls the projection unit to project a projection image different from the display image at a position different from the display screen based on display information of the display image detected by the detection unit;
An image projection apparatus.

The detection unit detects the shape and position of the display image;
The image projection apparatus according to claim 1, wherein the control unit controls the projection unit to project the projection image based on a shape and a position of the display image detected by the detection unit.

The detection unit detects a marker inside the display image,
The image projection apparatus according to claim 1, wherein the control unit controls the projection unit to project the projection image based on the marker detected by the detection unit.

The operation body detection part which detects the relative position with respect to the said display image or the said projection image of the operation body for performing operation to the said display image or the said projection image is described in any one of Claims 1-3. Image projector.

An image display device for displaying a display image on the display screen;
An imaging unit;
A detection unit for detecting the display image from an image captured by the imaging unit;
A projection unit for projecting an image;
A control unit that controls the projection unit to project a projection image different from the display image at a position different from the display screen based on display information of the display image detected by the detection unit;
An image display system.