JP2006033357A - Image converting apparatus and video image projecting device - Google Patents
Image converting apparatus and video image projecting device Download PDFInfo
- Publication number
- JP2006033357A JP2006033357A JP2004208625A JP2004208625A JP2006033357A JP 2006033357 A JP2006033357 A JP 2006033357A JP 2004208625 A JP2004208625 A JP 2004208625A JP 2004208625 A JP2004208625 A JP 2004208625A JP 2006033357 A JP2006033357 A JP 2006033357A
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- correction data
- correction
- test image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000006243 chemical reaction Methods 0.000 claims description 78
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000013500 data storage Methods 0.000 claims description 18
- 238000003702 image correction Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、映像出力装置から出力される映像を所定の映像に変換して、その所定の映像を映像投影装置からスクリーンに投影させる画像変換装置及びその画像変換装置の機能を備える映像投影装置に関する。 The present invention relates to an image conversion device that converts a video output from a video output device into a predetermined video and projects the predetermined video on a screen from the video projection device, and a video projection device having the function of the image conversion device. .
一般に、画像変換装置は、DVD(Digital Versatile Disc)やPC(Personal Computer)などの映像出力装置から出力される映像をプロジェクタなどの映像投影装置で使用される映像フォーマットに変換する機能を備えており、このような変換機能を内蔵する映像投影装置も存在する。 Generally, an image conversion device has a function of converting a video output from a video output device such as a DVD (Digital Versatile Disc) or a PC (Personal Computer) into a video format used in a video projection device such as a projector. There are also video projection apparatuses that incorporate such a conversion function.
また、近年のネットワーク技術の進歩により、このような映像投影装置がLAN(Local Area Network)などのネットワークに接続されて構成されるシステムも増えてきている(例えば、特許文献1参照)。 In recent years, with the advancement of network technology, a system in which such a video projection apparatus is connected to a network such as a LAN (Local Area Network) has been increasing (for example, see Patent Document 1).
また、このような映像投影装置において、携帯電話などから映像を受信しその映像をスクリーンに投影する機能を備えるものもある(例えば、特許文献2参照)。
ところで、このような画像変換装置や映像投影装置には、映像出力装置から出力される映像に対して幾何補正を行うものがある。特に、劇場や会議室などで使用される業務用の画像変換装置や映像投影装置には、スクリーンに投影される画像をカメラで撮影し、その撮影画像を用いて映像出力装置から出力される映像を幾何補正するものがある。このような業務用の画像変換装置や映像投影装置は、民生機器レベルの画像変換装置や映像投影装置に比べて非常に高性能になっている。
By the way, some of such image conversion devices and video projection devices perform geometric correction on the video output from the video output device. In particular, in business image conversion devices and video projection devices used in theaters and conference rooms, images that are projected on a screen are captured by a camera, and video output from the video output device using the captured images. There is one that corrects the geometry. Such commercial image conversion devices and video projection devices have very high performance compared to consumer-level image conversion devices and video projection devices.
しかしながら、このように、カメラ撮影による映像の幾何補正は、幾何補正の精度を高めることができるが、カメラと接続するための機構を画像変換装置や映像投影装置に備える必要があり、画像変換装置や映像投影装置がその分大型化し高価になるという問題がある。 However, as described above, the geometric correction of the image by the camera photographing can improve the accuracy of the geometric correction, but it is necessary to provide the image conversion device and the video projection device with a mechanism for connecting to the camera. In addition, there is a problem that the image projection apparatus becomes larger and expensive.
また、民生機器としてのホームシアタ向けの映像投影装置は、安価にするために性能が抑えられており、簡単な台形補正程度の幾何補正にしか対応していないものが多い。そのため、このような簡単な幾何補正を行う映像投影装置は、スクリーンに対して垂直に配置する必要があり、映像投影装置の配置に関して大きな制限を受けてしまうという問題がある。 In addition, video projection devices for home theater as consumer devices have low performance in order to reduce costs, and many of them only support geometric correction such as simple keystone correction. For this reason, a video projection apparatus that performs such simple geometric correction needs to be arranged perpendicularly to the screen, and there is a problem that the arrangement of the video projection apparatus is greatly limited.
また、ホームシアタ向けのスクリーンは、常時設置のハードスクリーンではなく、簡易型のソフトスクリーンやカーテンなどである場合が多い。このように、スクリーンとしてソフトスクリーンやカーテンなどが使用される場合は、スクリーン自体に歪みが発生することが多く、映像投影装置からスクリーンに投影された映像に歪みを発生させてしまうという問題がある。 Moreover, the screen for home theater is not a hard screen that is always installed, but is often a simple soft screen or a curtain. As described above, when a soft screen or a curtain is used as the screen, the screen itself is often distorted, and there is a problem in that the image projected on the screen from the image projection device is distorted. .
そこで、本発明では、安価で、配置の制限を緩和することが可能で、スクリーン自体の歪みによる映像の歪みを補正することが可能な画像変換装置及び映像投影装置を提供することを目的とする。 Therefore, an object of the present invention is to provide an image conversion device and a video projection device that are inexpensive, can relax restrictions on arrangement, and can correct image distortion due to distortion of the screen itself. .
上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の画像変換装置は、映像出力装置から出力される映像を所定の映像に変換し、映像投影装置から前記所定の映像をスクリーンに投影させる画像変換装置であって、前記映像投影装置から前記スクリーンに投影させるテスト画像を記憶するテスト画像記憶手段と、前記映像投影装置から前記スクリーンに投影されたテスト画像がカメラ付き携帯電話によって撮影され、前記テスト画像の撮影画像を前記カメラ付き携帯電話から受信する受信手段と、前記受信手段で受信された撮影画像に基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する変換手段とを備えることを特徴とする。
In order to solve the above problems, the present invention adopts the following configuration.
That is, the image conversion device of the present invention is an image conversion device that converts a video output from a video output device into a predetermined video, and projects the predetermined video on a screen from the video projection device. A test image storage means for storing a test image to be projected onto the screen from the video projection device, a test image projected onto the screen from the video projection device is taken by a mobile phone with a camera, and the captured image of the test image is taken by the mobile phone with a camera Receiving means for receiving from a telephone, and conversion means for geometrically correcting a video output from the video output device based on a photographed image received by the receiving means and converting the video into the predetermined video. To do.
また、上記画像変換装置の変換手段は、前記受信手段で受信された撮影画像に基づいて補正データを算出する補正データ算出手段と、前記算出手段で算出された補正データを記憶する補正データ記憶手段と、前記補正データ記憶手段に記憶された補正データに基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する画像補正手段とを備える構成としてもよい。 The conversion unit of the image conversion apparatus includes a correction data calculation unit that calculates correction data based on a captured image received by the reception unit, and a correction data storage unit that stores the correction data calculated by the calculation unit. And image correction means for geometrically correcting the video output from the video output device based on the correction data stored in the correction data storage means and converting it into the predetermined video.
また、上記画像変換装置の補正データ算出手段は、前記受信手段で受信された撮影画像に基づいて前記カメラ付き携帯電話の撮像素子に対応する座標系における前記テスト画像の幾何補正前の座標と前記テスト画像の幾何補正後の座標を求め、前記幾何補正前の座標及び前記幾何補正後の座標に基づいて前記補正データを算出する構成としてもよい。 Further, the correction data calculation means of the image conversion device includes the coordinates before the geometric correction of the test image in the coordinate system corresponding to the image sensor of the mobile phone with camera based on the captured image received by the receiving means, and the The coordinates after the geometric correction of the test image may be obtained, and the correction data may be calculated based on the coordinates before the geometric correction and the coordinates after the geometric correction.
また、上記画像変換装置の変換手段は、前記カメラ付き携帯電話から送信される指示情報を受信すると、前記補正データ記憶手段から前記テスト画像を読み出し、前記画像投影装置に出力する構成としてもよい。 Further, the conversion means of the image conversion apparatus may be configured to read the test image from the correction data storage means and output it to the image projection apparatus when receiving the instruction information transmitted from the camera-equipped mobile phone.
また、本発明の映像投影装置は、映像出力装置から出力される映像を所定の映像に変換し、該所定の映像をスクリーンに投影する映像投影装置であって、テスト画像を記憶するテスト画像記憶手段と、前記テスト画像記憶手段に記憶されたテスト画像または前記所定の映像を前記スクリーンに投影する投影手段と、前記投影手段から前記スクリーンに投影されたテスト画像がカメラ付き携帯電話によって撮影され、前記テスト画像の撮影画像を前記カメラ付き携帯電話から受信する受信手段と、前記受信手段で受信された撮影画像に基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する変換手段とを備えることを特徴とする。 The video projection apparatus of the present invention is a video projection apparatus that converts a video output from a video output apparatus into a predetermined video and projects the predetermined video on a screen, and stores a test image in a test image storage Means, a test means for projecting the test image stored in the test image storage means or the predetermined image onto the screen, and a test image projected from the projection means onto the screen is photographed by a mobile phone with a camera, Receiving means for receiving a photographed image of the test image from the camera-equipped mobile phone, and geometrically correcting the video output from the video output device based on the photographed image received by the receiving means to the predetermined video Conversion means for converting.
また、上記映像投影装置の変換手段は、前記受信手段で受信された撮影画像に基づいて補正データを算出する補正データ算出手段と、前記補正データ算出手段で算出された補正データを記憶する補正データ記憶手段と、前記補正データ記憶手段に記憶された補正データに基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する画像補正手段とを備える構成としてもよい。 The conversion unit of the video projection apparatus includes a correction data calculation unit that calculates correction data based on a captured image received by the reception unit, and a correction data that stores the correction data calculated by the correction data calculation unit. The image processing device may include a storage unit and an image correction unit that geometrically corrects the video output from the video output device based on the correction data stored in the correction data storage unit and converts the video into the predetermined video.
また、上記映像投影装置の補正データ算出手段は、前記受信手段で受信された撮影画像に基づいて前記カメラ付き携帯電話の撮像素子に対応する座標系における前記テスト画像の幾何補正前の座標と前記テスト画像の幾何補正後の座標を求め、前記幾何補正前の座標及び前記幾何補正後の座標に基づいて前記補正データを算出する構成としてもよい。 Further, the correction data calculation means of the video projection device includes the coordinates before geometric correction of the test image in the coordinate system corresponding to the imaging device of the camera-equipped mobile phone based on the captured image received by the reception means, and the The coordinates after the geometric correction of the test image may be obtained, and the correction data may be calculated based on the coordinates before the geometric correction and the coordinates after the geometric correction.
また、上記映像投影装置の変換手段は、前記カメラ付き携帯電話から送信される指示情報を受信すると、前記補正データ記憶手段から前記テスト画像を読み出し、前記投影手段に出力する構成としてもよい。 Further, the conversion unit of the video projection device may be configured to read the test image from the correction data storage unit and output it to the projection unit when receiving the instruction information transmitted from the camera-equipped mobile phone.
本発明によれば、カメラ付き携帯電話の撮影画像に基づいて映像出力装置の映像を幾何補正しているので、画像を補正するためのカメラと接続される画像変換装置や映像投影装置に比べて、そのカメラと接続するための機構を備える必要がなくなり、その分装置全体を小型化し安価にすることができる。 According to the present invention, since the video of the video output device is geometrically corrected based on the photographed image of the camera-equipped mobile phone, compared to the image conversion device and the video projection device connected to the camera for correcting the image. Therefore, it is not necessary to provide a mechanism for connecting to the camera, and accordingly, the entire apparatus can be reduced in size and cost.
また、本発明によれば、幾何補正のための撮影画像をカメラ付き携帯電話から受信しているので、画像変換装置や映像投影装置の配置の自由度が上がり、映像投影装置の配置の制限を緩和することができる。 Further, according to the present invention, since the photographed image for geometric correction is received from the camera-equipped mobile phone, the degree of freedom in arrangement of the image conversion device and the video projection device is increased, and the arrangement of the video projection device is limited. Can be relaxed.
また、本発明によれば、スクリーンに投影される映像がカメラ付き携帯電話によって撮影され、その撮影画像に基づいて映像の幾何補正を行っているので、スクリーンがソフトスクリーンやカーテンなどスクリーン自体に歪みが発生し易いスクリーンであっても映像の歪みを抑えることができる。 In addition, according to the present invention, since the video projected on the screen is shot by the mobile phone with a camera and the geometric correction of the video is performed based on the shot image, the screen is distorted to the screen itself such as a soft screen or a curtain. Even if the screen is prone to cause image distortion, image distortion can be suppressed.
以下、本発明の実施形態を図面を用いて説明する。
図1は、本発明の実施形態の画像変換装置を含む映像出力システムを示す図である。
図1に示すように、映像出力システム1は、映像出力装置としてのDVDプレーヤ2と、画像変換装置3と、映像投影装置としてのプロジェクタ4と、スクリーン5と、カメラ付き携帯電話6とから構成されている。なお、映像出力装置は、PCなどであってもよくDVDプレーヤ2に限定されない。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a video output system including an image conversion apparatus according to an embodiment of the present invention.
As shown in FIG. 1, the video output system 1 includes a
上記DVDプレーヤ2は、DVDに記録される映像を再生して出力する。
上記画像変換装置3は、DVDプレーヤ2から出力される映像を予め内部に記憶される補正データに基づいて幾何補正を行い所定の映像に変換してプロジェクタ4に出力する。
The
The
上記プロジェクタ4は、画像変換装置3から出力される所定の映像などをスクリーン5に投影する。
上記カメラ付き携帯電話6は、指示情報を示す電子メール(E−Mail)を画像変換装置3に送信したり、内蔵するカメラによりスクリーン5に投影される画像を撮影しその撮影画像を電子メールに添付して画像変換装置3に送信する。画像変換装置3は、指示情報を示す電子メールを受信すると、予め内部に記憶されるテスト画像をプロジェクタ4に出力する。また、画像変換装置3は、電子メールに添付された撮影画像を受信すると、その撮影画像に基づいて補正データを算出する。
The
The camera-equipped mobile phone 6 transmits an e-mail (E-Mail) indicating instruction information to the
図2は、画像変換装置3を示す図である。
図2に示すように、画像変換装置3は、入力信号処理部7と、画像補正部8と、出力信号処理部9と、テスト画像記憶部10と、補正データ記憶部11と、補正データ算出部12と、制御部13と、携帯電話情報記憶部14とを備えて構成されている。なお、入力信号処理部7、画像補正部8、出力信号処理部9、補正データ算出部12、及び制御部13は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)などの記録媒体に記録されるアプリケーションがCPU(Central Processing Unit)などの演算器により実行されることによって実現されるものとする。また、テスト画像記憶部10、補正データ記憶部11、及び携帯電話情報記憶部14としては、例えば、RAMやROMなどの記録媒体が考えられる。
FIG. 2 is a diagram illustrating the
As shown in FIG. 2, the
上記入力信号処理部7は、DVDプレーヤ2で再生される映像を示す映像信号が入力され、その映像信号を幾何補正するのに適した画素単位(例えば、8ビット)のデジタルデータに変換する。
The input
上記画像補正部8は、補正データ記憶部11に記憶される補正データに基づいて、デジタルデータに変換された映像信号を幾何補正する。
上記出力信号処理部9は、通常動作時(指示情報を示す電子メールを受信する前)、画像補正部8で幾何補正された映像信号をプロジェクタ4が信号処理するのに適した信号形式に変換してプロジェクタ4に出力する。また、出力信号処理部9は、キャリブレーション時(指示情報を示す電子メールを受信した後)、テスト画像記憶部10に記憶されるテスト画像をプロジェクタ4が信号処理するのに適した信号形式に変換してプロジェクタ4に出力する。
The image correction unit 8 geometrically corrects the video signal converted into digital data based on the correction data stored in the correction
The output signal processing unit 9 converts the video signal geometrically corrected by the image correction unit 8 into a signal format suitable for the
上記補正データ算出部12は、電子メールに添付された撮影画像に基づいて補正データを算出する。
上記制御部13は、画像変換装置3全体の動作を制御する。また、制御部13は、カメラ付き携帯電話6から送信される電子メールを受信するための受信機能を備えており、電子メールの内容を自動解析し画像変換装置3の動作を制御する。電子メールを受信するための受信機能としては、例えば、POP(Post Office Protocol)やIMAP(Internet Messages Access Protocol)などのメールサーバ用プロトコルに対応したソフトウェアを実行することにより実現されるものとする。
The correction
The
上記携帯電話情報記憶部14は、映像出力システム1において使用が想定される複数種類のカメラ付き携帯電話6に関する固有情報を記憶する。
次に、キャリブレーション時における画像変換装置3及びカメラ付き携帯電話6のそれぞれの動作について説明する。
The mobile phone
Next, operations of the
図3は、キャリブレーション時における画像変換装置3とカメラ付き携帯電話6のそれぞれの動作を示すフローチャートである。
図3に示すように、まず、ステップS1において、カメラ付き携帯電話6は、題名の欄に上記指示情報に相当する“change calibration mode”が入力され、本文にカメラ付き携帯電話6の機種名などカメラ付き携帯電話6を識別することが可能な識別情報が入力された電子メールを画像変換装置3に送信する。
FIG. 3 is a flowchart showing the operations of the
As shown in FIG. 3, first, in step S <b> 1, the camera-equipped mobile phone 6 is inputted with “change calibration mode” corresponding to the instruction information in the title column, and the model name of the camera-equipped mobile phone 6 in the body text. An e-mail in which identification information that can identify the camera-equipped mobile phone 6 is input is transmitted to the
次に、ステップS2において、画像変換装置3の制御部13は、電子メールを受信する。
次に、ステップS3において、画像変換装置3の制御部13は、電子メールの題名を解析する。
Next, in step S2, the
Next, in step S3, the
次に、ステップS4において、画像変換装置3の制御部13は、電子メールの題名の欄に“change calibration mode”が入力されていることを判断すると、通常動作モード(画像補正部8が補正データに基づいて映像信号を幾何補正する状態)からキャリブレーションモード(補正データ算出部12が電子メールに添付された撮影画像に基づいて補正データを算出する状態)に移行させる。なお、通常動作モードからキャリブレーションモードに移行させる際の電子メールの題名は、“change calibration mode”に限らず、任意に設定変更可能とする。
Next, in step S4, when the
次に、ステップS5において、画像変換装置3の制御部13は、電子メールの本文に入力された識別情報を解析する。
次に、ステップS6において、画像変換装置3の制御部13は、解析した識別情報からカメラ付き携帯電話6が内蔵するカメラの画素数やカメラ付き携帯電話6の画像フォーマット(カメラ付き携帯電話6で処理可能な信号形式)などの固有情報を携帯電話情報記憶部14から読み出し、その固有情報を補正データ算出のための情報としてセットする。
Next, in step S5, the
Next, in step S6, the
例えば、電子メールの本文に機種名として「○○電話」、画素数として「31万画素」、画像フォーマットとして「JPEG」と識別情報が入力されている場合、その「○○電話」、「31万画素」、及び「JPEG」に対応する固有情報として「640×480」の座標系を携帯電話情報記憶部14から読み出し、その座標系を補正データの算出のために使用する。
For example, if identification information such as “XX phone” as the model name, “310,000 pixels” as the number of pixels, and “JPEG” as the image format are entered in the body of the e-mail, the “XX phone”, “31” The coordinate system of “640 × 480” is read from the mobile phone
次に、ステップS7において、画像変換装置3の制御部13は、テスト画像記憶部10からテスト画像を読み出し、出力信号処理部9において、そのテスト画像をプロジェクタ4が信号処理するのに適した信号形式に変換させプロジェクタ4へ出力させる。プロジェクタ4は、画像変換装置3から出力されたテスト画像をスクリーン5に投影する。
Next, in step S <b> 7, the
次に、ステップS8において、カメラ付き携帯電話6は、スクリーン5に投影されたテスト画像を撮影する。
次に、ステップS9において、カメラ付き携帯電話6は、題名の欄に“calibration picture”が入力され、テスト画像の撮影画像が添付された電子メールを画像変換装置3に送信する。なお、電子メールに撮影画像が添付される際に入力される題名は、“calibration picture”に限らず、任意に設定変更可能とする。
Next, in step S <b> 8, the camera-equipped mobile phone 6 captures a test image projected on the
Next, in step S <b> 9, the camera-equipped mobile phone 6 transmits an e-mail to which “calibration picture” is input in the title column and a captured image of the test image is attached to the
次に、ステップS10において、画像変換装置3の制御部13は、電子メールを受信する。
次に、ステップS11において、画像変換装置3の制御部13は、題名を解析する。
Next, in step S10, the
Next, in step S11, the
次に、ステップS12において、画像変換装置3の制御部13は、題名の欄に“calibration picture”が入力されていることを判断すると、補正データ算出部12において、その電子メールに添付される撮影画像に基づいて、補正データを算出させる。
Next, in step S12, when the
次に、ステップS13において、画像変換装置3の制御部13は、算出された補正データを補正データ記憶部11に記憶させる。
次に、ステップS14において、画像変換装置3の制御部13は、出力信号処理部10において、テスト画像の出力を停止させる。
Next, in step S <b> 13, the
Next, in step S <b> 14, the
そして、ステップS15において、画像変換装置3の制御部14は、キャリブレーションモードから通常動作モードに移行させて動作を終了する。
次に、補正データ算出部12における補正データの算出方法の一例を示す。
In step S15, the
Next, an example of a correction data calculation method in the correction
図4は、テスト画像記憶部11に記憶されるテスト画像の一例を示す図である。また、 図5は、幾何補正前のスクリーン5に投影される格子パターンの一例を示す図である。
図4に示すように、格子状の図形(以下、格子パターンという)15をテスト画像とし、さらに、図5に示すように、プロジェクタ4とスクリーン5の互いの位置関係により幾何補正前にスクリーン5に投影される格子パターン16が縦方向及び横方向に歪んでいる場合の補正データの算出方法を説明する。
FIG. 4 is a diagram illustrating an example of a test image stored in the test
As shown in FIG. 4, a grid-like figure (hereinafter referred to as a grid pattern) 15 is used as a test image. Further, as shown in FIG. 5, the
なお、図5に示す格子パターン16をカメラ付き携帯電話6で撮影する際のそのカメラ付き携帯電話6の撮影位置は、カメラ付き携帯電話6の撮影可能範囲17(カメラ付き携帯電話6が内蔵するカメラの画角)に格子パターン16全体が収まる位置であれば特に限定されない。また、カメラ付き携帯電話6の撮影画像の画素配列、すなわち、カメラ付き携帯電話6の撮像素子の配列を、ユーザの視点における座標系(以下、ユーザ視点座標系という)とする。また、スクリーン5に投影される画像の画素配列、すなわち、プロジェクタ4の出力素子の配列を、プロジェクタ4における座標系(以下、表示座標系という)とする。
Note that the shooting position of the camera-equipped mobile phone 6 when the
図6は、幾何補正後にスクリーン5に投影される格子パターンの一例を示す図である。なお、図5に示す構成と同じ構成には同じ符号をつけている。
図6に示すように、幾何補正後にスクリーン5に投影される格子パターン18は、図5に示す格子パターン16の外枠19の内側に形成されるものとする。すなわち、図4に示す格子パターン15の縦横比率を満たしたまま、図5に示す格子パターン16内部に格子パターン18全体が収まるようにする。なお、幾何補正する際に格子パターンが縮小する部分は、隣接する複数の画素から1つの画素をつくるようにする。
FIG. 6 is a diagram illustrating an example of a lattice pattern projected onto the
As shown in FIG. 6, the
まず、補正データ算出部12は、電子メールの識別情報から得られる固有情報に基づいてユーザ視点座標系を求めると共に、プロジェクタ4から送られてくる情報などに基づいて表示座標系を求める。
First, the correction
次に、補正データ算出部12は、電子メールの撮影画像上の画素情報を検索し、図5に示す格子パターン16の各交点にそれぞれ対応するユーザ視点座標系の各座標を求める。
次に、補正データ算出部12は、図6に示す格子パターン18の各交点にそれぞれ対応するユーザ視点座標系の各座標を求める。なお、交点以外の格子パターンの座標は、隣接する交点の移動量から直線的な補間を行って求めるようにする。
Next, the correction
Next, the correction
次に、補正データ算出部12は、ユーザ視点座標系における格子パターン16の各座標と格子パターン18の各座標とのそれぞれの相対関係を求める。
次に、補正データ算出部12は、図5に示す格子パターン16の各交点にそれぞれ対応する表示座標系の各座標を求める。
Next, the correction
Next, the correction
次に、補正データ算出部12は、ユーザ視点座標系における格子パターン16と格子パターン18の相対関係に基づいて、図6に示す格子パターン18の各交点にそれぞれ対応する表示座標系の各座標を求める。
Next, the correction
そして、補正データ算出部12は、表示座標系における格子パターン16の各座標と表示座標系における格子パターン18の各座標との全ての相対関係を示すデータを算出しそのデータを補正データとする。
The correction
ここで、例えば、ユーザ視点座標系における格子パターン15のある交点をA、その交点Aのx座標を150、y座標を120とし、交点Aの幾何補正後の交点をB、その交点Bのx座標を159、y座標を119とする場合を考える。また、上記交点Aに対応する表示座標系の交点をC、その交点Cのx座標を0、y座標を0とし、交点Cの幾何補正後の交点、すなわち、上記交点Bに対応する表示座標系の交点をDとする場合を考える。
Here, for example, an intersection of the
なお、プロジェクタ4の出力素子1つの大きさは、カメラ付き携帯電話6の撮像素子1つの大きさと等しいものとする。また、カメラ付き携帯電話6の画素数(撮像素子数)を、640×480≒31万画素とし、プロジェクタ4の画素数(出力素子数)を、1920×1080≒200万画素とする。
Note that the size of one output element of the
このような場合、交点Aから交点Bの座標の移動量はx座標が+9、y座標が−1になる。また、交点Dの座標は、1920/620≒3、1080/480≒2とすると、交点Aと交点Bの相対関係から交点Dのx座標は(+9)×3=27、y座標は(−1)×2=−2となる。これにより、交点Cから交点Dの座標の移動量はx座標が+27、y座標が−2となり、「(0,0)の画素は、(27、−2)に座標変換する」という補正データが得られる。 In such a case, the movement amount of the coordinates from the intersection A to the intersection B is +9 for the x coordinate and −1 for the y coordinate. If the coordinates of the intersection D are 1920 / 620≈3 and 1080 / 480≈2, the x coordinate of the intersection D is (+9) × 3 = 27 and the y coordinate is (−) from the relative relationship between the intersection A and the intersection B. 1) × 2 = −2. As a result, the movement amount of the coordinates from the intersection C to the intersection D is +27 for the x coordinate and −2 for the y coordinate, and correction data “the pixel of (0,0) is coordinate-converted to (27, −2)”. Is obtained.
なお、ユーザ視点座標系における格子パターン18の各座標は、射影変換を用いて求めてもよい。また、幾何補正の精度を上げる方法としては、例えば、格子パターンの格子数を増やすことが考えられる。
Note that each coordinate of the
次に、通常モードにおける画像変換装置3の動作について説明する。
まず、入力信号処理部7は、DVDプレーヤ2から出力される映像信号を幾何補正するのに適した画素単位のデジタルデータに変換して画像補正部8に出力する。
Next, the operation of the
First, the input
次に、画像補正部8は、補正データ記憶部11に記憶される補正データに基づいて、DVDプレーヤ2から出力される映像信号を座標変換し、出力画像を形成する。なお、幾何補正後に出力画像が形成されなくなる領域(バックグラウンド)においては、黒画像またはスクリーン5に映像を投影した際に目立たない色の画像がプロジェクタ4から出力される。
Next, the image correction unit 8 performs coordinate conversion of the video signal output from the
次に、出力信号処理部9は、形成された出力画像をプロジェクタ4が信号処理するのに適した信号形式に変換して出力する。
そして、プロジェクタ4は、出力画像をスクリーン5に投影する。
Next, the output signal processing unit 9 converts the formed output image into a signal format suitable for signal processing by the
Then, the
このように、画像変換装置3は、カメラ付き携帯電話6の撮影画像に基づいてDVDプレーヤ2の映像を幾何補正しているので、コンサートホールなどで使用されるような幾何補正用のカメラを備える画像変換装置や映像投影装置に比べて、その幾何補正用のカメラを接続するための機構を備える必要がない分装置を小型化し安価にすることができる。
As described above, the
また、画像変換装置3は、幾何補正のための撮影画像をカメラ付き携帯電話6から電子メールを使用して受信しているので、画像変換装置3やプロジェクタ4を天井に設置してもユーザの視点位置(スクリーン5に投影される映像の観察点)を簡単に変更することができ、画像変換装置3やプロジェクタ4の配置の自由度が上がり、プロジェクタ4の配置の制限を緩和することができる。
Further, since the
また、画像変換装置3は、スクリーン5に投影された映像がカメラ付き携帯電話6によって撮影され、その撮影画像に基づいて映像の幾何補正を行っているので、スクリーンがソフトスクリーンやカーテンなどスクリーン自体に歪みが発生し易いスクリーンであっても映像の歪みを抑えることができる。
In addition, since the image projected on the
また、画像変換装置3は、ユーザ視点座標系においてテスト画像を座標変換しているため、幾何補正後にスクリーン5に投影される映像は、テスト画像の撮影時のカメラ付き携帯電話6の傾きに依存する。例えば、カメラ付き携帯電話6を時計回りに90度傾けた場合、DVDプレーヤ2から出力される幾何補正後の映像も時計回りに90度傾けられたものとなる。
Further, since the
なお、上記実施形態では、プロジェクタ4からスクリーン5に投影されるテスト画像全体を1回で撮影し、その撮影画像を画像変換装置3に送信する構成であるが、プロジェクタ4の投射領域が広い場合などで、スクリーン5に投影されるテスト画像が1回で撮影できない場合、テスト画像を複数回撮影してそのテスト画像に対応する撮影画像を生成してもよい。すなわち、各撮影画像が互いに重なるようにテスト画像を複数回撮影し、補正データを算出する際に、各撮影画像を貼り合せてテスト画像全体を示す撮影画像を生成するようにしてもよい。
In the above-described embodiment, the entire test image projected from the
また、上記実施形態では、格子パターンの交点以外の座標変換は、直線的な補間により行う構成であるが、交点以外の座標変換を、より高精度な座標変換とするために、3次多項式や高次多項式を使って行うようにしてもよい。 In the above embodiment, the coordinate transformation other than the intersection of the grid pattern is performed by linear interpolation. However, in order to make the coordinate transformation other than the intersection more precise coordinate transformation, You may make it carry out using a high-order polynomial.
また、上記実施形態では、画像変換装置3は電子メールを受信するための受信機能を備える構成であるが、各動作の完了をカメラ付き携帯電話6に通知するための送信機能を画像変換装置3に備えるように構成してもよい。
Moreover, in the said embodiment, although the
また、プロジェクタ4が画像変換装置3の機能を備えるように構成してもよい。すなわち、プロジェクタ4が入力信号処理部7と、画像補正部8と、出力信号処理部9と、テスト画像記憶部10と、補正データ記憶部11と、補正データ算出部12と、制御部13と、携帯電話情報記憶部14と、テスト画像記憶部10に記憶されるテスト画像や画像補正部8から出力される幾何補正後の映像信号をスクリーン5に投影する投影部とを備えて構成されてもよい。
Further, the
1 映像出力システム
2 DVDプレーヤ
3 画像変換装置
4 プロジェクタ
5 スクリーン
6 カメラ付き携帯電話
7 入力信号処理部
8 画像補正部
9 出力信号処理部
10 テスト画像記憶部
11 補正データ記憶部
12 補正データ算出部
13 制御部
14 携帯電話情報記憶部
15 格子パターン
16 格子パターン
17 撮影可能範囲
18 格子パターン
19 外枠
DESCRIPTION OF SYMBOLS 1
Claims (8)
前記映像投影装置から前記スクリーンに投影させるテスト画像を記憶するテスト画像記憶手段と、
前記映像投影装置から前記スクリーンに投影されたテスト画像がカメラ付き携帯電話によって撮影され、前記テスト画像の撮影画像を前記カメラ付き携帯電話から受信する受信手段と、
前記受信手段で受信された撮影画像に基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する変換手段と、
を備えることを特徴とする画像変換装置。 An image conversion device that converts a video output from a video output device into a predetermined video, and projects the predetermined video on a screen from a video projection device,
Test image storage means for storing a test image to be projected onto the screen from the video projection device;
A receiving unit configured to capture a test image projected from the video projection device on the screen by a mobile phone with a camera, and to receive a captured image of the test image from the mobile phone with a camera;
Conversion means for geometrically correcting the video output from the video output device based on the captured image received by the receiving means and converting the video to the predetermined video;
An image conversion apparatus comprising:
前記変換手段は、
前記受信手段で受信された撮影画像に基づいて補正データを算出する補正データ算出手段と、
前記算出手段で算出された補正データを記憶する補正データ記憶手段と、
前記補正データ記憶手段に記憶された補正データに基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する画像補正手段と、
を備えることを特徴とする画像変換装置。 The image conversion apparatus according to claim 1,
The converting means includes
Correction data calculating means for calculating correction data based on the captured image received by the receiving means;
Correction data storage means for storing correction data calculated by the calculation means;
Image correction means for geometrically correcting the video output from the video output device based on the correction data stored in the correction data storage means and converting it into the predetermined video;
An image conversion apparatus comprising:
前記補正データ算出手段は、前記受信手段で受信された撮影画像に基づいて前記カメラ付き携帯電話の撮像素子に対応する座標系における前記テスト画像の幾何補正前の座標と前記テスト画像の幾何補正後の座標を求め、前記幾何補正前の座標及び前記幾何補正後の座標に基づいて前記補正データを算出することを特徴とする画像変換装置。 The image conversion device according to claim 2,
The correction data calculation means is configured to determine the coordinates before geometric correction of the test image and the geometric correction of the test image in a coordinate system corresponding to the imaging device of the camera-equipped mobile phone based on the captured image received by the reception means. And calculating the correction data based on the coordinates before geometric correction and the coordinates after geometric correction.
前記変換手段は、前記カメラ付き携帯電話から送信される指示情報を受信すると、前記補正データ記憶手段から前記テスト画像を読み出し、前記画像投影装置に出力することを特徴とする画像変換装置。 The image conversion device according to claim 2,
The image conversion apparatus according to claim 1, wherein when the instruction information transmitted from the camera-equipped mobile phone is received, the conversion means reads the test image from the correction data storage means and outputs the test image to the image projection apparatus.
テスト画像を記憶するテスト画像記憶手段と、
前記テスト画像記憶手段に記憶されたテスト画像または前記所定の映像を前記スクリーンに投影する投影手段と、
前記投影手段から前記スクリーンに投影されたテスト画像がカメラ付き携帯電話によって撮影され、前記テスト画像の撮影画像を前記カメラ付き携帯電話から受信する受信手段と、
前記受信手段で受信された撮影画像に基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する変換手段と、
を備えることを特徴とする映像投影装置。 A video projection device that converts a video output from a video output device into a predetermined video and projects the predetermined video on a screen,
Test image storage means for storing a test image;
Projecting means for projecting the test image stored in the test image storage means or the predetermined video onto the screen;
A receiving unit that receives a captured image of the test image from the camera-equipped mobile phone;
Conversion means for geometrically correcting the video output from the video output device based on the captured image received by the receiving means and converting the video to the predetermined video;
A video projection apparatus comprising:
前記変換手段は、
前記受信手段で受信された撮影画像に基づいて補正データを算出する補正データ算出手段と、
前記補正データ算出手段で算出された補正データを記憶する補正データ記憶手段と、
前記補正データ記憶手段に記憶された補正データに基づいて前記映像出力装置から出力される映像を幾何補正して前記所定の映像に変換する画像補正手段と、
を備えることを特徴とする映像投影装置。 The video projection device according to claim 5,
The converting means includes
Correction data calculating means for calculating correction data based on the captured image received by the receiving means;
Correction data storage means for storing correction data calculated by the correction data calculation means;
Image correction means for geometrically correcting the video output from the video output device based on the correction data stored in the correction data storage means and converting it into the predetermined video;
A video projection apparatus comprising:
前記補正データ算出手段は、前記受信手段で受信された撮影画像に基づいて前記カメラ付き携帯電話の撮像素子に対応する座標系における前記テスト画像の幾何補正前の座標と前記テスト画像の幾何補正後の座標を求め、前記幾何補正前の座標及び前記幾何補正後の座標に基づいて前記補正データを算出することを特徴とする映像投影装置。 The video projection device according to claim 6,
The correction data calculation means is configured to determine the coordinates before geometric correction of the test image and the geometric correction of the test image in a coordinate system corresponding to the imaging device of the camera-equipped mobile phone based on the captured image received by the reception means. And calculating the correction data based on the coordinates before geometric correction and the coordinates after geometric correction.
前記変換手段は、前記カメラ付き携帯電話から送信される指示情報を受信すると、前記補正データ記憶手段から前記テスト画像を読み出し、前記投影手段に出力することを特徴とする映像投影装置。
The video projection device according to claim 6,
The video projection device, wherein the conversion unit reads the test image from the correction data storage unit and outputs it to the projection unit when receiving the instruction information transmitted from the camera-equipped mobile phone.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004208625A JP2006033357A (en) | 2004-07-15 | 2004-07-15 | Image converting apparatus and video image projecting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004208625A JP2006033357A (en) | 2004-07-15 | 2004-07-15 | Image converting apparatus and video image projecting device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006033357A true JP2006033357A (en) | 2006-02-02 |
Family
ID=35899180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004208625A Withdrawn JP2006033357A (en) | 2004-07-15 | 2004-07-15 | Image converting apparatus and video image projecting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006033357A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010055625A1 (en) * | 2008-11-17 | 2010-05-20 | 日本電気株式会社 | Pixel position correspondence specifying system, pixel position correspondence specifying method, and pixel position correspondence specifying program |
| WO2010077258A1 (en) * | 2008-12-29 | 2010-07-08 | Thomson Licensing | Method and system for monitoring a display venue |
| WO2013124901A1 (en) * | 2012-02-24 | 2013-08-29 | 日立コンシューマエレクトロニクス株式会社 | Optical-projection-type display apparatus, portable terminal, and program |
| JP2014003586A (en) * | 2012-05-22 | 2014-01-09 | Ricoh Co Ltd | Image processing system, image processing method and program |
| JP2014056030A (en) * | 2012-09-11 | 2014-03-27 | Ricoh Co Ltd | Image projection system, operation method for image projection system, image projection device, and remote control device for image projection system |
| JP2014160998A (en) * | 2013-01-24 | 2014-09-04 | Ricoh Co Ltd | Image processing system, image processing method, image processing program and recording medium |
| US8876296B2 (en) | 2009-02-25 | 2014-11-04 | Kyocera Corporation | Portable electronic apparatus and display control method |
| US9128366B2 (en) | 2012-05-22 | 2015-09-08 | Ricoh Company, Ltd. | Image processing system, image processing method, and computer program product |
| JP2016043810A (en) * | 2014-08-22 | 2016-04-04 | トヨタ自動車株式会社 | Vehicle control device |
| US9443294B2 (en) | 2012-11-27 | 2016-09-13 | Ricoh Company, Limited | Image correction system, image correction method, and computer program product |
| WO2016197802A1 (en) * | 2015-12-17 | 2016-12-15 | 中兴通讯股份有限公司 | Projection correction method, system and terminal |
| JP2017152998A (en) * | 2016-02-26 | 2017-08-31 | 株式会社メガチップス | Projection system and program |
| US9928580B2 (en) | 2015-03-30 | 2018-03-27 | Megachips Corporation | Projection system, projector apparatus, and projection method |
| US10284831B2 (en) | 2015-03-19 | 2019-05-07 | Megachips Corporation | Projection system, projector apparatus, image capturing apparatus, and projection method |
| CN112437284A (en) * | 2020-11-23 | 2021-03-02 | 海信视像科技股份有限公司 | Projection picture correction method, terminal equipment and display equipment |
| JP2022045483A (en) * | 2020-09-09 | 2022-03-22 | セイコーエプソン株式会社 | Information generation method, information generation system, and program |
| US11496721B2 (en) | 2020-03-30 | 2022-11-08 | Seiko Epson Corporation | Setting assistance method and setting assistance apparatus |
| US12167180B2 (en) | 2019-06-20 | 2024-12-10 | Sony Group Corporation | Information processing device, information processing method, program, projection device, and information processing system |
-
2004
- 2004-07-15 JP JP2004208625A patent/JP2006033357A/en not_active Withdrawn
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5445461B2 (en) * | 2008-11-17 | 2014-03-19 | 日本電気株式会社 | Pixel position correspondence specifying system, pixel position correspondence specifying method, and pixel position correspondence specifying program |
| WO2010055625A1 (en) * | 2008-11-17 | 2010-05-20 | 日本電気株式会社 | Pixel position correspondence specifying system, pixel position correspondence specifying method, and pixel position correspondence specifying program |
| US8791880B2 (en) | 2008-11-17 | 2014-07-29 | Nec Corporation | System, method and program for specifying pixel position correspondence |
| US9049345B2 (en) | 2008-12-29 | 2015-06-02 | Thomson Licensing | Method and system for monitoring a display venue |
| WO2010077258A1 (en) * | 2008-12-29 | 2010-07-08 | Thomson Licensing | Method and system for monitoring a display venue |
| US8876296B2 (en) | 2009-02-25 | 2014-11-04 | Kyocera Corporation | Portable electronic apparatus and display control method |
| WO2013124901A1 (en) * | 2012-02-24 | 2013-08-29 | 日立コンシューマエレクトロニクス株式会社 | Optical-projection-type display apparatus, portable terminal, and program |
| JP2014003586A (en) * | 2012-05-22 | 2014-01-09 | Ricoh Co Ltd | Image processing system, image processing method and program |
| US9128366B2 (en) | 2012-05-22 | 2015-09-08 | Ricoh Company, Ltd. | Image processing system, image processing method, and computer program product |
| JP2014056030A (en) * | 2012-09-11 | 2014-03-27 | Ricoh Co Ltd | Image projection system, operation method for image projection system, image projection device, and remote control device for image projection system |
| US9443294B2 (en) | 2012-11-27 | 2016-09-13 | Ricoh Company, Limited | Image correction system, image correction method, and computer program product |
| JP2014160998A (en) * | 2013-01-24 | 2014-09-04 | Ricoh Co Ltd | Image processing system, image processing method, image processing program and recording medium |
| JP2016043810A (en) * | 2014-08-22 | 2016-04-04 | トヨタ自動車株式会社 | Vehicle control device |
| US9870101B2 (en) | 2014-08-22 | 2018-01-16 | Toyota Jidosha Kabushiki Kaisha | Operating device for vehicle having a screen with an operating surface and a projecting unit configured to project an image on the screen |
| US10284831B2 (en) | 2015-03-19 | 2019-05-07 | Megachips Corporation | Projection system, projector apparatus, image capturing apparatus, and projection method |
| US9928580B2 (en) | 2015-03-30 | 2018-03-27 | Megachips Corporation | Projection system, projector apparatus, and projection method |
| WO2016197802A1 (en) * | 2015-12-17 | 2016-12-15 | 中兴通讯股份有限公司 | Projection correction method, system and terminal |
| JP2017152998A (en) * | 2016-02-26 | 2017-08-31 | 株式会社メガチップス | Projection system and program |
| US12167180B2 (en) | 2019-06-20 | 2024-12-10 | Sony Group Corporation | Information processing device, information processing method, program, projection device, and information processing system |
| US11496721B2 (en) | 2020-03-30 | 2022-11-08 | Seiko Epson Corporation | Setting assistance method and setting assistance apparatus |
| JP2022045483A (en) * | 2020-09-09 | 2022-03-22 | セイコーエプソン株式会社 | Information generation method, information generation system, and program |
| US11616935B2 (en) | 2020-09-09 | 2023-03-28 | Seiko Epson Corporation | Information generation method, information generation system, and non-transitory computer-readable storage medium storing program |
| CN112437284A (en) * | 2020-11-23 | 2021-03-02 | 海信视像科技股份有限公司 | Projection picture correction method, terminal equipment and display equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006033357A (en) | Image converting apparatus and video image projecting device | |
| JP5906028B2 (en) | Image processing apparatus and image processing method | |
| JP4446193B2 (en) | Image processing apparatus and method, and program | |
| US9071751B2 (en) | Image processor method and program for correcting distance distortion in panorama images | |
| US20150348325A1 (en) | Method and system for stabilization and reframing | |
| US20070200937A1 (en) | Camera device and monitoring system | |
| WO2004019607A1 (en) | Image processing device, image processing system, and image processing method | |
| JP2011044837A (en) | Image capturing apparatus, method of controlling the same, and program | |
| US9245348B2 (en) | Determining a maximum inscribed size of a rectangle | |
| WO2008010345A1 (en) | Panorama image photographing system and panorama image photographing method | |
| JP2014027457A (en) | Image display apparatus, image display method, and image display program | |
| JP2014003586A (en) | Image processing system, image processing method and program | |
| US20090244308A1 (en) | Image Inclination Correction Device and Image Inclination Correction Method | |
| JP2005175581A (en) | Image processing device | |
| US8334919B2 (en) | Apparatus and method for digital photographing to correct subject area distortion caused by a lens | |
| JP2013165484A (en) | Image processing apparatus, image capturing apparatus, and program | |
| EP3644600B1 (en) | Imaging device, information processing method, system, and carrier means | |
| JP5013282B2 (en) | Imaging apparatus and program | |
| JP2014160998A (en) | Image processing system, image processing method, image processing program and recording medium | |
| US20060228047A1 (en) | Image processing apparatus and method, recording medium and program | |
| US11523052B2 (en) | Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium | |
| US9456180B2 (en) | Image processing apparatus, communication system, and computer program | |
| JP2014082768A (en) | Imaging apparatus and control method thereof | |
| JP2007243335A (en) | Camera shake correction method, camera shake correction apparatus, and imaging apparatus | |
| JP4608436B2 (en) | Image shooting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070508 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090918 |