[go: up one dir, main page]

JP2010072477A - Image display apparatus, image display method, and program - Google Patents

Image display apparatus, image display method, and program Download PDF

Info

Publication number
JP2010072477A
JP2010072477A JP2008241524A JP2008241524A JP2010072477A JP 2010072477 A JP2010072477 A JP 2010072477A JP 2008241524 A JP2008241524 A JP 2008241524A JP 2008241524 A JP2008241524 A JP 2008241524A JP 2010072477 A JP2010072477 A JP 2010072477A
Authority
JP
Japan
Prior art keywords
image
display
display device
image display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008241524A
Other languages
Japanese (ja)
Inventor
Takeshi Haraguchi
健 原口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Tec Corp
Original Assignee
Toshiba Tec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Tec Corp filed Critical Toshiba Tec Corp
Priority to JP2008241524A priority Critical patent/JP2010072477A/en
Publication of JP2010072477A publication Critical patent/JP2010072477A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】簡易な構成で立体感を知覚させることが可能な画像表示装置、画像表示方法及びプログラムを提供する。
【解決手段】表示の対象となる対象物について、互いに異なる撮影角度から撮影された複数の画像のうち、一の撮影角度から撮影された画像を表示手段に表示する表示制御手段と、画像表示装置の傾きを検出する検出手段と、前記検出手段により検出された傾きから、前記画像表示装置を操作するユーザの視点方向を決定し、前記複数の画像から当該視点方向に対応する撮影角度から撮影された画像を特定する特定手段と、前記検出手段により検出された傾きに応じて、前記特定手段で特定された画像のサイズを調整する調整手段と、を備え、前記表示制御手段は、前記調整手段により処理が施された画像を前記表示手段に表示する。
【選択図】 図11
An image display device, an image display method, and a program capable of perceiving a stereoscopic effect with a simple configuration are provided.
A display control means for displaying on a display means an image photographed from one photographing angle among a plurality of images photographed from mutually different photographing angles with respect to an object to be displayed, and an image display device A detection unit that detects an inclination of the image display device, and a viewpoint direction of a user who operates the image display device is determined from the inclination detected by the detection unit, and the plurality of images are captured from an imaging angle corresponding to the viewpoint direction. Specifying means for specifying the image, and adjusting means for adjusting the size of the image specified by the specifying means according to the inclination detected by the detecting means, wherein the display control means is the adjusting means The processed image is displayed on the display means.
[Selection] FIG.

Description

本発明は、画像表示装置、画像表示方法及びプログラムに関する。   The present invention relates to an image display device, an image display method, and a program.

コンピュータの普及に伴い、立体物を表した三次元モデルが利用される機会も増えて来ている。例えば、特許文献1には、立体映像に基づく奥行き分布に応じた様々な仮想環境に三次元モデルを配置する際に、配置する仮想環境に応じ自動的に三次元モデルを変更して仮想空間に配置する技術が開示されている。   With the spread of computers, there are increasing opportunities to use three-dimensional models that represent three-dimensional objects. For example, in Patent Document 1, when a three-dimensional model is arranged in various virtual environments according to a depth distribution based on a stereoscopic image, the three-dimensional model is automatically changed according to the arranged virtual environment to create a virtual space. Disposition techniques are disclosed.

また、上述したような三次元モデルの効果的な表示方法として、三次元モデルを立体画像として観察者に知覚させるための技術が種々提案されている。例えば、偏光眼鏡を用いたものや、レンチキュラーレンズやパララクスバリア等の光線制御素子を用いた方法が存在している。また、光線制御素子を用いる方式にも、2眼式や多眼式、インテグラルフォトグラフィー方式等、様々な表示方法が存在している。   Various techniques for making an observer perceive a three-dimensional model as a three-dimensional image have been proposed as an effective method for displaying a three-dimensional model as described above. For example, there are methods using polarized glasses, and methods using light control elements such as lenticular lenses and parallax barriers. In addition, various display methods such as a binocular system, a multi-lens system, and an integral photography system exist in the system using the light control element.

特開2003−323636号公報JP 2003-323636 A

しかしながら、従来の表示方法では、偏光眼鏡等の専用のメガネを用いたり、光線制御素子等の特殊な装置や複雑な画像処理を必要としたりするため、装置の増大化やコストが嵩むという問題がある。そのため、簡易な構成で立体感を知覚することが可能な表示技術が求められている。   However, in the conventional display method, dedicated glasses such as polarized glasses are used, or a special device such as a light beam control element or complicated image processing is required. Therefore, there is a problem that the number of devices is increased and the cost is increased. is there. Therefore, there is a demand for a display technique that can perceive a three-dimensional effect with a simple configuration.

本発明は上記に鑑みてなされたものであって、簡易な構成で立体感を知覚させることが可能な画像表示装置、画像表示方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an image display device, an image display method, and a program capable of perceiving a stereoscopic effect with a simple configuration.

上述した課題を解決し、目的を達成するために、本発明は、表示手段を備えた画像表示装置であって、表示の対象となる対象物について、互いに異なる複数の撮影角度から撮影された複数の画像のうち、一の撮影角度から撮影された画像を前記表示手段に表示する表示制御手段と、前記画像表示装置の傾きを検出する検出手段と、前記検出手段により検出された傾きから、前記画像表示装置を操作するユーザの視点方向を決定し、前記複数の画像から当該視点方向に対応する撮影角度から撮影された画像を特定する特定手段と、前記検出手段により検出された傾きに応じて、前記特定手段で特定された画像のサイズを調整する調整手段と、を備え、前記表示制御手段は、前記調整手段により処理が施された画像を前記表示手段に表示することを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention is an image display device provided with a display unit, and a plurality of objects captured from a plurality of photographing angles different from each other are displayed. Among the images, a display control means for displaying an image photographed from one photographing angle on the display means, a detection means for detecting the inclination of the image display device, and the inclination detected by the detection means, A specifying unit that determines a viewpoint direction of a user who operates the image display device, specifies an image shot from a shooting angle corresponding to the viewpoint direction from the plurality of images, and a tilt detected by the detection unit Adjusting means for adjusting the size of the image specified by the specifying means, wherein the display control means displays the image processed by the adjusting means on the display means. And features.

また、本発明は、表示手段を備えた画像表示装置で実行される画像表示方法であって、表示制御手段が、表示の対象となる対象物について、互いに異なる複数の撮影角度から撮影された複数の画像のうち、一の撮影角度から撮影された画像を前記表示手段に表示する表示制御工程と、検出手段が、前記画像表示装置の傾きを検出する検出工程と、特定手段が、前記検出工程で検出された傾きから、前記画像表示装置を操作するユーザの視点方向を決定し、前記複数の画像から当該視点方向に対応する撮影角度から撮影された画像を特定する特定工程と、調整手段が、前記検出工程で検出された傾きに応じて、前記特定工程で特定された画像のサイズを調整する調整工程と、を含み、前記表示制御工程では、前記調整工程で処理が施された画像を前記表示手段に表示することを特徴とする。   Further, the present invention is an image display method executed by an image display device including a display unit, wherein the display control unit is configured to capture a plurality of images of a target object to be displayed from a plurality of different shooting angles. A display control step for displaying an image taken from one shooting angle on the display means, a detection step for detecting the inclination of the image display device, and a specifying means for the detection step. A specifying step of determining a viewpoint direction of a user who operates the image display device from the inclination detected in step, and specifying an image shot from a shooting angle corresponding to the viewpoint direction from the plurality of images, and an adjusting unit, An adjustment step of adjusting the size of the image specified in the specific step according to the inclination detected in the detection step, and the display control step includes an image processed in the adjustment step And displaying on the display means.

また、本発明は、表示手段を備えた画像表示装置のコンピュータを、表示の対象となる対象物について、互いに異なる複数の撮影角度から撮影された複数の画像のうち、一の撮影角度から撮影された画像を前記表示手段に表示する表示制御手段と、前記画像表示装置の傾きを検出する検出手段と、前記検出手段により検出された傾きから、前記画像表示装置を操作するユーザの視点方向を決定し、前記複数の画像から当該視点方向に対応する撮影角度から撮影された画像を特定する特定手段と、前記検出手段により検出された傾きに応じて、前記特定手段で特定された画像のサイズを調整する調整手段と、して機能させ、前記表示制御手段は、前記調整手段により処理が施された画像を前記表示手段に表示することを特徴とする。   According to the present invention, a computer of an image display device provided with a display unit is photographed from one photographing angle among a plurality of images photographed from a plurality of different photographing angles with respect to an object to be displayed. From the display control means for displaying the displayed image on the display means, the detection means for detecting the inclination of the image display apparatus, and the inclination detected by the detection means, the viewpoint direction of the user operating the image display apparatus is determined. And specifying means for specifying an image photographed from a plurality of images taken at a photographing angle corresponding to the viewpoint direction, and determining the size of the image specified by the specifying means according to the inclination detected by the detecting means. The display control means functions as an adjusting means for adjusting, and the display control means displays an image processed by the adjusting means on the display means.

本発明によれば、画像表示装置の傾きに基づいてユーザの視点方向を決定し、この視点方向に応じた撮影角度の画像を表示手段に表示することで、運動視差の作用により立体画像として知覚させることが可能であるため、簡易な構成でユーザに立体感を知覚させることができる。また、画像表示装置の傾きに応じて、画像のサイズを調整することで、表示手段に画像を表示させた際の対象物の見え方を、撮影時と略同等の状態とすることができるため、対象物の実物感をより向上させることができる。   According to the present invention, the user's viewpoint direction is determined based on the tilt of the image display device, and an image at a shooting angle corresponding to the viewpoint direction is displayed on the display unit, so that it is perceived as a stereoscopic image by the action of motion parallax. Therefore, the user can perceive a stereoscopic effect with a simple configuration. Further, by adjusting the size of the image according to the inclination of the image display device, the appearance of the object when the image is displayed on the display means can be set to a state substantially equivalent to that at the time of shooting. The actual feeling of the object can be further improved.

以下に添付図面を参照して、本発明にかかる画像表示装置、画像表示方法及びプログラムの最良な実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。   Exemplary embodiments of an image display device, an image display method, and a program according to the present invention will be described below in detail with reference to the accompanying drawings. In addition, this invention shall not be limited to the following embodiment.

図1は、本実施形態に係る画像表示装置100の外観構成の一例を模式的に示した図である。画像表示装置100は、携帯電話や携帯型ゲーム機、デジタルカメラ、商品等に関する情報の提示を行う商品提示装置等であって、携帯可能な小型の装置として構成される。   FIG. 1 is a diagram schematically illustrating an example of an external configuration of an image display apparatus 100 according to the present embodiment. The image display device 100 is a mobile phone, a portable game machine, a digital camera, a product presentation device that presents information related to products, and the like, and is configured as a small portable device.

画像表示装置100は、図1に示したように、液晶パネル等の表示デバイスからなる表示部16と、ボタン等の入力デバイスからなる操作部17とを有し、操作部17を介したユーザからの操作に応じて、表示部16に画像データ等を表示する。また、図1において、画像表示装置100は、後述する傾きセンサ14(図示せず)を内蔵し、図中X軸、Y軸及びZ軸で示した3軸周りの傾きを検出することが可能となっている。   As shown in FIG. 1, the image display apparatus 100 includes a display unit 16 including a display device such as a liquid crystal panel and an operation unit 17 including an input device such as a button. In response to the operation, image data or the like is displayed on the display unit 16. In FIG. 1, the image display apparatus 100 includes a tilt sensor 14 (not shown) described later, and can detect tilts around three axes indicated by the X axis, the Y axis, and the Z axis in the figure. It has become.

図2は、図1に示した画像表示装置100のハードウェア構成の一例を示したブロック図である。同図に示したように、画像表示装置100は、プロセッサ11と、ROM12と、RAM13と、傾きセンサ14と、記憶部15と、表示部16と、操作部17とを備え、各部はバス18により接続されている。   FIG. 2 is a block diagram illustrating an example of a hardware configuration of the image display apparatus 100 illustrated in FIG. As shown in the figure, the image display apparatus 100 includes a processor 11, a ROM 12, a RAM 13, a tilt sensor 14, a storage unit 15, a display unit 16, and an operation unit 17. Connected by.

プロセッサ11は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の演算装置から構成され、ROM12や記憶部15に記憶された所定のプログラムを実行することにより、画像表示装置100の各部を統括的に制御する。   The processor 11 is composed of an arithmetic device such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), and executes each predetermined program stored in the ROM 12 or the storage unit 15, thereby allowing each unit of the image display device 100 to be executed. Control all over.

また、プロセッサ11は、ROM12や記憶部15に予め記憶された所定のプログラムとの協働により、後述する選択受付部111、表示制御部112、視点画像特定部113及び画像調整部114の各機能部を実現する。   Further, the processor 11 cooperates with a predetermined program stored in the ROM 12 or the storage unit 15 in advance, and functions of a selection receiving unit 111, a display control unit 112, a viewpoint image specifying unit 113, and an image adjusting unit 114, which will be described later. Realize the part.

ROM12は、画像表示装置100のBIOS等を記憶した読み出し専用の記憶デバイスである。RAM13は、バッファとして機能し、各種のデータを書き換え可能に一時記憶する揮発性の記憶デバイスである。   The ROM 12 is a read-only storage device that stores the BIOS and the like of the image display apparatus 100. The RAM 13 functions as a buffer and is a volatile storage device that temporarily stores various data in a rewritable manner.

傾きセンサ14は、加速度センサ等から構成され、画像表示装置100の傾きを検出し、この検出結果として画像表示装置100の各軸方向の傾きを表す傾斜角度をプロセッサ11に出力する。ここで、「画像表示装置100の傾き」とは、表示部16の中心を通る3軸(X軸、Y軸、Z軸)を基準とし、これら3軸のうち何れかの軸周りに表示部16が回転した際の角度を意味する。なお、本実施形態では、3軸全てについての傾きを検出可能とするが、この3軸のうち何れか2軸についてのみ傾きを検出することが可能な構成としてもよいし、何れか1軸についてのみ傾きを検出することが可能な構成としてもよい。   The tilt sensor 14 is configured by an acceleration sensor or the like, detects the tilt of the image display device 100, and outputs a tilt angle representing the tilt of each axis direction of the image display device 100 to the processor 11 as a detection result. Here, the “tilt of the image display device 100” is based on three axes (X axis, Y axis, Z axis) passing through the center of the display unit 16, and the display unit around any one of these three axes. It means the angle when 16 is rotated. In the present embodiment, the inclination for all three axes can be detected. However, the inclination may be detected only for any two of these three axes, or for any one of the axes. Only a tilt may be detected.

記憶部15は、HDDや半導体記憶装置等の不揮発性の記憶デバイスから構成され、後述する画像表示処理を実現するためのプログラムや各種の設定情報を記憶する、また、記憶部15は、表示の対象となる対象物についての多視点画像を記憶する。ここで、「多視点画像」とは、表示の対象となる対象物を互いに異なる複数の視点位置から撮影することで得られた、各視点位置についての画像(視点画像)群を意味する。以下、図3、図4を参照して、多視点画像の取得方法について説明する。   The storage unit 15 is configured by a nonvolatile storage device such as an HDD or a semiconductor storage device, and stores a program and various setting information for realizing an image display process to be described later. A multi-viewpoint image for the target object is stored. Here, the “multi-viewpoint image” means a group of images (viewpoint images) for each viewpoint position obtained by photographing an object to be displayed from a plurality of different viewpoint positions. Hereinafter, a method for acquiring a multi-viewpoint image will be described with reference to FIGS.

図3は、表示の対象となる対象物Oを、図中X−Z平面方向から撮影する際の撮影方法を示した図である。なお、対象物Oの種別、形状等は特に問わないものとするが、例えば、特定の商品を対象物Oとすることとしてもよい。   FIG. 3 is a diagram showing a photographing method when photographing the object O to be displayed from the XZ plane direction in the drawing. Note that the type, shape, and the like of the object O are not particularly limited. For example, a specific product may be the object O.

まず、対象物Oを中心とした円周(以下、撮影軌跡Tという)を規定し、この撮影軌跡Tのうち基準となる基準位置からカメラCにより対象物Oを撮影する。ここで、撮影軌跡T上の各位置から撮影することで得られる画像を視点画像という。なお、基準位置は特に問わないものとするが、対象物Oの正面方向であることが好ましい。   First, a circumference around the object O (hereinafter referred to as an imaging trajectory T) is defined, and the object O is imaged by the camera C from a reference position serving as a reference in the imaging trajectory T. Here, an image obtained by shooting from each position on the shooting trajectory T is referred to as a viewpoint image. The reference position is not particularly limited, but is preferably the front direction of the object O.

基準位置からの撮影後、この基準位置から所定間隔離れた撮影軌跡T上の位置にカメラCを移動し、この位置から対象物Oを撮影する。このとき、カメラCの移動先となる撮影軌跡T上の位置は、後述するように画像表示装置100におけるユーザの視点に対応するため、互いに異なる複数の位置から対象物Oを撮影することが好ましい。例えば、図3に示したように、基準位置(0度の位置)から撮影した後、この基準位置から撮影軌跡Tの弧の角度が30度、60度、−30度、−60度の各位置に順次移動し、これら各位置で撮影を行うと、計5視点分の視点画像が得られることになる。以下、被写体となる対象物を中心とした、基準位置と撮影位置とのなす角、即ち、撮影軌跡T上での基準位置と撮影位置との間の弧の角度を撮影角度という。   After shooting from the reference position, the camera C is moved to a position on the shooting trajectory T that is a predetermined distance away from the reference position, and the object O is shot from this position. At this time, since the position on the shooting trajectory T to which the camera C is moved corresponds to the viewpoint of the user in the image display device 100 as described later, it is preferable to photograph the object O from a plurality of different positions. . For example, as shown in FIG. 3, after shooting from the reference position (0 degree position), the arc of the shooting trajectory T from the reference position is 30 degrees, 60 degrees, −30 degrees, and −60 degrees. When the images are sequentially moved to the positions and photographing is performed at each of these positions, viewpoint images for a total of five viewpoints are obtained. Hereinafter, the angle formed between the reference position and the shooting position around the target object, that is, the arc angle between the reference position and the shooting position on the shooting trajectory T is referred to as a shooting angle.

そして、上記の手順で撮影した各視点画像を、撮影時における基準位置からの撮影角度と関連付け、対象物Oについての多視点画像として記憶部15に記憶する。   Then, each viewpoint image photographed in the above procedure is associated with the photographing angle from the reference position at the time of photographing, and is stored in the storage unit 15 as a multi-viewpoint image about the object O.

図4は、図3に示した撮影条件で生成した対象物Oについての多視点画像の一例を示した図である。図4に示したように、各撮影位置から撮影された対象物Oの視点画像が、基準位置からの撮影角度と関連付けて記憶されている。ここで、撮影角度の間隔や、視点位置の個数は特に問わないものとするが、撮影角度の順に視点画像を連続的に表示した際に、運動視差が生じる程度の間隔や個数とすることが好ましい。   FIG. 4 is a diagram showing an example of a multi-viewpoint image for the object O generated under the photographing conditions shown in FIG. As shown in FIG. 4, the viewpoint image of the object O photographed from each photographing position is stored in association with the photographing angle from the reference position. Here, the interval between the shooting angles and the number of viewpoint positions are not particularly limited, but may be set to an interval or the number enough to cause motion parallax when the viewpoint images are continuously displayed in the order of the shooting angles. preferable.

なお、図3、図4では、X−Z平面での撮影方法について説明したが、他の平面方向(X−Y平面、Y−Z平面)についても同様に撮影が行われるものとする。すなわち、3軸方向で対象物Oを撮影する際には、対象物Oを中心とする球上の撮影軌跡Tに沿って撮影が行われるものとする。この場合、各撮影位置での視点画像と、3軸方向についての基準位置から撮影位置までの撮影角度を関連付けて記憶する。   3 and 4, the imaging method on the XZ plane has been described, but it is assumed that imaging is also performed in the other plane directions (XY plane, YZ plane). That is, when photographing the object O in the three-axis directions, photographing is performed along the photographing trajectory T on a sphere centered on the object O. In this case, the viewpoint image at each photographing position and the photographing angle from the reference position to the photographing position in the three axis directions are stored in association with each other.

また、対象物OとカメラCとの間の距離は、特に問わないものとするが、一定の値に保たれることが好ましい。対象物OとカメラCとの間の距離を維持したまま撮影する方法としては、例えば、以下のような撮影方法が挙げられる。   Further, the distance between the object O and the camera C is not particularly limited, but is preferably maintained at a constant value. Examples of a method of shooting while maintaining the distance between the object O and the camera C include the following shooting methods.

まず、撮影軌跡Tをレール等の軌道で構成し、この軌道上にカメラCを移動可能に設置する。そして、カメラCを一定の速度で移動させながら対象物Oを連続的に撮影することで、対象物OとカメラCとの間の距離を維持しつつ、各撮影位置での視点画像と撮影角度とを取得することができる。このとき、カメラCの移動速度は、カメラCが取り込む光量やブレの影響を考慮した速度であることが好ましい。   First, the imaging trajectory T is constituted by a track such as a rail, and the camera C is movably installed on the track. Then, by continuously shooting the object O while moving the camera C at a constant speed, the viewpoint image and the shooting angle at each shooting position are maintained while maintaining the distance between the object O and the camera C. And can get. At this time, the moving speed of the camera C is preferably a speed in consideration of the amount of light captured by the camera C and the influence of blurring.

また、傾きセンサ14と同様のセンサをカメラCに組み込むことで、軌道を設けずに視点画像と撮影角度とを取得することが可能である。この場合、対象物OとカメラCとの間の距離を維持するため、対象物Oとの距離を測定する測距センサ等をカメラCに設けるとともに、撮影方向を維持するため、レーザポインタ等を対象物Oに向けながら撮影することが好ましい。なお、撮影時に撮影軌跡Tからずれが発生すると、対象物Oの見え方やサイズは撮影軌跡Tで撮影されたものと異なるものになるが、対象物Oのシルエット等の特徴点に基づいて、規定の見え方やサイズに補正することが可能である。   Further, by incorporating a sensor similar to the tilt sensor 14 into the camera C, it is possible to acquire the viewpoint image and the shooting angle without providing a trajectory. In this case, in order to maintain the distance between the object O and the camera C, a distance measuring sensor or the like for measuring the distance to the object O is provided in the camera C, and a laser pointer or the like is used to maintain the shooting direction. It is preferable to take a picture while facing the object O. Note that if a deviation occurs from the shooting trajectory T during shooting, the appearance and size of the object O will differ from those shot with the shooting trajectory T, but based on feature points such as the silhouette of the object O, It is possible to correct to the specified appearance and size.

なお、上記した多視点画像の取得方法では、実写による静止画像の取得を前提としたが、これに限らず、動画像の形態で取得することとしてもよい。この場合、動画像を構成する各フレームと、そのフレームが撮影された撮影位置(撮影角度)とを関連付けて記憶を行うものとする。   In the above-described multi-viewpoint image acquisition method, it is assumed that a still image is acquired by actual shooting. However, the present invention is not limited to this, and may be acquired in the form of a moving image. In this case, each frame constituting the moving image and the shooting position (shooting angle) where the frame was shot are stored in association with each other.

また、CG技術を用いて多視点画像を取得する場合であっても、上記した多視点画像の取得方法と原理は同様である。具体的には、対象物Oとなる三次元モデルのレンダリング視点を、当該三次元モデルを中心とする円(又は球)上で移動させながら、三次元モデルのレンダリングを各視点位置で行うことで、撮影角度と視差画像との組を取得することができる。なお、CG技術を用いる場合、多視点画像は予め取得されている形態としてもよいし、傾斜角度が検出される毎にリアルタイムに取得する形態としてもよい。   In addition, even when a multi-viewpoint image is acquired using the CG technique, the above-described multi-viewpoint image acquisition method and principle are the same. Specifically, by rendering the 3D model rendering viewpoint at each viewpoint position while moving the rendering viewpoint of the 3D model to be the object O on a circle (or sphere) centered on the 3D model. A set of the shooting angle and the parallax image can be acquired. In the case of using the CG technique, the multi-viewpoint image may be acquired in advance or may be acquired in real time every time the tilt angle is detected.

図2に戻り、表示部16は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等の表示デバイスから構成され、プロセッサ11からの表示信号に基づいて、上記した多視差画像等の各種情報を表示する。   Returning to FIG. 2, the display unit 16 includes a display device such as an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube), and various information such as the above-described multi-parallax image based on a display signal from the processor 11. Is displayed.

操作部17は、キーボード等の操作ボタンやポインティングデバイスを備えた入力デバイスであって、ユーザの操作内容を入力信号として受け付け、プロセッサ11に出力する。なお、操作部17は、表示部16と一体的にタッチパネルを構成する態様としてもよい。   The operation unit 17 is an input device including an operation button such as a keyboard and a pointing device. The operation unit 17 receives user operation content as an input signal and outputs the input signal to the processor 11. The operation unit 17 may be configured to form a touch panel integrally with the display unit 16.

図5は、多視点画像の表示に係る機能的構成を示したブロック図である。図5に示したように、プロセッサ11は、記憶部15に記憶された所定のプログラムとの協働により、選択受付部111、表示制御部112、視点画像特定部113及び画像調整部114を機能部として実現する。   FIG. 5 is a block diagram illustrating a functional configuration relating to display of a multi-viewpoint image. As shown in FIG. 5, the processor 11 functions the selection receiving unit 111, the display control unit 112, the viewpoint image specifying unit 113, and the image adjusting unit 114 in cooperation with a predetermined program stored in the storage unit 15. Realize as a part.

選択受付部111は、操作部17を介して入力されるユーザからの指示入力を受け付ける機能部である。具体的に、選択受付部111は、記憶部15に記憶された各対象物についての多視点画像のうち、操作部17を介して特定の対象物についての多視点画像が選択されると、この選択された多視点画像を表示対象に設定する。   The selection receiving unit 111 is a functional unit that receives an instruction input from a user input via the operation unit 17. Specifically, when a multi-viewpoint image for a specific object is selected via the operation unit 17 among the multi-viewpoint images for each object stored in the storage unit 15, the selection receiving unit 111 selects this The selected multi-viewpoint image is set as a display target.

表示制御部112は、表示部16への表示を制御する機能部であって、選択受付部111で表示対象とされた多視点画像に含まれる視点画像を表示部16に表示する。また、表示制御部112は、画像調整部114によりサイズが調整された視点画像を表示部16に表示する。   The display control unit 112 is a functional unit that controls display on the display unit 16, and displays the viewpoint image included in the multi-viewpoint image that is the display target by the selection receiving unit 111 on the display unit 16. Further, the display control unit 112 displays the viewpoint image whose size has been adjusted by the image adjustment unit 114 on the display unit 16.

視点画像特定部113は、傾きセンサ14から入力される検出角度に基づいて、画像表示装置100を観察するユーザの視線方向を決定し、この視線方向に対応する視点画像を表示対象とされた多視点画像の中から特定する。以下、図6、図7を参照して、視点画像特定部113の動作について説明する。   The viewpoint image specifying unit 113 determines the line-of-sight direction of the user observing the image display device 100 based on the detection angle input from the tilt sensor 14, and the viewpoint image corresponding to the line-of-sight direction is displayed as a display target. Specify from viewpoint images. Hereinafter, the operation of the viewpoint image specifying unit 113 will be described with reference to FIGS. 6 and 7.

図6は、視点画像特定部113の動作を説明するための図である。なお、図6において、画像表示装置100はユーザの視点位置Vに対して正面に配置されているものとし、表示対象の多視点画像に含まれる基準位置(撮影角度0)での視点画像が表示されているものとする。ここで、表示対象の多視点画像が、図3で説明した対象物Oについての多視点画像であるものとする。   FIG. 6 is a diagram for explaining the operation of the viewpoint image specifying unit 113. In FIG. 6, it is assumed that the image display apparatus 100 is disposed in front of the user's viewpoint position V, and the viewpoint image at the reference position (shooting angle 0) included in the multi-viewpoint image to be displayed is displayed. It is assumed that Here, it is assumed that the multi-view image to be displayed is the multi-view image for the object O described with reference to FIG.

基準位置での視点画像が表示された後、図6の破線で示したように、ユーザにより画像表示装置100がX−Z平面、即ち、Y軸周りに所定の角度θだけ右回転されると、傾きセンサ14は、このY軸周りの傾斜角度θを検出することになる。なお、ここでは、傾きセンサ14の特性として、Y軸周りの右回転への傾斜が正の角度で検出されるものとし、左回転への傾斜が負の角度で検出されるものとしている。   After the viewpoint image at the reference position is displayed, as shown by the broken line in FIG. 6, when the image display apparatus 100 is rotated right by a predetermined angle θ around the XZ plane, that is, the Y axis, as shown by the broken line in FIG. The tilt sensor 14 detects the tilt angle θ around the Y axis. Here, as a characteristic of the inclination sensor 14, the inclination to the right rotation around the Y axis is detected at a positive angle, and the inclination to the left rotation is detected at a negative angle.

視点画像特定部113は、傾きセンサ14から傾斜角度θを受け付けると、この傾斜角度θをユーザの画像表示装置100に対する視線方向として決定する。ここで、視線方向とは、画像表示装置100の正面位置に対する、ユーザの視点位置の相対的なずれの角度を意味する。例えば、図6の破線で示した画像表示装置100の傾きは、図7に示したように、画像表示装置100の正面に位置するユーザの視点位置Vが、画像表示装置100を中心に角度θだけずれた視点位置V’に移動したことに相当する。そのため、視点画像特定部113は、この傾斜角度θを画像表示装置100に対するユーザの視線方向として決定する。なお、傾きセンサ14の傾斜の検出特性が本構成と逆となる場合には、視点画像特定部113が検出した傾斜角度θを負号とした、−θをユーザの視線方向として決定するものとする。   When the viewpoint image specifying unit 113 receives the tilt angle θ from the tilt sensor 14, the viewpoint image specifying unit 113 determines the tilt angle θ as the line-of-sight direction of the user with respect to the image display device 100. Here, the line-of-sight direction means an angle of relative shift of the user's viewpoint position with respect to the front position of the image display apparatus 100. For example, the inclination of the image display device 100 indicated by a broken line in FIG. 6 is such that the viewpoint position V of the user located in front of the image display device 100 is at an angle θ about the image display device 100 as shown in FIG. This corresponds to the movement to the viewpoint position V ′ shifted by a distance. Therefore, the viewpoint image specifying unit 113 determines the inclination angle θ as the user's line-of-sight direction with respect to the image display device 100. When the tilt detection characteristic of the tilt sensor 14 is opposite to that of the present configuration, the tilt angle θ detected by the viewpoint image specifying unit 113 is set as a negative sign, and −θ is determined as the user's line-of-sight direction. To do.

また、視点画像特定部113は、視線方向を決定すると、表示対象となる対象物Oについての多視点画像から、当該視線方向に対応する視点画像を特定する。ここで、視線方向は、図3におけるカメラCの撮影方向に相当する。そのため、視点画像特定部113は、視線方向θと同一の撮影角度に関連付けて記憶された視点画像を特定する。例えば、視線方向θ=30度であったとすると、図4に示した対象物Oについての多視点画像から、撮影角度30度に関連付けて記憶された視点画像を特定する。   Further, when the visual line direction is determined, the viewpoint image specifying unit 113 specifies a viewpoint image corresponding to the visual line direction from the multi-viewpoint image for the object O to be displayed. Here, the line-of-sight direction corresponds to the shooting direction of the camera C in FIG. Therefore, the viewpoint image specifying unit 113 specifies a viewpoint image stored in association with the same shooting angle as the line-of-sight direction θ. For example, assuming that the line-of-sight direction θ = 30 degrees, the viewpoint image stored in association with the shooting angle 30 degrees is specified from the multi-viewpoint image for the object O shown in FIG.

なお、視線方向θと一致する撮影角度が存在しない場合には、視点画像特定部113は、この視線方向θに最も近い撮影角度を一つ選択し、当該撮影角度に関連付けられた画像データを特定するものとする。   When there is no shooting angle that matches the line-of-sight direction θ, the viewpoint image specifying unit 113 selects one of the shooting angles closest to the line-of-sight direction θ and specifies the image data associated with the shooting angle. It shall be.

図5に戻り、画像調整部114は、視点画像特定部113で特定された視点画像を記憶部15から読み出し、この視点画像を表示部16に表示させた際の当該視点画像に含まれる対象物の見え方を、本来の対象物の状態に近付けるための画像処理を施す。以下、図8〜図10を参照して、画像調整部114の動作について説明する。   Returning to FIG. 5, the image adjustment unit 114 reads the viewpoint image specified by the viewpoint image specifying unit 113 from the storage unit 15, and the objects included in the viewpoint image when the viewpoint image is displayed on the display unit 16. Image processing is performed to bring the appearance of the image closer to the state of the original object. Hereinafter, the operation of the image adjustment unit 114 will be described with reference to FIGS.

図8は、表示部16に表示された視点画像の一例を示した図であり、画像表示装置100の正面位置から見た球状の対象物O’の状態(基準位置)を表している。ここで、例えば、画像表示装置100が、Y軸周りに所定の角度θだけ右回転されると、上述した視点画像特定部113の制御により、この傾斜角度に対応する視点画像が特定されることになる。   FIG. 8 is a diagram showing an example of the viewpoint image displayed on the display unit 16, and shows the state (reference position) of the spherical object O ′ viewed from the front position of the image display device 100. Here, for example, when the image display device 100 is rotated to the right by a predetermined angle θ around the Y axis, the viewpoint image corresponding to this inclination angle is specified by the control of the viewpoint image specifying unit 113 described above. become.

このとき、視点画像特定部113により特定された視点画像データを表示部16に直接表示すると、表示部16の表示面がユーザに対して斜めに対向配置されているため、本来球状の対象物O’が、図9に示したように歪んだ像としてユーザの網膜上に映ることになる。   At this time, when the viewpoint image data specified by the viewpoint image specifying unit 113 is directly displayed on the display unit 16, the display surface of the display unit 16 is diagonally opposed to the user. 'Appears on the retina of the user as a distorted image as shown in FIG.

ここで、図9は、視点画像の見え方を説明するための図である。図9に示したように、表示部16がユーザに対して斜めに対向配置された場合、ユーザの網膜上には本来球状の対象物O’が、横方向(X軸方向)に縮退し、且つ、縦方向(Y軸方向)に間延びした状態で映ることになる。   Here, FIG. 9 is a diagram for explaining how the viewpoint image looks. As shown in FIG. 9, when the display unit 16 is disposed obliquely opposite the user, the originally spherical object O ′ is degenerated in the lateral direction (X-axis direction) on the user's retina, In addition, the image is projected in a state extending in the vertical direction (Y-axis direction).

そこで、画像調整部114では、傾きセンサ14で検出された傾斜角度により定まる表示部16の表示面の視点方向への写像が、当該表示面の正面方向(Z軸方向)への写像と同サイズ又は同形状となるよう、視点画像特定部113で特定された視点画像のサイズを調整することで、ユーザの網膜上に映る対象物O’の像が撮影時の状態と同様となるよう見え方を調整する。   Therefore, in the image adjustment unit 114, the mapping of the display surface of the display unit 16 determined by the tilt angle detected by the tilt sensor 14 in the viewpoint direction is the same size as the mapping of the display surface in the front direction (Z-axis direction). Alternatively, by adjusting the size of the viewpoint image specified by the viewpoint image specifying unit 113 so as to have the same shape, the appearance of the image of the object O ′ displayed on the user's retina is similar to the state at the time of shooting. Adjust.

具体的に、画像調整部114は、傾きセンサ14により検出されたY軸周りの傾斜角度がθのとき、視点画像の横方向(図中X軸方向)のサイズを、(cosθ)-1倍で表示するようサイズを変換する。また、視点画像の縦方向(図中Y軸方向)に対しては、その変化率は小さいため無視することも考えられるが、以下のサイズ変換を行うことで、対象物O’の見え方を撮影時の形状により近付けることができる。 Specifically, when the inclination angle around the Y axis detected by the inclination sensor 14 is θ, the image adjustment unit 114 sets the size of the viewpoint image in the horizontal direction (X axis direction in the drawing) to (cos θ) −1 times. Convert the size to display in. Further, since the rate of change is small with respect to the vertical direction of the viewpoint image (Y-axis direction in the figure), it can be ignored, but by performing the following size conversion, the appearance of the object O ′ can be changed. It can be closer to the shape at the time of shooting.

表示部16の縦のサイズが2y、横のサイズが2x、想定されるユーザの視点位置と表示部16との間の視距離がLのとき、表示部16の左右端のうち手前側に位置する端部(図9中、右端部)に表示された視点画像データの縦サイズに対しては、下記式(1)で表される倍率で表示するようサイズを変換する。
tan-1(y/L)/tan-1{y/(L-xsinθ)} (1)
When the vertical size of the display unit 16 is 2y, the horizontal size is 2x, and the visual distance between the assumed viewpoint position of the user and the display unit 16 is L, the display unit 16 is positioned on the front side of the left and right ends. With respect to the vertical size of the viewpoint image data displayed at the end portion (right end portion in FIG. 9), the size is converted so as to be displayed at the magnification represented by the following formula (1).
tan -1 (y / L) / tan -1 {y / (L-xsinθ)} (1)

また、表示部16の左右端のうち奥行き側の端部(図9中、左端部)に表示された視点画像データの縦サイズに対しては、下記式(2)で表される倍率で表示するようサイズを変換する。
tan-1(y/L)/tan-1{y/(L+xsinθ)} (2)
In addition, the vertical size of the viewpoint image data displayed at the end on the depth side (the left end in FIG. 9) of the left and right ends of the display unit 16 is displayed at a magnification represented by the following formula (2). Convert the size to do.
tan -1 (y / L) / tan -1 {y / (L + xsinθ)} (2)

なお、表示部16の左右端間に表示された視点画像データの縦サイズについても、左右端からの距離に応じた比率でサイズを調整するものとする。   Note that the vertical size of the viewpoint image data displayed between the left and right ends of the display unit 16 is also adjusted at a ratio corresponding to the distance from the left and right ends.

図10は、図9に対応する図であって、画像調整部114によりサイズの調整が施された視点画像の、表示部16での表示状態を示した図である。図10に示したように、図9と同様、表示部16の表示面はユーザに対して斜めに対向配置されているが、表示部16に表示される視点画像の対象物O’の形状は、図8と同様、本来の姿である球状を保っている。   FIG. 10 is a diagram corresponding to FIG. 9, and shows a display state on the display unit 16 of the viewpoint image whose size has been adjusted by the image adjustment unit 114. As shown in FIG. 10, as in FIG. 9, the display surface of the display unit 16 is diagonally opposed to the user, but the shape of the object O ′ of the viewpoint image displayed on the display unit 16 is As in FIG. 8, the original spherical shape is maintained.

このように、画像調整部114では、傾きセンサ14で検出された傾斜角度に応じて、視点画像のサイズを調整することで、この視点画像を表示部16に表示させた際の対象物の見え方を、本来の対象物の状態に近付ける。これにより、ユーザは視点画像に含まれた対象物を、この対象物の撮影時と略同等の状態で観察することが可能となる。   As described above, the image adjustment unit 114 adjusts the size of the viewpoint image in accordance with the inclination angle detected by the inclination sensor 14, so that the appearance of the object when the viewpoint image is displayed on the display unit 16. Approach the state of the original object. Thereby, the user can observe the object included in the viewpoint image in a state substantially equivalent to that at the time of photographing the object.

なお、上記では、Y軸周りの回転についてサイズ調整の方法を説明したが、他の軸周りの回転についても同様にサイズ調整を行うものとする。   In the above description, the method for adjusting the size of the rotation around the Y axis has been described. However, the size adjustment is performed similarly for the rotations around the other axes.

図11は、多視点画像の表示に係る画像表示処理の手順を示したフローチャートである。まず、選択受付部111は、操作部17を介して特定の対象物についての多視点画像が選択されると、この多視点画像を表示対象に設定する(ステップS11)。   FIG. 11 is a flowchart illustrating a procedure of image display processing related to display of a multi-viewpoint image. First, when a multi-viewpoint image for a specific object is selected via the operation unit 17, the selection receiving unit 111 sets the multi-viewpoint image as a display target (step S11).

続いて、表示制御部112は、選択受付部111で表示対象に設定された多視点画像に含まれる視点画像のうち、基準位置(撮影角度0度)に関連付けられた視点画像を表示部16に表示する(ステップS12)。なお、本実施形態では、選択操作の受け付け後最初に表示される視差画像を基準位置のものとしているが、これに限らないものとする。   Subsequently, the display control unit 112 displays, on the display unit 16, the viewpoint image associated with the reference position (shooting angle 0 degree) among the viewpoint images included in the multi-viewpoint image set as the display target by the selection receiving unit 111. Display (step S12). In the present embodiment, the parallax image that is displayed first after receiving the selection operation is the reference position. However, the present invention is not limited to this.

次いで、視点画像特定部113は、傾きセンサ14から入力される画像表示装置100の傾斜角度に基づいて、ユーザの視線方向を決定し、この視線方向に対応する視点画像を表示対象に設定された多視点画像の中から特定する(ステップS13)。   Next, the viewpoint image specifying unit 113 determines the user's line-of-sight direction based on the tilt angle of the image display device 100 input from the tilt sensor 14, and the viewpoint image corresponding to this line-of-sight direction is set as a display target. The multi-viewpoint image is specified (step S13).

画像調整部114は、ステップS13で特定された視点画像を記憶部15から読み出すと、この視点画像に含まれる対象物の見え方を本来の形状に近付けるため、傾きセンサ14から入力された傾斜角度に応じて、視点画像の画像サイズを調整する(ステップS14)。そして、表示制御部112は、画像調整部114によるサイズ調整処理が施された視点画像を表示部16に表示する(ステップS15)。   When the image adjustment unit 114 reads the viewpoint image specified in step S13 from the storage unit 15, the inclination angle input from the inclination sensor 14 is used to bring the appearance of the object included in the viewpoint image closer to the original shape. Accordingly, the image size of the viewpoint image is adjusted (step S14). Then, the display control unit 112 displays the viewpoint image subjected to the size adjustment process by the image adjustment unit 114 on the display unit 16 (step S15).

次いで、選択受付部111は、操作部17を介して多視点画像の表示を終了する旨の指示が入力されたか否かを判定し、入力されていないと判定した場合には(ステップS16;No)、ステップS13の処理に再び戻る。また、表示の終了が指示されたと判定した場合には(ステップS16;Yes)、本処理を終了する。   Next, the selection receiving unit 111 determines whether or not an instruction to end the display of the multi-viewpoint image is input via the operation unit 17, and when it is determined that the instruction is not input (step S16; No) ), The process returns to step S13 again. Further, when it is determined that the end of display has been instructed (step S16; Yes), this process ends.

上記の画像表示処理時において、ユーザにより画像表示装置100が連続的に傾斜されると、上述したステップS13〜S16のループ処理により、各傾斜角度に応じた視差画像が連続的に表示されることになる。このとき、ユーザは運動視差(motion parallax)の作用により、表示部16に表示された対象物に奥行きを感じるため、この対象物を立体画像として立体的に知覚することができる。   When the image display device 100 is continuously tilted by the user during the above image display processing, parallax images corresponding to the respective tilt angles are continuously displayed by the loop processing of steps S13 to S16 described above. become. At this time, since the user feels the depth of the object displayed on the display unit 16 by the action of motion parallax, the user can perceive the object as a three-dimensional image.

また、対象物を立体的に表示できるということは、一面的に表示された画像に比べ、その対象物についてより多くの情報をユーザに提示することが可能である。例えば、飲食店においてメニューを紹介する際に画像表示装置100を用いることで、適切に情報を伝えられる以外に、より実物感を知覚できることから食欲を誘う効果も期待できる。   In addition, the fact that an object can be displayed three-dimensionally can present more information about the object to the user than an image that is displayed in one plane. For example, by using the image display device 100 when introducing a menu at a restaurant, in addition to being able to properly convey information, an effect of inviting appetite can be expected because a sense of realness can be perceived more.

また、デジタルカメラや携帯電話等の撮影機能を備えた装置に本実施形態の技術を適用することで、立体感のある立体画像(視差画像)を表示することができるとともに、この立体画像の元となる多視点画像を上述した取得方法等で撮影することも可能である。そのため、多視点画像の取得と表示とを手軽に行うことができるため、従来の写真や動画といった情報に付加価値を与えることができる。   Further, by applying the technology of the present embodiment to an apparatus having a photographing function such as a digital camera or a mobile phone, a stereoscopic image (parallax image) with a stereoscopic effect can be displayed, and the original of the stereoscopic image can be displayed. It is also possible to take a multi-viewpoint image that is obtained by the above-described acquisition method or the like. Therefore, since acquisition and display of multi-viewpoint images can be easily performed, added value can be given to information such as conventional photographs and moving images.

以上のように、本実施形態によれば、画像表示装置100の傾きに基づいてユーザの視点方向を決定し、この視点方向に応じた撮影角度の視点画像を表示部16に表示することで、運動視差の作用により立体画像として知覚させることが可能であるため、簡易な構成でユーザに立体感を知覚させることができる。また、特殊な装置を用いないため、既存の技術の流用が比較的容易であり、開発及び製造にかかるコストを抑えることができる。また、画像表示装置100のユーザに対しても専用メガネを着用する等の作業を省かせることができるため、ユーザの利便性を図ることができる。   As described above, according to the present embodiment, the viewpoint direction of the user is determined based on the inclination of the image display device 100, and the viewpoint image of the shooting angle corresponding to the viewpoint direction is displayed on the display unit 16. Since it can be perceived as a stereoscopic image by the action of motion parallax, the user can perceive a stereoscopic effect with a simple configuration. In addition, since no special apparatus is used, it is relatively easy to divert existing technology, and development and manufacturing costs can be reduced. In addition, since the user of the image display apparatus 100 can omit work such as wearing dedicated glasses, user convenience can be achieved.

また、画像表示装置100の傾きに応じて、表示の対象となる視点画像のサイズを調整することで、表示部16に視点画像を表示させた際の対象物の見え方を、撮影時と略同等の状態とすることができるため、対象物の実物感を向上させることができる。   Further, by adjusting the size of the viewpoint image to be displayed according to the tilt of the image display device 100, the appearance of the target object when the viewpoint image is displayed on the display unit 16 is abbreviated as when photographing. Since it can be set as the equivalent state, the real feeling of a target object can be improved.

以上、本発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加等が可能である。   The embodiment of the present invention has been described above, but the present invention is not limited to this, and various modifications, substitutions, additions, and the like are possible without departing from the spirit of the present invention.

なお、上記実施形態に係るプログラムは、ROM12や記憶部15に予め組み込まれて提供されるものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記録媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記録媒体も含まれる。   Note that the program according to the above embodiment is provided by being incorporated in the ROM 12 or the storage unit 15 in advance. However, the present invention is not limited to this, and a CD-ROM, flexible file in an installable format or an executable format file. You may comprise so that it may record and provide on computer-readable recording media, such as a disk (FD), CD-R, DVD (Digital Versatile Disk). Furthermore, the recording medium is not limited to a medium independent of a computer or an embedded system, but also includes a recording medium in which a program transmitted via a LAN or the Internet is downloaded and stored or temporarily stored.

また、上記実施形態に係るプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。   Further, the program according to the above embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network, and provided or distributed via the network such as the Internet. You may comprise as follows.

画像表示装置の外観構成の一例を示した図である。It is the figure which showed an example of the external appearance structure of an image display apparatus. 図1に示した画像表示装置のハードウェア構成の一例を示したブロック図である。FIG. 2 is a block diagram illustrating an example of a hardware configuration of the image display device illustrated in FIG. 1. 多視点画像の取得方法を説明するための図である。It is a figure for demonstrating the acquisition method of a multiview image. 多視点画像の取得方法を説明するための図である。It is a figure for demonstrating the acquisition method of a multiview image. 多視点画像の表示に係る機能的構成を示したブロック図である。It is the block diagram which showed the functional structure which concerns on the display of a multiview image. 図5に示した視点画像特定部の動作を説明するための図である。It is a figure for demonstrating operation | movement of the viewpoint image specific part shown in FIG. 図5に示した視点画像特定部の動作を説明するための図である。It is a figure for demonstrating operation | movement of the viewpoint image specific part shown in FIG. 表示部に表示された視点画像の一例を示した図である。It is the figure which showed an example of the viewpoint image displayed on the display part. 視点画像の見え方を説明するための図である。It is a figure for demonstrating how a viewpoint image looks. サイズ調整が行われた後での、視点画像データの見え方を説明するための図である。It is a figure for demonstrating the appearance of viewpoint image data after size adjustment is performed. 画像表示処理の手順を示したフローチャートである。It is the flowchart which showed the procedure of the image display process.

符号の説明Explanation of symbols

100 画像表示装置
11 プロセッサ
12 ROM
13 RAM
14 傾きセンサ
15 記憶部
16 表示部
17 操作部
18 バス
111 選択受付部
112 表示制御部
113 視点画像特定部
114 画像調整部
100 Image display device 11 Processor 12 ROM
13 RAM
Reference Signs List 14 tilt sensor 15 storage unit 16 display unit 17 operation unit 18 bus 111 selection reception unit 112 display control unit 113 viewpoint image specifying unit 114 image adjustment unit

Claims (6)

表示手段を備えた画像表示装置であって、
表示の対象となる対象物について、互いに異なる複数の撮影角度から撮影された複数の画像のうち、一の撮影角度から撮影された画像を前記表示手段に表示する表示制御手段と、
前記画像表示装置の傾きを検出する検出手段と、
前記検出手段により検出された傾きから、前記画像表示装置を操作するユーザの視点方向を決定し、前記複数の画像から当該視点方向に対応する撮影角度から撮影された画像を特定する特定手段と、
前記検出手段により検出された傾きに応じて、前記特定手段で特定された画像のサイズを調整する調整手段と、
を備え、
前記表示制御手段は、前記調整手段により処理が施された画像を前記表示手段に表示することを特徴とする画像表示装置。
An image display device comprising a display means,
Display control means for displaying on the display means an image photographed from one photographing angle among a plurality of images photographed from a plurality of different photographing angles with respect to the object to be displayed;
Detecting means for detecting an inclination of the image display device;
Specifying means for determining a viewpoint direction of a user operating the image display device from the inclination detected by the detecting means, and specifying an image shot from a shooting angle corresponding to the viewpoint direction from the plurality of images;
Adjusting means for adjusting the size of the image specified by the specifying means in accordance with the inclination detected by the detecting means;
With
The display control means displays the image processed by the adjusting means on the display means.
前記調整手段は、前記表示手段における表示面の前記視点方向への写像が、当該表示面の正面方向への写像と同サイズ又は同形状となるよう、前記特定手段で特定された画像のサイズを調整することを特徴とする請求項1に記載の画像表示装置。   The adjusting means adjusts the size of the image specified by the specifying means so that the mapping of the display surface of the display means in the viewpoint direction has the same size or the same shape as the mapping of the display surface in the front direction. The image display device according to claim 1, wherein the image display device is adjusted. 前記複数の画像は、前記対象物を中心とした円周又は球上の各位置で撮影されたことを特徴とする請求項1又は2に記載の画像表示装置。   The image display device according to claim 1, wherein the plurality of images are taken at positions on a circumference or a sphere centered on the object. 表示の対象となる対象物の選択を受け付ける選択受付手段を更に備え、
前記表示制御手段は、前記選択受付手段で選択を受け付けた対象物についての画像を、前記表示手段に表示することを特徴とする請求項1〜3の何れか一項に記載の画像表示装置。
A selection receiving means for receiving selection of an object to be displayed;
The image display device according to any one of claims 1 to 3, wherein the display control unit displays an image of an object whose selection has been received by the selection reception unit on the display unit.
表示手段を備えた画像表示装置で実行される画像表示方法であって、
表示制御手段が、表示の対象となる対象物について、互いに異なる複数の撮影角度から撮影された複数の画像のうち、一の撮影角度から撮影された画像を前記表示手段に表示する表示制御工程と、
検出手段が、前記画像表示装置の傾きを検出する検出工程と、
特定手段が、前記検出工程で検出された傾きから、前記画像表示装置を操作するユーザの視点方向を決定し、前記複数の画像から当該視点方向に対応する撮影角度から撮影された画像を特定する特定工程と、
調整手段が、前記検出工程で検出された傾きに応じて、前記特定工程で特定された画像のサイズを調整する調整工程と、
を含み、
前記表示制御工程では、前記調整工程で処理が施された画像を前記表示手段に表示することを特徴とする画像表示方法。
An image display method executed by an image display device including a display unit,
A display control step in which the display control means displays, on the display means, an image photographed from one photographing angle among a plurality of images photographed from a plurality of mutually different photographing angles with respect to an object to be displayed; ,
A detecting step for detecting the inclination of the image display device;
A specifying unit determines a viewpoint direction of a user who operates the image display device from the inclination detected in the detection step, and specifies an image shot from a shooting angle corresponding to the viewpoint direction from the plurality of images. Specific process,
An adjusting step for adjusting the size of the image specified in the specifying step according to the inclination detected in the detecting step;
Including
In the display control step, the image processed in the adjustment step is displayed on the display means.
表示手段を備えた画像表示装置のコンピュータを、
表示の対象となる対象物について、互いに異なる複数の撮影角度から撮影された複数の画像のうち、一の撮影角度から撮影された画像を前記表示手段に表示する表示制御手段と、
前記画像表示装置の傾きを検出する検出手段と、
前記検出手段により検出された傾きから、前記画像表示装置を操作するユーザの視点方向を決定し、前記複数の画像から当該視点方向に対応する撮影角度から撮影された画像を特定する特定手段と、
前記検出手段により検出された傾きに応じて、前記特定手段で特定された画像のサイズを調整する調整手段と、
して機能させ、
前記表示制御手段は、前記調整手段により処理が施された画像を前記表示手段に表示することを特徴とするプログラム。
A computer of an image display device provided with a display means,
Display control means for displaying on the display means an image photographed from one photographing angle among a plurality of images photographed from a plurality of different photographing angles with respect to the object to be displayed;
Detecting means for detecting an inclination of the image display device;
Specifying means for determining a viewpoint direction of a user operating the image display device from the inclination detected by the detecting means, and specifying an image shot from a shooting angle corresponding to the viewpoint direction from the plurality of images;
Adjusting means for adjusting the size of the image specified by the specifying means according to the inclination detected by the detecting means;
To function,
The display control unit displays an image processed by the adjustment unit on the display unit.
JP2008241524A 2008-09-19 2008-09-19 Image display apparatus, image display method, and program Pending JP2010072477A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008241524A JP2010072477A (en) 2008-09-19 2008-09-19 Image display apparatus, image display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008241524A JP2010072477A (en) 2008-09-19 2008-09-19 Image display apparatus, image display method, and program

Publications (1)

Publication Number Publication Date
JP2010072477A true JP2010072477A (en) 2010-04-02

Family

ID=42204287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008241524A Pending JP2010072477A (en) 2008-09-19 2008-09-19 Image display apparatus, image display method, and program

Country Status (1)

Country Link
JP (1) JP2010072477A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114943A1 (en) * 2010-03-15 2011-09-22 ソニー株式会社 Image display apparatus, image display control method and program
JP2012023488A (en) * 2010-07-13 2012-02-02 Ntt Docomo Inc Image processor, image processing method, display device, and program
JP2012043345A (en) * 2010-08-23 2012-03-01 Canon Inc Image processing device and method
US20120105677A1 (en) * 2010-11-03 2012-05-03 Samsung Electronics Co., Ltd. Method and apparatus for processing location information-based image data
WO2012070636A1 (en) * 2010-11-26 2012-05-31 ソニー株式会社 Image processing device, image processing method, and image processing program
JP2012138797A (en) * 2010-12-27 2012-07-19 Olympus Imaging Corp Image reproduction device
JP2012165058A (en) * 2011-02-03 2012-08-30 Nikon Corp Display device, imaging device, display control program, and storage medium
WO2012169103A1 (en) * 2011-06-10 2012-12-13 パナソニック株式会社 Stereoscopic image generating device and stereoscopic image generating method
WO2013021864A1 (en) * 2011-08-09 2013-02-14 シャープ株式会社 Display device
JP2014072748A (en) * 2012-09-28 2014-04-21 Dainippon Printing Co Ltd Stereoscopic display device and stereoscopic display system
JP2014165912A (en) * 2013-02-22 2014-09-08 Fuji Xerox Co Ltd Video reproduction method, program and system
JP2014534656A (en) * 2011-09-12 2014-12-18 インテル・コーポレーション Generation of 3D perception from 2D images using motion parallax
JP2015089104A (en) * 2013-09-26 2015-05-07 Nltテクノロジー株式会社 Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
JP2015186148A (en) * 2014-03-25 2015-10-22 大日本印刷株式会社 Image playback terminal, image playback method, program, and multi-viewpoint image playback system
JP5856344B1 (en) * 2015-07-27 2016-02-09 正樹 房間 3D image display device
JP2017069924A (en) * 2015-10-02 2017-04-06 2.5次元ファクトリー株式会社 Image display device
JP2017147711A (en) * 2016-02-18 2017-08-24 株式会社CodeNext Automatic three-dimensional stereoscopic imaging apparatus and imaging method by multiple multi-viewpoint image, and stereoscopic reproduction method
WO2018051743A1 (en) * 2016-09-16 2018-03-22 国立研究開発法人産業技術総合研究所 Information processing device for display devices, information processing method for display devices, and program for display devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188746A (en) * 1998-12-22 2000-07-04 Sony Corp Image display system, image display method, and providing medium
JP2004325943A (en) * 2003-04-25 2004-11-18 Olympus Corp Display device and display system
JP2006184573A (en) * 2004-12-27 2006-07-13 Toppan Printing Co Ltd Image display device and image display system
JP2006301654A (en) * 2006-05-08 2006-11-02 Fujitsu Ltd Image presentation device
JP2007047294A (en) * 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> Stereoscopic image display device
JP2007114242A (en) * 2005-10-18 2007-05-10 Sharp Corp Portable display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188746A (en) * 1998-12-22 2000-07-04 Sony Corp Image display system, image display method, and providing medium
JP2004325943A (en) * 2003-04-25 2004-11-18 Olympus Corp Display device and display system
JP2006184573A (en) * 2004-12-27 2006-07-13 Toppan Printing Co Ltd Image display device and image display system
JP2007047294A (en) * 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> Stereoscopic image display device
JP2007114242A (en) * 2005-10-18 2007-05-10 Sharp Corp Portable display device
JP2006301654A (en) * 2006-05-08 2006-11-02 Fujitsu Ltd Image presentation device

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114943A1 (en) * 2010-03-15 2011-09-22 ソニー株式会社 Image display apparatus, image display control method and program
JP2012023488A (en) * 2010-07-13 2012-02-02 Ntt Docomo Inc Image processor, image processing method, display device, and program
JP2012043345A (en) * 2010-08-23 2012-03-01 Canon Inc Image processing device and method
US20120105677A1 (en) * 2010-11-03 2012-05-03 Samsung Electronics Co., Ltd. Method and apparatus for processing location information-based image data
KR101763938B1 (en) * 2010-11-03 2017-08-01 삼성전자주식회사 A method for processing image data based on location information related on view-point and apparatus for the same
WO2012070636A1 (en) * 2010-11-26 2012-05-31 ソニー株式会社 Image processing device, image processing method, and image processing program
JP2012114816A (en) * 2010-11-26 2012-06-14 Sony Corp Image processing device, image processing method, and image processing program
JP2012138797A (en) * 2010-12-27 2012-07-19 Olympus Imaging Corp Image reproduction device
JP2012165058A (en) * 2011-02-03 2012-08-30 Nikon Corp Display device, imaging device, display control program, and storage medium
WO2012169103A1 (en) * 2011-06-10 2012-12-13 パナソニック株式会社 Stereoscopic image generating device and stereoscopic image generating method
JP5501474B2 (en) * 2011-06-10 2014-05-21 パナソニック株式会社 Stereoscopic image generating apparatus and stereoscopic image generating method
US9338425B2 (en) 2011-06-10 2016-05-10 Panasonic Intellectual Property Management Co., Ltd. Device and method for generating stereoscopic image
WO2013021864A1 (en) * 2011-08-09 2013-02-14 シャープ株式会社 Display device
JP2014534656A (en) * 2011-09-12 2014-12-18 インテル・コーポレーション Generation of 3D perception from 2D images using motion parallax
JP2014072748A (en) * 2012-09-28 2014-04-21 Dainippon Printing Co Ltd Stereoscopic display device and stereoscopic display system
JP2014165912A (en) * 2013-02-22 2014-09-08 Fuji Xerox Co Ltd Video reproduction method, program and system
JP2015089104A (en) * 2013-09-26 2015-05-07 Nltテクノロジー株式会社 Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
JP2015186148A (en) * 2014-03-25 2015-10-22 大日本印刷株式会社 Image playback terminal, image playback method, program, and multi-viewpoint image playback system
JP5856344B1 (en) * 2015-07-27 2016-02-09 正樹 房間 3D image display device
EP3125549A1 (en) * 2015-07-27 2017-02-01 Masaki Fusama Three-dimensional image display device
US10104370B2 (en) 2015-07-27 2018-10-16 Masaki Fusama Three-dimensional image display device
JP2017069924A (en) * 2015-10-02 2017-04-06 2.5次元ファクトリー株式会社 Image display device
JP2017147711A (en) * 2016-02-18 2017-08-24 株式会社CodeNext Automatic three-dimensional stereoscopic imaging apparatus and imaging method by multiple multi-viewpoint image, and stereoscopic reproduction method
WO2018051743A1 (en) * 2016-09-16 2018-03-22 国立研究開発法人産業技術総合研究所 Information processing device for display devices, information processing method for display devices, and program for display devices
JPWO2018051743A1 (en) * 2016-09-16 2019-08-15 国立研究開発法人産業技術総合研究所 Information processing device for display device, information processing method for display device, and program for display device
US11402657B2 (en) 2016-09-16 2022-08-02 National Institute Of Advanced Industrial Science And Technology Information processing device for display device, information processing method for display device, and program for display device

Similar Documents

Publication Publication Date Title
JP2010072477A (en) Image display apparatus, image display method, and program
US9041743B2 (en) System and method for presenting virtual and augmented reality scenes to a user
JP6899875B2 (en) Information processing device, video display system, information processing device control method, and program
US9014414B2 (en) Information processing apparatus and information processing method for processing image information at an arbitrary viewpoint in a physical space or virtual space
EP3379525B1 (en) Image processing device and image generation method
EP3051525B1 (en) Display
US9881421B2 (en) Image processing
JP5515301B2 (en) Image processing apparatus, program, image processing method, recording method, and recording medium
EP2378781B1 (en) Three-dimensional image display device and three-dimensional image display method
CN104409032B (en) Display device, terminal device, and display method
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
CN111696213A (en) Image generation device, image generation method, and computer-readable medium
KR101198557B1 (en) 3D stereoscopic image and video that is responsive to viewing angle and position
JP2011165068A (en) Image generation device, image display system, image generation method, and program
JP2011010126A (en) Image processing apparatus, and image processing method
JP2019029721A (en) Image processing apparatus, image processing method, and program
JP2013098840A (en) Information processing apparatus, display control method, and program
JP6649010B2 (en) Information processing device
CN111712859B (en) Apparatus and method for generating view images
JP2012244466A (en) Stereoscopic image processing device
JP6601392B2 (en) Display control apparatus, display control method, and program
KR20160128735A (en) Display apparatus and control method thereof
JP2025019741A (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
WO2023242981A1 (en) Head-mounted display, head-mounted display system, and display method for head-mounted display
KR20140030071A (en) Stereogram method according to the view point

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120921

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121120