JP2012070081A - Image display device, image display program, and image display system - Google Patents
Image display device, image display program, and image display system Download PDFInfo
- Publication number
- JP2012070081A JP2012070081A JP2010211197A JP2010211197A JP2012070081A JP 2012070081 A JP2012070081 A JP 2012070081A JP 2010211197 A JP2010211197 A JP 2010211197A JP 2010211197 A JP2010211197 A JP 2010211197A JP 2012070081 A JP2012070081 A JP 2012070081A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- person
- user
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 65
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像表示装置、画像表示プログラム及び画像表示システムに関する。 The present invention relates to an image display device, an image display program, and an image display system.
遠隔会議システムにおいて利用者間の視線を一致する技術が提案されている。 Techniques have been proposed for matching the line of sight between users in a teleconference system.
これに関連する技術として、特許文献1には、利用者のいる各地点において、相手の像を表示する表示部と、表示部の表示画面に対して利用者の位置を規定する位置規定手段と、当該利用者を撮像する撮像部と、撮像部を利用者と表示画面との間の所定の位置に支持するための支持機構とを有し、撮像部を、位置規定手段によって特定された利用者から表示画面までの距離、及び、利用者の視線と相手の像の視線とが一致したと判断される視差角、によって定義される視線一致領域内であって、利用者に対し相手の像の一部を遮る位置に設置することで、撮像部の存在が対話に与える影響を抑制しつつ、利用者間の視線を一致する画像表示装置が開示されている。 As a technology related to this, Patent Document 1 discloses a display unit that displays an image of a partner at each point where a user is present, and a position defining unit that defines the position of the user with respect to the display screen of the display unit. An imaging unit for imaging the user, and a support mechanism for supporting the imaging unit at a predetermined position between the user and the display screen, and the imaging unit is identified by the position defining unit Within the line-of-sight matching region defined by the distance from the user to the display screen, and the parallax angle at which the user's line of sight and the line of sight of the opponent's image coincide with each other. An image display device is disclosed in which the line of sight between users is matched while suppressing the influence of the presence of the imaging unit on the dialogue by being installed at a position that blocks a part of the image.
本発明の目的は、表示画面に表示された対話相手が複数の利用者のうち特定の利用者に視線を向けていることを知覚させる画像表示装置、画像表示プログラム及び画像表示システムを提供することにある。 An object of the present invention is to provide an image display device, an image display program, and an image display system that make it possible to perceive that a conversation partner displayed on a display screen is looking at a specific user among a plurality of users. It is in.
[1]利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、前記人物像生成手段が生成する前記人物像を前記利用者に表示する表示手段とを有する画像表示装置。 [1] Receiving means for receiving gaze information obtained by detecting the gaze of the conversation partner with respect to the display screen of the external display means on which the user's person image is displayed, and a shape corresponding to the received gaze information An image display device comprising: a person image generating means for generating a person image of the conversation partner including a pupil having; and a display means for displaying the person image generated by the person image generating means to the user.
[2]前記人物像生成手段は、前記視線情報に応じて、前記対話相手の視線の先の前記外部表示手段に表示される人物像に対応する利用者にとって正面視であるように見える形状を有する瞳を含む前記対話相手の人物像を生成する前記[1]に記載の画像表示装置。 [2] The person image generating means has a shape that appears to be a front view for the user corresponding to the person image displayed on the external display means ahead of the line of sight of the conversation partner according to the line-of-sight information. The image display device according to [1], wherein a person image of the conversation partner including a pupil having the pupil is generated.
[3]前記人物像生成手段は、前記視線情報に応じた位置に前記瞳を配置して前記人物像を生成する前記[1]又は[2]に記載の画像表示装置。 [3] The image display device according to [1] or [2], wherein the person image generation unit generates the person image by arranging the pupil at a position corresponding to the line-of-sight information.
[4]前記表示手段に対する前記利用者の位置を検出する検出手段をさらに有し、前記人物像生成手段は、前記視線情報及び前記利用者の位置に応じて前記対話相手の人物像を生成する前記[1]〜[3]のいずれかに記載の画像表示装置。 [4] The apparatus further includes detection means for detecting the position of the user with respect to the display means, and the person image generation means generates the person image of the conversation partner according to the line-of-sight information and the position of the user. The image display device according to any one of [1] to [3].
[5]前記視線情報を異なる方向に変動させる視線変動手段をさらに有する前記[1]〜[4]のいずれかに記載の画像表示装置。 [5] The image display device according to any one of [1] to [4], further including line-of-sight changing means for changing the line-of-sight information in different directions.
[6]前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する視線情報生成手段と、前記利用者の視線情報を前記外部に送信する送信手段とをさらに有する前記[1]〜[5]のいずれかに記載の画像表示装置。 [6] The apparatus further includes: line-of-sight information generating means for generating line-of-sight information of the user by detecting the line of sight of the user with respect to the display unit; and transmission means for transmitting the line-of-sight information of the user to the outside. The image display device according to any one of [1] to [5].
[7]コンピュータを、利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成した人物像生成手段と、前記人物像生成手段が生成する前記人物像を前記利用者に表示する表示手段として機能させるための画像表示プログラム。 [7] A receiving unit that receives gaze information obtained by detecting a gaze of a conversation partner with respect to a display screen of an external display unit on which a person image of a user is displayed, and the reception unit that has received the computer In order to function as a person image generation unit that generates the person image of the conversation partner including a pupil having a shape corresponding to line-of-sight information, and a display unit that displays the person image generated by the person image generation unit to the user Image display program.
[8]第1の画像表示装置と第2の画像表示装置とを通信可能に接続してなる画像表示システムであって、前記第1の画像表示装置は、前記第2の画像表示装置の表示手段の表示画面に対する対話相手の視線を検出して得られる対話相手の視線情報を前記第2の画像表示装置から受信する第1の受信手段と、前記第1の受信手段が受信した前記対話相手の視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する第1の人物像生成手段と、前記人物像生成手段が生成した前記対話相手の人物像を前記利用者に表示する第1の表示手段と、前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する第1の視線情報生成手段と、前記利用者の視線情報を前記第2の画像表示装置に送信する第1の送信手段とを有し、前記第2の画像表示装置は、前記利用者の視線情報を前記第1の画像表示装置から受信する第2の受信手段と、前記第2の受信手段が受信した前記利用者の視線情報に応じた形状を有する瞳を含む前記利用者の人物像を生成する第2の人物像生成手段と、前記第2の人物像生成手段が生成した前記利用者の人物像を前記対話相手に表示する第2の表示手段と、前記対話相手の視線情報を生成する第2の視線情報生成手段と、前記対話相手の視線情報を前記第1の画像表示装置に送信する第2の送信手段とを有する画像表示システム。 [8] An image display system in which a first image display device and a second image display device are communicably connected, and the first image display device is a display of the second image display device. A first receiving means for receiving from the second image display device the line-of-sight information of the conversation partner obtained by detecting the line of sight of the conversation partner with respect to the display screen of the means; and the conversation partner received by the first reception means A first person image generating means for generating a person image of the conversation partner including a pupil having a shape corresponding to the line-of-sight information, and displaying the person image of the conversation partner generated by the person image generation means to the user First display means for detecting the user's line of sight with respect to the display unit and generating user's line of sight information; and the user's line of sight information for the second image. First transmission means for transmitting to the display device The second image display device includes second receiving means for receiving the user's line-of-sight information from the first image display apparatus, and the user's line-of-sight information received by the second receiving means. A second person image generating unit configured to generate a person image of the user including a pupil having a corresponding shape; and the user image generated by the second person image generating unit is displayed on the conversation partner. A second display unit; a second line-of-sight information generating unit that generates line-of-sight information of the conversation partner; and a second transmission unit that transmits the line-of-sight information of the conversation partner to the first image display device. Image display system.
請求項1、7又は8に係る発明によれば、表示画面に表示された対話相手が、複数の利用者のうち特定の利用者に視線を向けていることを知覚させることができる。 According to the first, seventh, or eighth aspect of the invention, it is possible to perceive that the conversation partner displayed on the display screen is directing a line of sight to a specific user among a plurality of users.
請求項2に係る発明によれば、特定の利用者に正面視であることを知覚させることができる瞳形状を生成することができる。 According to the invention which concerns on Claim 2, the pupil shape which can make a specific user perceive that it is front view can be produced | generated.
請求項3に係る発明によれば、表示画面に表示された対話相手が見ている方向を知覚させることができる。 According to the third aspect of the invention, it is possible to perceive the direction in which the conversation partner displayed on the display screen is looking.
請求項4に係る発明によれば、複数の利用者のうち特定の利用者に視線が向けられていることを当該特定の利用者に知覚させる瞳の形状を決定することができる。 According to the invention which concerns on Claim 4, the shape of the pupil which makes the said specific user perceive that the eyes | visual_axis is aimed at the specific user among several users can be determined.
請求項5に係る発明によれば、複数の利用者のうち特定の利用者以外に視線が合っていないことを知覚させることができる。 According to the invention which concerns on Claim 5, it can be made to perceive that the eyes | visual_axis does not match other than a specific user among several users.
請求項6に係る発明によれば、表示画面に表示された利用者が複数の対話相手のうち特定の対話相手に視線を向けていることを知覚させることができる。 According to the invention which concerns on Claim 6, it can be made to perceive that the user displayed on the display screen has looked at the specific conversation partner among several conversation partners.
[第1の実施の形態]
(画像表示システムの構成)
図1は、第1の実施の形態に係る画像表示システムの構成例を示す概略図である。
[First Embodiment]
(Image display system configuration)
FIG. 1 is a schematic diagram illustrating a configuration example of an image display system according to the first embodiment.
この画像表示システム5は、ある地点に設置され、カメラ12A及び表示部13Aを備える画像表示装置1Aと、画像表示装置1Aが設置された地点と異なる遠隔の地点に設置され、カメラ12B及び表示部13Bを備える画像表示装置1Bとをネットワーク3によって互いに通信可能に接続することで構成される。 This image display system 5 is installed at a certain point, and is installed at a remote location different from the location where the image display device 1A is installed, the image display device 1A including the camera 12A and the display unit 13A, and the camera 12B and the display unit. The image display device 1 </ b> B having 13 </ b> B is configured to be communicably connected to each other via the network 3.
画像表示装置1Aのカメラ12Aで撮影された利用者2A及び2Bの画像情報に基づいて、画像表示装置1Bは人物像4A及び4Bを表示部13Bに表示し、画像表示装置1Bのカメラ12Bで撮影された利用者2C〜2Eの画像情報に基づいて、画像表示装置1Aは、人物像4C〜4Eを表示部13Aに表示する。また、画像表示装置1A及び1Bは、図示しないマイク及びスピーカーを備え、利用者2A及び2Bと利用者2C〜2Eとの通話を可能とする。 Based on the image information of the users 2A and 2B photographed by the camera 12A of the image display device 1A, the image display device 1B displays the person images 4A and 4B on the display unit 13B and photographed by the camera 12B of the image display device 1B. Based on the image information of the users 2C to 2E, the image display device 1A displays the human images 4C to 4E on the display unit 13A. Further, the image display devices 1A and 1B include microphones and speakers (not shown), and enable calls between the users 2A and 2B and the users 2C to 2E.
画像表示装置1A及び1Bは、情報を処理するための機能を備えたCPU(Central Processing Unit)や記憶部等の電子部品を備え、カメラ12A及び12Bで撮影された画像情報を処理し、表示部13A及び13Bにそれぞれ映像を表示するよう制御する情報処理装置である。なお、画像表示装置1A及び1Bは、例えば、パーソナルコンピュータであり、その他にPDA(Personal Digital Assistant)、携帯電話機等を用いることもできる。 The image display apparatuses 1A and 1B include electronic components such as a CPU (Central Processing Unit) having a function for processing information and a storage unit, process image information captured by the cameras 12A and 12B, and display units This is an information processing apparatus that controls to display images on 13A and 13B. Note that the image display devices 1A and 1B are, for example, personal computers, and a PDA (Personal Digital Assistant), a mobile phone, or the like can also be used.
ネットワーク3は、LAN(Local Area Network)、インターネット等の通信網であり、有線、無線は問わない。 The network 3 is a communication network such as a LAN (Local Area Network) or the Internet, and may be wired or wireless.
(画像表示装置の構成)
図2は、画像表示装置1Aの構成例を示すブロック図である。なお、画像表示装置1Bは、画像表示装置1Aと同様の構成を有するため説明を省略する。
(Configuration of image display device)
FIG. 2 is a block diagram illustrating a configuration example of the image display apparatus 1A. Note that the image display device 1B has the same configuration as the image display device 1A, and thus description thereof is omitted.
画像表示装置1Aは、CPU等から構成され各部を制御するとともに各種のプログラムを実行する制御部10Aと、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部11Aと、撮像素子及びレンズ等を備えて利用者を撮影するカメラ12Aと、液晶ディスプレイ等であって文字や画像を表示する表示部13Aと、外部のネットワーク3と通信して情報を送信及び受信する通信部14Aとを備える。なお、画像表示装置1Aは、さらにキーボードやマウス等であって操作に応じた操作信号を発する操作部を備えてもよい。 The image display apparatus 1A includes a CPU and the like, and controls each unit and executes various programs. A storage unit 11A is a storage medium such as an HDD (Hard Disk Drive) or a flash memory and stores information. A camera 12A that captures a user with an image sensor, a lens, and the like; a display unit 13A that is a liquid crystal display or the like that displays characters and images; and an external network 3 that transmits and receives information. And a communication unit 14A. The image display device 1A may further include an operation unit that is a keyboard, a mouse, or the like and generates an operation signal according to an operation.
なお、画像表示装置1Aは、例えば、パーソナルコンピュータやPDA、携帯電話等の電子機器であるが、カメラ12Aや表示部13Aを備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。 The image display device 1A is an electronic device such as a personal computer, a PDA, or a mobile phone, but may be a server device that does not include the camera 12A or the display unit 13A. These functions are replaced by the operation unit and display unit of the terminal device.
制御部10Aは、後述する画像表示プログラム110Aを実行することで、画像受付手段100A、人物検出手段101A、視線検出手段102A、人物視線情報送信手段103A、人物視線情報受信手段104A、人物像情報生成手段105A及び視線変動発生手段106A等として機能する。 The control unit 10A executes an image display program 110A, which will be described later, to thereby generate an image receiving unit 100A, a person detecting unit 101A, a gaze detecting unit 102A, a human gaze information transmitting unit 103A, a human gaze information receiving unit 104A, and a human image information generating unit. It functions as the means 105A and the line-of-sight variation generating means 106A.
画像受付手段100Aは、カメラ12Aが撮影して出力する画像情報を受け付ける。 The image receiving unit 100A receives image information that is captured and output by the camera 12A.
人物検出手段101Aは、画像受付手段100Aが受け付けた画像情報から人物及びその位置を検出し、人物位置情報111Aを出力する。 The person detecting unit 101A detects a person and its position from the image information received by the image receiving unit 100A, and outputs person position information 111A.
視線検出手段102Aは、画像受付手段100Aが受け付けた画像情報から、人物検出手段101Aが検出した人物の視線を検出し、人物視線情報112Aを出力する。 The line-of-sight detection unit 102A detects the line of sight of the person detected by the person detection unit 101A from the image information received by the image reception unit 100A, and outputs the person line-of-sight information 112A.
人物視線情報送信手段103Aは、視線検出手段102Aが出力した人物視線情報112Aを通信部14Aを介して画像表示装置1Bに送信する。 The human line-of-sight information transmission unit 103A transmits the human line-of-sight information 112A output from the line-of-sight detection unit 102A to the image display device 1B via the communication unit 14A.
人物視線情報受信手段104Aは、画像表示装置1Bが送信する人物視線情報112Bを通信部14Aを介して受信する。 The human line-of-sight information receiving unit 104A receives the human line-of-sight information 112B transmitted from the image display device 1B via the communication unit 14A.
人物像情報生成手段105Aは、人物検出手段101Aが出力した人物位置情報111A及び人物視線情報受信手段104Aが受信した人物視線情報112Bに基づいて人物像情報113Aを生成する。 The person image information generation unit 105A generates person image information 113A based on the person position information 111A output by the person detection unit 101A and the person line-of-sight information 112B received by the person line-of-sight information reception unit 104A.
視線変動発生手段106Aは、人物視線情報受信手段104Aが受信した人物視線情報112Bに、例えば、ランダムなタイミング及びランダムな方向一時的に変動を加える。 The line-of-sight fluctuation generating unit 106A temporarily changes, for example, random timing and random direction to the person line-of-sight information 112B received by the person line-of-sight information receiving unit 104A.
記憶部11Aは、制御部10Aを上述した各手段100A〜106Aとして動作させる画像表示プログラム110A、人物検出手段101Aが出力した人物位置情報111A、視線検出手段102Aが検出した人物視線情報112A及び人物像情報生成手段105Aが生成した人物像情報113A等を記憶する。 The storage unit 11A includes an image display program 110A that causes the control unit 10A to operate as the above-described units 100A to 106A, person position information 111A output by the person detection unit 101A, person line-of-sight information 112A and person image detected by the line-of-sight detection unit 102A The person image information 113A and the like generated by the information generation means 105A are stored.
図3は、人物像情報生成手段105Aの構成の一例を示すブロック図である。 FIG. 3 is a block diagram showing an example of the configuration of the person image information generating unit 105A.
人物像情報生成手段105Aは、人物像外観生成手段105a、瞳位置決定手段105b、瞳形状決定手段105c、目画像生成手段105d及び画像合成手段105e等を有する。 The person image information generation unit 105A includes a person image appearance generation unit 105a, a pupil position determination unit 105b, a pupil shape determination unit 105c, an eye image generation unit 105d, an image composition unit 105e, and the like.
人物像外観生成手段105aは、予め用意された画像等によって少なくとも目以外の人物像の外観である人物像外観を生成する。 The person image appearance generation unit 105a generates a person image appearance that is an appearance of a person image other than at least eyes by using an image prepared in advance.
瞳位置決定手段105bは、人物視線情報112Bに基づいて人物像の目に表示される瞳の位置を決定する。 The pupil position determination unit 105b determines the position of the pupil displayed in the eyes of the person image based on the person line-of-sight information 112B.
瞳形状決定手段105cは、人物像の目に表示される瞳の形状を決定する。 The pupil shape determining means 105c determines the shape of the pupil displayed on the eyes of the person image.
目画像生成手段105dは、瞳位置決定手段105bが決定した瞳の位置と、瞳形状決定手段105cが決定した瞳形状とに基づいて人物像の目の画像を生成する。 The eye image generation unit 105d generates an eye image of a human image based on the pupil position determined by the pupil position determination unit 105b and the pupil shape determined by the pupil shape determination unit 105c.
画像合成手段105eは、人物像外観生成手段105aが生成した人物像外観と、目画像生成手段105dが生成した目の画像とを合成して人物像情報113Aを出力する。 The image composition unit 105e combines the person image appearance generated by the person image appearance generation unit 105a with the eye image generated by the eye image generation unit 105d, and outputs the person image information 113A.
なお、視線変動発生手段106Aは、人物視線情報受信手段104Aから入力される人物視線情報112Bに変動を発生させる。 Note that the line-of-sight fluctuation generating unit 106A generates fluctuations in the human line-of-sight information 112B input from the human line-of-sight information receiving unit 104A.
(画像表示装置の動作)
以下に、画像表示装置1Aの動作例を図1〜図8を参照しつつ、(1)基本動作、(2)人物位置情報生成動作、(3)人物視線情報生成動作、(4)人物像情報生成動作に分けて説明する。
(Operation of image display device)
Hereinafter, with reference to FIGS. 1 to 8, an example of the operation of the image display device 1 </ b> A will be described. (1) Basic operation, (2) Person position information generation operation, (3) Person gaze information generation operation, (4) Person image The information generation operation will be described separately.
(1)基本動作
まず、視聴者は、画像表示装置1Aの図示しない操作部を操作して、画像表示装置1Bとの通信を指示する。
(1) Basic operation First, the viewer operates an operation unit (not shown) of the image display device 1A to instruct communication with the image display device 1B.
画像表示装置1Aは、指示を受けると画像表示装置1Bと通信を開始する。次に、カメラ12Aによる撮影を実行し、画像受付手段100Aは、カメラ12Aが撮影して出力する画像情報を受け付ける。 When receiving the instruction, the image display device 1A starts communication with the image display device 1B. Next, imaging by the camera 12A is executed, and the image receiving unit 100A receives image information that is captured and output by the camera 12A.
(2)人物位置情報生成動作
次に、人物検出手段101Aは、画像受付手段100Aが受け付けた画像情報から人物及びその位置を検出し、人物位置情報111Aを出力する。人物の検出及び人物の位置の検出は以下に説明するように行う。
(2) Person Position Information Generation Operation Next, the person detection unit 101A detects a person and its position from the image information received by the image receiving unit 100A, and outputs the person position information 111A. Person detection and person position detection are performed as described below.
図4(a)及び(b)は、人物位置情報111Aを生成する動作の一例を示す概略図であり、図4(a)はカメラ12Aが撮影した画像情報、図4(b)はカメラ12Aに対する人物位置を示す。 4A and 4B are schematic diagrams showing an example of an operation for generating the person position information 111A. FIG. 4A shows image information taken by the camera 12A, and FIG. 4B shows the camera 12A. The position of the person with respect to is shown.
まず、人物検出手段101Aは、カメラ12Aが撮影した画像情報120Aから顔認識等の技術を用いて利用者2A及び2Bの顔を認識する。認識された利用者2A及び2Bの顔は、図4(a)に示すように、画像情報120A中に顔認識枠P1及びP2によって特定され、人物検出手段101Aは、顔認識枠P1及びP2の中心点の座標を出力する。 First, the person detection unit 101A recognizes the faces of the users 2A and 2B from the image information 120A taken by the camera 12A using a technique such as face recognition. Face of recognized user 2A and 2B, as shown in FIG. 4 (a), are identified in the image data 120A by the face recognition frame P 1 and P 2, person detecting unit 101A includes a face recognition frame P 1 and it outputs the coordinates of the center point of P 2.
次に、人物検出手段101Aは、顔認識枠P1及びP2の中心点の座標から、図4(b)に示すように、カメラ12Aに対する人物位置p1及びp2を計算し、これらp1及びp2を含む人物位置情報111Aを出力する。なお、人物位置p1及びp2の計算及び人物位置情報111Aの出力動作は、予め定めた時間毎に繰り返し実行される。 Next, the person detecting means 101A calculates person positions p 1 and p 2 with respect to the camera 12A from the coordinates of the center points of the face recognition frames P 1 and P 2 as shown in FIG. It outputs the person position information 111A including 1 and p 2. Note that the calculation of the person positions p 1 and p 2 and the output operation of the person position information 111A are repeatedly executed at predetermined time intervals.
(3)人物視線情報生成動作
次に、視線検出手段102Aは、画像受付手段100Aが受け付けた画像情報120Aから、人物検出手段101Aが検出した人物の視線を検出する。具体的には、視線検出手段102Aは、図4(a)に示す視線認識枠Q1及びQ2によって認識された利用者2A及び2Bの目の中心点の座標と、瞳の中心点の座標とから人物視線s1及びs2を算出する。
(3) Person Line-of-Sight Information Generation Operation Next, the line-of-sight detection unit 102A detects the line of sight of the person detected by the person detection unit 101A from the image information 120A received by the image reception unit 100A. Specifically, the line-of-sight detection means 102A includes a coordinate of the center point of the eye of the recognized user 2A and 2B by line-of-sight recognition frame Q 1 and Q 2 shown in FIG. 4 (a), the center point of the pupil coordinates Then, the person's lines of sight s 1 and s 2 are calculated.
図5は、人物視線情報112Aを生成する動作の一例を示す概略図である。 FIG. 5 is a schematic diagram illustrating an example of an operation for generating the human line-of-sight information 112A.
視線検出手段102Aは、視線認識枠Q1及びQ2によって認識された利用者2A及び2Bの目の中心点の座標と、瞳の中心点の座標とから、図5に示すように、利用者2A及び2Bから表示部13Aの人物像4C〜4Eに対する人物視線s1及びs2を計算し、これらs1及びs2を含む人物視線情報112Aを出力する。 From visual axis detecting means 102A includes a recognized user 2A and 2B of the eye center point coordinates by sight recognition frame Q 1 and Q 2, and the coordinate of the center point of the pupil, as shown in FIG. 5, the user calculate the person gaze s 1 and s 2 from 2A and 2B for figures 4C~4E of the display unit 13A, and outputs the human gaze information 112A containing these s 1 and s 2.
次に、人物視線情報送信手段103Aは、視線検出手段102Aが出力した人物視線情報112Aを通信部14Aを介して画像表示装置1Bに送信する。 Next, the human gaze information transmitting unit 103A transmits the human gaze information 112A output from the gaze detection unit 102A to the image display device 1B via the communication unit 14A.
また、画像表示装置1Bについても、以上に説明した動作を実行しており、人物視線情報受信手段104Aは、画像表示装置1Bから送信される人物視線情報112Bを通信部14Aを介して受信する。 The image display device 1B also performs the above-described operation, and the human visual line information receiving unit 104A receives the human visual line information 112B transmitted from the image display device 1B via the communication unit 14A.
(4)人物像情報生成動作
次に、人物像情報生成手段105Aは、人物検出手段101Aが出力した人物位置情報111A及び人物視線情報受信手段104Aが受信した人物視線情報112Bに基づいて人物像情報113Aを生成する。以下、人物像情報生成動作について詳細に説明する。
(4) Person Image Information Generation Operation Next, the person image information generation unit 105A performs person image information based on the person position information 111A output by the person detection unit 101A and the person line-of-sight information 112B received by the person line-of-sight information reception unit 104A. 113A is generated. Hereinafter, the human image information generation operation will be described in detail.
図6(a)〜(d)は、人物像情報生成手段105Aの動作の一例を示す概略図である。 6A to 6D are schematic diagrams illustrating an example of the operation of the human image information generating unit 105A.
まず、人物像外観生成手段105aは、図6(a)に示すように、目41l及び41r以外の人物像外観41を生成する。人物像外観41は、利用者毎に予め定められたアバター等の画像を用いる。なお、人物像外観41は、必ずしも上半身でなくともよく、全身又は顔のみ等、目41l及び41rを含めば範囲を特に限定しない。 First, as shown in FIG. 6A, the person image appearance generation unit 105a generates a person image appearance 41 other than the eyes 41l and 41r. The person image appearance 41 uses an image such as an avatar predetermined for each user. The human figure appearance 41 does not necessarily have to be the upper body, and the range is not particularly limited as long as the eyes 41l and 41r are included, such as the whole body or only the face.
次に、瞳位置決定手段105bは、利用者2C〜2Eの視線を示す人物視線情報112B及び利用者2A及び2Bの人物位置を示す人物位置情報111Aに基づいて人物像4C〜4Eの瞳位置42をそれぞれ決定する。つまり、人物視線情報112Bによって利用者2C〜2Eがそれぞれ人物像4A又は4Bのいずれを見ているか判断し、利用者2C〜2Eが見ている人物像4A又は4Bに該当する利用者2A又は2Bの人物位置を人物位置情報111Aから取得して、人物像4C〜4Eが利用者2A又は2Bの人物位置を見るように目41l及び41rの瞳位置42を決定する。 Next, the pupil position determination unit 105b performs the pupil positions 42 of the person images 4C to 4E based on the person line-of-sight information 112B indicating the lines of sight of the users 2C to 2E and the person position information 111A indicating the positions of the users 2A and 2B. Respectively. That is, it is determined whether the users 2C to 2E are viewing the person images 4A or 4B based on the person line-of-sight information 112B, and the users 2A or 2B corresponding to the person images 4A or 4B viewed by the users 2C to 2E are determined. Is obtained from the person position information 111A, and the pupil positions 42 of the eyes 41l and 41r are determined so that the person images 4C to 4E see the person position of the user 2A or 2B.
次に、瞳形状決定手段105cは、利用者2C〜2Eの視線を示す人物視線情報112B及び利用者2A及び2Bの人物位置を示す人物位置情報111Aに基づいて人物像4C〜4Eの瞳形状43をそれぞれ決定する。瞳形状43の決定動作を以下に説明する。なお、以下に説明するように目左右の瞳形状は厳密には異なるものとなるが、同一のものを用いてもよい。 Next, the pupil shape determining means 105c, based on the person line-of-sight information 112B indicating the lines of sight of the users 2C to 2E and the person position information 111A indicating the positions of the users 2A and 2B, the pupil shapes 43 of the person images 4C to 4E. Respectively. The operation for determining the pupil shape 43 will be described below. As will be described below, the pupil shapes on the left and right sides of the eyes are strictly different, but the same shape may be used.
図7は、人物像の視線と瞳形状との関係を示す概略図である。 FIG. 7 is a schematic diagram showing the relationship between the line of sight of the human image and the pupil shape.
表示部13Aのスクリーン面130Aから仮想的に距離Dの位置にある人物像4D(4C、4E)の目410が、人物像4D(4C、4E)から見てスクリーン面130Aの正面(x=0)にいる利用者2Aを見ているとき、つまり人物視線s1aであるとき、スクリーン面130Aから人物視線s1a方向で距離Laに利用者2Aがいるとすると、利用者2Aに視線を向けている場合の瞳形状43aは略真円、その外縁はe1a及びe2aであり、瞳位置42aは目41lの中心である。 The eye 410 of the human image 4D (4C, 4E) virtually located at a distance D from the screen surface 130A of the display unit 13A is viewed from the front of the screen surface 130A as viewed from the human image 4D (4C, 4E) (x = 0). when looking at user 2A any), that is, when a person gaze s 1a, when a user 2A Guile in person gaze s 1a direction a distance L a from the screen surface 130A, toward the line of sight to the user 2A The pupil shape 43a is approximately a perfect circle, its outer edges are e 1a and e 2a , and the pupil position 42a is the center of the eye 41l.
また、目410が、人物像4D(4C、4E)から見て正面から角度θの左手にいる利用者2Bを見ているとき、つまり図面中の右側であって人物視線s1bであるとき、スクリーン面130Aのx=x1から人物視線s1b方向で距離Lbに利用者2Bがいるとすると、瞳位置42はx=x1、その外縁はe1b及びe2bであり、瞳形状43bは、e2b−x1<x1−e1b、の略楕円であり、瞳位置42bは図面中の目41lの右側である。当該瞳形状43bは、利用者2Bから見て真円に見えるため、利用者2Bは正面視の瞳形状と知覚する。 Further, when the eye 410 is looking at the user 2B on the left hand of the angle θ from the front when viewed from the person image 4D (4C, 4E), that is, on the right side in the drawing and the person's line of sight s 1b , When the x = x 1 of the screen surface 130A and user 2B Guile in person gaze s 1b direction a distance L b, the pupil position 42 is x = x 1, its outer edge is the e 1b and e 2b, pupil shape 43b Is an ellipse of e 2b −x 1 <x 1 −e 1b , and the pupil position 42b is on the right side of the eye 41l in the drawing. Since the pupil shape 43b looks like a perfect circle when viewed from the user 2B, the user 2B perceives it as a pupil shape in front view.
なお、説明のためにx=x1の付近に目41lを示したが、実際にx=x1の付近に目41lを表示するわけではなく、瞳形状43bでx=0が目41lの中心となるよう表示する。また、目410が図面に直交する方向に正面から角度φの上方向又は下方向を見ているときについても、上記の動作を適用することにより瞳形状が縦方向に変形する。 Incidentally, although the eyes 41l near the x = x 1 for purposes of explanation, that no actual displays an eye 41l near the x = x 1, the center of the x = 0 in pupil shape 43b eyes 41l Is displayed. Also, when the eye 410 is looking upward or downward from the front in the direction orthogonal to the drawing, the pupil shape is deformed in the vertical direction by applying the above-described operation.
次に、目画像生成手段105dは、目41l及び41rの瞳位置決定手段105bが決定した瞳位置42に瞳形状43を配置することで目41l及び41rの画像を生成する。 Next, the eye image generation unit 105d generates the images of the eyes 41l and 41r by arranging the pupil shape 43 at the pupil position 42 determined by the pupil position determination unit 105b of the eyes 41l and 41r.
次に、画像合成手段105eは、利用者2C〜2Eのそれぞれについて人物像外観生成手段105aと目41l及び41rとを合成して人物像40を生成して、これら人物像40を人物像情報113Aとして出力する。 Next, the image synthesizing unit 105e generates a person image 40 by synthesizing the person image appearance generating unit 105a and the eyes 41l and 41r for each of the users 2C to 2E, and the person image 40 is converted into the person image information 113A. Output as.
次に、表示部13Aは、人物像情報生成手段105Aの画像合成手段105eが出力した人物像情報113Aを表示する。 Next, the display unit 13A displays the person image information 113A output by the image composition unit 105e of the person image information generation unit 105A.
図8(a)〜(c)は、人物像4C〜4Eの表示例を示す概略図である。説明のため人物像4C〜4Eの顔部分のみ示す。 8A to 8C are schematic diagrams illustrating display examples of the human images 4C to 4E. For the sake of explanation, only the face portions of the person images 4C to 4E are shown.
目41l及び41rは、図8(a)に示すように、正面(x=0)を見ている場合、瞳位置42aが目41l及び41rの中心であり、瞳形状43aが真円である。 As shown in FIG. 8A, when the eyes 41l and 41r are looking at the front (x = 0), the pupil position 42a is the center of the eyes 41l and 41r, and the pupil shape 43a is a perfect circle.
また、目41l及び41rは、図8(b)に示すように、図面の右側(x=xb)を見ている場合、瞳位置42bが目41l及び41rの右側であり、瞳形状43bが横方向に長軸を有する楕円である。 Further, as shown in FIG. 8B, when the eyes 41l and 41r are looking at the right side (x = xb ) of the drawing, the pupil position 42b is the right side of the eyes 41l and 41r, and the pupil shape 43b is An ellipse having a major axis in the lateral direction.
また、目41l及び41rは、図8(c)に示すように、図面の左下を見ている場合、瞳位置42cが目41l及び41rの左下であり、瞳形状43bが左下方向に長軸を有する楕円である。 Further, as shown in FIG. 8C, when the eyes 41l and 41r are looking at the lower left of the drawing, the pupil position 42c is the lower left of the eyes 41l and 41r, and the pupil shape 43b has a long axis in the lower left direction. It has an ellipse.
なお、視線変動発生手段106Aは、人物視線情報受信手段104Aが受信した人物視線情報112Bに、ランダムなタイミング及びランダムな方向に一時的に変動を加える。図8に示す例を用いて説明すると、図8(a)に示すように、人物像4C〜4Eの視線が正面である場合、利用者2Aが利用者2Aに視線を向けているように見えるだけでなく、スクリーン面130Aの正面から外れた位置にいる利用者2Bにとっても利用者2Bに視線を向けているように知覚される。そのため、ランダンムなタイミングで一時的に視線を、例えば、人物視線s1bに、つまり、図8(b)に示す瞳形状43b(瞳位置42b)にする。そうすることで、利用者2Bは、一時的に視線が向けられていることを知覚し、そこから元の状態(図8(a))に戻ったときに視線が逸れたことを知覚するため、人物像4C〜4Eの視線が正面であっても利用者2Bに視線を向けているように知覚されなくなる。 Note that the line-of-sight fluctuation generating unit 106A temporarily changes the line-of-sight information 112B received by the human line-of-sight information receiving unit 104A in a random timing and a random direction. If it demonstrates using the example shown in FIG. 8, when the eyes | visual_axis of person image 4C-4E is a front as shown to Fig.8 (a), it will seem that the user 2A has looked at the user 2A. In addition, it is perceived that the user 2B who is out of the front surface of the screen surface 130A is looking toward the user 2B. Therefore, the temporary line of sight in Randanmu timing, for example, the person gaze s 1b, that is, the pupil shape 43b shown in FIG. 8 (b) (pupil position 42b). By doing so, the user 2B perceives that the line of sight is temporarily directed, and perceives that the line of sight has deviated when returning to the original state (FIG. 8A). Even if the lines of sight of the person images 4C to 4E are in front, they are not perceived as if they are looking toward the user 2B.
[第2の実施の形態]
図9は、第2の実施の形態に係る画像表示装置の構成例を示す概略図である。
[Second Embodiment]
FIG. 9 is a schematic diagram illustrating a configuration example of an image display apparatus according to the second embodiment.
この画像表示装置1Cは、単独で設置され、カメラ12C及び表示部13Cを備える。画像表示装置1Cは、表示部13Cに表示される人物像4Hによって、例えば、利用者2I〜2Kからの質問に対して、質問された利用者2I〜2Kに視線を合わせて予め定めた案内等の応答を自動で行う。 This image display device 1C is installed alone and includes a camera 12C and a display unit 13C. The image display device 1 </ b> C uses a person image 4 </ b> H displayed on the display unit 13 </ b> C, for example, in response to a question from the users 2 </ b> I to 2 </ b> K, a predetermined guidance by aligning the line of sight with the questioned users 2 </ b> I to 2 </ b> K. Automatically responds to
画像表示装置1Cは、上記案内動作を実現するため、カメラ12Cで撮影された利用者2I〜2Kの画像情報に基づいて、人物検出手段101Aにより利用者2I〜2Kの位置を検出し、利用者位置に位置する利用者2I〜2Kのいずれかに視線を合わせるため、人物像情報生成手段105Aにより第1の実施の形態の動作を適用して瞳形状及び瞳位置を変更する。 The image display device 1C detects the positions of the users 2I to 2K by the person detection unit 101A based on the image information of the users 2I to 2K photographed by the camera 12C in order to realize the above-described guidance operation. In order to adjust the line of sight to one of the users 2I to 2K located at the position, the human image information generation unit 105A applies the operation of the first embodiment to change the pupil shape and the pupil position.
なお、上記の動作を実現するためには、図2に示す画像受付手段100A、人物検出手段101A、人物像情報生成手段105Aを少なくとも備え、さらに、質問をいずれの利用者から受けたか判断するためのマイク及び音源方向検出部と、質問に対して案内情報を再生する再生手段とをさらに必要とする。 In order to realize the above-described operation, at least the image receiving means 100A, the person detecting means 101A, and the person image information generating means 105A shown in FIG. 2 are provided, and further, it is determined to which user the question has been received. And a sound source direction detecting unit and a reproducing means for reproducing guidance information for a question are further required.
[他の実施の形態]
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、人物像情報生成手段105Aは、人物像外観41に代えて、カメラ12Bで撮影された対話相手である利用者2C〜2Eの画像を用いてもよい。その場合は、目41l及び41rに該当する領域を検出し、その領域を目画像生成手段105dが生成した目画像で置き換える。
[Other embodiments]
The present invention is not limited to the above embodiment, and various modifications can be made without departing from the gist of the present invention. For example, the person image information generation unit 105A may use images of the users 2C to 2E that are conversation partners captured by the camera 12B instead of the person image appearance 41. In that case, the area corresponding to the eyes 41l and 41r is detected, and the area is replaced with the eye image generated by the eye image generating means 105d.
また、上記画像表示プログラム110AをCD−ROM等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、画像受付手段100A、人物検出手段101A、視線検出手段102A、人物視線情報送信手段103A、人物視線情報受信手段104A、人物像情報生成手段105A及び視線変動発生手段106Aの一部又は全部をASIC等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。 The image display program 110A can be provided by being stored in a storage medium such as a CD-ROM, and can be downloaded from a server device connected to a network such as the Internet to a storage unit in the device. Good. Also, some or all of the image receiving unit 100A, the person detecting unit 101A, the gaze detecting unit 102A, the human gaze information transmitting unit 103A, the human gaze information receiving unit 104A, the human image information generating unit 105A, and the gaze fluctuation generating unit 106A It may be realized by hardware such as. Note that each step shown in the operation description of the above embodiment can be changed in order, omitted or added.
1A、1B、1C…画像表示装置、2A〜2E、2I〜2K…利用者、4…ネットワーク、4A〜4E、4H…人物像、5…画像表示システム、10A…制御部、11A…記憶部、12A…カメラ、13A…表示部、14A…通信部、40…人物像、41…人物像外観、41l…目、42…瞳位置、43…瞳形状、100A…画像受付手段、101A…人物検出手段、102A…視線検出手段、103A…人物視線情報送信手段、104A…人物視線情報受信手段、105A…人物像情報生成手段、105a…人物像外観生成手段、105b…瞳位置決定手段、105c…瞳形状決定手段、105d…目画像生成手段、105e…画像合成手段、106A…視線変動発生手段、110A…画像表示プログラム、111A…人物位置情報、112A…人物視線情報、112B…人物視線情報、113A…人物像情報、120A…画像情報、130A…スクリーン面、410…目 DESCRIPTION OF SYMBOLS 1A, 1B, 1C ... Image display apparatus, 2A-2E, 2I-2K ... User, 4 ... Network, 4A-4E, 4H ... Person image, 5 ... Image display system, 10A ... Control part, 11A ... Memory | storage part, 12A ... Camera, 13A ... Display unit, 14A ... Communication unit, 40 ... Human image, 41 ... Human image appearance, 41l ... Eye, 42 ... Pupil position, 43 ... Pupil shape, 100A ... Image receiving means, 101A ... People detection means , 102A ... gaze detection means, 103A ... person gaze information transmission means, 104A ... person gaze information reception means, 105A ... person image information generation means, 105a ... person image appearance generation means, 105b ... pupil position determination means, 105c ... pupil shape Determination means, 105d ... eye image generation means, 105e ... image composition means, 106A ... gaze fluctuation generation means, 110A ... image display program, 111A ... person position information, 11 A ... person viewing information, 112B ... person viewing information, 113A ... figures information, 120A ... image information, 130A ... screen surface, 410 ... eyes
Claims (8)
前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、
前記人物像生成手段が生成した前記人物像を前記利用者に表示する表示手段と、
を含むことを特徴とする画像表示装置。 Receiving means for receiving from the outside gaze information obtained by detecting the gaze of the conversation partner on the display screen of the external display means on which the person image of the user is displayed;
A person image generating means for generating a person image of the conversation partner including a pupil having a shape corresponding to the line-of-sight information received by the receiving means;
Display means for displaying the person image generated by the person image generation means to the user;
An image display device comprising:
前記人物像生成手段は、前記視線情報及び前記利用者の位置に応じて前記対話相手の人物像を生成する請求項1〜3のいずれかに記載の画像表示装置。 Further comprising detecting means for detecting the position of the user with respect to the display means;
The image display device according to claim 1, wherein the person image generation unit generates the person image of the conversation partner according to the line-of-sight information and the position of the user.
前記利用者の視線情報を前記外部に送信する送信手段とをさらに有する請求項1〜5のいずれかに記載の画像表示装置。 Line-of-sight information generating means for detecting the line of sight of the user with respect to the display unit and generating line-of-sight information of the user;
The image display device according to claim 1, further comprising a transmission unit configured to transmit the user's line-of-sight information to the outside.
利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、
前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、
前記人物像生成手段が生成した前記人物像を前記利用者に表示する表示手段として機能させるための画像表示プログラム。 Computer
Receiving means for receiving from the outside gaze information obtained by detecting the gaze of the conversation partner on the display screen of the external display means on which the person image of the user is displayed;
A person image generating means for generating a person image of the conversation partner including a pupil having a shape corresponding to the line-of-sight information received by the receiving means;
An image display program for causing the person image generated by the person image generation means to function as display means for displaying to the user.
前記第1の画像表示装置は、前記第2の画像表示装置の表示手段の表示画面に対する対話相手の視線を検出して得られる対話相手の視線情報を前記第2の画像表示装置から受信する第1の受信手段と、前記第1の受信手段が受信した前記対話相手の視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する第1の人物像生成手段と、前記人物像生成手段が生成した前記対話相手の人物像を前記利用者に表示する第1の表示手段と、前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する第1の視線情報生成手段と、前記利用者の視線情報を前記第2の画像表示装置に送信する第1の送信手段とを有し、
前記第2の画像表示装置は、前記利用者の視線情報を前記第1の画像表示装置から受信する第2の受信手段と、前記第2の受信手段が受信した前記利用者の視線情報に応じた形状を有する瞳を含む前記利用者の人物像を生成する第2の人物像生成手段と、前記第2の人物像生成手段が生成した前記利用者の人物像を前記対話相手に表示する第2の表示手段と、前記対話相手の視線情報を生成する第2の視線情報生成手段と、前記対話相手の視線情報を前記第1の画像表示装置に送信する第2の送信手段とを有する画像表示システム。
An image display system in which a first image display device and a second image display device are communicably connected,
The first image display device receives, from the second image display device, the gaze information of the conversation partner obtained by detecting the gaze of the conversation partner with respect to the display screen of the display means of the second image display device. A first person image generating unit that generates a person image of the conversation partner including a pupil having a shape corresponding to the line-of-sight information of the conversation partner received by the first reception unit; A first display unit that displays the person image of the conversation partner generated by the image generation unit to the user; and a first unit that detects the user's line of sight with respect to the display unit and generates user line-of-sight information. Line-of-sight information generating means, and first transmission means for transmitting line-of-sight information of the user to the second image display device,
The second image display device is responsive to second receiving means for receiving the user's line-of-sight information from the first image display device, and the user's line-of-sight information received by the second receiving means. A second person image generating means for generating a person image of the user including a pupil having a curved shape, and a second person image generating means for displaying the user person image generated by the second person image generating means to the conversation partner. An image having two display means, second line-of-sight information generating means for generating line-of-sight information of the conversation partner, and second transmission means for transmitting line-of-sight information of the conversation partner to the first image display device Display system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010211197A JP2012070081A (en) | 2010-09-21 | 2010-09-21 | Image display device, image display program, and image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010211197A JP2012070081A (en) | 2010-09-21 | 2010-09-21 | Image display device, image display program, and image display system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012070081A true JP2012070081A (en) | 2012-04-05 |
Family
ID=46166850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010211197A Pending JP2012070081A (en) | 2010-09-21 | 2010-09-21 | Image display device, image display program, and image display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012070081A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015142168A (en) * | 2014-01-27 | 2015-08-03 | 大和ハウス工業株式会社 | Image display system and image display method |
| JP2015220684A (en) * | 2014-05-20 | 2015-12-07 | 株式会社ニコン | Portable terminal equipment and lip reading processing program |
| JP2016131741A (en) * | 2015-01-20 | 2016-07-25 | 株式会社リコー | Communication terminal, Interview system, display method and program |
| WO2017141584A1 (en) * | 2016-02-16 | 2017-08-24 | ソニー株式会社 | Information processing apparatus, information processing system, information processing method, and program |
| WO2017199483A1 (en) * | 2016-05-18 | 2017-11-23 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP2018046463A (en) * | 2016-09-15 | 2018-03-22 | 日本電信電話株式会社 | Gaze matching face image synthesis method, video conference system, and program |
| JP2018046464A (en) * | 2016-09-15 | 2018-03-22 | 日本電信電話株式会社 | Visual line agreement face image combination method, television convention system, and program |
| US10762688B2 (en) | 2016-02-17 | 2020-09-01 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
| US11017257B2 (en) | 2016-04-26 | 2021-05-25 | Sony Corporation | Information processing device, information processing method, and program |
| JP2024117626A (en) * | 2023-02-17 | 2024-08-29 | トヨタ自動車株式会社 | Terminal device, system operation method and program |
-
2010
- 2010-09-21 JP JP2010211197A patent/JP2012070081A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015142168A (en) * | 2014-01-27 | 2015-08-03 | 大和ハウス工業株式会社 | Image display system and image display method |
| JP2015220684A (en) * | 2014-05-20 | 2015-12-07 | 株式会社ニコン | Portable terminal equipment and lip reading processing program |
| JP2016131741A (en) * | 2015-01-20 | 2016-07-25 | 株式会社リコー | Communication terminal, Interview system, display method and program |
| CN108702482A (en) * | 2016-02-16 | 2018-10-23 | 索尼公司 | Information processing equipment, information processing system, information processing method and program |
| WO2017141584A1 (en) * | 2016-02-16 | 2017-08-24 | ソニー株式会社 | Information processing apparatus, information processing system, information processing method, and program |
| US10389976B2 (en) | 2016-02-16 | 2019-08-20 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
| JPWO2017141584A1 (en) * | 2016-02-16 | 2018-12-06 | ソニー株式会社 | Information processing apparatus, information processing system, information processing method, and program |
| US10762688B2 (en) | 2016-02-17 | 2020-09-01 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
| US11017257B2 (en) | 2016-04-26 | 2021-05-25 | Sony Corporation | Information processing device, information processing method, and program |
| JPWO2017199483A1 (en) * | 2016-05-18 | 2019-03-14 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| US10659728B2 (en) | 2016-05-18 | 2020-05-19 | Sony Corporation | Information processing apparatus and information processing method |
| WO2017199483A1 (en) * | 2016-05-18 | 2017-11-23 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| JP2018046464A (en) * | 2016-09-15 | 2018-03-22 | 日本電信電話株式会社 | Visual line agreement face image combination method, television convention system, and program |
| JP2018046463A (en) * | 2016-09-15 | 2018-03-22 | 日本電信電話株式会社 | Gaze matching face image synthesis method, video conference system, and program |
| JP2024117626A (en) * | 2023-02-17 | 2024-08-29 | トヨタ自動車株式会社 | Terminal device, system operation method and program |
| JP7806732B2 (en) | 2023-02-17 | 2026-01-27 | トヨタ自動車株式会社 | Terminal device, system operation method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012070081A (en) | Image display device, image display program, and image display system | |
| CN111052043B (en) | Control external devices using a realistic interface | |
| US10832448B2 (en) | Display control device, display control method, and program | |
| US9529428B1 (en) | Using head movement to adjust focus on content of a display | |
| KR102083596B1 (en) | Display device and operation method thereof | |
| EP3137972B1 (en) | Stabilization plane determination based on gaze location | |
| US9075429B1 (en) | Distortion correction for device display | |
| US10032437B2 (en) | Information processing apparatus and control method | |
| JP2022548810A (en) | Suspend Mode Features for Artificial Reality Systems | |
| JP2014233035A (en) | Information processor, display control method and program | |
| JP2015095802A (en) | Display control apparatus, display control method and program | |
| CN110119260B (en) | Screen display method and terminal | |
| US20180316911A1 (en) | Information processing apparatus | |
| US20200264433A1 (en) | Augmented reality display device and interaction method using the augmented reality display device | |
| JP2015164235A (en) | Image processing apparatus, method, program, and recording medium | |
| CN116490249A (en) | Information processing device, information processing system, information processing method, and information processing terminal | |
| WO2019150880A1 (en) | Information processing device, information processing method, and program | |
| JP2017028390A (en) | Virtual reality space voice communication method, program, recording medium recording program, and apparatus | |
| JP6157077B2 (en) | Display device with camera | |
| US20210400234A1 (en) | Information processing apparatus, information processing method, and program | |
| JP7427739B2 (en) | display device | |
| JP2018507432A (en) | How to display personal content | |
| JP6374203B2 (en) | Display system and program | |
| WO2022066459A1 (en) | Synchronization in a multiuser experience | |
| WO2015093221A1 (en) | Electronic device and program |