[go: up one dir, main page]

JP2012531658A - 仮想世界処理装置および方法 - Google Patents

仮想世界処理装置および方法 Download PDF

Info

Publication number
JP2012531658A
JP2012531658A JP2012517386A JP2012517386A JP2012531658A JP 2012531658 A JP2012531658 A JP 2012531658A JP 2012517386 A JP2012517386 A JP 2012517386A JP 2012517386 A JP2012517386 A JP 2012517386A JP 2012531658 A JP2012531658 A JP 2012531658A
Authority
JP
Japan
Prior art keywords
sensor
virtual world
value
maximum value
world processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012517386A
Other languages
English (en)
Inventor
ハン,スン−ジュ
ハン,ジェ−ジュン
キム,ド−ギュン
バン,ウォン−チョル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090101434A external-priority patent/KR20100138702A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012531658A publication Critical patent/JP2012531658A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/825Fostering virtual characters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/69Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)

Abstract

仮想世界処理装置および方法が開示される。実施形態は、センサが収集した情報の検出情報が入力され、センサの特性に関する情報のセンサ特性に基づいて検出情報を調整することによって、現実世界と仮想世界の相互動作または仮想世界間の相互動作を実現することができる。

Description

実施形態は仮想世界処理装置およびその方法に関し、より具体的には、現実世界の情報を仮想世界に適用する装置および方法に関する。
最近、体感型ゲームに関する関心が高まっている。マイクロソフト社は「E3 2009」の記者会見においてゲームコンソールであるXbox360に深さ/カラーカメラとマイクアレイから構成された別途のセンサデバイスを結合し、ユーザの全身モーションキャプチャ、顔認識、音声認識技術を提供して別途のコントローラなしで仮想世界と相互作用させる「Project Natal」を発表した。また、ソニー社は、自社ゲームコンソールである「Play Station3」にカラーカメラとマーカー、超音波センサを結合した位置/方向センシング技術を適用して、コントローラのモーション軌跡を入力することで仮想世界と相互作用できる体感型ゲームモーションコントローラ「Wand」を発表した。
現実世界と仮想世界の相互作用は2種類の方向を有する。第1に、現実世界のセンサから得られたデータ情報を仮想世界に反映する方向、第2に、仮想世界から得られたデータ情報をアクチュエータ(actuator)を介して現実世界に反映する方向である。実施形態は、現実世界と仮想世界の相互作用を実現するため、現実世界のセンサから得られた情報を仮想世界に適用する仮想世界処理装置およびその方法を提供する。
本発明の一実施形態に係る仮想世界と現実世界の相互動作または仮想世界間の相互動作を可能にする仮想世界処理装置は、センサが収集した検出情報が入力される入力部と、前記センサの特性に関するセンサ特性に基づいて前記検出情報を調整する調整部とを備える。
一実施形態に係るセンサを用いて仮想世界のオブジェクトを操作する動作を示す図である。 一実施形態に係るセンサを用いて仮想世界のオブジェクトを操作するシステムを示す図である。 本発明の他の一実施形態に係るセンサを用いて仮想世界のオブジェクトを操作するシステムを示す図である。 一実施形態に係る仮想世界処理装置の構成を示す図である。 本発明の一実施形態に係る仮想世界処理装置の構成を示す図である。 本発明の更なる一実施形態に係る仮想世界処理装置の構成を示す図である。 一実施形態に係るセンサ特性基本タイプを示す図である。 一実施形態に係るセンサ特性基本タイプのシンタックスを示す図である。 一実施形態に係るセンサ特性基本属性のシンタックスを示す図である。 一実施形態に係るセンサ適応選好基本タイプを示す図である。 一実施形態に係るセンサ適応選好基本タイプのシンタックスを示す図である。 一実施形態に係るセンサ適応選好基本属性のシンタックスを示す図である。 一実施形態に係る検出情報基本タイプを示す図である。 一実施形態に係る仮想世界処理方法のフローチャートを示す図である。 更なる一実施形態に係る仮想世界処理方法のフローチャートを示す図である。 一実施形態に係る仮想世界処理装置を用いる動作を示す図である。
以下、本発明に係る実施形態を添付する図面を参照しながら詳説する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。
以下、実施形態を添付する図面を参照しながら詳明する。
図1は、一実施形態に係るセンサを用いて仮想世界の仮想世界オブジェクトを操作する動作を示す図である。図1を参照すれば、一実施形態に係るセンサ100を用いて現実世界のユーザ110は、仮想世界の仮想世界オブジェクト120を操作する。現実世界のユーザ110は、自身の動作、状態、意図、形態などをセンサ100を通して入力し、センサ100は、ユーザ110の動作、状態、意図、形態などに関する制御情報(control information、CI)をセンサ信号に含んで仮想世界処理装置に送信する。
ここで、仮想世界は、仮想環境および仮想世界オブジェクトに分類される。また、仮想世界オブジェクトはアバターおよび仮想オブジェクトに分類されてもよい。
実施形態に係る現実世界のユーザ110は、人間、動物、植物、および無生物(例えば、物)であってもよく、また、ユーザの周辺環境(温度、気圧など)まで含んでもよい。
図2は、一実施形態に係るセンサを用いて仮想世界を操作するシステムを示す図である。図2を参照すれば、一実施形態に係る現実世界210の装置のセンサを介して入力された、現実世界210のユーザの動作、状態、意図、形態などに関する制御情報201を含むセンサ信号は仮想世界処理装置に送信される。実施形態に係る現実世界210のユーザの動作、状態、意図、形態などに関する制御情報201は、センサ特性、センサ適応選好および検出情報を含む。センサ特性、センサ適応選好、および検出情報については、図7から図16を参考して後述する。
一実施形態に係る仮想世界処理装置は、適応RV(adaptation real world to virtual world)220を含んでもよい。実施形態に係る適応RV220は、RVエンジン(real world to virtual world engine、RV engine)に実現されてもよい。適応RV220は、センサ信号に含まれている現実世界210のユーザの動作、状態、意図、形態などに関する制御情報(CI)201を用いて現実世界210の情報を仮想世界240に適用できる情報に変換する。
実施形態に係る適応RV220は、現実世界210のユーザの動作、状態、意図、形態などに関する制御情報201を用いてVWI(virtual world information、仮想世界情報)202を変換する。
VWI202は仮想世界240に関する情報である。例えば、VWI202は、仮想世界240のオブジェクトまたはオブジェクトを構成する要素に関する情報を含んでもよい。
仮想世界処理装置は適応RV220によって変換された情報203を適応RV/VR(adaptation real world to virtual world/virtual world to real world)230を介して仮想世界240に送信する。
表1は図2に表示されている構成について説明する。
Figure 2012531658
図3は、本発明の更なる一実施形態に係るセンサを用いて仮想世界を操作するシステムを示す図である。図3を参照すれば、一実施形態に係るセンサ250は、現実世界のユーザの動作、状態、意図、形態などに関する情報を収集する。
センサ250は、センサ250を介して収集された情報をメタデータに符号化するメタデータエンコーダ251を含む。
メタデータエンコーダ251はセンサ250が収集した情報を第1メタデータに符号化し、センサ250は第1メタデータを適応RV255に送信する。
適応RV255に含まれたメタデータデコーダ256は、センサ250から受信した第1メタデータを復号化する。また、適応RV255に含まれたメタデータデコーダ258は、適応VR260から受信した第2メタデータを復号化する。
第2メタデータは、適応VR260に含まれたメタデータエンコーダ257が仮想世界265に関する情報を符号化したメタデータであってもよい。
適応RV255は、メタデータデコーダ256が第1メタデータを復号化した情報およびメタデータデコーダ258が第2メタデータを復号化した情報に基づいて、仮想世界265に適用される情報を生成する。ここで、適応RV255は、第2メタデータに含まれる仮想世界オブジェクト属性および検出情報に対応するように、仮想世界265に適用される情報を生成する。
メタデータエンコーダ257は、適応RV255が生成した仮想世界265に適用される情報を第3メタデータに符号化する。また、適応RV255は第3メタデータを適応VR260に送信する。
適応VR260に含まれたメタデータデコーダ271は第3メタデータを復号化する。適応VR260は、復号化された情報に基づいて仮想世界265のオブジェクトの属性を変換してもよい。また、適応VR260は変換された属性を仮想世界265に適用してもよい。
図4は一実施形態に係る仮想世界処理装置の構成を示す図である。図4を参照すれば、一実施形態に係る仮想世界処理装置300は格納部310および処理部320を備える。
格納部310はセンサの特性に関するセンサ特性を格納する。
センサは現実世界のユーザの動作、状態、意図または形態などを測定する装置である。センサはセンサ入力装置のように表してもよい。実施形態に係るセンサを(1)音響、音声、振動、(2)自動車、運送手段、(3)化学物、(4)電流、電位、磁気、ラジオ、(5)環境、天気、(6)フロー、(7)電離放射線、亜原子粒子、(8)ナビゲーション装置、(9)位置、角度、変位、距離、速度、加速度、(10)視覚、光、映像、(11)圧力、力、密度、レベル、(12)熱、ヒート、温度、(13)近接、存在、(14)センサ技術のようにタイプごとに分類してもよい。
表2は、センサタイプに係るセンサの実施形態を示す。下記の表に示すセンサは一実施形態に過ぎず、本発明が下記の表に示すセンサのみによって実現されるものと制限されて解釈されてはならない。
Figure 2012531658
Figure 2012531658
Figure 2012531658
Figure 2012531658
Figure 2012531658
Figure 2012531658

例えば、センサタイプ(1)音響、音声、振動のマイク(Microphone)は現実世界ユーザの音声およびユーザ周辺の音声を収集する。センサタイプ(2)自動車、運送手段の速度センサは、現実世界のユーザの速度および現実世界の物体(例えば、運送手段)の速度を測定する。センサタイプ(3)化学物の酸素センサは、現実世界ユーザ周辺の空気の中の酸素比率および現実世界のユーザ周辺の液体の中の酸素比率を測定する。センサタイプ(4)電流、電位、磁気、ラジオの金属探知器は、現実世界ユーザおよび周辺の金属有無を測定する。センサタイプ(5)環境、天気のレインセンサは現実世界で雨が降るか否かを測定する。センサタイプ(6)フローのフローセンサは、現実世界における流体流動の比率を測定する。センサタイプ(7)電離放射線、亜原子粒子のシンチレータ(scintillator)は、現実世界のユーザおよびユーザ周辺の放射線比率を測定する。センサタイプ(8)ナビゲーション装置の昇降計は、現実世界のユーザおよびユーザ周辺の昇降速度を測定する。センサタイプ(9)位置、角度、変位、距離、速度、加速度の走行記録計は、現実世界の物体(例えば、運送手段)の走行距離を測定する。センサタイプ(10)視覚、光、映像の光トランジスタは、現実世界の光を測定する。センサタイプ(11)圧力、力、密度、レベルの気圧計は、現実世界の気圧を測定する。センサタイプ(12)熱、ヒート、温度のボロメータは、現実世界の輻射線を測定する。センサタイプ(13)近接、存在のモーション探知器は、現実世界のユーザの動きを測定する。センサタイプ(14)センサ技術のバイオセンサは、現実世界のユーザの生物学的な性質を測定する。
図5は、本発明の一実施形態に係る仮想世界処理装置の構成を示す図である。図5を参照すれば、一実施形態に係る入力装置360は、現実世界のユーザからセンサ適応選好361が入力される。実施形態に係る入力装置360は、センサ370または仮想世界処理装置350にモジュールの形態に挿入されるよう実現されてもよい。センサ適応選好361について図10から図12を参照して後述する。
センサ370は、センサ特性371および検出情報372を仮想世界処理装置350に送信してもよい。センサ特性371および検出情報372については図7から図9および図13を参照して後述する。
本発明の一実施形態に係る仮想世界処理装置350は信号処理部351および適応部352を備える。
信号処理部351は、センサ370からセンサ特性371および検出情報372を受信し、受信したセンサ特性371および検出情報372に対する信号処理作業を行う。実施形態に係る信号処理部351は、センサ特性371および検出情報372に対してフィルタリング作業および検証作業を行う。
適応部352は入力装置360からセンサ適応選好361を受信し、受信したセンサ適応選好361に基づいて仮想世界380に適用されるように信号処理部351で信号処理した情報について適応作業を行う。また、仮想世界処理装置350は、適応部352で適応作業を行った情報を仮想世界380に適用する。
センサ特性はセンサの特性に関する情報である。
センサ特性基本タイプはセンサ特性の基本タイプである。実施形態に係るセンサ特性基本タイプはセンサ特性に対するメタデータの一部分として、全てのセンサに共通して適用されるセンサ特性に関するメタデータの基本タイプである。
以下、図7から図9を参照してセンサ特性およびセンサ特性基本タイプについて詳説する。
図7は一実施形態に係るセンサ特性基本タイプを示す図である。図7を参照すれば、一実施形態に係るセンサ特性基本タイプ400は、センサ特性基本属性(sensor capability base attributes)410および例外属性(any attributes)420を含む。
センサ特性基本属性410は、センサ特性基本タイプ400に基本的に含まれるセンサ特性のグループである。
例外属性420はセンサが有する追加的なセンサ特性のグループである。例外属性420は、任意のセンサに適用され得る固有の追加的なセンサ特性である。例外属性420は、基本属性以外の属性を含むための拡張性を提供してもよい。
図8は、一実施形態に係るセンサ特性基本タイプのシンタックス(syntax)を示す図である。図8を参照すれば、一実施形態に係るセンサ特性基本タイプのシンタックス500は、ダイヤグラム510(Diagram)、属性(Attributes)520、およびソース(Source)530を含んでもよい。
ダイヤグラム510は、センサ特性基本タイプの図表を含んでもよい。
属性520は、センサ特性基本属性および例外属性を含んでもよい。
ソース530は、XML(eXtensible Markup Language)を用いてセンサ特性基本タイプを示すプログラムを含んでもよい。しかし、図8に示すソース530は単なる一実施形態であり、本発明がこれに制限されることはない。
図9は、一実施形態に係るセンサ特性基本属性のシンタックスを示す図である。図9を参照すれば、一実施形態に係るセンサ特性基本属性のシンタックス600は、ダイヤグラム(Diagram)610、属性(Attributes)620、およびソース(Source)630を含んでもよい。
ダイヤグラム610はセンサ特性基本属性の図表を含んでもよい。
属性620は、単位(unit)601、最大値(maxValue)602、最小値(minValue)603、オフセット(offset)604、解像力(numOflevels)605、感度(sensitivity)606、SNR(signal to noise ratio)607、および正確度(accuracy)608を含んでもよい。
単位601はセンサが測定する値の単位である。実施形態に係るセンサが温度計である場合、単位601は摂氏(℃)および華氏(゜F)であってもよく、センサが速度センサである場合、単位601は時速(km/h)および秒速(m/s)であってもよい。
最大値602と最小値603はセンサが測定できる最大値および最小値である。実施形態に係るセンサが温度計である場合、最大値602は50℃であり、最小値603は0℃である。また、センサが同じ温度計である場合にも、センサの用途および性能に応じて最大値602と最小値603が異なってもよい。
オフセット604は、絶対値を獲得するためにセンサが測定する値に加えられる値である。実施形態に係るセンサが速度センサである場合、現実世界のユーザまたは事物が停止し、速度が0ではない値が測定されれば、センサはオフセット604を速度を0に調整するための値に決定する。例えば、停止している現実世界の自動車に対して速度−1km/hが測定される場合、オフセット604は1km/hになる。
解像力605は、センサが測定できる値の個数である。すなわち、解像力605は、センサが測定する最大値と最小値との間でセンサが測定できる値の個数を表す。実施形態に係るセンサが温度計、最大値が50℃、最小値が0℃である場合、解像力605が5であれば、センサは温度を10℃、20℃、30℃、40℃、50℃のように5個の温度を測定する。実施形態に係る現実世界の温度が20℃である場合はもちろん、27℃である場合にも切捨ての演算を行って温度を20℃に測定してもよく、あるいは切上げしの演算を行って30℃に測定してもよい。
感度606は、センサが出力値を測定するために要求される最小入力値である。すなわち、感度606は、出力信号を生成するための入力信号の最小の大きさを示す。実施形態に係るセンサが温度計であり、感度606が1℃である場合、センサは1℃以下の温度変化を測定できず、1℃以上の温度変化のみを測定できる。例えば、現実世界において15℃から15.5℃に温度が上昇した場合、センサは依然として15℃に温度を測定する。
SNR607は、センサが測定する値の信号対雑音の相対的な大きさである。実施形態に係るセンサがマイクである場合、現実世界のユーザの音声を測定することにおいて周辺の騒音が多ければセンサのSNR607は小さい値になる。
正確度608はセンサの誤差である。すなわち、正確度608は、実際の値に対する測定値の近い程度を表す。実施形態に係るセンサがマイクである場合、測定時の温度、湿度などに応じる音声の電波速度の差による測定誤差が正確度608になり得る。または、過去の当該センサを介して測定した値の統計的な誤差程度を介してセンサの正確度を決定することができる。
実施形態に係る属性620は位置をさらに含んでもよい。位置はセンサの位置である。実施形態に係るセンサが温度計である場合、現実世界のユーザのわきの間がセンサの位置になり得る。位置は、経度/緯度、地面からの高さ/方向などであり得る。
一実施形態に係るセンサ特性基本属性の単位601、最大値602、最小値603、オフセット604、解像力605、感度606、SNR607、正確度608、および位置について表3の通りである。
Figure 2012531658
ソース630は、XML(eXtensible Markup Language)を用いてセンサ特性基本属性を示すプログラムを含んでもよい。
図面符号631は、最大値602に対する定義をXMLに表したものである。図面符号631によれば、最大値602は「float」の類型のデータを有し、選択的に用いてもよい。
図面符号632は、最小値603に対する定義をXMLに表したものである。図面符号632によれば、最小値603は「float」の類型のデータを有し、選択的に用いてもよい。
図面符号633は、解像力605に対する定義をXMLに表したものである。図面符号633によれば、解像力605は「nonNegativeInteger」の類型のデータを有し、選択的に用いてもよい。
しかし、図9に示すソース630は一実施形態に過ぎず、本発明がこれに制限されることはない。
再び図4を参照すれば、処理部320は、センサ特性に基づいてセンサから受信した第1値に対して判断し、第1値に対応する第2値を仮想世界に送信する。
実施形態に係る処理部320は、センサから受信した第1値がセンサが測定できる最大値よりも小さいか同じであり、最小値よりも大きいか同じである場合、第1値に対応する第2値を仮想世界に送信する。
実施形態に係るセンサから受信した第1値が、センサの測定できる最大値よりも大きい場合、処理部320は第1値を最大値として認識して第1値に対応する第2値を仮想世界に送信してもよい。または、第1値が最小値よりも小さい場合、処理部320は第1値を最小値として認識して第1値に対応する第2値を仮想世界に送信してもよい。
一実施形態に係る仮想世界処理装置300は、センサから受信された第1値を操作するためのセンサ適応選好を格納する第2格納部(図示せず)をさらに備えてもよい。処理部320は、センサ特性に基づいて第1値から第3値を生成し、センサ適応選好に基づいて第3値から第2値を生成する。
実施形態に係るセンサを介して測定された現実世界のユーザの動作、状態、意図、形態などに関する情報をそのまま仮想世界に反映してもよい。
図6は、本発明の他の一実施形態に係る仮想世界処理装置の構成を示す図である。図6を参照すれば、本発明の一実施形態に係る仮想世界と現実世界の相互動作、または仮想世界間の相互動作を可能にする仮想世界処理装置390は入力部391および調整部392を備える。
入力部391にはセンサが現実世界で収集した検出情報が入力される。
本発明の一側面によれば、入力部391には検出情報を操作するためのセンサ適応選好がさらに入力されてもよい。センサ適応選好について、図10から図12を参照して後で詳説する。
調整部392は、センサの特性に関するセンサ特性に基づいて入力部391が入力された検出情報を調整する。
例えば、速度センサが現実世界のユーザの速度をセンシングした結果、30m/sの検出情報を収集した場合、入力部391は30m/sの検出情報が入力される。ここで、速度センサに対するセンサ特性のうち最大値が20m/sであれば、調整部392は30m/sの検出情報を20m/sに調整する。また、一実施形態に係る仮想世界処理装置は、調整された検出情報(20m/s)を仮想世界に適用してもよい。
実施形態に係るセンサ特性は、仮想世界処理装置に予め入力されて格納されてもよい。また、センサ特性は入力部391を介して入力される。
本発明の一側面によれば、調整部392は、センサ特性およびセンサ適応選好に基づいて検出情報を調整する。
本発明の一実施形態に係る仮想世界処理装置390は出力部393をさらに備えてもよい。
出力部393は、仮想世界を制御するために検出情報を出力する。実施形態に係る出力部393は、センサ特性に基づいて調整された検出情報を出力する。また、出力部393は、センサ特性およびセンサ適応選好に基づいて調整された検出情報を出力する。
更なる一実施形態に係る出力部393は、仮想世界で実現されるオブジェクトに関する情報の仮想世界オブジェクト情報を制御するために検出情報を出力してもよい。実施形態に係る出力部393は、センサ特性に基づいて調整された検出情報を出力してもよい。また、出力部393は、センサ特性およびセンサ適応選好に基づいて調整された検出情報を出力してもよい。
以下、センサの具体的な実施形態に対するセンサ特性について説明する。センサは、位置センサ、方位センサ、加速度センサ、光センサ、音声センサ、温度センサ、湿度センサ、長さセンサ、モーションセンサ、知能カメラセンサ、環境騒音センサ、気圧センサ、速度センサ、角速度センサ、角加速度センサ、力センサ、トルクセンサ、および圧力センサであってもよく、本発明はこれらに制限されることはない。
[ソース1]はXMLを用いて位置センサ(position sensor)に対するセンサ特性を示す。しかし、下記の[ソース1]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
位置センサ特性タイプは、位置センサに対するセンサ特性を説明するための道具(tool)である。
位置センサ特性タイプは、位置センサに対するセンサ特性基本属性を含んでもよい。
位置センサに対するセンサ特性基本属性は、範囲(range)、範囲タイプ(range type)、x最大値(xmaxValue)、x最小値(xminValue)、y最大値(ymaxValue)、y最小値(yminValue)、z最大値(zmaxValue)、およびz最小値(zminValue)を含んでもよい。
範囲は位置センサが測定される範囲である。例えば、範囲タイプおよびグローバル座標システムを用いて位置センサが測定される範囲を表す。
グローバル座標の原点はスクリーンの左側上部の端に位置してもよい。一実施形態に係るグローバル座標には、右手座標システム(right handed coordinate system)を適用してもよい。グローバル座標のx軸はスクリーンの右側上部の端方向を正の方向にし、y軸は重力方向(スクリーンの下方向)を正の方向にし、z軸はユーザ位置の反対方向(スクリーンに入る方向)を正の方向にしてもよい。
範囲タイプは、x、y、z軸によるグローバル座標システムの範囲である。
x最大値は、位置センサが位置座標単位(例えば、メートル)で測定できるx軸の最大値である。
x最小値は、位置センサが位置座標単位(例えば、メートル)で測定できるx軸の最小値である。
y最大値は、位置センサが位置座標単位(例えば、メートル)で測定できるy軸の最大値である。
y最小値は、位置センサが位置座標単位(例えば、メートル)で測定できるy軸の最小値である。
z最大値は、位置センサが位置座標単位(例えば、メートル)で測定できるz軸の最大値である。
z最小値は、位置センサが位置座標単位(例えば、メートル)で測定できるz軸の最小値である。
[ソース2]は、XMLを用いて方位センサ(orientation sensor)に対するセンサ特性を示す。しかし、下記の[ソース2]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
方位センサ特性タイプは、方位センサに対するセンサ特性を説明するための道具である。方位センサ特性タイプは、方位センサに対するセンサ特性基本属性を含んでもよい。方位センサに対するセンサ特性基本属性は、方位範囲(orientation range)、方位範囲タイプ(orientation range type)、x最大値(xmaxValue)、x最小値(xminValue)、y最大値(ymaxValue)、y最小値(yminValue)、z最大値(zmaxValue)、およびz最小値(zminValue)を含んでもよい。
範囲は方位センサが測定される範囲である。例えば、方位範囲タイプおよびグローバル座標システムを用いて方位センサが測定される範囲を表す。
方位範囲タイプは、x、y、z軸によるグローバル座標システムの方位範囲である。
x最大値は、方位センサが方位座標単位(例えば、ラジアン)で測定できるx軸の最大値である。x最小値は、方位センサが方位座標単位(例えば、ラジアン)で測定できるx軸の最小値である。
y最大値は、方位センサが方位座標単位(例えば、ラジアン)で測定できるy軸の最大値である。y最小値は、方位センサが方位座標単位(例えば、ラジアン)で測定できるy軸の最小値である。
z最大値は、方位センサが方位座標単位(例えば、ラジアン)で測定できるz軸の最大値である。z最小値は、方位センサが方位座標単位(例えば、ラジアン)で測定できるz軸の最小値である。
[ソース3]は、XMLを用いて加速度センサ(Acceleration sensor)に対するセンサ特性を示す。しかし、下記の[ソース3]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
加速度センサ特性タイプは、加速度センサに対するセンサ特性を説明するための道具である。加速度センサ特性タイプは、加速度センサに対するセンサ特性基本属性を含んでもよい。加速度センサに対するセンサ特性基本属性は最大値および最小値を含んでもよい。
最大値は、加速度センサが加速度単位(例えば、m/s)で測定できる最大値である。最小値は、加速度センサが加速度単位(例えば、m/s)で測定できる最小値である。
[ソース4]はXMLを用いて光センサ(light sensor)に対するセンサ特性を示す。しかし、下記の[ソース4]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
光センサ特性タイプは、光センサに対するセンサ特性を説明するための道具である。光センサ特性タイプは、光センサに対するセンサ特性基本属性を含んでもよい。光センサに対するセンサ特性の基本属性は、最大値、最小値、色、およびロケーションを含んでもよい。
最大値は、光センサが光の強度単位(例えば、LUX)で測定できる最大値である。最小値は、光センサが光の強度単位(例えば、LUX)で測定できる最小値である。
色は光センサが提供できる色である。例えば、色はRGB値であってもよい。
ロケーションは光センサの位置である。例えば、x、y、z軸によるグローバル座標システムを用いて光センサの位置を示すことができる。
[ソース5]はXMLを用いて音声センサ(sound sensor)に対するセンサ特性を示す。しかし、下記の[ソース5]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
音声センサ特性タイプは、音声センサに対するセンサ特性を説明するための道具である。音声センサ特性タイプは、音声センサに対するセンサ特性基本属性を含んでもよい。音声センサに対するセンサ特性基本属性は、最大値および最小値を含んでもよい。
最大値は、音声センサが声大きさ単位(例えば、デシベル(dB))で測定できる最大値である。最小値は、音声センサが声大きさ単位(例えば、デシベル(dB))で測定できる最小値である。
[ソース6]はXMLを用いて温度センサ(Temperature sensor)に対するセンサ特性を示す。しかし、下記の[ソース6]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
温度センサ特性タイプは、温度センサに対するセンサ特性を説明するための道具である。温度センサ特性タイプは、温度センサに対するセンサ特性基本属性を含んでもよい。温度センサに対するセンサ特性基本属性は、最大値、最小値、およびロケーションを含んでもよい。
最大値は、温度センサが温度単位(例えば、摂氏(℃)および華氏(゜F))で測定できる最大値である。最小値は、温度センサが温度単位(例えば、摂氏(℃)および華氏(゜F))で測定できる最小値である。
ロケーションは温度センサの位置である。例えば、x、y、z軸によるグローバル座標システムを用いて温度センサの位置を示すことができる。
[ソース7]はXMLを用いて湿度センサ(Humidity sensor)に対するセンサ特性を示す。しかし、下記の[ソース7]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
湿度センサ特性タイプは、湿度センサに対するセンサ特性を説明するための道具である。湿度センサ特性タイプは、湿度センサに対するセンサ特性基本属性を含んでもよい。
湿度センサに対するセンサ特性基本属性は、最大値、最小値、およびロケーションを含んでもよい。
最大値は、湿度センサが湿度単位(例えば、%)で測定できる最大値である。最小値は、湿度センサが湿度単位(例えば、%)で測定できる最小値である。
ロケーションは湿度センサの位置である。例えば、x、y、z軸によるグローバル座標システムを用いて湿度センサの位置を示すことができる。
[ソース8]はXMLを用いて長さセンサ(Length sensor)に対するセンサ特性を示す。しかし、下記の[ソース8]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
長さセンサ特性タイプは、長さセンサに対するセンサ特性を説明するための道具である。長さセンサ特性タイプは、長さセンサに対するセンサ特性基本属性を含んでもよい。長さセンサに対するセンサ特性基本属性は、最大値、最小値、およびロケーションを含んでもよい。
最大値は、長さセンサが長さ単位(例えば、meter)で測定できる最大値である。最小値は、長さセンサが長さ単位(例えば、meter)で測定できる最小値である。
ロケーションは長さセンサの位置である。例えば、x、y、z軸によるグローバル座標システムを用いて長さセンサの位置を示すことができる。
[ソース9]はXMLを用いてモーションセンサ(Motion sensor)に対するセンサ特性を示す。しかし、下記の[ソース9]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
モーションセンサ特性タイプは、モーションセンサに対するセンサ特性を説明するための道具である。モーションセンサは、複数のセンサの結合からなる統合センサであってもよい。例えば、モーションセンサは、位置センサ、速度センサ、加速度センサ、方位センサ、角速度センサ、および角加速度センサの結合から構成されてもよい。
モーションセンサ特性タイプは、モーションセンサに対するセンサ特性基本属性を含んでもよい。モーションセンサに対するセンサ特性基本属性は、位置特性(position capability)、速度特性(velocity capability)、加速度特性(acceleration capability)、方位特性(orientation capability)、角速度特性(angular velocity capability)、および角加速度特性(angular acceleration capability)を含んでもよい。
位置特性は位置に関する特性である。速度特性は速度に関する特性である。加速度特性は加速度に関する特性である。方位特性は方位に関する特性である。角速度特性は角速度に関する特性である。角加速度特性は角加速度に関する特性である。
[ソース10]はXMLを用いて知能カメラセンサ(Intelligent camera sensor)に対するセンサ特性を示す。しかし、下記の[ソース10]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
Figure 2012531658
知能カメラ特性タイプは、知能カメラセンサに対するセンサ特性を説明するための道具である。知能カメラセンサ特性タイプは、知能カメラセンサに対するセンサ特性基本属性を含んでもよい。
知能カメラセンサに対するセンサ特性基本属性は、特徴点追跡状態(feature tracking status)、表情追跡状態(expression tracking status)、胴体動作追跡状態(body movement tracking status)、最大胴体特徴ポイント(max Body Feature Point)、最大顔特徴ポイント(max Face Feature Point)、特徴点追跡(Tracked Feature)、顔特徴追跡点(tracked facial feature points)、胴体特徴追跡点(tracked body feature points)、特徴点タイプ(feature type)、顔特徴点マスク(facial feature mask)、および胴体特徴点マスク(body feature mask)を含んでもよい。
特徴点追跡状態は、知能カメラの特徴点追跡可能の有無に関する情報である。
表情追跡状態は、知能カメラの顔表情に関するアニメーション抽出可能の有無に関する情報である。
胴体動作追跡状態は、知能カメラの胴体に関するアニメーション抽出可能の有無に関する情報である。
最大胴体特徴ポイントは、知能カメラセンサが体の特徴点を追跡できる最大値である。最大顔特徴ポイントは、知能カメラセンサが顔の特徴点を追跡できる最大値である。
特徴点追跡は、体と顔の特徴点の追跡可能の有無に関する情報である。
顔特徴追跡点は、顔特徴点のそれぞれが活性状態であるか、または顔特徴マスクに基づいていないかの有無に関する情報である。
胴体特徴追跡点は、胴体特徴点のそれぞれが活性状態であるか、または胴体特徴マスクに基づいていないかの有無に関する情報である。
特徴点タイプは、特徴点のタイプに対するリストである。例えば、特徴点タイプは1.顔、2.体、3.顔と体などを含んでもよい。
顔特徴点マスクは顔特徴点に対するリストである。
胴体特徴点マスクは胴体特徴点に対するリストである。
[ソース11]はXMLを用いて環境騒音センサ(Ambient noise Sensor)に対するセンサ特性を示す。しかし、下記の[ソース11]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
環境騒音センサタイプは、環境騒音センサに対するセンサ特性を説明するための道具である。環境騒音センサ特性タイプは、環境騒音センサに対するセンサ特性基本属性を含んでもよい。環境騒音センサに対するセンサ特性基本属性は、最大値、最小値、およびロケーションを含んでもよい。
最大値は、環境騒音センサが測定できる最大値である。例えば、単位はdBであってもよい。最小値は、環境騒音センサが測定できる最小値である。例えば、単位はdBであってもよい。
ロケーションは、環境騒音センサの位置である。例えば、x、y、z軸によるグローバル座標システムを用いて環境騒音センサの位置を示すことができる。
[ソース12]はXMLを用いて気圧センサ(Atmospheric Pressure Sensor)に対するセンサ特性を示す。しかし、下記の[ソース12]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
気圧センサ特性タイプは、気圧センサに対するセンサ特性を説明するための道具である。気圧センサ特性タイプは、気圧センサに対するセンサ特性基本属性を含んでもよい。気圧センサに対するセンサ特性基本属性は、最大値、最小値、およびロケーションを含んでもよい。
最大値は、気圧センサが気圧単位(例えば、hPa)で測定できる最大値である。最小値は、気圧センサが気圧単位(例えば、hPa)で測定できる最小値である。
ロケーションは、気圧センサの位置である。例えば、x、y、z軸によるグローバル座標システムを用いて気圧センサの位置を示すことができる。
[ソース13]はXMLを用いて速度センサ(Velocity Sensor)に対するセンサ特性を示す。しかし、下記の[ソース13]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
速度センサ特性タイプは、速度センサに対するセンサ特性を説明するための道具である。速度センサ特性タイプは、速度センサに対するセンサ特性基本属性を含んでもよい。速度センサに対するセンサ特性基本属性は、最大値および最小値を含んでもよい。
最大値は、速度センサが速度単位(例えば、m/s)で測定できる最大値である。最小値は、速度センサが速度単位(例えば、m/s)で測定できる最小値である。
[ソース14]はXMLを用いて角速度センサ(Angular Velocity)に対するセンサ特性を示す。しかし、下記の[ソース14]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
角速度センサ特性タイプは、角速度センサに対するセンサ特性を説明するための道具である。角速度センサ特性タイプは、角速度センサに対するセンサ特性基本属性を含んでもよい。角速度センサに対するセンサ特性基本属性は、最大値および最小値を含んでもよい。
最大値は、角速度センサが角速度単位(例えば、radian/s)で測定できる最大値である。最小値は、角速度センサが角速度単位(例えば、radian/s)で測定できる最小値である。
[ソース15]はXMLを用いて角加速度センサ(Angular Acceleration)に対するセンサ特性を示す。しかし、下記の[ソース15]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
角加速度センサ特性タイプは、角加速度センサに対するセンサ特性を説明するための道具である。角加速度センサ特性タイプは、角加速度センサに対するセンサ特性基本属性を含んでもよい。角加速度センサに対するセンサ特性基本属性は、最大値および最小値を含んでもよい。
最大値は、角加速度センサが角加速度単位(例えば、radian/s)で測定できる最大値である。最小値は、角加速度センサが角加速度単位(例えば、radian/s)で測定できる最小値である。
[ソース16]はXMLを用いて力センサ(Force Sensor)に対するセンサ特性を示す。しかし、下記の[ソース16]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
力センサ特性タイプは、力センサに対するセンサ特性を説明するための道具である。力センサ特性タイプは、力センサに対するセンサ特性基本属性を含んでもよい。力センサに対するセンサ特性基本属性は、最大値および最小値を含んでもよい。
最大値は、力センサが力単位(例えば、Newton)で測定できる最大値である。最小値は、力センサが力単位(例えば、Newton)で測定できる最小値である。
[ソース17]はXMLを用いてトルクセンサ(Torque Sensor)に対するセンサ特性を示す。しかし、下記の[ソース17]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
トルクセンサ特性タイプは、トルクセンサに対するセンサ特性を説明するための道具である。トルクセンサ特性タイプは、トルクセンサに対するセンサ特性基本属性を含んでもよい。トルクセンサに対するセンサ特性基本属性は、最大値、最小値、およびロケーションを含んでもよい。
最大値は、トルクセンサがトルク単位(例えば、N−mm(Newton millimeter))で測定できる最大値である。
最小値は、トルクセンサがトルク単位(例えば、N−mm(Newton millimeter))で測定できる最小値である。
[ソース18]はXMLを用いて圧力センサ(Pressure Sensor)に対するセンサ特性を示す。しかし、下記の[ソース18]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
圧力センサ特性タイプは、圧力センサに対するセンサ特性を説明するための道具である。圧力センサ特性タイプは、圧力センサに対するセンサ特性基本属性を含んでもよい。圧力センサに対するセンサ特性基本属性は、最大値、最小値、およびロケーションを含んでもよい。
最大値は、圧力センサが圧力単位(例えば、m/s)で測定できる最大値である。
最小値は、圧力センサが圧力単位(例えば、m/s)で測定できる最小値である。
以下、センサ適応選好について詳説する。
センサ適応選好は、センサから受信された値を操作するための情報である。すなわち、センサ適応選好は、センサから収集された検出情報に対する調整する方法に対するユーザの選好度情報を示すことができる。
センサ適応選好基本タイプは、ユーザの操作情報の基本タイプである。実施形態に係るセンサ適応選好基本タイプはセンサ適応選好に対するメタデータの一部分として、全てのセンサに共通して適用されるセンサ適応選好に関するメタデータの基本タイプであり得る。
以下、図10から図12を参照してセンサ適応選好およびセンサ適応選好基本タイプについて詳説する。
図10は、一実施形態に係るセンサ適応選好基本タイプを示す図である。図10を参照すれば、一実施形態に係るセンサ適応選好基本タイプ700は、センサ適応選好基本属性(sensor adaptation preference base attributes)710および例外属性(any attributes)720を含んでもよい。
センサ適応選好基本属性710は、センサ適応選好基本タイプ700に基本的に含まれるセンサ適応選好のグループである。
例外属性720は、追加的なセンサ適応選好のグループである。例外属性720は、任意のセンサに適用され得る固有の追加的なセンサ適応選好であってもよい。例外属性720は、基本属性以外の属性を含むための拡張性を提供してもよい。
図11は、一実施形態に係るセンサ適応選好基本タイプのシンタックスを示す図である。図11を参照すれば、一実施形態に係るセンサ適応選好基本タイプのシンタックス800は、ダイヤグラム(Diagram)810、属性(Attributes)820、およびソース(Source)830を含んでもよい。
ダイヤグラム810は、センサ適応選好基本タイプの図表を含んでもよい。
属性820は、センサ適応選好基本属性および例外属性を含んでもよい。
ソース830は、XMLを用いてセンサ適応選好基本タイプを示すプログラムを含んでもよい。しかし、図11に示すソース830は一実施形態に過ぎず、本発明がこれに制限されることはない。
図12は、一実施形態に係るセンサ適応選好基本属性のシンタックスを示す図である。図12を参照すれば、一実施形態に係るセンサ適応選好基本属性のシンタックス900は、ダイヤグラム(Diagram)910、属性(Attributes)920、およびソース(Source)930を含んでもよい。
ダイヤグラム910は、センサ適応選好基本属性の図表を含んでもよい。
属性920は、センサID参照(SensorIdRef)901、センサ適応モード(sensor adaptation mode)902、活性状態(activate)903、単位(unit)904、最大値(maxValue)905、最小値(minValue)906、および解像力(numOflevels)907を含んでもよい。
センサID参照901は、特定の検出情報を生成する個別的なセンサの識別子を参照する情報である。
センサ適応モード902は、センサの適用方法に関するユーザの選好情報である。実施形態に係るセンサ適応モード902は、センサを介して測定された現実世界のユーザの動作、状態、意図、形態などに関する情報を測定して仮想世界に反映するための適応方法に対するセンサ適応選好であってもよい。例えば、「ストリクト(strict)」値はセンシングした現実世界の情報を仮想世界に直接的に適用するユーザの選好を表し、「スケーラブル(scalable)」値はセンシングした現実世界の情報をユーザの選好に応じて変化して仮想世界に適用するユーザの選好を表す。
活性状態903は、仮想世界でセンサを活性化するか否かに関する情報である。実施形態に係る活性状態903は、センサの作動有無を判別するセンサ適応選好であってもよい。
単位904は、仮想世界で用いられる値の単位である。例えば、単位904はピクセルであってもよい。実施形態に係る単位904はセンサから受信された値に対応する値の単位であってもよい。
最大値905と最小値906は、仮想世界で用いられる値の最大値と最小値である。実施形態に係る最大値905と最小値906は、センサから受信された値に対応する値の単位であってもよい。
解像力907は、仮想世界で用いられる値の個数である。実施形態に係る仮想世界で用いられる値の最大値と最小値との間の段階数を割るための値であってもよい。
一実施形態に係るセンサ適応選好基本属性のセンサID参照901、適応モード902、活性状態903、単位904、最大値905、最小値906、および解像力907について下記の表4のように整理することができる。
Figure 2012531658
ソース930は、XMLを用いてセンサ適応選好基本属性を示すプログラムを含んでもよい。
図面符号931は、活性状態903に対する定義をXMLで表したものである。図面符号931によれば、活性状態903は「boolean」の類型のデータを有し、選択的に用いてもよい。
図面符号932は、最大値905に対する定義をXMLで表したものである。図面符号932によれば、最大値905は「float」の類型のデータを有し、選択的に用いてもよい。
図面符号933は、最小値906に対する定義をXMLで表したものである。図面符号933によれば、最小値906は「float」の類型のデータを有し、選択的に用いてもよい。
図面符号934は、解像力907に対する定義をXMLで表したものである。図面符号934によれば、解像力907は「nonNegativeInteger」の類型のデータを有し、選択的に用いてもよい。
しかし、図12に示すソース930は一実施形態に過ぎず、本発明がこれに制限されることはない。
以下、センサの具体的な実施形態に対するセンサ適応選好を説明する。
[ソース19]はXMLを用いて位置センサ(Position sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース19]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
位置センサタイプは、位置センサに対するセンサ適応選好を説明するための道具である。位置センサ特性タイプは、位置センサに対するセンサ適応選好基本属性を含んでもよい。位置センサに対するセンサ適応選好基本属性は範囲および解像力を含んでもよい。
範囲は、位置センサが測定した位置情報に対するユーザの選好範囲である。
解像力は、位置センサが測定した位置情報に対するユーザの選好解像力である。
[ソース20]はXMLを用いて方位センサ(orientation sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース20]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
方位センサタイプは、方位センサに対するセンサ適応選好を説明するための道具である。方位センサ特性タイプは、方位センサに対するセンサ適応選好基本属性を含んでもよい。方位センサに対するセンサ適応選好基本属性は、方位範囲および解像力を含んでもよい。方位範囲は、方位センサが測定した方位情報に対するユーザの選好範囲である。
解像力は、方位センサが測定した方位情報に対するユーザの選好解像力である。
[ソース21]はXMLを用いて加速度センサ(Acceleration sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース213]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
加速度センサタイプは、加速度センサに対するセンサ適応選好を説明するための道具である。加速度センサ特性タイプは、加速度センサに対するセンサ適応選好基本属性を含んでもよい。加速度センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、加速度センサが測定した加速度情報に対するユーザの選好最大値である。
最小値は、加速度センサが測定した加速度情報に対するユーザの選好最小値である。
解像力は、加速度センサが測定した加速度情報に対するユーザの選好解像力である。
[ソース22]はXMLを用いて光センサ(Light sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース22]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
光センサタイプは、光センサに対するセンサ適応選好を説明するための道具である。光センサ特性タイプは、光センサに対するセンサ適応選好基本属性を含んでもよい。光センサに対するセンサ適応選好基本属性は、最大値、最小値、解像力および非選好色(unfavorable color)を含んでもよい。
最大値は、光センサの測定値に対するユーザの選好最大値である。
最小値は、光センサの測定値に対するユーザの選好最小値である。
解像力は、光センサの測定値に対するユーザの選好解像力である。
非選好色は、光センサの測定値に対するユーザが好まない色である。例えば、非選好色は、RGB値や分類参照としてユーザの非選好色のリストである。
[ソース23]はXMLを用いて音声センサ(Sound sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース23]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
音声センサタイプは、音声センサに対するセンサ適応選好を説明するための道具である。音声センサ特性タイプは、音声センサに対するセンサ適応選好基本属性を含んでもよい。音声センサに対するセンサ適応選好基本属性は、最大値および最小値を含んでもよい。
最大値は、音声センサの測定値でユーザが許容する最大値である。
最小値は、音声センサの測定値でユーザが許容する最小値である。
[ソース24]はXMLを用いて温度センサ(Temperature sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース24]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
温度センサタイプは、温度センサに対するセンサ適応選好を説明するための道具である。温度センサ特性タイプは、温度センサに対するセンサ適応選好基本属性を含んでもよい。温度センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、温度センサが測定した温度情報に対するユーザの選好最大値である。
最小値は、温度センサが測定した温度情報に対するユーザの選好最小値である。
解像力は、温度センサが測定した温度情報に対するユーザの選好解像力である。
[ソース25]はXMLを用いて湿度センサ(Humidity sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース25]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
湿度センサタイプは、湿度センサに対するセンサ適応選好を説明するための道具である。湿度センサ特性タイプは、湿度センサに対するセンサ適応選好基本属性を含んでもよい。湿度センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、湿度センサが測定した湿度情報に対するユーザの選好最大値である。
最小値は、湿度センサが測定した湿度情報に対するユーザの選好最小値である。
解像力は、湿度センサが測定した湿度情報に対するユーザの選好解像力である。
[ソース26]はXMLを用いて長さセンサ(Length sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース26]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
長さセンサタイプは、長さセンサに対するセンサ適応選好を説明するための道具である。長さセンサ特性タイプは、長さセンサに対するセンサ適応選好基本属性を含んでもよい。長さセンサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、長さセンサが測定した長さ情報に対するユーザの選好最大値である。
最小値は、長さセンサが測定した長さ情報に対するユーザの選好最小値である。
解像力は、長さセンサが測定した長さ情報に対するユーザの選好解像力である。
[ソース27]はXMLを用いてモーションセンサ(Motion sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース27]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
モーションセンサ特性タイプは、モーションセンサに対するセンサ適応選好を説明するための道具である。モーションセンサ特性タイプは、モーションセンサに対するセンサ適応選好基本属性を含んでもよい。
モーションセンサに対するセンサ適応選好基本属性は、選好位置(position preference)、選好速度(velocity preference)、選好加速度(acceleration preference)、選好方位(orientation preference)、選好角速度(angular velocity preference)および選好角加速度(angular acceleration preference)を含んでもよい。
選好位置はユーザ選好位置である。選好速度はユーザ選好速度である。選好加速度はユーザ選好加速度である。選好方位はユーザ選好方位である。選好角速度はユーザ選好角速度である。選好角加速度はユーザ選好角加速度である。
[ソース28]はXMLを用いて知能カメラセンサ(Intelligent camera sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース28]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
Figure 2012531658
知能カメラセンサ特性タイプは、知能カメラセンサに対するセンサ適応選好を説明するための道具である。知能カメラセンサ特性タイプは、知能カメラモーションセンサに対するセンサ適応選好基本属性を含んでもよい。
知能カメラモーションセンサに対するセンサ適応選好基本属性は、顔特徴点追跡オン(FaceFeatureTrackingOn)、胴体特徴点追跡オン(BodyFeatureTrackingOn)、顔表情追跡オン(FacialExpressionTrackingOn)、ジェスチャー追跡オン(GestureTrackingOn)、顔追跡マップ(FaceTrackingMap)、および胴体追跡マップ(BodyTrackingMap)を含んでもよい。
顔特徴点追跡オンは、知能カメラセンサがユーザの顔の特徴点を追跡する顔特徴点追跡モードを活性化するか否かに関する情報である。
胴体特徴点追跡オンは、知能カメラセンサがユーザ胴体の特徴点を追跡する胴体特徴点追跡モードを活性化するか否かに関する情報である。
顔表情追跡オンは、知能カメラセンサがユーザの顔表情を追跡することに対するユーザの選好情報である。
ジェスチャー追跡オンは、知能カメラセンサがユーザのジェスチャー追跡に対するユーザの選好情報である。
顔追跡マップは、顔追跡マップタイプに対するブールマップ(Boolean Map)を提供する。ブールマップは、ユーザが追跡しようとする顔の部分を提供する。実施形態に係る顔追跡マップタイプに対するブールマップは、目、口、鼻、およびの耳を顔の部分として提供する。
胴体追跡マップは、胴体追跡マップタイプに対するブールマップを提供する。ブールマップはユーザが追跡しようとする胴体の部分を提供する。実施形態に係る胴体追跡マップタイプに対するブールマップは頭、腕、手、脚、足、および中間胴体を胴体の部分として提供する。
[ソース29]はXMLを用いて環境騒音センサ(Ambient Noise Sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース29]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
環境騒音センサタイプは、環境騒音センサに対するセンサ適応選好を説明するための道具である。環境騒音センサ特性タイプは、環境騒音センサに対するセンサ適応選好基本属性を含んでもよい。環境騒音センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、環境騒音センサが測定した環境騒音情報に対するユーザの選好最大値である。
最小値は、環境騒音センサが測定した環境騒音情報に対するユーザの選好最小値である。
解像力は、環境騒音センサが測定した環境騒音情報に対するユーザの選好解像力である。
[ソース30]はXMLを用いて気圧センサ(Atmospheric Pressure)に対するセンサ適応選好を表す。しかし、下記の[ソース30]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
気圧センサタイプは、気圧センサに対するセンサ適応選好を説明するための道具である。気圧センサ特性タイプは、気圧センサに対するセンサ適応選好基本属性を含んでもよい。
気圧センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、気圧センサが測定した気圧情報に対するユーザの選好最大値である。
最小値は、気圧センサが測定した気圧情報に対するユーザの選好最小値である。
解像力は、気圧センサが測定した気圧情報に対するユーザの選好解像力である。
[ソース31]はXMLを用いて速度センサ(Velocity Sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース31]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
速度センサタイプは、速度センサに対するセンサ適応選好を説明するための道具である。速度センサ特性タイプは、速度センサに対するセンサ適応選好基本属性を含んでもよい。速度センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、速度センサが測定した速度情報に対するユーザの選好最大値である。
最小値は、速度センサが測定した速度情報に対するユーザの選好最小値である。
解像力は、速度センサが測定した速度情報に対するユーザの選好解像力である。
[ソース32]はXMLを用いて角速度センサ(Angular Velocity Sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース32]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
角速度センサタイプは、角速度センサに対するセンサ適応選好を説明するための道具である。角速度センサ特性タイプは、角速度センサに対するセンサ適応選好基本属性を含んでもよい。角速度センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、角速度センサが測定した角速度情報に対するユーザの選好最大値である。
最小値は、角速度センサが測定した角速度情報に対するユーザの選好最小値である。
解像力は、角速度センサが測定した角速度情報に対するユーザの選好解像力である。
[ソース33]はXMLを用いて角加速度センサ(Angular Acceleration Sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース33]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
角加速度センサタイプは、角加速度センサに対するセンサ適応選好を説明するための道具である。角加速度センサ特性タイプは、角加速度センサに対するセンサ適応選好基本属性を含んでもよい。角加速度センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、角加速度センサが測定した角加速度情報に対するユーザの選好最大値である。
最小値は、角加速度センサが測定した角加速度情報に対するユーザの選好最小値である。
解像力は、角加速度センサが測定した角加速度情報に対するユーザの選好解像力である。
[ソース34]はXMLを用いて力センサ(Force Sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース34]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
力センサタイプは、力センサに対するセンサ適応選好を説明するための道具である。力センサ特性タイプは、力センサに対するセンサ適応選好基本属性を含んでもよい。力センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、力センサが測定した力情報に対するユーザの選好最大値である。
最小値は、力センサが測定した力情報に対するユーザの選好最小値である。
解像力は、力センサが測定した力情報に対するユーザの選好解像力である。
[ソース35]はXMLを用いてトルクセンサ(Torque Sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース35]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
トルクセンサタイプは、トルクセンサに対するセンサ適応選好を説明するための道具である。トルクセンサ特性タイプは、トルクセンサに対するセンサ適応選好基本属性を含んでもよい。トルクセンサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、トルクセンサが測定したトルク情報に対するユーザの選好最大値である。
最小値は、トルクセンサが測定したトルク情報に対するユーザの選好最小値である。
解像力は、トルクセンサが測定したトルク情報に対するユーザの選好解像力である。
[ソース36]はXMLを用いて圧力センサ(Pressure sensor)に対するセンサ適応選好を表す。しかし、下記の[ソース36]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
圧力センサタイプは、圧力センサに対するセンサ適応選好を説明するための道具である。圧力センサ特性タイプは、圧力センサに対するセンサ適応選好基本属性を含んでもよい。圧力センサに対するセンサ適応選好基本属性は、最大値、最小値、および解像力を含んでもよい。
最大値は、圧力センサが測定した圧力情報に対するユーザの選好最大値である。
最小値は、圧力センサが測定した圧力情報に対するユーザの選好最小値である。
解像力は、圧力センサが測定した圧力情報に対するユーザの選好解像力である。
本発明の一実施形態に係る仮想世界処理装置は検出情報を含んでもよい。
検出情報はセンサが現実世界から収集した情報である。一実施形態に係る検出情報は、センサを制御する命令に関する情報であってもよい。実施形態に係る検出情報は、センサを介して測定された現実世界のユーザの動作、状態、意図、形態などに関する情報を仮想世界に反映するため、センサを制御するための命令語であり得る。
実施形態に係る検出情報は、検出情報に対するメタデータのルート構成要素であってもよい。
以下、図13を参照して検出情報について詳説する。図13は、一実施形態に係る検出情報基本タイプを示す図である。図13を参照すれば、一実施形態に係る検出情報基本タイプ1000は、検出情報基本属性(sensed information base attributes)1010および例外属性(any attributes)1020を含んでもよい。
検出情報基本タイプ1000は、個別的な検出情報を相続(inherit)することのできる最上の基本タイプである。
検出情報基本属性1010は命令のための属性のグループである。
例外属性1020は追加的な検出情報のグループである。例外属性1020は、任意のセンサに適用できる固有の追加的な検出情報であってもよい。例外属性1020は、基本属性以外の他の属性を含むための拡張性を提供する。
[ソース37]はXMLを用いて検出情報基本タイプを示すプログラムを含んでもよい。しかし[ソース37]は一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
検出情報基本属性1010はID1011、センサID参照(sensorIdRef)1012、グループID(groupID)1013、優先権(priority)1014、活性状態(activate)1015、および接続リスト(linkedlist)1016を含んでもよい。
ID1011は、センサが収集した検出情報の個別的なアイデンティティを区分するためのID情報である。
センサID参照1012はセンサを参照する情報である。すなわち、センサID参照1012は、特定の検出情報に含まれる情報を生成するセンサの識別子を参照する情報である。
グループID1013は、センサが属するマルチセンサグループの個別的なアイデンティティを区分するための情報である。すなわち、グループID1013は、特定センサが属するマルチセンサグループ(multi−sensor structure)の個別的なアイデンティティを区分するためのID情報である。
優先権1014は、検出情報が調整された時間に同じ点(point)を共有する他の検出情報に対する検出情報の優先権情報である。実施形態によって1が最も高い優先権を示し、値が大きくなるほど優先権が低くなる。
活性状態1015は、センサの作動有無を判別する情報である。
接続リスト1016は、様々なセンサをグループ化するための接続環情報である。実施形態に係る接続リスト1016は、隣接するセンサの識別子に対する参照情報を含む方法によってセンサをグループ化するマルチセンサグループに関する情報である。
実施形態に係る検出情報基本属性1010は、値、タイムスタンプ、および有効期間をさらに含んでもよい。
値はセンサ測定値である。値はセンサから受信された値であってもよい。
タイムスタンプはセンサがセンシングする時の時間情報である。
有効期間はセンサ命令の有効な期間に関する情報である。実施形態に係る有効期間は秒の単位である。
一実施形態に係る検出情報基本属性について下記の表5のように整理することができる。
Figure 2012531658
以下、センサの具体的な実施形態に対する検出情報を説明する。
[ソース38]はXMLを用いて位置センサ(position sensor)に対する検出情報を示す。しかし、下記の[ソース38]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
位置センサタイプは、位置センサに対する検出情報を説明するための道具である。位置センサタイプは、タイムスタンプ、有効期間、位置、位置値タイプ、Px、Py、およびPzの属性を含んでもよい。
タイムスタンプは、位置センサの検出時間に関する情報である。
有効期間は、位置センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
位置は、距離単位(例えば、meter)の位置センサの3次元値に関する情報である。
位置値タイプは、3次元位置ベクトルを示すための道具である。
Pxは、位置センサのx軸値に関する情報である。Pyは、位置センサのy軸値に関する情報である。Pzは、位置センサのz軸値に関する情報である。
[ソース39]はXMLを用いて方位センサ(orientation sensor)に対する検出情報を示す。しかし、下記の[ソース39]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
方位センサタイプは、方位センサに対する検出情報を説明するための道具である。方位センサタイプは、タイムスタンプ、有効期間、方位、方位値タイプ、Ox、Oy、およびOzの属性を含んでもよい。タイムスタンプは、方位センサの検出時間に関する情報である。
有効期間は、方位センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
方位は、方位単位(例えば、radian)の方位センサの値に関する情報である。方位値タイプは、3次元方位ベクトルを示すための道具である。
Oxは、方位センサのx軸回転角値に関する情報である。Oyは、方位センサのy軸回転角値に関する情報である。Ozは、方位センサのz軸回転角値に関する情報である。
[ソース40]はXMLを用いて加速度センサ(Acceleration sensor)に対する検出情報を示す。しかし、下記の[ソース40]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
加速度センサタイプは、加速度センサに対する検出情報を説明するための道具である。加速度センサタイプは、タイムスタンプ、有効期間、加速度、加速度値タイプ、Ax、Ay、およびAzの属性を含んでもよい。
タイムスタンプは、加速度センサの検出時間に関する情報である。
有効期間は、加速度センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
加速度は、加速度単位(例えば、m/s)の加速度センサの値に関する情報である。加速度値タイプは、3次元加速度ベクトルを示すための道具である。
Axは、加速度センサのx軸値に関する情報である。Ayは、加速度センサのy軸値に関する情報である。Azは、加速度センサのz軸値に関する情報である。
[ソース41]はXMLを用いて光センサ(light sensor)に対する検出情報を示す。しかし、下記の[ソース41]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
光センサタイプは、光センサに対する検出情報を説明するための道具である。光センサタイプは、タイムスタンプ、有効期間、値、および色の属性を含んでもよい。タイムスタンプは、光センサの検出時間に関する情報である。
有効期間は、光センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
値は光の強度単位(例えば、LUX)の光センサ値に関する情報である。
色は光センサが提供できる色である。例えば、色はRGB値であってもよい。
[ソース42]はXMLを用いて音声センサ(sound sensor)に対する検出情報を示す。しかし、下記の[ソース42]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
音声センサ命令タイプは、音声センサに対する検出情報を説明するための道具である。
[ソース43]はXMLを用いて温度センサ(Temperature sensor)に対する検出情報を示す。しかし、下記の[ソース43]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
温度センサタイプは、温度センサに対する検出情報を説明するための道具である。温度センサタイプは、タイムスタンプ、有効期間、および値の属性を含んでもよい。
タイムスタンプは、温度センサの検出時間に関する情報である。
有効期間は、温度センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
値は、温度単位(例えば、摂氏(℃)および華氏(゜F))の温度センサ値に関する情報である。
[ソース44]はXMLを用いて湿度センサ(Humidity sensor)に対する検出情報を示す。しかし、下記の[ソース44]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
湿度センサタイプは、湿度センサに対する検出情報を説明するための道具である。湿度センサタイプは、タイムスタンプ、有効期間、および値の属性を含んでもよい。
タイムスタンプは、湿度センサの検出時間に関する情報である。
有効期間は、湿度センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
値は湿度単位(例えば、%)の湿度センサ値に関する情報である。
[ソース45]はXMLを用いて長さセンサ(Length sensor)に対するセンサ特性を示す。しかし、下記の[ソース45]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
長さセンサタイプは、長さセンサに対する検出情報を説明するための道具である。長さセンサタイプは、タイムスタンプ、有効期間、および値の属性を含んでもよい。
タイムスタンプは、長さセンサの検出時間に関する情報である。
有効期間は、長さセンサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
値は距離の単位(例えば、meter)の長さセンサ値に関する情報である。
[ソース46]はXMLを用いてモーションセンサ(Motion sensor)に対する検出情報を示す。しかし、下記の[ソース46]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
モーションセンサタイプは、モーションセンサに対する検出情報を説明するための道具である。モーションセンサタイプは、id、idref、位置、速度、加速度、方位、角速度、および角加速度を含んでもよい。
idは、モーションセンサの個別的なアイデンティティを区分するためのID情報である。
idrefは、モーションセンサの個別的なアイデンティティを区分するためのidに対する付加的な情報である。
位置は、位置単位(例えば、meter)の位置ベクトル値に関する情報である。速度は、速度単位(例えば、m/s)の速度ベクトル値に関する情報である。加速度は、速度単位(例えば、m/s)の加速度ベクトル値に関する情報である。方位は、方位単位(例えば、radian)の方位ベクトル値に関する情報である。角速度は、速度単位(例えば、radian/s)の角速度ベクトル値に関する情報である。角加速度は、速度単位(例えば、radian/s)の速度ベクトル値に関する情報である。
[ソース47]はXMLを用いて知能カメラセンサ(Intelligent Camera sensor)に対する検出情報を示す。しかし、下記の[ソース47]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
知能カメラセンサタイプは、知能カメラセンサに対する検出情報を説明するための道具である。
知能カメラセンサタイプは、顔アニメーションid(Facial Animation ID)、胴体アニメーションid(Body Animation ID)、顔特徴点(Face Feature)、および胴体特徴点(Body Feature)を含んでもよい。
顔アニメーションidは、顔表情に対するアニメーションクリップを参照するIDである。
胴体アニメーションidは、胴体に対するアニメーションクリップを参照するIDである。
顔特徴点は、知能カメラに検出された顔特徴点のそれぞれの3次元位置に関する情報である。
胴体特徴点は、知能カメラに検出された胴体特徴点のそれぞれの3次元位置に関する情報である。
[ソース48]はXMLを用いて環境騒音センサ(Ambient Noise Sensor)に対する検出情報を示す。しかし、下記の[ソース48]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
環境騒音センサタイプは、環境騒音センサに対する検出情報を説明するための道具である。環境騒音センサタイプは、タイムスタンプ、有効期間、および値の属性を含んでもよい。
タイムスタンプは、環境騒音センサの検出時間に関する情報である。
有効期間は、環境騒音センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
値は、声の強度単位(例えば、dB)の環境騒音センサ値に関する情報である。
[ソース49]はXMLを用いて気圧センサ(Atmospheric pressure Sensor)に対する検出情報を示す。しかし、下記の[ソース49]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
気圧センサタイプは、気圧センサに対する検出情報を説明するための道具である。気圧センサタイプは、タイムスタンプ、有効期間、および値の属性を含んでもよい。タイムスタンプは、気圧センサの検出時間に関する情報である。
有効期間は、気圧センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
値は、気圧単位(例えば、hPa)の気圧センサ値に関する情報である。
[ソース50]はXMLを用いて速度センサ(Velocity Sensor)に対する検出情報を示す。しかし、下記の[ソース50]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
速度センサタイプは、速度センサに対する検出情報を説明するための道具である。速度センサタイプは、タイムスタンプ、有効期間、速度、速度値タイプ、Vx、Vy、およびVzの属性を含んでもよい。
タイムスタンプは、速度センサの検出時間に関する情報である。
有効期間は、速度センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
速度は、速度単位(例えば、m/s)の速度センサの値に関する情報である。速度値タイプは3次元速度ベクトルを示すための道具である。Vxは、速度センサのx軸値に関する情報である。Vyは、速度センサのy軸値に関する情報である。Vzは、速度センサのz軸値に関する情報である。
[ソース51]はXMLを用いて角速度センサ(Angular Velocity Sensor)に対する検出情報を示す。しかし、下記の[ソース51]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
角速度センサタイプは、角速度センサに対する検出情報を説明するための道具である。角速度センサタイプは、タイムスタンプ、有効期間、角速度、角速度値タイプ、AVx、AVy、およびAVzの属性を含んでもよい。タイムスタンプは、角速度センサの検出時間に関する情報である。
有効期間は、角速度センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
角速度は、角速度単位(例えば、radian/s)の角速度センサの値に関する情報である。
角速度値タイプは、3次元角速度を示すための道具である。AVxは、角速度センサのx軸回転角速度値に関する情報である。AVyは、角速度センサのy軸回転角速度値に関する情報である。AVzは、角速度センサのz軸回転角速度値に関する情報である。
[ソース52]はXMLを用いて角加速度センサ(Angular Acceleration Sensor)に対する検出情報を示す。しかし、下記の[ソース52]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
角加速度センサタイプは、角加速度センサに対する検出情報を説明するための道具である。角加速度センサタイプは、タイムスタンプ、有効期間、角加速度、角加速度値タイプ、AAx、AAy、およびAAzの属性を含んでもよい。タイムスタンプは、角加速度センサの検出時間に関する情報である。
有効期間は、角加速度センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
角加速度は、角加速度単位(例えば、radian/s)の角加速度センサの値に関する情報である。角加速度値タイプは、3次元角加速度ベクトルを示すための道具である。
AAxは、角加速度センサのx軸角加速度値に関する情報である。AAyは、角加速度センサのy軸角加速度値に関する情報である。AAzは、角加速度センサのz軸角加速度値に関する情報である。
[ソース53]はXMLを用いて力センサ(Force Sensor)に対する検出情報を示す。しかし、下記の[ソース53]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
力センサタイプは、力センサに対する検出情報を説明するための道具である。力センサタイプは、タイムスタンプ、有効期間、力、力値タイプ、FSx、FSy、およびFSzの属性を含んでもよい。タイムスタンプは、力センサの検出時間に関する情報である。
有効期間は、力センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
力は、力単位(例えば、N)の力センサの値に関する情報である。力値タイプは、3次元力ベクトルを示すための道具である。
FSxは、力センサのx軸力値に関する情報である。FSyは、力センサのy軸力値に関する情報である。FSzは、力センサのz軸力値に関する情報である。
[ソース54]はXMLを用いてトルクセンサ(Torque Sensor)に対する検出情報を示す。しかし、下記の[ソース54]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
トルクセンサタイプは、トルクセンサに対する検出情報を説明するための道具である。トルクセンサタイプは、タイムスタンプ、有効期間、トルク、トルク値タイプ、TSx、TSy、およびTSzの属性を含んでもよい。
タイムスタンプは、トルクセンサの検出時間に関する情報である。
有効期間は、トルクセンサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
トルクは、トルク単位(例えば、N−mm)のトルクセンサの値に関する情報である。トルク値タイプは、3次元トルクベクトルを示すための道具である。TSxは、トルクセンサのx軸トルク値に関する情報である。TSyは、トルクセンサのy軸トルク値に関する情報である。
TSzは、トルクセンサのz軸トルク値に関する情報である。[ソース55]はXMLを用いて圧力センサ(Pressure Sensor)に対する検出情報を示す。しかし、下記の[ソース55]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
圧力センサタイプは、圧力センサに対する検出情報を説明するための道具である。圧力センサタイプは、タイムスタンプ、有効期間、および値の属性を含んでもよい。
タイムスタンプは、圧力センサの検出時間に関する情報である。
有効期間は、圧力センサの命令の有効期間に関する情報である。例えば、有効期間は秒単位であってもよい。
値は圧力単位(例えば、N/mm)の圧力センサ値に関する情報である。
図14は、一実施形態に係る仮想世界処理方法のフローチャートを示す図である。図14を参照すれば、一実施形態に係る仮想世界処理方法はセンサの特性に関するセンサ特性を格納する(S1110)。
また、センサ特性に基づいてセンサから受信された第1値に対して判断し、第1値に対応する第2値を仮想世界に送信する(S1120)。
実施形態に係るセンサ特性は、センサが測定される最大値および最小値を含んでもよい。仮想世界処理方法は、第1値が最大値よりも小さいか同じであり、最小値よりも大きいか同じである場合、第1値に対応する第2値を仮想世界に送信する。
実施形態に係るセンサ特性は、センサが測定する第1値の単位を含んでもよい。また、センサ特性は絶対値を得るためにセンサが測定する第1値に加えられるオフセット値を含んでもよい。また、センサ特性は、センサが測定される値の個数を含んでもよい。また、センサ特性は、センサが出力値を測定するために要求される最小入力値を含んでもよい。また、センサ特性はセンサのSNRを含んでもよい。また、センサ特性はセンサの誤差を含んでもよい。また、センサ特性はセンサの位置を含んでもよい。
一実施形態に係る仮想世界処理方法は、センサから受信された第1値を操作するためのセンサ適応選好を格納するステップをさらに含んでもよく(図示せず)、前記送信するステップは、センサ特性に基づいて第1値から第3値を生成し、センサ適応選好に基づいて第3値から第2値を生成する。
実施形態に係るセンサ適応選好は、センサ適応選好を第1値に適用する方法に関する情報を含んでもよい。また、センサ適応選好は、仮想世界でセンサを活性化するか否かに関する情報を含んでもよい。また、センサ適応選好は、仮想世界で用いられる第2値の単位を含んでもよい。また、センサ適応選好は、仮想世界で用いられる第2値の最大値および最小値を含んでもよい。また、センサ適応選好は仮想世界で用いられる第2値の個数を含んでもよい。
図15は、更なる一実施形態に係る仮想世界処理方法のフローチャートを示す図である。図15を参照すれば、一実施形態に係る仮想世界処理方法は、センサから現実世界の情報が入力されるために初期セッティングをする(S1210)。実施形態に係る初期セッティングするステップ(S1210)は、センサを活性化させる動作であってもよい。
また、センサの特性に関する情報であるセンサ特性およびセンサから受信された値を操作するための情報であるセンサ適応選好を格納する(S1220)。
また、センサを介して現実世界のユーザの動作、状態、意図、形態などに関する情報を測定する(S1230)。センサが現実世界のユーザの動作、状態、意図、形態などに関する情報を測定できない場合、情報を測定するまでステップS1230を繰り返す。
また、センサを介して現実世界のユーザの動作、状態、意図、形態などに関する情報を測定した場合、情報に対する前処理過程を適用する(S1240)。
また、センサを制御する命令である検出情報を用いてセンサを制御する(S1250)。
また、適応RVは、センサ特性に基づいてセンサから受信された第1値に対して判断し、第1値に対応する第2値を仮想世界に送信する(S1260)。実施形態に係るセンサ特性に基づいて第1値から第3値を生成し、センサ適応選好に基づいて第3値から第2値を生成し、第2値を仮想世界に送信する。
以下、本発明の更なる一実施形態に係る仮想世界処理方法を説明する。
本発明の一実施形態に係る仮想世界処理方法は、知能カメラセンサを用いて現実世界のユーザの形態に関連する情報を収集する。
一実施形態に係るユーザの形態に関連する情報は現実世界のユーザの顔、表情、胴体の動作、および胴体の形態のうち少なくともいずれか1つに関する情報を含んでもよい。
本発明の一側面によれば、知能カメラセンサは、現実世界のユーザの形態に関連する情報をセンシングし、検知された情報を仮想世界処理装置に送信してもよい。ここで、仮想世界処理方法は、位置センサがセンシングしたユーザの形態に関連する情報を収集する。
仮想世界処理方法は、知能カメラセンサの特性に関するセンサ特性に基づいて、収集された情報の仮想世界に対する適応作業を行う。
知能カメラセンサに対するセンサ特性は、特徴点追跡状態、表情追跡状態、胴体動作追跡状態、最大胴体特徴ポイント、最大顔特徴ポイント、特徴点追跡、顔特徴追跡点、胴体特徴追跡点、特徴点タイプ、顔特徴点マスク、および胴体特徴点マスクのうち少なくとも1つを含んでもよい。
本発明の一側面によれば、仮想世界処理方法は。収集された情報を操作するためのセンサ適応選好を格納するステップをさらに含んでもよい。
ここで、仮想世界処理方法は、センサ特性およびセンサ適応選好に基づいて収集された情報の仮想世界に対する適応作業を行う。センサ適応選好について図10から図12を参照して後から詳説する。
一実施形態に係るセンサ適応選好は、知能カメラセンサに対する顔特徴点追跡オン、胴体特徴点追跡オン、顔表情追跡オン、ジェスチャー追跡オン、顔追跡マップ、および胴体追跡マップのうち少なくとも1つを含んでもよい。
図16は、一実施形態に係る仮想世界処理装置を用いる動作を示す図である。図16を参照すれば、一実施形態に係るセンサ1301を用いて現実世界のユーザ1310は自身の意図を入力してもよい。実施形態に係るセンサ1301は、現実世界のユーザ1310の動作を測定するモーションセンサおよびユーザ1310の腕と足先に着用されて腕と足先が指している方向および位置を測定するリモートポインタ(remote pointer)を備える。
センサ1301を介して入力された現実世界のユーザ1310の腕を広げる動作、止まって立っている状態、手と足の位置、および手が開かれている角度などに関する制御情報(control information、CI)1302を含むセンサ信号は仮想世界処理装置に送信される。
実施形態に係る制御情報1302は、センサ特性、センサ適応選好、および検出情報を含んでもよい。
実施形態に係る制御情報1302は、ユーザ1310の腕と足に対する位置情報をx、y、z軸の値であるXreal、Yreal、Zreal値とx、y、z軸との角度の値であるΘXreal、ΘYreal、ΘZreal値のように表して含んでもよい。
一実施形態に係る仮想世界処理装置は、RVエンジン1320を含んでもよい。RVエンジン1320は、センサ信号に含まれている制御情報1302を用いて現実世界の情報を仮想世界に適用される情報に変換する。
実施形態に係るRVエンジン1320は、制御情報1302を用いてVWI(virtual world information、仮想世界情報)1303を変換する。
VWI1303は仮想世界に関する情報である。例えば、VWI1303は、仮想世界のオブジェクトまたはオブジェクトを構成する要素に関する情報を含んでもよい。
実施形態に係るVWI1303は、仮想世界オブジェクト情報1304およびアバター情報1305を含んでもよい。
仮想世界オブジェクト情報1304は、仮想世界のオブジェクトに関する情報である。実施形態に係る仮想世界オブジェクト情報1304は、仮想世界のオブジェクトのアイデンティティを区分するためのID情報であるオブジェクトIDおよび仮想世界のオブジェクトの状態、大きさなどを制御するための情報であるオブジェクト制御/スケール(object control/scale)を含んでもよい。
実施形態に係る仮想世界処理装置は、仮想世界オブジェクト情報1304およびアバター情報1305を制御命令することによって制御する。制御命令は、生成、消滅、複写などの命令を含んでもよい。仮想世界処理装置は、制御命令と共に仮想世界オブジェクト情報1304またはアバター情報1305のいずれかの情報を操作するかを選択し、選択した情報に対するIDを指定することによって命令語を生成する。
[ソース56]はXMLを用いて制御命令の構成方法を示す。しかし、下記の[ソース56]のプログラムソースは一実施形態に過ぎず、本発明がこれに制限されることはない。
Figure 2012531658
Figure 2012531658
RVエンジン1320は、制御情報1302を用いてVWI1303に腕を広げる動作、止まって立っている状態、手と足の位置、および手が開かれている角度などに関する情報を適用してVWI1303を変換する。
RVエンジン1320は、変換されたVWIに関する情報1306を仮想世界に送信する。実施形態に係る変換されたVWIに関する情報1306は、仮想世界のアバターの腕と足に対する位置情報をx、y、z軸の値であるXvirtual、Yvirtual、Zvirtual値と、x、y、z軸との角度の値であるΘXvirtual、ΘYvirtual、ΘZvirtualの値に表して含んでもよい。また、仮想世界のオブジェクトの大きさに関する情報をオブジェクトの横、縦、深度値であるscale(w、d、h)virtualの値に表して含んでもよい。
実施形態に係る変換されたVWIに関する情報1306が送信される前の仮想世界1330において、アバターはオブジェクトをもっている状態であり、変換されたVWIに関する情報1306が送信された後の仮想世界1340では現実世界のユーザ1310の腕を広げる動作、止まって立っている状態、手と足の位置および手が開かれている角度などが反映され、仮想世界のアバターが腕を広げてオブジェクトを大きくすることができる。
すなわち、現実世界のユーザ1310がオブジェクトをとらえて拡大させるモーションを取れば、センサ1301を介して現実世界のユーザ1310の腕を広げる動作、止まって立っている状態、手と足の位置および手が開かれている角度などに関する制御情報1302が生成される。また、RVエンジン1320は、現実世界で測定されたデータの現実世界のユーザ1310に関する制御情報1302を仮想世界に適用され得る情報に変換してもよい。変換された情報は、仮想世界のアバターおよびオブジェクトに関する情報の構造に適用され、アバターにはオブジェクトをとらえて広げる動作が反映され、オブジェクトは大きさが拡大されることができる。
本発明に係る実施形態は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの1つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、光ディスクのような光磁気媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード(machine code)だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード(higher level code)を含む。上述したハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

Claims (60)

  1. 仮想世界と現実世界の相互動作または仮想世界間の相互動作を可能にする仮想世界処理装置において、
    センサが前記現実世界で収集した検出情報が入力される入力部と、
    前記センサの特性に関するセンサ特性に基づいて前記検出情報を調整する調整部と、
    を備えることを特徴とする仮想世界処理装置。
  2. 仮想世界を制御するために前記検出情報を出力する出力部をさらに備えることを特徴とする請求項1に記載の仮想世界処理装置。
  3. 仮想世界オブジェクト情報を制御するために前記検出情報を出力する出力部をさらに備えることを特徴とする請求項1に記載の仮想世界処理装置。
  4. 前記センサ特性は、
    前記センサが測定する値の単位と、
    前記センサが測定する最大値および最小値と、
    絶対値を得るために基本値に応じて加えられる値を示すオフセットと、
    前記センサが測定する前記最大値および前記最小値の間で前記センサが測定できる値の個数を表す解像力と、
    出力信号を生成するための入力信号の最小の大きさを示す感度と、
    信号対雑音比と、
    実際値に対する測定値の近い程度を表す正確性と、
    のうち少なくとも1つを含むことを特徴とする請求項1に記載の仮想世界処理装置。
  5. 前記検出情報は、
    前記検出情報の個別的なアイデンティティを区分するためのID情報と、
    前記センサが属するマルチセンサグループの個別的なアイデンティティを区分するためのグループID情報と、
    前記センサを参照するセンサID参照情報と、
    前記センサをグループ化するための接続環データ構造要素を示す接続リスト情報と、
    前記センサの作動有無を判別する活性状態情報と、
    前記検出情報が調整された時間に同じ点を共有する他の検出情報に対する優先権情報と、
    のうち少なくとも1つを含むことを特徴とする請求項1に記載の仮想世界処理装置。
  6. 前記入力部は、前記検出情報を操作するためのセンサ適応選好がさらに入力されることを特徴とする請求項1に記載の仮想世界処理装置。
  7. 前記センサが位置センサである場合、前記センサ特性は前記位置センサに対する範囲、範囲タイプ、x最大値、x最小値、y最大値、y最小値、z最大値、およびz最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  8. 前記センサが方位センサである場合、前記センサ特性は、前記方位センサに対する方位範囲、方位範囲タイプ、x最大値、x最小値、y最大値、y最小値、z最大値、およびz最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  9. 前記センサが速度センサである場合、前記センサ特性は、前記速度センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  10. 前記センサが加速度センサである場合、前記センサ特性は、前記加速度センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  11. 前記センサが角速度センサである場合、前記センサ特性は、前記角速度センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  12. 前記センサが角加速度センサである場合、前記センサ特性は、前記角加速度センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  13. 前記センサがモーションセンサである場合、前記センサ特性は、前記モーションセンサに対する位置特性、速度特性、加速度特性、方位特性、角速度特性、および角加速度特性のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  14. 前記センサが位置センサである場合、前記検出情報は、タイムスタンプ、位置、単位、3D位置ベクトル、x軸位置、y軸位置、およびz軸位置のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  15. 前記センサが速度センサである場合、前記検出情報は、タイムスタンプ、速度、単位、3D速度ベクトル、x軸速度、y軸速度、およびz軸速度のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  16. 前記センサが加速度センサである場合、前記検出情報は、タイムスタンプ、加速度、単位、3D加速度ベクトル、x軸加速度、y軸加速度、およびz軸加速度のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  17. 前記センサが方位センサである場合、前記検出情報は、タイムスタンプ、方位、単位、3D方位ベクトル、x軸方位、y軸方位、およびz軸方位のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  18. 前記センサが角速度センサである場合、前記検出情報は、タイムスタンプ、角速度、単位、3D角速度ベクトル、x軸角速度、y軸角速度、およびz軸角速度のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  19. 前記センサが角加速度センサである場合、前記検出情報は、タイムスタンプ、角加速度、単位、3D角加速度ベクトル、x軸角加速度、y軸角加速度、およびz軸角加速度のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  20. 前記センサがモーションセンサである場合、前記検出情報は、位置、速度特性、加速度、方位、角速度、および角加速度のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  21. 前記センサが位置センサである場合、前記センサ適応選好は、前記位置センサに対する範囲および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  22. 前記センサが方位センサである場合、前記センサ適応選好は、前記方位センサに対する方位範囲および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  23. 前記センサが速度センサである場合、前記センサ適応選好は、前記の速度センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  24. 前記センサが加速度センサである場合、前記センサ適応選好は、前記加速度センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  25. 前記センサが角速度センサである場合、前記センサ適応選好は、前記角速度センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  26. 前記センサが角加速度センサである場合、前記センサ適応選好は、前記角加速度センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  27. 前記センサがモーションセンサである場合、前記センサ適応選好は、選好位置、選好速度、選好加速度、選好方位、選好角速度、および選好角加速度のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  28. 前記センサが知能カメラセンサである場合、前記センサ特性は、前記知能カメラセンサに対する特徴点追跡状態、表情追跡状態、胴体動作追跡状態、最大胴体特徴ポイント、最大顔特徴ポイント、特徴点追跡、顔特徴追跡点、胴体特徴追跡点、特徴点タイプ、顔特徴点マスク、および胴体特徴点マスクのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  29. 前記センサが知能カメラセンサである場合、前記検出情報は、顔アニメーションID、胴体アニメーションID、顔特徴、胴体特徴、タイムスタンプのうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  30. 前記センサ適応選好は、前記知能カメラセンサに対する顔特徴点追跡オン、胴体特徴点追跡オン、顔表情追跡オン、ジェスチャー追跡オン、顔追跡マップ、および胴体追跡マップのうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  31. 前記センサが光センサである場合、前記センサ特性は、前記光センサに対する最大値、最小値、色、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  32. 前記センサが環境騒音センサである場合、前記センサ特性は、前記環境騒音センサに対する最大値、最小値、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  33. 前記センサが温度センサである場合、前記センサ特性は、前記温度センサに対する最大値、最小値、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  34. 前記センサが湿度センサである場合、前記センサ特性は、前記湿度センサに対する最大値、最小値、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  35. 前記センサが長さセンサである場合、前記センサ特性は、前記長さセンサに対する最大値、最小値、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  36. 前記センサが気圧センサである場合、前記センサ特性は、前記気圧センサに対する最大値、最小値、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  37. 前記センサが力センサである場合、前記センサ特性は、前記力センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  38. 前記センサがトルクセンサである場合、前記センサ特性は、前記トルクセンサに対する最大値、最小値、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  39. 前記センサが圧力センサである場合、前記センサ特性は、前記圧力センサに対する最大値、最小値、およびロケーションのうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  40. 前記センサが音声センサである場合、前記センサ特性は、前記音声センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項4に記載の仮想世界処理装置。
  41. 前記センサが光センサである場合、前記検出情報は、前記光センサに対するタイムスタンプ、値、単位、および色のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  42. 前記センサが環境騒音センサである場合、前記検出情報は、前記環境騒音センサに対するタイムスタンプ、寿命、単位、および値のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  43. 前記センサが温度センサである場合、前記検出情報は、前記温度センサに対するタイムスタンプ、単位、および値のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  44. 前記センサが湿度センサである場合、前記検出情報は、前記湿度センサに対するタイムスタンプ、単位、および値のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  45. 前記センサが長さセンサである場合、前記検出情報は、前記長さセンサに対するタイムスタンプ、単位、および値のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  46. 前記センサが気圧センサである場合、前記検出情報は、前記気圧センサに対するタイムスタンプ、単位、および値のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  47. 前記センサが力センサである場合、前記検出情報は、前記力センサに対するタイムスタンプ、力、単位、3D力ベクトル、x軸力、y軸力、およびx軸力のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  48. 前記センサがトルクセンサである場合、前記検出情報は、前記トルクセンサに対するタイムスタンプ、トルク、単位、3Dトルクベクトル、x軸トルク、y軸トルク、およびx軸トルクのうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  49. 前記センサが圧力センサである場合、前記検出情報は、前記圧力センサに対するタイムスタンプ、単位、および値のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  50. 前記センサが音声センサである場合、前記検出情報は、前記音声センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項1または請求項5に記載の仮想世界処理装置。
  51. 前記センサが光センサである場合、前記センサ適応選好は、前記光センサに対する最大値、最小値、解像力、および非選好色のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  52. 前記センサが環境騒音センサである場合、前記センサ適応選好は、前記環境騒音センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  53. 前記センサが温度センサである場合、前記センサ適応選好は、前記温度センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  54. 前記センサが湿度センサである場合、前記センサ適応選好は、前記湿度センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  55. 前記センサが長さセンサである場合、前記センサ適応選好は、前記長さセンサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  56. 前記センサが気圧センサである場合、前記センサ適応選好は、前記気圧センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  57. 前記センサが力センサである場合、前記センサ適応選好は、前記力センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  58. 前記センサがトルクセンサである場合、前記センサ適応選好は、前記トルクセンサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  59. 前記センサが圧力センサである場合、前記センサ適応選好は、前記圧力センサに対する最大値、最小値、および解像力のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
  60. 前記センサが音声センサである場合、前記センサ適応選好は、前記音声センサに対する最大値および最小値のうち少なくとも1つを含むことを特徴とする請求項6に記載の仮想世界処理装置。
JP2012517386A 2009-06-25 2010-06-23 仮想世界処理装置および方法 Pending JP2012531658A (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
KR20090057313 2009-06-25
KR10-2009-0057313 2009-06-25
KR10-2009-0101434 2009-10-23
KR1020090101434A KR20100138702A (ko) 2009-06-25 2009-10-23 가상 세계 처리 장치 및 방법
US25563609P 2009-10-28 2009-10-28
US61/255,636 2009-10-28
KR1020090104474A KR20100138706A (ko) 2009-06-25 2009-10-30 가상 세계 처리 장치 및 방법
KR10-2009-0104474 2009-10-30
KR10-2010-0003607 2010-01-14
KR1020100003607A KR20100138722A (ko) 2009-06-25 2010-01-14 가상 세계 처리 장치 및 방법
KR10-2010-0006119 2010-01-22
KR1020100006119A KR20100138725A (ko) 2009-06-25 2010-01-22 가상 세계 처리 장치 및 방법
PCT/KR2010/004091 WO2010151054A2 (ko) 2009-06-25 2010-06-23 가상 세계 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2012531658A true JP2012531658A (ja) 2012-12-10

Family

ID=43387048

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2012517384A Active JP6216512B2 (ja) 2009-06-25 2010-06-23 仮想世界処理装置および方法
JP2012517386A Pending JP2012531658A (ja) 2009-06-25 2010-06-23 仮想世界処理装置および方法
JP2016016649A Pending JP2016137248A (ja) 2009-06-25 2016-01-29 仮想世界処理装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012517384A Active JP6216512B2 (ja) 2009-06-25 2010-06-23 仮想世界処理装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016016649A Pending JP2016137248A (ja) 2009-06-25 2016-01-29 仮想世界処理装置および方法

Country Status (6)

Country Link
US (4) US9566506B2 (ja)
EP (2) EP2446942A4 (ja)
JP (3) JP6216512B2 (ja)
KR (1) KR20100138725A (ja)
CN (2) CN102481486B (ja)
WO (2) WO2010151054A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037064A1 (en) * 2014-09-05 2016-03-10 Ballcraft, Llc Using a video stream to detect the changing position of a face to move and rotate a game object and to perspective crop the face and display the face

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR101685922B1 (ko) * 2010-04-05 2016-12-13 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
US9821224B2 (en) * 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
CN103608749B (zh) * 2011-04-26 2016-12-07 加利福尼亚大学董事会 用于记录和重现感觉的系统和装置
CN102707804B (zh) * 2011-05-23 2015-03-25 中国科学院软件研究所 一种基于加速度传感器的角色动作控制方法
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP2950714A4 (en) 2013-02-01 2017-08-16 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US10222953B2 (en) * 2014-04-30 2019-03-05 Disney Enterprises, Inc. Systems and methods for editing virtual content of a virtual space
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法
JP6311695B2 (ja) 2015-12-16 2018-04-18 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6187623B1 (ja) * 2016-03-14 2017-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US10092827B2 (en) * 2016-06-16 2018-10-09 Disney Enterprises, Inc. Active trigger poses
WO2018064965A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
WO2018064967A1 (en) * 2016-10-07 2018-04-12 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US20180285644A1 (en) * 2017-03-29 2018-10-04 Electronics And Telecommunications Research Institute Sensor information processing method and system between virtual world and real world
US10154360B2 (en) * 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
EP3740735A4 (en) * 2018-01-16 2021-11-24 Pacific Light&Hologram, Inc. THREE-DIMENSIONAL DISPLAYS USING ELECTROMAGNETIC FIELD CALCULATIONS
US10948450B2 (en) 2018-07-23 2021-03-16 Genmark Diagnostics, Inc. Electrochemical measurements of components in coatings
CN112805750B (zh) 2018-08-13 2024-09-27 奇跃公司 跨现实系统
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
KR102710460B1 (ko) 2018-08-14 2024-09-27 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
CN113196209A (zh) 2018-10-05 2021-07-30 奇跃公司 在任何位置渲染位置特定的虚拟内容
GB2586059B (en) * 2019-08-01 2023-06-07 Sony Interactive Entertainment Inc System and method for generating user inputs for a video game
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
US11632679B2 (en) 2019-10-15 2023-04-18 Magic Leap, Inc. Cross reality system with wireless fingerprints
CN114586071A (zh) 2019-10-15 2022-06-03 奇跃公司 支持多设备类型的交叉现实系统
CN110633013B (zh) * 2019-10-17 2022-12-20 于生明 一种全方位万向行动平台的控制方法
JP7604478B2 (ja) 2019-10-31 2024-12-23 マジック リープ, インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
CN120599183A (zh) 2019-11-12 2025-09-05 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
CN114762008A (zh) 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实系统
WO2021163295A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
CN119984235A (zh) * 2020-02-13 2025-05-13 奇跃公司 具有精确共享地图的交叉现实系统
JP7768888B2 (ja) 2020-02-13 2025-11-12 マジック リープ, インコーポレイテッド マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
EP4111425A4 (en) 2020-02-26 2024-03-13 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH FAST LOCALIZATION
JP2023524446A (ja) 2020-04-29 2023-06-12 マジック リープ, インコーポレイテッド 大規模環境のためのクロスリアリティシステム
CN112842670B (zh) * 2021-01-28 2022-07-08 吉林大学第一医院 一种肾病患者水肿明显时的皮肤护理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021528A (ja) * 2002-06-14 2004-01-22 Sony Corp 携帯情報機器
JP2007157120A (ja) * 2005-12-08 2007-06-21 Korea Electronics Telecommun 超小型絶対位置センサを用いたハンドインターフェースグローブ及びこれを用いたハンドインターフェースシステム
JP2007296367A (ja) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc ゲームプログラムの実行を制御するための入力を取得する方法
JP2007300973A (ja) * 2006-05-08 2007-11-22 Nintendo Co Ltd プログラム、情報記憶媒体及び画像生成システム
JP2009003651A (ja) * 2007-06-20 2009-01-08 Nintendo Co Ltd 情報処理プログラムおよび情報処理装置
JP2009112829A (ja) * 2006-05-04 2009-05-28 Sony Computer Entertainment America Inc 1つ以上の視覚、音響、慣性およびミックスデータに基づく入力にギアリング効果を与える方法ならびに装置
JP2009140107A (ja) * 2007-12-04 2009-06-25 Sony Corp 入力装置及び制御システム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2026082A (en) * 1935-08-31 1935-12-31 Parker Brothers Inc Board game apparatus
DE69202975T2 (de) * 1991-04-03 1996-02-15 Hewlett Packard Co Positionsbestimmende vorrichtung.
US5597373A (en) * 1991-11-08 1997-01-28 Cedaron Medical, Inc. Physiological evaluation and exercise system
US5330980A (en) * 1992-08-25 1994-07-19 Shin Jae S Medicament for the topical treatment of skin
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
DE69732211T2 (de) * 1996-06-05 2005-12-22 Sega Corp. Bildverarbeitungseinheit für spiele
USRE39539E1 (en) * 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
KR100221335B1 (ko) 1996-12-26 1999-09-15 전주범 가상 현실 시스템에서 글러브 센서값 전송 시스템 및 그 방법
CA2243363C (en) 1997-07-17 2002-01-29 Kuraray Co., Ltd. Process for producing chromans
US6137403A (en) * 1998-12-10 2000-10-24 Phoenix Controls Corporation Sash sensor and method of sensing a sash using an array of multiplexed elements
US20100045816A1 (en) * 1999-05-19 2010-02-25 Rhoads Geoffrey B User Feedback in Connection with Object Recognition
US6792165B1 (en) * 1999-05-25 2004-09-14 Silverbrook Research Pty Ltd Sensing device
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
DE60042588D1 (de) 1999-12-28 2009-09-03 Sony Corp Signalverarbeitungsvorrichtung und verfahren und aufzeichnungsmedium
JP2002159004A (ja) * 2000-04-21 2002-05-31 Sony Corp 符号化装置および方法、記録媒体、並びにプログラム
MXPA03000418A (es) * 2000-07-13 2003-07-14 Belo Company Sistema y metodo para asociar informacion historica con datos sensoriales y distribucion de los mismos.
JP2002305758A (ja) 2001-04-04 2002-10-18 Nippon Telegr & Teleph Corp <Ntt> 臨場感通信装置及び臨場感通信システム
US7149691B2 (en) * 2001-07-27 2006-12-12 Siemens Corporate Research, Inc. System and method for remotely experiencing a virtual environment
KR100452917B1 (ko) * 2001-10-09 2004-10-14 주식회사 제노프릭스 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템
US7225343B1 (en) * 2002-01-25 2007-05-29 The Trustees Of Columbia University In The City Of New York System and methods for adaptive model generation for detecting intrusions in computer systems
US20040001734A1 (en) * 2002-02-07 2004-01-01 Burrell James W. Virtual keyboard and control means
CN1206007C (zh) * 2002-10-31 2005-06-15 威盛电子股份有限公司 压力感应式虚拟实境跑步机
JP4144374B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8566292B2 (en) * 2003-04-14 2013-10-22 Schneider Electric It Corporation Method and system for journaling and accessing sensor and configuration data
US7217224B2 (en) * 2003-08-14 2007-05-15 Tom Thomas Virtual exercise system and method
US7752544B2 (en) 2003-11-17 2010-07-06 International Business Machines Corporation Method, system, and apparatus for remote interactions
US20050168485A1 (en) * 2004-01-29 2005-08-04 Nattress Thomas G. System for combining a sequence of images with computer-generated 3D graphics
DE102004012072A1 (de) * 2004-03-12 2005-09-29 Robert Bosch Gmbh Ortungsgerät
EP1762071A1 (en) * 2004-06-30 2007-03-14 Nokia Corporation Transfer of data objects
JP2006065518A (ja) 2004-08-25 2006-03-09 Asahi Kasei Electronics Co Ltd ポインティングデバイス、および、信号処理方法
US20060262120A1 (en) * 2005-05-19 2006-11-23 Outland Research, Llc Ambulatory based human-computer interface
US20070044539A1 (en) * 2005-03-01 2007-03-01 Bryan Sabol System and method for visual representation of a catastrophic event and coordination of response
US8239162B2 (en) * 2006-04-13 2012-08-07 Tanenhaus & Associates, Inc. Miniaturized inertial measurement unit and associated methods
US8156232B2 (en) 2005-09-12 2012-04-10 Rockwell Automation Technologies, Inc. Network communications in an industrial automation environment
JP4794957B2 (ja) * 2005-09-14 2011-10-19 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP2007156779A (ja) * 2005-12-05 2007-06-21 Hitachi Ltd センサネットシステム、基地局及びセンシングデータの中継方法
KR100838181B1 (ko) 2005-12-08 2008-06-16 한국전자통신연구원 초소형 절대 위치 센서를 이용한 핸드 인터페이스 글로브및 이를 이용한 핸드 인터페이스 시스템
JP2007206746A (ja) 2006-01-30 2007-08-16 Canon Inc 情報処理装置及びその制御方法、プログラム、記憶媒体
JP4719034B2 (ja) * 2006-03-07 2011-07-06 株式会社日立製作所 センサネットシステム、基地局及びセンシングデータの中継方法
JP5196515B2 (ja) 2006-04-25 2013-05-15 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US7794142B2 (en) * 2006-05-09 2010-09-14 Tsi Technologies Llc Magnetic element temperature sensors
KR100770890B1 (ko) * 2006-08-18 2007-10-26 삼성전자주식회사 디지털 비디오 방송 단말기의 파일타입 검출장치 및 방법
US7937349B2 (en) * 2006-11-09 2011-05-03 Pucher Max J Method for training a system to specifically react on a specific input
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US20080310707A1 (en) 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
KR20090002292A (ko) * 2007-06-26 2009-01-09 삼성전자주식회사 가상 캐릭터를 동기화하고 공유하는 장치 및 방법
US8572155B2 (en) * 2007-08-23 2013-10-29 Applied Materials, Inc. Virtual sensors
US9387402B2 (en) * 2007-09-18 2016-07-12 Disney Enterprises, Inc. Method and system for converting a computer virtual environment into a real-life simulation environment
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
WO2009108334A2 (en) * 2008-02-28 2009-09-03 New York University Method and apparatus for providing input to a processor, and a sensor pad
JP4571198B2 (ja) * 2008-03-07 2010-10-27 京セラ株式会社 携帯通信端末
JP2011524603A (ja) * 2008-05-09 2011-09-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 仮想及び実世界周囲インテリジェンス環境のアプリケーションロジックを処理するシステム及び方法
JPWO2010026843A1 (ja) * 2008-09-08 2012-02-02 株式会社日立製作所 慣性センサ
JP5334595B2 (ja) * 2009-01-09 2013-11-06 任天堂株式会社 ゲーム装置およびゲームプログラム
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021528A (ja) * 2002-06-14 2004-01-22 Sony Corp 携帯情報機器
JP2007157120A (ja) * 2005-12-08 2007-06-21 Korea Electronics Telecommun 超小型絶対位置センサを用いたハンドインターフェースグローブ及びこれを用いたハンドインターフェースシステム
JP2007296367A (ja) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc ゲームプログラムの実行を制御するための入力を取得する方法
JP2009112829A (ja) * 2006-05-04 2009-05-28 Sony Computer Entertainment America Inc 1つ以上の視覚、音響、慣性およびミックスデータに基づく入力にギアリング効果を与える方法ならびに装置
JP2007300973A (ja) * 2006-05-08 2007-11-22 Nintendo Co Ltd プログラム、情報記憶媒体及び画像生成システム
JP2009003651A (ja) * 2007-06-20 2009-01-08 Nintendo Co Ltd 情報処理プログラムおよび情報処理装置
JP2009140107A (ja) * 2007-12-04 2009-06-25 Sony Corp 入力装置及び制御システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016037064A1 (en) * 2014-09-05 2016-03-10 Ballcraft, Llc Using a video stream to detect the changing position of a face to move and rotate a game object and to perspective crop the face and display the face

Also Published As

Publication number Publication date
EP2446941A4 (en) 2014-03-19
US9566506B2 (en) 2017-02-14
US20120191737A1 (en) 2012-07-26
CN102481486A (zh) 2012-05-30
WO2010151054A3 (ko) 2011-04-21
JP6216512B2 (ja) 2017-10-18
EP2446942A2 (en) 2012-05-02
US20170246532A1 (en) 2017-08-31
JP2016137248A (ja) 2016-08-04
US20160030851A1 (en) 2016-02-04
EP2446941A2 (en) 2012-05-02
WO2010151054A2 (ko) 2010-12-29
KR20100138725A (ko) 2010-12-31
EP2446942A4 (en) 2017-06-21
US9108106B2 (en) 2015-08-18
US20120188237A1 (en) 2012-07-26
CN102481487A (zh) 2012-05-30
JP2012531657A (ja) 2012-12-10
US9987553B2 (en) 2018-06-05
CN102481486B (zh) 2015-05-20
WO2010151051A3 (ko) 2011-04-21
CN102481487B (zh) 2016-05-11
WO2010151051A2 (ko) 2010-12-29

Similar Documents

Publication Publication Date Title
JP6216512B2 (ja) 仮想世界処理装置および方法
JP5714695B2 (ja) 仮想世界処理装置及び方法
US10007349B2 (en) Multiple sensor gesture recognition
KR101636734B1 (ko) 가상 세계 처리 장치 및 방법
WO2019203189A1 (ja) プログラム、情報処理装置、及び情報処理方法
US20130328927A1 (en) Augmented reality playspaces with adaptive game rules
KR20180094799A (ko) 자동 국부적 햅틱 생성 시스템
JP7559758B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20090037023A1 (en) Information processing system, robot apparatus, and control method therefor
JPWO2020110659A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20250208720A1 (en) Extend the game controller functionality with virtual buttons using hand tracking
KR20250123921A (ko) 증강 현실 인체공학 평가 시스템
TWI825004B (zh) 輸入方法、裝置、設備、系統和電腦儲存媒體
KR101881227B1 (ko) 무인 비행체를 이용한 비행 체험 방법 및 장치
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
JP2023167505A (ja) 情報入力システム、情報入力方法、及び情報入力プログラム
US12333667B1 (en) Control of avatars in an augmented reality environment
JP2001134362A (ja) 人形型インタフェース仮想空間ウォークスルーシステム
KR20110108060A (ko) 가상 세계 처리 장치 및 방법
Bernardos et al. A system for multimodal interaction with Kinect-enabled virtual windows
CN112057841A (zh) 基于手机陀螺仪操控vr眼镜的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151113

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160122