[go: up one dir, main page]

JP2004078977A - Interface device - Google Patents

Interface device Download PDF

Info

Publication number
JP2004078977A
JP2004078977A JP2003327809A JP2003327809A JP2004078977A JP 2004078977 A JP2004078977 A JP 2004078977A JP 2003327809 A JP2003327809 A JP 2003327809A JP 2003327809 A JP2003327809 A JP 2003327809A JP 2004078977 A JP2004078977 A JP 2004078977A
Authority
JP
Japan
Prior art keywords
unit
shape
display
interface device
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003327809A
Other languages
Japanese (ja)
Inventor
Susumu Maruno
進 丸野
Toshiyuki Koda
敏行 香田
Taro Imagawa
太郎 今川
Michiyo Moriya
みち代 森家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003327809A priority Critical patent/JP2004078977A/en
Publication of JP2004078977A publication Critical patent/JP2004078977A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】キーボードやマウス等の入力装置を必要とせず、簡単に機器の操作が可能なインターフェイス装置を実現すること。
【解決手段】ＣＣＤカメラ３で撮像した画像中の物体の形状、動きを認識するホストコンピュータ１と、ホストコンピュータ１によって認識した物体の形状、動きを表示するディスプレイ２とを備え、ＣＣＤカメラ３にユーザーが向い、例えば手振りによって指示を与えると、与えた手振りがディスプレイ２の表示画面上に表示され、例えば表示画面上に表示した仮想スイッチ２０１、２０２、２０３等を手振りによって矢印カーソルのアイコン２００で選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる。
【選択図】図１An interface device that does not require an input device such as a keyboard and a mouse and that can easily operate devices.
The CCD camera includes a host computer for recognizing the shape and movement of an object in an image captured by a CCD camera, and a display for displaying the shape and movement of the object recognized by the host computer. When the user faces, for example, gives an instruction by hand gesture, the given hand gesture is displayed on the display screen of the display 2. It is selectable, and does not require an input device such as a mouse, so that very simple operation of the device can be performed.
[Selection diagram] Fig. 1

Description

　本発明は、コンピュータやワードプロセッサ等の情報機器や、テレビ等のディスプレイを有する機器の入出力を行うインターフェイス装置に関する。 The present invention relates to an interface device for inputting and outputting information devices such as a computer and a word processor, and devices having a display such as a television.

　この種の従来のインターフェイス装置として、表示画面中のマウスによって検出した座標位置にカーソルを表示し、画面中に表示した任意の操作ボタンをユーザーに選択させるものがある。 As a conventional interface device of this type, there is one that displays a cursor at a coordinate position detected by a mouse on a display screen and allows a user to select an arbitrary operation button displayed on the screen.

　図７はこの種の従来のインターフェイス装置の概要を示すものである。図７において、７１はディスプレイで、ディスプレイ７１中にはホストコンピュータ７２により、仮想の操作ボタン７１１、７１２、７１３が表示されている。７３はマウス、７１０はマウスカーソルで、マウス７３によって検出したマウス７３の移動量に基づき、マウス７３の動きに同期して画面中を動くように、ホストコンピュータ７２が表示制御する。ユーザーは、マウス７３を動かす事により、表示画面中の任意の仮想操作ボタンの位置にマウスカーソル７１０を移動させ、マウス７３上のスイッチ７３１を押すことにより、操作ボタンを選択し、ホストコンピュータ７２に動作の指示を与えられるようになっている。 FIG. 7 shows an outline of this type of conventional interface device. In FIG. 7, reference numeral 71 denotes a display, in which virtual operation buttons 711, 712, and 713 are displayed by the host computer 72. Reference numeral 73 denotes a mouse, and reference numeral 710 denotes a mouse cursor. The host computer 72 controls display based on the amount of movement of the mouse 73 detected by the mouse 73 so as to move on the screen in synchronization with the movement of the mouse 73. The user moves the mouse 73 to move the mouse cursor 710 to a position of an arbitrary virtual operation button on the display screen, and presses a switch 731 on the mouse 73 to select an operation button. An operation instruction can be given.

　しかしながら上記従来の装置においては、機器の本体とは別にマウスという入力装置が必要で、又マウスを操作するテーブル等の基台が必要であり、携帯情報機器等に用いる事は適さない。又、マウスを介して操作を行なうため、必ずしも直接的で分かりやすいインターフェイスにはなっていないという課題を有していた。 However, in the above-mentioned conventional apparatus, an input device called a mouse is required separately from the main body of the apparatus, and a base such as a table for operating the mouse is required, which is not suitable for use in portable information devices and the like. In addition, since the operation is performed via a mouse, there is a problem that the interface is not always a direct and easy-to-understand interface.

　本発明はかかる点に鑑み、キーボードやマウス等の入力装置を必要とせず、簡単に機器の操作が可能なインターフェイス装置を提供することを目的とする。 In view of the above, an object of the present invention is to provide an interface device that does not require an input device such as a keyboard and a mouse and that can easily operate devices.

　本発明は上記目的を達成するため、少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示する表示部と、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置である。 In order to achieve the above object, the present invention, at least an imaging unit, a motion recognition unit that recognizes the shape and motion of an object in an image captured by the imaging unit, and a shape of the object recognized by the motion recognition unit, A display unit that generates and displays an instruction icon different from the object associated with the shape of the object, and displays the instruction icon to move in response to the movement of the object recognized by the operation recognition unit. And an interface device for inputting information on the display unit by the instruction icon.

　以上のように構成した本発明のインターフェイス装置の撮像部にユーザーが向い、例えば手振りによって指示を与えると、与えた手振りが表示画面上に表示され、例えば表示画面上に表示した仮想スイッチ等を手振りによって選択出来るものであり、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となるものである。 When the user faces the imaging unit of the interface device of the present invention configured as described above and gives an instruction by hand gesture, for example, the given hand gesture is displayed on the display screen. For example, the virtual switch or the like displayed on the display screen is shaken. This makes it possible to operate the device very easily without using an input device such as a mouse.

　以下、本発明の実施例について、図面を参照しながら説明する。図１は、本発明によるインターフェイス装置の実施例の外観を示したものである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows the appearance of an embodiment of the interface device according to the present invention.

　図１において、１はホストコンピュータ、２は表示に用いるディスプレイ、３は画像を撮像するＣＣＤカメラである。ＣＣＤカメラ３は、ディスプレイ２の表示方向と同一方向に撮像面を配置してあり、ユーザーが表示面に向かうことにより、ユーザーの手振りを撮像できるようになっている。又、ＣＣＤカメラ３の撮像面上には、図示しない肌色領域の波長の光透過フィルタを配置してあり、人間の顔や手等の画像のみがＣＣＤカメラ３によって撮像され、背景等の画像がカットされるようになっている。ディスプレイ２上には、仮想スイッチ２０１、２０２、２０３、及び前記仮想スイッチを選択する矢印カーソル２００が表示できるようになっている。 In FIG. 1, 1 is a host computer, 2 is a display used for display, and 3 is a CCD camera for picking up an image. The CCD camera 3 has an imaging surface arranged in the same direction as the display direction of the display 2, and the user can take an image of a user's hand gesture by heading toward the display surface. On the imaging surface of the CCD camera 3, a light transmission filter having a wavelength of a skin color region (not shown) is arranged, and only an image of a human face or a hand is captured by the CCD camera 3, and an image of a background or the like is captured. It is designed to be cut. On the display 2, virtual switches 201, 202, and 203 and an arrow cursor 200 for selecting the virtual switches can be displayed.

　図２は、本実施例の詳細なブロック図を示すものである。図２において、ＣＣＤカメラ３から入力された画像は、フレームメモリ２１に蓄えられる。動作認識部２２は、フレームメモリ２１の中に蓄えた画像中から、例えば、ユーザーの手に相当する部分を抽出し、その形状が、例えば図３(Ａ)に示すような、一本指の形状であるのか、又図３(Ｂ)に示すような握り拳の形状であるのかを判断する。 FIG. 2 is a detailed block diagram of the present embodiment. 2, an image input from the CCD camera 3 is stored in a frame memory 21. The motion recognizing unit 22 extracts, for example, a part corresponding to the hand of the user from the image stored in the frame memory 21 and changes the shape of the part to one finger as shown in FIG. It is determined whether the shape is a shape or a grip fist shape as shown in FIG.

　図４は、動作認識部２２の詳細な実施例を示したもので、輪郭抽出部２２１と、物体抽出部２２２と、形状変化識別部２２３と、位置検出部２２４とによって構成した例を示したものである。 FIG. 4 shows a detailed embodiment of the motion recognition unit 22, and shows an example in which the motion recognition unit 22 is configured by a contour extraction unit 221, an object extraction unit 222, a shape change identification unit 223, and a position detection unit 224. Things.

　輪郭抽出部２２１は、画像中に存在する物体の輪郭形状を抽出する。具体的な方法例としては、画像を二値化し、そのエッジを抽出することにより、簡単に輪郭形状が抽出できる。 The outline extracting unit 221 extracts the outline shape of the object existing in the image. As a specific example of the method, the outline shape can be easily extracted by binarizing the image and extracting its edges.

　物体抽出部２２２は、輪郭抽出部２２１によって抽出した複数の物体の輪郭形状中から、例えばユーザーの手に相当する輪郭形状を抽出する。具体的方法の一例としては、輪郭線で囲まれた閉領域の面積を判断させる方法や、又、ニューラルネットワークを用いて手の部分の輪郭形状を抽出する方法を用いることが出来る。 The object extracting unit 222 extracts, for example, a contour shape corresponding to the user's hand from the contour shapes of the plurality of objects extracted by the contour extracting unit 221. As an example of a specific method, a method of determining an area of a closed region surrounded by a contour line, or a method of extracting a contour shape of a hand portion using a neural network can be used.

　形状変化識別部２２３は、物体抽出部２２２によって抽出した手の部分の輪郭形状を更に詳細に識別し、例えばその形状が、図３(Ａ)に示すような、一本指の形状であるのか、又図３(Ｂ)に示すような握り拳の形状であるのかを判断する。同時に位置検出部２２４は、前記ユーザーの手の部分の輪郭形状の重心座標を演算する。 The shape change identification unit 223 identifies the contour shape of the hand part extracted by the object extraction unit 222 in more detail, and for example, determines whether the shape is a one-finger shape as shown in FIG. Then, it is determined whether or not the shape of the clenched fist as shown in FIG. At the same time, the position detection unit 224 calculates the barycentric coordinates of the contour shape of the user's hand.

　アイコン生成部２４は、形状変化識別部２２３による手の形状の識別結果に基づいて、ディスプレイに表示すべきアイコン画像を生成する。例えば、手の形状の識別結果が一本指の形状であれば、例えば図５(Ａ)に示すような矢印のアイコンを、また握り拳の形状であれば、例えば図５(Ｂ)に示すような、Ｘ印のアイコンを生成する。 The icon generation unit 24 generates an icon image to be displayed on the display based on the result of the hand shape identification performed by the shape change identification unit 223. For example, if the hand shape identification result is a one-finger shape, for example, an arrow icon as shown in FIG. 5A is used. An icon with an X mark is generated.

　表示制御部２３は、アイコン生成部２４によって生成したアイコンのディスプレイ上での表示位置を制御するもので、座標変換部２３１と座標反転部２３２から成る。座標変換部２３１は、撮像した画像の座標からディスプレイの表示座標への変換を行ない、また、座標反転部２３２は、変換した表示座標の左右位置を反転する。即ち、位置検出部２２４によって検出したユーザーの手に相当する部分の画像中の重心座標から、ディスプレイの表示座標への変換を行い、左右の座標を反転させてディスプレイにアイコンを表示するわけである。この操作により、ユーザーが手を右に動かせば、この動作を鏡に写したのと同様に、表示画面状でアイコンが向かって右に動く。 The display control unit 23 controls the display position of the icon generated by the icon generation unit 24 on the display, and includes a coordinate conversion unit 231 and a coordinate inversion unit 232. The coordinate conversion unit 231 converts the coordinates of the captured image into the display coordinates of the display, and the coordinate inversion unit 232 inverts the left and right positions of the converted display coordinates. That is, the coordinates of the center of gravity in the image of the part corresponding to the user's hand detected by the position detection unit 224 are converted into the display coordinates of the display, the left and right coordinates are inverted, and the icon is displayed on the display. . By this operation, if the user moves his / her hand to the right, the icon moves to the right on the display screen in the same manner as when this operation is mirrored.

　以上の様に構成した本実施例による操作例を以下に示す。図１に示すように、本実施例によるインターフェイス装置を備えた機器にユーザーが向い、手を一本指の形状にして動かすと、ディスプレイ上に表示した矢印カーソルのアイコン２００が、手の動きに対応した任意の位置に移動する。次に、ディスプレイ上に表示した任意の仮想スイッチの上に、手を動かすことによって矢印カーソルのアイコン２００を移動させ、手を握り、握り拳形状にすると、その仮想スイッチが選択され、ホストコンピュータ１に指令を与えることができるわけである。 操作 An operation example according to the present embodiment configured as described above is shown below. As shown in FIG. 1, when a user turns to a device equipped with the interface device according to the present embodiment and moves the hand in the shape of one finger, the icon 200 of the arrow cursor displayed on the display changes to the hand movement. Move to the corresponding position. Next, by moving the hand over an arbitrary virtual switch displayed on the display, the arrow cursor icon 200 is moved, and when the hand is gripped and formed into a fist shape, the virtual switch is selected and transmitted to the host computer 1. You can give orders.

　図６は、本発明によるインターフェイス装置の動作認識部の他の実施例を示すものである。この実施例では、動作認識部２２を、輪郭抽出部２２１と形状変化識別部２２３と、位置検出部２２４とによって構成した例である。即ち、物体抽出部２２１の動作を形状変化識別部２２３によって一括して行なわせるものである。前述の実施例においては、物体抽出部２２２によって、手の形状の物体を一旦抽出し、更に形状変化識別部２２３によって、手の形状の細かな違いを詳細に識別するものであった。手の形状変化が、例えば、一本指と握り拳の２種類程度に限定するのであれば、図５に示すように、形状変化識別部２２３によって、画像中の複数の物体中から、この２種類の形状の何れかに相当する物体を識別、抽出させるだけで充分実用に耐える。 FIG. 6 shows another embodiment of the operation recognition unit of the interface device according to the present invention. In this embodiment, the motion recognition unit 22 is configured by a contour extraction unit 221, a shape change identification unit 223, and a position detection unit 224. That is, the operation of the object extraction unit 221 is performed by the shape change identification unit 223 in a lump. In the above-described embodiment, an object having a hand shape is once extracted by the object extracting unit 222, and further, a small difference in the hand shape is identified in detail by the shape change identification unit 223. If the change in the shape of the hand is limited to, for example, about two types, one finger and a fist, as shown in FIG. 5, the shape change identification unit 223 selects the two types from a plurality of objects in the image. Only practically identifying and extracting an object corresponding to any of the above shapes is sufficient for practical use.

　又、表示するアイコンの例としては、例えば図５(Ｃ)、(Ｄ)に示すように、手の形状そのものをアイコン化すれば、実際の手の動きと対応が取れ、分かりやすい。具体的には、図５(Ｃ)、(Ｄ)のような画像を予め登録しておいてもよいし、又、輪郭抽出部２２１によって抽出した手の輪郭形状データを任意の大きさに縮小又は拡大し、アイコン画像として用いることもできる。 5) As examples of icons to be displayed, for example, as shown in FIGS. 5C and 5D, if the shape of the hand itself is converted into an icon, it is possible to correspond to the actual hand movement and to be easily understood. Specifically, images such as those shown in FIGS. 5C and 5D may be registered in advance, or the contour data of the hand extracted by the contour extracting unit 221 may be reduced to an arbitrary size. Alternatively, it can be enlarged and used as an icon image.

　以上のように本実施形態は、少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び又は動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状及び又は動きを表示する表示部とによって構成され、この撮像部にユーザーが向い、例えば手振りによって指示を与えると、与えた手振りが表示画面上に表示され、例えば表示画面上に表示した仮想スイッチ等を手振りによって選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となるものである。 As described above, the present embodiment includes at least an imaging unit, a motion recognition unit that recognizes the shape and / or motion of an object in an image captured by the imaging unit, and a shape and / or motion of the object recognized by the motion recognition unit. When the user faces the imaging unit, for example, gives an instruction by hand gesture, the given hand gesture is displayed on the display screen, for example, a virtual switch or the like displayed on the display screen is hand gestured. It can be selected, and does not require an input device such as a mouse, and can be operated with very simple equipment.

　以上のように本発明は、少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示する表示部と、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置であり、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となるものである。 As described above, the present invention provides at least an imaging unit, an operation recognition unit that recognizes a shape and a movement of an object in an image captured by the imaging unit, and a shape of the object recognized by the operation recognition unit. A display unit that generates and displays an instruction icon different from the object associated with the shape of the object, and displays the instruction icon in accordance with the movement of the object recognized by the operation recognition unit. An interface device for inputting information on the display unit by the instruction icon, which does not require an input device such as a mouse, and enables a very simple operation of the device.

本発明の一実施例におけるインターフェイス装置の外観図FIG. 1 is an external view of an interface device according to an embodiment of the present invention. 本発明の一実施例におけるインターフェイス装置の詳細なブロック図Detailed block diagram of an interface device according to an embodiment of the present invention （Ａ），（Ｂ）は同インターフェイス装置によって判断する手の形状例を示す図(A), (B) is a diagram showing an example of a hand shape determined by the interface device 同インターフェイス装置の動作認識部の詳細な実施例を示すブロック図FIG. 2 is a block diagram showing a detailed embodiment of an operation recognition unit of the interface device. （Ａ）〜（Ｄ）は同インターフェイス装置によって表示画面上に表示するアイコンの例を示す図7A to 7D are diagrams illustrating examples of icons displayed on a display screen by the interface device. 本発明によるインターフェイス装置の動作認識部の他の詳細な実施例を示すブロック図FIG. 4 is a block diagram showing another detailed embodiment of the operation recognition unit of the interface device according to the present invention. 従来のマウスによるインターフェイス装置を示す外観図External view showing a conventional mouse interface device

符号の説明Explanation of reference numerals

　１　　ホストコンピュータ
　２　　ディスプレイ
　３　　ＣＣＤカメラ
　21　　フレームメモリ
　22　　動作認識部
　23　　表示制御部
　24　　アイコン生成部
　200　　アイコン
　201，202，203　　仮想スイッチ
　221　　輪郭抽出部
　222　　物体抽出部
　223　　形状変化識別部
　224　　位置検出部
　231　　座標変換部
　232　　座標反転部 DESCRIPTION OF SYMBOLS 1 Host computer 2 Display 3 CCD camera 21 Frame memory 22 Motion recognition part 23 Display control part 24 Icon generation part 200 Icon 201, 202, 203 Virtual switch 221 Contour extraction part 222 Object extraction part 223 Shape change identification part 224 Position detection part 231 Coordinate converter 232 Coordinate inverter

Claims (11)

少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示する表示部と、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置。 At least an imaging unit, a motion recognition unit that recognizes the shape and motion of an object in an image captured by the imaging unit, and the shape of the object recognized by the motion recognition unit, which is previously associated with the shape of the object. A display unit for generating and displaying an instruction icon different from the object, and displaying the instruction icon to be moved in accordance with the movement of the object recognized by the operation recognition unit; and Interface device for inputting information. 撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、選択指示を行う選択指示画面を表示する表示部とを備え、前記表示部は、動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示し、前記選択指示画面への指示アイコンとして使用するインターフェイス装置。 An imaging unit, an operation recognition unit that recognizes the shape and movement of an object in an image captured by the imaging unit, and a display unit that displays a selection instruction screen for performing a selection instruction, the display unit includes an operation recognition unit The shape of the object recognized by the object, an instruction icon different from the object previously associated with the shape of the object is generated and displayed, and the instruction icon corresponding to the movement of the object recognized by the motion recognition unit is displayed. An interface device for displaying a moving image and using it as an instruction icon for the selection instruction screen. 表示部の表示方向と同一方向に撮像部の撮像面を配置した請求項１記載のインターフェイス装置。 2. The interface device according to claim 1, wherein the imaging surface of the imaging unit is arranged in the same direction as the display direction of the display unit. 使用者の目に対向させて表示部を配置した請求項１記載のインターフェイス装置。 2. The interface device according to claim 1, wherein the display unit is arranged to face the eyes of the user. 撮像部の撮像範囲と表示部の表示範囲とを割当る表示制御部を設け、前記表示制御部により、前記撮像部の撮像範囲を左右逆転させて前記表示部の表示範囲に割当るようにした請求項１または２記載のインターフェイス装置。 A display control unit that allocates an imaging range of an imaging unit and a display range of a display unit is provided, and the display control unit reverses the imaging range of the imaging unit left and right and allocates the imaging range to the display range of the display unit. The interface device according to claim 1. 動作認識部によって識別した物体の形状を、予め対応づけられた複数のアイコン画像として生成するアイコン生成部を設けた請求項１記載のインターフェイス装置。 2. The interface device according to claim 1, further comprising an icon generation unit configured to generate a shape of the object identified by the motion recognition unit as a plurality of icon images associated in advance. アイコン生成部が、動作認識部によって識別した物体の概略形状をアイコン画像として生成する事を特徴とした請求項６記載のインターフェイス装置。 7. The interface device according to claim 6, wherein the icon generation unit generates a schematic shape of the object identified by the motion recognition unit as an icon image. 画像中の所定の物体の形状変化を識別する形状変化識別部と、前記物体の重心を検出する位置検出部とによって動作認識部を構成した請求項１記載のインターフェイス装置。 2. The interface device according to claim 1, wherein a motion change recognizing unit includes a shape change identifying unit that identifies a shape change of a predetermined object in the image and a position detecting unit that detects a center of gravity of the object. 物体識別部に物体抽出部を設け、画像中の複数の物体中から所定の物体を予め抽出させた後、形状変化識別部によって、前記物体抽出部によって抽出した物体の形状変化を識別させるようにした請求項１または７記載のインターフェイス装置。 An object extraction unit is provided in the object identification unit, and after a predetermined object is previously extracted from a plurality of objects in an image, the shape change identification unit identifies the shape change of the object extracted by the object extraction unit. The interface device according to claim 1 or 7, wherein: 撮像素子と、前記撮像素子の前面に配置した、人間の肌色近傍の波長の光を透過する肌色透過フィルタとによって撮像部を構成した請求項１記載のインターフェイス装置。 The interface device according to claim 1, wherein the imaging unit includes an imaging element and a skin color transmission filter disposed on a front surface of the imaging element and transmitting light having a wavelength near human flesh color. 撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、選択指示を行う選択指示画面を表示する表示部とを備え、前記表示部は、動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示し、前記選択指示画面への指示時に前記物体の認識結果により指示アイコンを生成して、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置。 An operation recognition unit that recognizes the shape and movement of an object in an image captured by an imaging unit, and a display unit that displays a selection instruction screen for performing a selection instruction, wherein the display unit is configured to display an object recognized by the operation recognition unit. A shape is generated so that an instruction icon different from the object previously associated with the shape of the object is generated and displayed, and the instruction icon is moved in accordance with the movement of the object recognized by the motion recognition unit. An interface device for displaying, generating an instruction icon based on a recognition result of the object when instructing the selection instruction screen, and executing information input on the display unit using the instruction icon.
JP2003327809A 2003-09-19 2003-09-19 Interface device Withdrawn JP2004078977A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003327809A JP2004078977A (en) 2003-09-19 2003-09-19 Interface device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003327809A JP2004078977A (en) 2003-09-19 2003-09-19 Interface device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP6176851A Division JPH0844490A (en) 1994-07-28 1994-07-28 Interface device

Publications (1)

Publication Number Publication Date
JP2004078977A true JP2004078977A (en) 2004-03-11

Family

ID=32025822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003327809A Withdrawn JP2004078977A (en) 2003-09-19 2003-09-19 Interface device

Country Status (1)

Country Link
JP (1) JP2004078977A (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100846210B1 (en) 2006-12-05 2008-07-15 한국전자통신연구원 Input data automatic recognition system and method
KR100851977B1 (en) 2006-11-20 2008-08-12 삼성전자주식회사 A method and apparatus for controlling a user interface of an electronic device using a virtual plane.
WO2009148064A1 (en) 2008-06-03 2009-12-10 島根県 Image recognizing device, operation judging method, and program
KR100960020B1 (en) 2008-05-28 2010-05-28 전자부품연구원 Vision network system and video service method
JP2010237765A (en) * 2009-03-30 2010-10-21 Toshiba Corp Information processing apparatus, focus movement control method, and focus movement control program
US7844921B2 (en) 2006-08-25 2010-11-30 Kabushiki Kaisha Toshiba Interface apparatus and interface method
JP2011081469A (en) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd Input device
KR101079598B1 (en) 2007-12-18 2011-11-03 삼성전자주식회사 Display apparatus and control method thereof
WO2012039140A1 (en) 2010-09-22 2012-03-29 島根県 Operation input apparatus, operation input method, and program
WO2012147960A1 (en) 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 Information processing device, information processing method, and recording medium
US8384011B2 (en) 2009-12-10 2013-02-26 Sharp Kabushiki Kaisha Optical detection device and electronic equipment for detecting at least one of an X-coordinate and a Y-coordinate of an object
US8405712B2 (en) 2007-09-25 2013-03-26 Kabushiki Kaisha Toshiba Gesture recognition apparatus and method thereof
US8413053B2 (en) 2009-12-22 2013-04-02 Kabushiki Kaisha Toshiba Video reproducing apparatus and video reproducing method
JP2013070227A (en) * 2011-09-22 2013-04-18 Seiko Epson Corp Head-mounted type display device
KR101284797B1 (en) 2008-10-29 2013-07-10 한국전자통신연구원 Apparatus for user interface based on wearable computing environment and method thereof
US20130246968A1 (en) * 2012-03-05 2013-09-19 Toshiba Tec Kabushiki Kaisha Operation supporting display apparatus and method
CN103970455A (en) * 2013-01-28 2014-08-06 联想(北京)有限公司 Information processing method and electronic equipment
US8890809B2 (en) 2009-08-12 2014-11-18 Shimane Prefectural Government Image recognition apparatus, operation determining method and computer-readable medium
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
KR101514170B1 (en) * 2011-04-27 2015-04-21 엔이씨 솔루션 이노베이터 가부시키가이샤 Input device, input method and recording medium
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
KR101617645B1 (en) * 2009-02-24 2016-05-04 삼성전자주식회사 Method for controlling display and apparatus using the same
US9560272B2 (en) 2014-03-24 2017-01-31 Samsung Electronics Co., Ltd. Electronic device and method for image data processing
WO2017099311A1 (en) * 2015-12-09 2017-06-15 원광대학교 산학협력단 Automated application execution apparatus
US9962143B2 (en) 2015-04-30 2018-05-08 Olympus Corporation Medical diagnosis apparatus, ultrasound observation system, method for operating medical diagnosis apparatus, and computer-readable recording medium

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844921B2 (en) 2006-08-25 2010-11-30 Kabushiki Kaisha Toshiba Interface apparatus and interface method
KR100851977B1 (en) 2006-11-20 2008-08-12 삼성전자주식회사 A method and apparatus for controlling a user interface of an electronic device using a virtual plane.
KR100846210B1 (en) 2006-12-05 2008-07-15 한국전자통신연구원 Input data automatic recognition system and method
US8405712B2 (en) 2007-09-25 2013-03-26 Kabushiki Kaisha Toshiba Gesture recognition apparatus and method thereof
KR101079598B1 (en) 2007-12-18 2011-11-03 삼성전자주식회사 Display apparatus and control method thereof
US8237654B2 (en) 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof
KR100960020B1 (en) 2008-05-28 2010-05-28 전자부품연구원 Vision network system and video service method
US8456416B2 (en) 2008-06-03 2013-06-04 Shimane Prefectural Government Image recognition apparatus, and operation determination method and program therefor
WO2009148064A1 (en) 2008-06-03 2009-12-10 島根県 Image recognizing device, operation judging method, and program
EP2853991A1 (en) 2008-06-03 2015-04-01 Shimane Prefectural Government Image recognizing device, operation judging method, and program
KR101284797B1 (en) 2008-10-29 2013-07-10 한국전자통신연구원 Apparatus for user interface based on wearable computing environment and method thereof
US9891754B2 (en) 2009-02-24 2018-02-13 Samsung Electronics Co., Ltd. Method for controlling display and device using the same
KR101617645B1 (en) * 2009-02-24 2016-05-04 삼성전자주식회사 Method for controlling display and apparatus using the same
JP2010237765A (en) * 2009-03-30 2010-10-21 Toshiba Corp Information processing apparatus, focus movement control method, and focus movement control program
US9535512B2 (en) 2009-08-12 2017-01-03 Shimane Prefectural Government Image recognition apparatus, operation determining method and computer-readable medium
US8890809B2 (en) 2009-08-12 2014-11-18 Shimane Prefectural Government Image recognition apparatus, operation determining method and computer-readable medium
JP2011081469A (en) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd Input device
US8384011B2 (en) 2009-12-10 2013-02-26 Sharp Kabushiki Kaisha Optical detection device and electronic equipment for detecting at least one of an X-coordinate and a Y-coordinate of an object
US8413053B2 (en) 2009-12-22 2013-04-02 Kabushiki Kaisha Toshiba Video reproducing apparatus and video reproducing method
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
WO2012039140A1 (en) 2010-09-22 2012-03-29 島根県 Operation input apparatus, operation input method, and program
US9329691B2 (en) 2010-09-22 2016-05-03 Shimane Prefectural Government Operation input apparatus and method using distinct determination and control areas
KR101514170B1 (en) * 2011-04-27 2015-04-21 엔이씨 솔루션 이노베이터 가부시키가이샤 Input device, input method and recording medium
US9323339B2 (en) 2011-04-27 2016-04-26 Nec Solution Innovators, Ltd. Input device, input method and recording medium
WO2012147960A1 (en) 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 Information processing device, information processing method, and recording medium
US9329673B2 (en) 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
JP2013070227A (en) * 2011-09-22 2013-04-18 Seiko Epson Corp Head-mounted type display device
US9761196B2 (en) 2011-09-22 2017-09-12 Seiko Epson Corporation Head-mount display apparatus
US20130246968A1 (en) * 2012-03-05 2013-09-19 Toshiba Tec Kabushiki Kaisha Operation supporting display apparatus and method
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
CN103970455A (en) * 2013-01-28 2014-08-06 联想(北京)有限公司 Information processing method and electronic equipment
US9560272B2 (en) 2014-03-24 2017-01-31 Samsung Electronics Co., Ltd. Electronic device and method for image data processing
US9962143B2 (en) 2015-04-30 2018-05-08 Olympus Corporation Medical diagnosis apparatus, ultrasound observation system, method for operating medical diagnosis apparatus, and computer-readable recording medium
WO2017099311A1 (en) * 2015-12-09 2017-06-15 원광대학교 산학협력단 Automated application execution apparatus

Similar Documents

Publication Publication Date Title
JP2004078977A (en) Interface device
JP7524153B2 (en) Information processing device, control method for information processing device, and program
JPH0844490A (en) Interface device
US11093086B2 (en) Method and apparatus for data entry input
JP6288372B2 (en) Interface control system, interface control device, interface control method, and program
KR101791366B1 (en) Enhanced virtual touchpad and touchscreen
CN102906671B (en) Gesture input device and gesture input method
US8290210B2 (en) Method and system for gesture recognition
CN107003716B (en) Projection type image display device and image display method
JP4323180B2 (en) Interface method, apparatus, and program using self-image display
JP6350772B2 (en) Information processing system, information processing apparatus, control method, and program
JPH09185456A (en) Interface device
GB2470654A (en) Data input on a virtual device using a set of objects.
JP2014225145A (en) Input operation device
US20230061557A1 (en) Electronic device and program
CN106933364B (en) Character input method, character input device, and wearable device
KR20240044327A (en) Control device, control method, and computer-readable storage medium
CN109144598A (en) Electronics mask man-machine interaction method and system based on gesture
CN109144235A (en) Man-machine interaction method and system based on head hand co-operating
CN106095088B (en) A kind of electronic equipment and its image processing method
JP2008181434A (en) I / O system
JP2025035473A (en) Aerial image input device, program and method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050708

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20060508