[go: up one dir, main page]

JP2014022921A - Electronic apparatus and program - Google Patents

Electronic apparatus and program Download PDF

Info

Publication number
JP2014022921A
JP2014022921A JP2012159506A JP2012159506A JP2014022921A JP 2014022921 A JP2014022921 A JP 2014022921A JP 2012159506 A JP2012159506 A JP 2012159506A JP 2012159506 A JP2012159506 A JP 2012159506A JP 2014022921 A JP2014022921 A JP 2014022921A
Authority
JP
Japan
Prior art keywords
image
data
image data
specifying information
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012159506A
Other languages
Japanese (ja)
Other versions
JP2014022921A5 (en
Inventor
Maki Suzuki
真樹 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012159506A priority Critical patent/JP2014022921A/en
Publication of JP2014022921A publication Critical patent/JP2014022921A/en
Publication of JP2014022921A5 publication Critical patent/JP2014022921A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数のデータを所望の通りに分類し直感的に管理することが可能な電子機器およびプログラムを提供する。
【解決手段】所定のデータを記憶する第1記憶手段と、被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像手段と、画像信号を解析し所定のオブジェクトを認識する認識手段と、オブジェクトとデータとを関連付けて記憶する第2記憶手段と、を備える電子機器。
【選択図】図1
An electronic device and a program capable of intuitively managing a plurality of pieces of data classified as desired.
First storage means for storing predetermined data, imaging means for capturing a subject image and outputting an image signal corresponding to the subject image, and recognition for analyzing the image signal and recognizing a predetermined object An electronic apparatus comprising: means; and second storage means for storing an object and data in association with each other.
[Selection] Figure 1

Description

本発明は、電子機器およびプログラムに関する。   The present invention relates to an electronic device and a program.

従来、撮影画像をデジタルデータである画像データとして記録するデジタルカメラが知られている。例えば特許文献1には、画像データに撮影日時等のメタデータを付与し、そのメタデータを画像データの検索条件として利用可能な撮像装置が記載されている。   Conventionally, digital cameras that record captured images as image data, which is digital data, are known. For example, Patent Document 1 describes an imaging apparatus that can add metadata such as shooting date and time to image data and use the metadata as a search condition for image data.

特開2005−190155号公報JP 2005-190155 A

特許文献1に記載された撮像装置には、複数のデータをユーザの所望する通りに分類して管理することができないという問題があった。   The imaging device described in Patent Document 1 has a problem that a plurality of data cannot be classified and managed as desired by the user.

請求項1に記載の電子機器は、所定のデータを記憶する第1記憶手段と、被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像手段と、前記画像信号を解析し所定のオブジェクトを認識する認識手段と、前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶手段と、を備えることを特徴とする。
請求項6に記載の電子機器は、所定のオブジェクトを特定するためのオブジェクト特定情報と所定のデータとを関連付けて記憶する記憶手段と、被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像手段と、前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示手段と、前記画像信号を解析し前記オブジェクトを認識する認識手段と、前記認識手段により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられている前記データを読み出す読出手段と、を備えることを特徴とする。
請求項12に記載の電子機器は、所定のデータを記憶する第1記憶手段と、被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像手段と、前記画像信号を解析し所定のオブジェクトを認識する認識手段と、前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶手段と、前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示手段と、前記第2記憶手段により前記オブジェクト特定情報と前記データとが関連付けて記憶されている場合、前記認識手段により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられた前記データを読み出す読出手段と、を備えることを特徴とする。
請求項13に記載のプログラムは、所定のデータを記憶する第1記憶工程と、被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像工程と、前記画像信号を解析し所定のオブジェクトを認識する認識工程と、前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶工程と、をコンピュータにより実行させることを特徴とする。
請求項14に記載のプログラムは、所定のオブジェクトを特定するためのオブジェクト特定情報と所定のデータとを関連付けて記憶する記憶工程と、被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像工程と、前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示工程と、前記画像信号を解析し前記オブジェクトを認識する認識工程と、前記認識手段により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられている前記データを読み出す読出工程と、をコンピュータにより実行させることを特徴とする。
請求項15に記載のプログラムは、所定のデータを記憶する第1記憶工程と、被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像工程と、前記画像信号を解析し所定のオブジェクトを認識する認識工程と、前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶工程と、前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示工程と、前記第2記憶工程により前記オブジェクト特定情報と前記データとが関連付けて記憶されている場合、前記認識工程により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられた前記データを読み出す読出工程と、をコンピュータにより実行させることを特徴とする。
The electronic apparatus according to claim 1, a first storage unit that stores predetermined data, an imaging unit that captures a subject image and outputs an image signal corresponding to the subject image, and analyzes the image signal. Recognizing means for recognizing a predetermined object, and second storage means for storing the object specifying information for specifying the object and the data in association with each other.
The electronic apparatus according to claim 6, a storage unit that associates and stores object specifying information for specifying a predetermined object and predetermined data, an image signal corresponding to the image of the subject by capturing a subject image Imaging means for outputting, a display means for displaying an image showing the subject image on a display screen based on the image signal, a recognition means for analyzing the image signal and recognizing the object, and the recognition means Reading means for reading out the data associated with the object specifying information for specifying the object when the object is recognized.
The electronic device according to claim 12, a first storage unit that stores predetermined data, an imaging unit that captures a subject image and outputs an image signal corresponding to the subject image, and analyzes the image signal. Recognizing means for recognizing a predetermined object, second storage means for storing the object specifying information for specifying the object and the data in association with each other, and displaying an image showing the subject image based on the image signal In the case where the object specifying information and the data are stored in association with each other by the display means for displaying on the screen and the second storage means, the object is specified when the object is recognized by the recognition means. Reading means for reading out the data associated with the object specifying information.
The program according to claim 13 is a first storage step of storing predetermined data, an imaging step of capturing a subject image and outputting an image signal corresponding to the subject image, analyzing the image signal and performing a predetermined process And a second storage step of associating and storing the object specifying information for specifying the object and the data.
The program according to claim 14 stores an object specifying information for specifying a predetermined object and predetermined data in association with each other, and stores a subject image, and outputs an image signal corresponding to the subject image. An imaging step of outputting; a display step of displaying an image showing the subject image on a display screen based on the image signal; a recognition step of analyzing the image signal to recognize the object; and the object by the recognition means And a reading step of reading out the data associated with the object specifying information for specifying the object in response to the recognition of the object.
The program according to claim 15 includes: a first storage step for storing predetermined data; an imaging step for capturing a subject image and outputting an image signal corresponding to the subject image; A recognition step for recognizing the object, a second storage step for storing the object specifying information for specifying the object in association with the data, and an image showing the subject image based on the image signal on the display screen When the object specifying information and the data are stored in association with each other in the display step to be displayed in the second storage step, the object is specified in accordance with the recognition of the object in the recognition step. Reading out the data associated with the object specifying information by a computer. And features.

本発明によれば、複数のデータを所望の通りに分類し直感的に管理することができる。   According to the present invention, a plurality of data can be classified as desired and managed intuitively.

本発明を適用したデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera to which this invention is applied. 格納機能および読出機能の概略を示す模式図である。It is a schematic diagram which shows the outline of a storing function and a reading function. オブジェクト機能に利用されるメモリ109上の領域を模式的に示す図である。It is a figure which shows typically the area | region on the memory 109 utilized for an object function. 画像インデックス23の構成を示す図である。It is a figure which shows the structure of the image index. 画像データ格納処理のフローチャートである。It is a flowchart of an image data storage process. オブジェクトインデックス24の構成を示す図である。FIG. 3 is a diagram showing a configuration of an object index 24. 画像データ読出処理のフローチャートである。It is a flowchart of an image data reading process. オブジェクト管理処理のフローチャートである。It is a flowchart of an object management process.

(第1の実施の形態)
図1は、本発明を適用したデジタルカメラの構成を示すブロック図である。本実施形態に係るデジタルカメラ1はレンズ一体型のデジタルカメラであり、不図示のレンズ(結像光学系)により結像された被写体像を撮像素子103により撮像することで、被写体像の画像データを作成する機能を有する。
(First embodiment)
FIG. 1 is a block diagram showing the configuration of a digital camera to which the present invention is applied. The digital camera 1 according to the present embodiment is a lens-integrated digital camera, and an image of a subject image formed by a lens (imaging optical system) (not shown) is captured by the image sensor 103, whereby image data of the subject image is obtained. It has a function to create.

デジタルカメラ1は、マイクロプロセッサおよびその周辺回路から成るCPU101を備える。CPU101は、不図示の記憶媒体から所定の制御プログラムを読み込んで実行することにより、デジタルカメラ1の各部を制御する。CPU101には、レンズ駆動回路102、撮像素子103、電源コントローラ104、カードコントローラ105、USBコントローラ106、WiFiドライバ107、I/Fドライバ108、メモリ109、およびLCDドライバ110が接続されている。以下、これらの各部について順に説明する。   The digital camera 1 includes a CPU 101 including a microprocessor and its peripheral circuits. The CPU 101 controls each unit of the digital camera 1 by reading and executing a predetermined control program from a storage medium (not shown). The CPU 101 is connected to a lens driving circuit 102, an image sensor 103, a power controller 104, a card controller 105, a USB controller 106, a WiFi driver 107, an I / F driver 108, a memory 109, and an LCD driver 110. Hereinafter, each of these units will be described in order.

レンズ駆動回路102は、結像光学系に含まれるフォーカシング用のレンズを、ステッピングモータ等のアクチュエータにより光軸方向に駆動する。CPU101は、レンズ駆動回路102にフォーカシング用のレンズを駆動させることにより、被写体像の結像位置を調節する。   The lens driving circuit 102 drives a focusing lens included in the imaging optical system in the optical axis direction by an actuator such as a stepping motor. The CPU 101 adjusts the imaging position of the subject image by causing the lens driving circuit 102 to drive a focusing lens.

撮像素子103は、例えばCCDやCMOS等のイメージセンサである。撮像素子103は、撮像面上に結像されている被写体像を撮像し、被写体像の明るさに応じた光電変換信号(撮像信号)を出力する。撮像素子103の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられているので、撮像素子103から出力される撮像信号は、RGB表色系で規定される色情報を有している。   The image sensor 103 is an image sensor such as a CCD or a CMOS. The image sensor 103 captures a subject image formed on the imaging surface and outputs a photoelectric conversion signal (imaging signal) corresponding to the brightness of the subject image. Since R (red), G (green), and B (blue) color filters are provided on the imaging surface of the imaging element 103 so as to correspond to the pixel positions, imaging signals output from the imaging element 103 are provided. Has color information defined by the RGB color system.

撮像素子103から出力された撮像信号は、不図示のA/D変換器によりデジタルデータ(画像データ)に変換された後、不図示の画像処理回路に入力され、輪郭補償やガンマ補正などの種々の画像処理が施される。CPU101には、これらの画像処理が施された画像データが入力される。   An image pickup signal output from the image pickup element 103 is converted into digital data (image data) by an A / D converter (not shown) and then input to an image processing circuit (not shown), and various kinds of operations such as contour compensation and gamma correction are performed. Image processing is performed. The CPU 101 receives image data that has been subjected to these image processes.

撮像素子103およびその周辺回路(画像処理回路等)は、通常の静止画像データ(撮影画像)の他に、いわゆるスルー画を出力可能である。これは、繰り返し撮像素子103による撮像を行い、例えば毎秒60フレーム等のフレームレートで出力される画像データである。このフレームレートを維持するため、スルー画を構成する各フレームは、通常の静止画像データに比べて画素数が少なかったり、一部の画像処理が省略されていたりする。   The image sensor 103 and its peripheral circuits (image processing circuit and the like) can output a so-called through image in addition to normal still image data (captured image). This is image data that is repeatedly imaged by the image sensor 103 and is output at a frame rate of 60 frames per second, for example. In order to maintain this frame rate, each frame constituting the through image has fewer pixels than normal still image data, or some image processing is omitted.

電源コントローラ104は、デジタルカメラ1の各部に供給される動作電力を制御する。各部の動作電力は、電源コントローラ104に接続されたバッテリ111から供給される。カードコントローラ105は、カードスロット112に装着されたメモリカード2の読み書きを制御する。メモリカード2は可搬性の記憶媒体であり、カードスロット112に着脱可能に構成される。   The power controller 104 controls the operating power supplied to each part of the digital camera 1. The operating power of each unit is supplied from a battery 111 connected to the power supply controller 104. The card controller 105 controls reading / writing of the memory card 2 inserted in the card slot 112. The memory card 2 is a portable storage medium and is configured to be detachable from the card slot 112.

USBコントローラ106は、USBコネクタ113に接続された外部機器3(例えばデジタルカメラや携帯電話など)と、周知のUSB規格に基づくデータ通信を行う。CPU101は、USBコントローラ106を介したデータ通信により、例えばメモリカード2と外部機器3との間で画像データの授受を行うことができる。   The USB controller 106 performs data communication based on a well-known USB standard with an external device 3 (for example, a digital camera or a mobile phone) connected to the USB connector 113. For example, the CPU 101 can exchange image data between the memory card 2 and the external device 3 by data communication via the USB controller 106.

WiFiドライバ107は、無線アンテナ等を含むWiFi送受信部114を駆動することにより、外部の装置と無線によるデータ通信を行う。CPU101は、WiFiドライバ107を介したデータ通信により、USBコントローラ106を介したデータ通信と同様に、例えば外部の装置との間で画像データの授受を行うことができる。   The WiFi driver 107 performs wireless data communication with an external device by driving a WiFi transmission / reception unit 114 including a wireless antenna and the like. The CPU 101 can exchange image data with, for example, an external device by data communication via the WiFi driver 107, similarly to data communication via the USB controller 106.

I/Fドライバ108は、キーパッドやプッシュボタン等の操作スイッチ115に対する操作を検知し、CPU101へ当該操作に応じた操作信号を出力する。メモリ109は、例えばフラッシュメモリ等の、不揮発性の記憶媒体である。デジタルカメラ1は、後述するオブジェクト機能を実現するために必要な種々の情報をメモリ109に記憶する。   The I / F driver 108 detects an operation on the operation switch 115 such as a keypad or a push button, and outputs an operation signal corresponding to the operation to the CPU 101. The memory 109 is a non-volatile storage medium such as a flash memory. The digital camera 1 stores various information necessary for realizing an object function described later in the memory 109.

LCDドライバ110は、液晶パネル等の表示画面を備えるディスプレイ116を駆動し、表示画面に文字や画像等を表示する。CPU101が例えば画像信号をLCDドライバ110に出力すると、ディスプレイ116の表示画面には当該画像信号に応じた画像が表示される。   The LCD driver 110 drives a display 116 having a display screen such as a liquid crystal panel, and displays characters, images, and the like on the display screen. For example, when the CPU 101 outputs an image signal to the LCD driver 110, an image corresponding to the image signal is displayed on the display screen of the display 116.

本実施形態のデジタルカメラ1には、スルー画を解析して認識された所定のオブジェクト(例えば人形、置物、花、絵画など、スルー画から認識可能な種々の物品)に撮影画像を関連付けて管理する機能(以下、オブジェクト機能と称する)が搭載されている。ある撮影画像が特定のオブジェクトに関連付けられると、その撮影画像は、同様のオブジェクトが再度認識された際にのみ閲覧可能となる。このオブジェクト機能によれば、撮影画像をあたかも特定の物品に格納したかのように管理することが可能となる。   In the digital camera 1 of the present embodiment, a photographed image is associated with a predetermined object recognized by analyzing the through image (for example, various objects recognizable from the through image, such as dolls, figurines, flowers, and paintings) and managed. Functions (hereinafter referred to as object functions) are mounted. When a certain captured image is associated with a specific object, the captured image can be browsed only when the similar object is recognized again. According to this object function, it becomes possible to manage a photographed image as if it was stored in a specific article.

オブジェクト機能は、オブジェクトを特定する情報と撮影画像とを関連付けて記憶する機能(以下、格納機能と称する)と、オブジェクトに関連付けられている撮影画像を読み出す機能(以下、読出機能と称する)の2つの機能から成る。   The object function includes two functions: a function for storing information specifying an object and a captured image in association with each other (hereinafter referred to as a storage function), and a function for reading a captured image associated with the object (hereinafter referred to as a read function). It consists of two functions.

図2(a)は格納機能の概略を示す模式図である。ユーザ4がデジタルカメラ1の画角内に任意のオブジェクト5(図2(a)では一例としてぬいぐるみをオブジェクトとしている)を収め、そのオブジェクトに画像データ6の格納(関連付け)を指示すると、デジタルカメラ1のメモリ109に記憶されている画像データは、オブジェクト5に関連付けられる。   FIG. 2A is a schematic diagram showing an outline of the storage function. When the user 4 puts an arbitrary object 5 (the stuffed animal is an object in FIG. 2A as an example) within the angle of view of the digital camera 1 and instructs the object to store (associate) the image data 6, the digital camera The image data stored in the first memory 109 is associated with the object 5.

図2(b)は読出機能の概略を示す模式図である。画像データ6がオブジェクト5に格納された(関連付けられた)後、デジタルカメラ1を所定のモードに設定してオブジェクト5を画角に収めると、デジタルカメラ1のディスプレイ116には、オブジェクト5の画像7に重畳して、当該オブジェクトに画像データ6が格納されていることを示すマーカー8が表示される。ここでユーザが所定の操作を行うと、画像データ6を再生・鑑賞することができる。   FIG. 2B is a schematic diagram showing an outline of the reading function. After the image data 6 is stored in (associated with) the object 5, when the digital camera 1 is set to a predetermined mode and the object 5 is held within the angle of view, the image 116 of the object 5 is displayed on the display 116 of the digital camera 1. 7, a marker 8 indicating that the image data 6 is stored in the object is displayed. Here, when the user performs a predetermined operation, the image data 6 can be reproduced and viewed.

このように、格納機能および読出機能を用いると、デジタルカメラ1はあたかもオブジェクト5に画像データが格納されているかのように振る舞う。ユーザはこれらの機能を通じて、画像データを実在の物品に格納する感覚で、各画像データを管理することが可能となる。   As described above, when the storage function and the reading function are used, the digital camera 1 behaves as if image data is stored in the object 5. Through these functions, the user can manage each image data as if storing the image data in an actual article.

図3は、オブジェクト機能に利用されるメモリ109上の領域を模式的に示す図である。CPU101は、メモリ109に画像データ領域11および管理領域12の2種類の領域を設け、これらの領域をオブジェクト機能のために利用する。画像データ領域11には、撮像した被写体像の画像データ21と、画像データ21毎に一意な識別子(例えば画像データ21毎に異なる整数)である画像ID22とが関連付けて記憶される。管理領域12は、画像データ領域11に記憶されている各画像データ21を管理するための情報(各画像データ21に付随する情報)を記憶するための領域であり、後述する画像インデックス23およびオブジェクトインデックス24が記憶される。   FIG. 3 is a diagram schematically showing an area on the memory 109 used for the object function. The CPU 101 provides two types of areas, an image data area 11 and a management area 12, in the memory 109, and uses these areas for object functions. In the image data area 11, image data 21 of a captured subject image and an image ID 22 that is a unique identifier for each image data 21 (for example, an integer different for each image data 21) are stored in association with each other. The management area 12 is an area for storing information (information accompanying each image data 21) for managing each image data 21 stored in the image data area 11, and includes an image index 23 and an object described later. An index 24 is stored.

デジタルカメラ1による静止画の撮影手順は、一般的なデジタルカメラと同様である。静止画の撮影を行う際、ユーザは操作スイッチ115等により、デジタルカメラ1に静止画撮影モードを設定する。その後、結像光学系を被写体に対して向け、操作スイッチ115に含まれるレリーズスイッチを押下することにより、デジタルカメラ1は被写体像の撮像を行う。CPU101はレリーズスイッチの押下に応じて撮像素子103を制御し、撮像素子103に、結像光学系が結像した被写体像を撮像させる。これにより、撮像素子103から出力された撮像信号に基づく画像データ21がCPU101に入力される。CPU101は、この画像データ21に画像ID22を付与し、図3に示した画像データ領域11に記憶する。CPU101は更に、この画像データ21に関する情報を、以下に説明する画像インデックス23に記憶する。   The procedure for taking a still image by the digital camera 1 is the same as that of a general digital camera. When shooting a still image, the user sets a still image shooting mode in the digital camera 1 using the operation switch 115 or the like. Thereafter, the image forming optical system is directed toward the subject, and the release switch included in the operation switch 115 is pressed, so that the digital camera 1 captures the subject image. The CPU 101 controls the image sensor 103 in response to pressing of the release switch, and causes the image sensor 103 to capture the subject image formed by the imaging optical system. Thereby, the image data 21 based on the imaging signal output from the imaging element 103 is input to the CPU 101. The CPU 101 assigns an image ID 22 to the image data 21 and stores it in the image data area 11 shown in FIG. The CPU 101 further stores information related to the image data 21 in an image index 23 described below.

図4は、画像インデックス23の構成を示す図である。画像インデックス23には、画像データ領域11に記憶されている各画像データ21について、当該画像データ21の画像ID22と、登録有無情報25と、オブジェクトID26とが関連付けて記憶される。   FIG. 4 is a diagram showing the configuration of the image index 23. In the image index 23, for each image data 21 stored in the image data area 11, an image ID 22, registration presence / absence information 25, and an object ID 26 of the image data 21 are stored in association with each other.

登録有無情報25は、その画像データ21が特定のオブジェクトに関連付けられているか否かを表す情報である。画像データ21が特定のオブジェクトに関連付けられている場合、登録有無情報25は「1」となる。逆に、画像データ21が特定のオブジェクトに関連付けられていない場合、登録有無情報25は「0」となる。   The registration presence / absence information 25 is information indicating whether or not the image data 21 is associated with a specific object. When the image data 21 is associated with a specific object, the registration presence / absence information 25 is “1”. Conversely, when the image data 21 is not associated with a specific object, the registration presence / absence information 25 is “0”.

オブジェクトID26は、その画像データ21に関連付けられているオブジェクトを表す情報である。オブジェクトID26は、登録有無情報25が「1」である場合にのみ、画像インデックス23に記憶される。つまり、登録有無情報25が「0」である場合、その画像データ21にオブジェクトID26は記憶されない。   The object ID 26 is information representing an object associated with the image data 21. The object ID 26 is stored in the image index 23 only when the registration presence / absence information 25 is “1”. That is, when the registration presence / absence information 25 is “0”, the object ID 26 is not stored in the image data 21.

CPU101は、撮影を行うことにより画像データ領域11に新たな画像データ21が記憶されたとき、画像インデックス23に、当該画像データ21の画像ID22と、「0」という登録有無情報25とを記憶する。この時点では、オブジェクトID26は記憶されない。   When new image data 21 is stored in the image data area 11 by shooting, the CPU 101 stores the image ID 22 of the image data 21 and the registration presence / absence information 25 of “0” in the image index 23. . At this time, the object ID 26 is not stored.

ユーザは、登録有無情報25が「0」である画像データ21を、何らの制限なしに再生・鑑賞することが可能である。例えば、操作スイッチ115等によりデジタルカメラ1を再生モードに設定すると、CPU101は画像インデックス23から、登録有無情報25が「0」である各画像データ21の画像ID22を読み出す。そして、画像データ領域11から、それらの画像ID22が付与されている各画像データ21を読み出し、ディスプレイ116の表示画面にそれらの画像データ21のサムネイル画像を一覧表示する。サムネイル画像は、予め画像データ21を縮小してメモリ109に記憶しておいてもよいし、表示の際に画像データ21を縮小して作成してもよい。ユーザが操作スイッチ115によりいずれかのサムネイル画像を選択すると、CPU101はディスプレイ116の表示画面に、そのサムネイル画像に対応する画像データ21を表示する。   The user can reproduce / view the image data 21 whose registration presence / absence information 25 is “0” without any limitation. For example, when the digital camera 1 is set to the reproduction mode by the operation switch 115 or the like, the CPU 101 reads the image ID 22 of each image data 21 whose registration presence / absence information 25 is “0” from the image index 23. Then, each image data 21 assigned with the image ID 22 is read from the image data area 11 and a list of thumbnail images of the image data 21 is displayed on the display screen of the display 116. The thumbnail image may be stored in advance in the memory 109 by reducing the image data 21 or may be created by reducing the image data 21 at the time of display. When the user selects any thumbnail image with the operation switch 115, the CPU 101 displays the image data 21 corresponding to the thumbnail image on the display screen of the display 116.

次に、格納機能の具体的な動作について説明する。図5は、画像データ格納処理のフローチャートである。ユーザが操作スイッチ115等によりデジタルカメラ1を画像格納モードに設定すると、CPU101が実行する制御プログラムは、図5に示す処理の実行を開始する。   Next, a specific operation of the storage function will be described. FIG. 5 is a flowchart of the image data storage process. When the user sets the digital camera 1 to the image storage mode using the operation switch 115 or the like, the control program executed by the CPU 101 starts executing the processing shown in FIG.

まずステップS100では、CPU101が再生モードと同様にサムネイル画像を一覧表示する。つまり、ディスプレイ116の表示画面に、登録有無情報25が「0」である画像データ21のサムネイル画像を一覧表示する。ステップS110では、ユーザが表示画面を参照し、特定のオブジェクトに関連付けを行う画像データ21を少なくとも1つ、操作スイッチ115を操作することにより選択する(選択操作を行う)。これにより操作スイッチ115からCPU101に、画像データ21の選択操作が入力される。以下、ここで選択された画像データ21を「格納対象画像」と呼ぶ。   First, in step S100, the CPU 101 displays a list of thumbnail images as in the playback mode. That is, a list of thumbnail images of the image data 21 whose registration presence / absence information 25 is “0” is displayed on the display screen of the display 116. In step S110, the user refers to the display screen and selects at least one image data 21 to be associated with a specific object by operating the operation switch 115 (performs a selection operation). As a result, the selection operation of the image data 21 is input from the operation switch 115 to the CPU 101. Hereinafter, the image data 21 selected here is referred to as a “storage target image”.

ステップS120ではCPU101が、ディスプレイ116の表示画面にスルー画の表示を開始する。ステップS130では、ユーザが格納対象画像を格納したい(格納対象画像と関連付けたい)オブジェクトを画角内に捉え、レリーズスイッチを押下する。これにより操作スイッチ115からCPU101に、レリーズスイッチの押下操作が入力される。ステップS140では、CPU101がレリーズスイッチの押下操作の入力に応じて、押下時点でのスルー画を周知のアルゴリズム(例えばテンプレートマッチング等)で解析し、スルー画中に含まれるオブジェクトを認識する。   In step S <b> 120, the CPU 101 starts displaying a through image on the display screen of the display 116. In step S <b> 130, the user captures an object that the user wants to store the storage target image (to associate with the storage target image) within the angle of view, and presses the release switch. As a result, a release switch pressing operation is input from the operation switch 115 to the CPU 101. In step S140, the CPU 101 analyzes the through image at the time of pressing with a known algorithm (for example, template matching or the like) in accordance with the input of the release switch pressing operation, and recognizes an object included in the through image.

その後、ステップS150においてCPU101は、押下時点でのスルー画を表示画面に表示すると共に、認識されたオブジェクトを、例えば赤色等の強調色でオブジェクトに相当する区画を囲む等の方法により強調表示する。そして、格納対象画像をそのオブジェクトに格納する(関連付ける)ことの確認をユーザに求める。例えば、表示画面に「このオブジェクトに画像データを格納しますか?」などの確認メッセージを表示し、ユーザから操作スイッチ115等によりその可否が入力されるまで待機する。   Thereafter, in step S150, the CPU 101 displays the through image at the time of pressing on the display screen, and highlights the recognized object by a method such as surrounding a section corresponding to the object with a highlight color such as red. Then, the user is asked to confirm that the storage target image is stored (associated) with the object. For example, a confirmation message such as "Do you want to store image data in this object?"

なお、CPU101が複数のオブジェクトを認識した場合、CPU101はステップS150の実行前に、それらのオブジェクトのうちどのオブジェクトを画像データの格納対象とするか、ユーザに選択を行わせる。ユーザは操作スイッチ115等により、複数のオブジェクトからいずれか1つのオブジェクトを選択する。CPU101は、ここで選択されたオブジェクトを対象として、ステップS150の処理を実行する。   When the CPU 101 recognizes a plurality of objects, the CPU 101 causes the user to select which of these objects is to be stored as image data before executing step S150. The user selects any one object from a plurality of objects using the operation switch 115 or the like. The CPU 101 executes the process of step S150 for the object selected here.

ステップS160では、ユーザによる操作スイッチ115からの入力が、格納を決定する入力か、あるいは格納をキャンセルする入力かを判定する。ユーザが画像データの格納をキャンセルした場合には、処理はステップS130に戻り、CPU101は再びスルー画の表示を再開する。他方、ユーザが画像データを格納することを選択した場合、処理はステップS170に進む。ステップS170でCPU101は、オブジェクトインデックス24を更新し、ステップS140で認識されたオブジェクトを登録する。   In step S160, it is determined whether the input from the operation switch 115 by the user is an input for determining storage or an input for canceling storage. If the user cancels the storage of the image data, the process returns to step S130, and the CPU 101 resumes the display of the through image again. On the other hand, if the user has selected to store image data, the process proceeds to step S170. In step S170, the CPU 101 updates the object index 24 and registers the object recognized in step S140.

図6は、オブジェクトインデックス24の構成を示す図である。オブジェクトインデックス24には、オブジェクト毎に一意な識別子(例えば、オブジェクト毎に固有の整数)であるオブジェクトID26と、当該オブジェクトを特定するための情報であるオブジェクト特定情報27とが関連付けて記憶されている。   FIG. 6 is a diagram showing the configuration of the object index 24. In the object index 24, an object ID 26 that is an identifier unique to each object (for example, an integer unique to each object) and object specifying information 27 that is information for specifying the object are stored in association with each other. .

オブジェクト特定情報27は、スルー画からオブジェクトを認識するアルゴリズムに応じた形式のデータである。例えば、特徴点抽出等の手法によりオブジェクトを認識する場合には、オブジェクト特定情報27は当該オブジェクトの特徴点を表す情報である。また、パターンマッチング等の手法によりオブジェクトを認識する場合には、スルー画から切り出された当該オブジェクトの画像データやその特徴量等である。   The object specifying information 27 is data in a format corresponding to an algorithm for recognizing an object from a through image. For example, when an object is recognized by a technique such as feature point extraction, the object specifying information 27 is information representing the feature point of the object. Further, when an object is recognized by a technique such as pattern matching, the image data of the object cut out from the through image, its feature amount, and the like.

ステップS170においてCPU101は、認識されたオブジェクトに一意なオブジェクトID26を割り当て、そのオブジェクトのオブジェクト特定情報27と共にオブジェクトインデックス24に記憶する。ステップS180ではCPU101が、画像インデックス23を更新し、格納対象画像を認識されたオブジェクトに格納する(関連付ける)。ここでCPU101は、画像インデックス23における格納対象画像の登録有無情報25を「1」に、オブジェクトID26を認識されたオブジェクトのオブジェクトID26に、それぞれ更新する。つまり、ステップS180では、格納対象画像の画像ID22に対応する、画像インデックス23の登録有無情報25およびオブジェクトID26が、CPU101により書き換えられる。   In step S170, the CPU 101 assigns a unique object ID 26 to the recognized object, and stores it in the object index 24 together with the object specifying information 27 of the object. In step S180, the CPU 101 updates the image index 23 and stores (associates) the storage target image with the recognized object. Here, the CPU 101 updates the registration presence / absence information 25 of the image to be stored in the image index 23 to “1” and the object ID 26 to the object ID 26 of the recognized object. That is, in step S180, the CPU 101 rewrites the registration presence / absence information 25 and the object ID 26 of the image index 23 corresponding to the image ID 22 of the image to be stored.

なお、認識されたオブジェクトに格納対象画像が格納されることを視覚的に分かりやすく表現するため、格納対象画像がスルー画上のオブジェクトに流れ込むアニメーションを表示してもよい。   It should be noted that an animation in which the storage target image flows into the object on the through image may be displayed in order to visually express that the storage target image is stored in the recognized object.

次に、読出機能の具体的な動作について説明する。図7は、画像データ読出処理のフローチャートである。ユーザが操作スイッチ115等によりデジタルカメラ1を画像読み出しモードに設定すると、CPU101が実行する制御プログラムは図7に示す処理の実行を開始する。   Next, a specific operation of the reading function will be described. FIG. 7 is a flowchart of the image data reading process. When the user sets the digital camera 1 to the image reading mode with the operation switch 115 or the like, the control program executed by the CPU 101 starts executing the processing shown in FIG.

まずステップS200では、CPU101がディスプレイ116の表示画面にスルー画の表示を開始する。以下、デジタルカメラ1が画像読み出しモード以外のモードに設定されるまで、CPU101はスルー画の撮像および表示を行いながらステップS210〜S260の処理を繰り返し実行する。   First, in step S <b> 200, the CPU 101 starts displaying a through image on the display screen of the display 116. Hereinafter, until the digital camera 1 is set to a mode other than the image reading mode, the CPU 101 repeatedly executes the processes of steps S210 to S260 while capturing and displaying a through image.

ステップS210では、CPU101が最新のスルー画を周知のアルゴリズムにより解析し、スルー画中に含まれるオブジェクトを認識する。ステップS220ではCPU101が、ステップS210で認識された各オブジェクトについてオブジェクトインデックス24および画像インデックス23を調べ、当該オブジェクトに画像データ21が格納されているか(関連付けられているか)否かを判定する。例えば、認識されたオブジェクトのオブジェクト特定情報27に対応するオブジェクトID26をオブジェクトインデックス24から検索し、そのオブジェクトID26を画像インデックス23から検索して登録有無情報25が「1」である画像ID22を見つける。   In step S210, the CPU 101 analyzes the latest through image using a known algorithm, and recognizes an object included in the through image. In step S220, the CPU 101 checks the object index 24 and the image index 23 for each object recognized in step S210, and determines whether the image data 21 is stored (associated) with the object. For example, the object ID 26 corresponding to the object specifying information 27 of the recognized object is searched from the object index 24, and the object ID 26 is searched from the image index 23 to find the image ID 22 whose registration presence / absence information 25 is “1”.

認識されたオブジェクトのオブジェクト特定情報27がオブジェクトインデックス24に格納されていないか、あるいはそのオブジェクトID26が画像インデックス23に格納されていない場合には、そのオブジェクトにはどの画像データ21も格納されていない(関連付けられていない)。この場合、処理はステップS240に進む。他方、認識されたオブジェクトに少なくとも1つの画像データ21が格納されていた(関連付けられていた)場合、処理はステップS230に進む。   If the object identification information 27 of the recognized object is not stored in the object index 24, or if the object ID 26 is not stored in the image index 23, no image data 21 is stored in the object. (Not associated). In this case, the process proceeds to step S240. On the other hand, if at least one image data 21 is stored (associated) with the recognized object, the process proceeds to step S230.

ステップS230ではCPU101が、少なくとも1つの画像データ21が格納されている(関連付けられている)オブジェクトを強調表示する。例えば、ディスプレイ116の表示画面において、そのオブジェクトに重畳して、画像データ21が格納されていることを表すアイコンやマーカー等を表示する。なお、複数のオブジェクトが認識された場合には、CPU101はそれらの各々についてアイコンやマーカー等を表示する。   In step S230, the CPU 101 highlights an object in which at least one image data 21 is stored (associated). For example, on the display screen of the display 116, an icon, a marker, or the like indicating that the image data 21 is stored is displayed superimposed on the object. If a plurality of objects are recognized, the CPU 101 displays icons, markers, etc. for each of them.

ユーザは操作スイッチ115等を操作することにより、ステップS230で強調表示されたオブジェクトを1つ選択することが可能である。CPU101はステップS240において、この選択操作が操作スイッチ115から入力されたか否かを判定する。オブジェクトの選択操作が入力されていなかった場合には、処理はステップS260に進む。他方、何らかのオブジェクトが選択されていた場合にはステップS250に進み、CPU101はその選択されたオブジェクトに格納されている(関連付けられている)画像データ21のサムネイル画像を一覧表示する。   The user can select one of the objects highlighted in step S230 by operating the operation switch 115 or the like. In step S240, the CPU 101 determines whether or not this selection operation has been input from the operation switch 115. If an object selection operation has not been input, the process proceeds to step S260. On the other hand, if any object has been selected, the process advances to step S250, and the CPU 101 displays a list of thumbnail images of the image data 21 stored (associated) with the selected object.

なお、そのオブジェクトに格納されている(関連付けられている)画像データ21が1つしかない場合には、サムネイル画像の代わりにその画像データ21そのものをディスプレイ116の表示画面に表示してもよい。   When there is only one image data 21 stored (associated) with the object, the image data 21 itself may be displayed on the display screen of the display 116 instead of the thumbnail image.

ユーザは表示されたサムネイル画像に対して、例えばその画像をオブジェクトから取り出す(オブジェクトとの関連付けを解除する)操作や、その他通常の画像操作(例えば画像データ21の表示、削除など)を行うことができる。図7のフローチャートではこれらの操作に関する処理を省略している。   The user can perform, for example, an operation of taking out the image from the object (releasing the association with the object) and other normal image operations (for example, displaying or deleting the image data 21) on the displayed thumbnail image. it can. In the flowchart of FIG. 7, processing related to these operations is omitted.

ステップS260ではCPU101が、画像読み出しモードが終了したか否かを判定する。ユーザにより、デジタルカメラ1に画像読み出しモード以外のモードが設定された場合、画像読み出しモードは終了し、図7に示す処理は終了する。他方、画像読み出しモードが設定されている場合にはステップS210に戻り、繰り返しステップS210からの処理が実行される。   In step S260, the CPU 101 determines whether or not the image reading mode has ended. When a mode other than the image reading mode is set by the user in the digital camera 1, the image reading mode ends, and the process shown in FIG. 7 ends. On the other hand, if the image reading mode is set, the process returns to step S210, and the processing from step S210 is repeatedly executed.

なお、オブジェクトに画像データを格納する(関連付ける)場合と同様に、オブジェクトからの画像データの読み出し時に、画像データが当該オブジェクトから取り出されている様子をアニメーション等により表示してもよい。このような表示を行うことで、そのオブジェクトに画像データが格納されていることが視覚的に分かりやすくなる。   As in the case of storing (associating) image data with an object, when image data is read from the object, a state in which the image data is extracted from the object may be displayed by animation or the like. By performing such display, it becomes easy to visually understand that image data is stored in the object.

上述した第1の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
(1)メモリ109は、撮像素子103により出力された撮像信号から作成された画像データを記憶する。CPU101は、撮像素子103により出力された撮像信号を解析して所定のオブジェクトを認識し、そのオブジェクトと画像データとを関連付けてメモリ109に記憶する。このようにしたので、画像データを所望の通りに分類し直感的に管理することができる。
According to the digital camera according to the first embodiment described above, the following operational effects can be obtained.
(1) The memory 109 stores image data created from the image signal output from the image sensor 103. The CPU 101 analyzes the imaging signal output from the imaging element 103 to recognize a predetermined object, associates the object and image data, and stores them in the memory 109. Since it did in this way, image data can be classified as desired and managed intuitively.

(2)メモリ109は複数の画像データを記憶し、CPU101は、認識したオブジェクトにそれら複数の画像データを関連付けて、メモリ109に記憶する。このようにしたので、多数の画像データを効率よく管理することができる。 (2) The memory 109 stores a plurality of image data, and the CPU 101 stores the plurality of image data in association with the recognized object in the memory 109. Since it did in this way, many image data can be managed efficiently.

(3)CPU101は、メモリ109に記憶されている画像データを、認識した複数のオブジェクトのいずれかに関連付けてメモリ109に記憶することができる。このようにしたので、認識可能な多数のオブジェクトが存在する場合に、ユーザは画像データを関連付けるオブジェクトを自由に選択することができ、画像データの柔軟な管理が可能となる。 (3) The CPU 101 can store the image data stored in the memory 109 in the memory 109 in association with any of a plurality of recognized objects. As described above, when there are a large number of recognizable objects, the user can freely select an object to be associated with the image data, and the image data can be managed flexibly.

(4)CPU101は、撮像素子103により出力された撮像信号に基づいて、スルー画を表示画面に表示させると共にその撮像信号を解析してオブジェクトを認識する。そして、オブジェクトが認識されたことに応じて、そのオブジェクトに関連付けられている画像データをメモリ109から読み出し、ユーザにより種々の操作を行えるようにする。このようにしたので、画像データを所望の通りに分類し直感的に管理することができる。 (4) The CPU 101 displays a through image on the display screen based on the imaging signal output from the imaging element 103 and recognizes the object by analyzing the imaging signal. When the object is recognized, the image data associated with the object is read from the memory 109 so that the user can perform various operations. Since it did in this way, image data can be classified as desired and managed intuitively.

(5)メモリ109は、複数のオブジェクトの各々に対して、それぞれ異なる画像データを関連付けて記憶する。換言すれば、ある画像データは、複数のオブジェクトのいずれかにのみ関連付けられる。このようにしたので、画像データがあたかも特定のオブジェクトに格納されたかのように、直感的な管理を行うことができる。 (5) The memory 109 stores different image data in association with each of the plurality of objects. In other words, certain image data is associated with only one of the plurality of objects. Since it did in this way, intuitive management can be performed as if image data was stored in a specific object.

(6)ディスプレイ116は、被写体像に重畳して、CPU101により認識されたオブジェクトの強調された輪郭線と、CPU101により読み出されたそのオブジェクトに関連付けられている画像データとを表示画面に表示する。このようにしたので、どのオブジェクトにどの画像データが格納されている(関連付けられている)のかを容易に把握することができる。 (6) The display 116 displays the emphasized contour line of the object recognized by the CPU 101 and the image data associated with the object read by the CPU 101 on the display screen so as to be superimposed on the subject image. . Since this is done, it is possible to easily grasp which image data is stored (associated) in which object.

(第2の実施の形態)
上述した第1の実施の形態では、一旦何らかのオブジェクトに格納された(関連付けられた)画像データは、画像読み出しモードでのオブジェクトの選択操作を経なければ再生・鑑賞をすることができない。従って、例えばユーザが画像データを格納した(関連付けた)オブジェクトを忘れてしまったり、オブジェクトを紛失してしまったりした場合、その画像データを再生することができなくなってしまう。
(Second Embodiment)
In the first embodiment described above, image data once stored (associated) in some object cannot be reproduced / viewed unless an object selection operation is performed in the image reading mode. Therefore, for example, if the user forgets an object that stores (associates) image data or loses the object, the image data cannot be reproduced.

そこで、本実施形態のデジタルカメラでは、第1の実施形態で述べた各機能に加えて、特定のオブジェクトに格納した(関連付けた)画像データを管理するオブジェクト管理機能を設けた。以下、このオブジェクト管理機能について詳述する。なお、以下の説明において、第1の実施の形態と同様の各部については、第1の実施の形態と同一の符号を付し説明を省略する。   Therefore, in the digital camera of this embodiment, in addition to the functions described in the first embodiment, an object management function for managing image data stored (associated) in a specific object is provided. The object management function will be described in detail below. In the following description, the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and description thereof is omitted.

図8は、オブジェクト管理処理のフローチャートである。ユーザが操作スイッチ115等によりデジタルカメラ1をオブジェクト管理モードに設定すると、CPU101は図8に示す処理の実行を開始する。   FIG. 8 is a flowchart of the object management process. When the user sets the digital camera 1 to the object management mode using the operation switch 115 or the like, the CPU 101 starts executing the processing shown in FIG.

まずステップS300においてCPU101は、画像インデックス23から登録有無情報25が「1」である画像ID22を特定し、対応する画像データ21のサムネイル画像を一覧表示する。つまり、何らかのオブジェクトに格納されている(関連付けられている)画像データ21のサムネイル画像を一覧表示する。ユーザは表示されたサムネイル画像から、オブジェクトへの格納状態を解除したい(関連づけを解除したい)画像データ21のサムネイル画像を選択する。以下、ここで選択された画像データ21を「格納解除対象画像」と称する。   First, in step S <b> 300, the CPU 101 specifies the image ID 22 whose registration presence / absence information 25 is “1” from the image index 23 and displays a list of thumbnail images of the corresponding image data 21. That is, thumbnail images of the image data 21 stored (associated) in some object are displayed as a list. From the displayed thumbnail image, the user selects a thumbnail image of the image data 21 whose storage state in the object is to be canceled (association is to be canceled). Hereinafter, the image data 21 selected here is referred to as a “storage release target image”.

ステップS310ではCPU101が、操作スイッチ115からユーザにより入力される格納解除対象画像の選択操作を受け付ける。そしてステップS320でCPU101が、画像インデックス23を更新し、格納解除対象画像の登録有無情報25を「0」にすると共に、オブジェクトID26を削除する。以上の処理により、格納解除対象画像はオブジェクトへの格納状態が解除され、通常通りの再生・鑑賞が可能となる。   In step S <b> 310, the CPU 101 receives an operation for selecting a storage release target image input by the user from the operation switch 115. In step S320, the CPU 101 updates the image index 23, sets the registration release information 25 of the storage release target image to “0”, and deletes the object ID 26. Through the above processing, the storage release target image is released from the storage state in the object, and can be reproduced and viewed as usual.

上述した第2の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
(1)オブジェクト管理処理により、特定のオブジェクトに関連付けられた画像データを、関連付けられていない状態に戻すことができるようにした。これにより、そのオブジェクトを紛失したり失念した場合であっても、そのオブジェクトに関連付けられた画像データを復元することができる。
According to the digital camera according to the second embodiment described above, the following operational effects can be obtained.
(1) Image data associated with a specific object can be returned to an unassociated state by object management processing. Thereby, even when the object is lost or forgotten, the image data associated with the object can be restored.

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。   The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.

(変形例1)
あるデジタルカメラにより特定のオブジェクトに格納された(関連付けられた)画像データを、他のデジタルカメラにおいても扱えるようにしてもよい。つまり、特定のオブジェクトに格納された(関連付けられた)画像データを、他の機器と共有できるようにしてもよい。
(Modification 1)
Image data stored (associated) in a specific object by a certain digital camera may be handled by another digital camera. That is, the image data stored (associated) in a specific object may be shared with other devices.

この場合、画像データ21や画像インデックス23、オブジェクトインデックス24等を、デジタルカメラ1が内蔵するメモリ109ではなく、可搬性の記憶媒体であるメモリカード2に記憶すれば、そのメモリカード2を他の機器に装着することで、画像データの移動が可能である。他にも、WiFi送受信部114による無線通信でこれらのデータを送受信したり、USBコネクタ113に接続された外部機器3との間でこれらのデータを送受信することにより、画像データを共有することもできる。   In this case, if the image data 21, the image index 23, the object index 24, etc. are stored in the memory card 2 which is a portable storage medium instead of the memory 109 built in the digital camera 1, the memory card 2 is stored in another memory card 2. The image data can be moved by attaching it to the device. In addition, the image data can be shared by transmitting / receiving these data by wireless communication by the WiFi transmitting / receiving unit 114 or by transmitting / receiving these data to / from the external device 3 connected to the USB connector 113. it can.

(変形例2)
スルー画に対し、リアルタイムにオブジェクトの認識を行ってもよい。この場合、認識されたオブジェクト毎に関連付けられている画像データの有無を調べ、そのような画像データが存在する場合には、画像データがそのオブジェクトに格納されている(関連付けられている)ことを示すアイコンやマーカー等を当該オブジェクトに重畳して表示してもよい。あるいは、そのオブジェクトに格納されている画像データのサムネイル画像を重畳表示してもよい。また、画像データが格納されている(関連付けられている)オブジェクトが認識された時点で、そのオブジェクトに格納されている(関連付けられている)画像データのサムネイル画像がすぐに一覧表示されるようにデジタルカメラ1を構成することも可能である。
(Modification 2)
An object may be recognized in real time for a through image. In this case, the presence or absence of image data associated with each recognized object is checked, and if such image data exists, the image data is stored (associated) with that object. An icon, a marker, or the like to be displayed may be superimposed on the object. Alternatively, thumbnail images of image data stored in the object may be displayed in a superimposed manner. Also, when an object in which image data is stored (associated) is recognized, thumbnail images of the image data stored in (associated with) the object are displayed in a list immediately. It is also possible to configure the digital camera 1.

(変形例3)
オブジェクトの認識方法は、上述した実施形態において説明したものに限定されない。例えばオブジェクトの認識時、スルー画を解析するのではなく、通常の静止画撮影を行ってから当該静止画を解析するようにしてもよい。この場合、解析対象の画像の画素数が増えるので、より精密な解析を行えるようになる。その代わりに、解析に要する時間は増加する。また、デジタルカメラ1がオブジェクトの奥行きを検知可能な構成とし、奥行きを加味したオブジェクトの認識を行うようにしてもよい。このように構成することで、例えばオブジェクトの写真を用意することで、そのオブジェクトに格納された(関連付けられた)画像データが読み出されることを防ぐことが可能となる。
(Modification 3)
The object recognition method is not limited to that described in the above-described embodiment. For example, when recognizing an object, instead of analyzing a through image, the still image may be analyzed after normal still image shooting is performed. In this case, since the number of pixels of the image to be analyzed increases, more precise analysis can be performed. Instead, the time required for analysis increases. Further, the digital camera 1 may be configured to detect the depth of the object, and the object may be recognized in consideration of the depth. With this configuration, for example, by preparing a picture of an object, it is possible to prevent image data stored in (associated with) the object from being read out.

更に、オブジェクトの動きを考慮した認識を行うようにしてもよい。例えば、複数フレームに渡るオブジェクトの情報を記憶しておき、同一のオブジェクトの同一の動きが認識された場合に画像データの読み出しが可能となるようにデジタルカメラ1を構成することができる。この場合において、読み出し時にオブジェクトの動きが一致しなければ、記憶されている動きのヒントをユーザに提示してもよい。   Further, recognition may be performed in consideration of the movement of the object. For example, the digital camera 1 can be configured such that information on objects over a plurality of frames is stored, and image data can be read when the same movement of the same object is recognized. In this case, if the movements of the objects do not match at the time of reading, a stored movement hint may be presented to the user.

その他、オブジェクトの認識精度を、ユーザが任意に指定できるようにしてもよい。例えば、ある画像データを読み出す際には、形状が同一であれば色調の違いは無視するようなオブジェクトの認識を行い、別の画像データを格納する際には、形状も色調も厳密に一致しなければ同一のオブジェクトとは見なさないような認識を行ってもよい。このような認識精度の指定は、その画像データを格納する際に行い、画像インデックス23やオブジェクトインデックス24に記憶しておく。このように認識精度を指定可能とすることで、より柔軟な画像データの管理が可能になる。   In addition, the user may arbitrarily specify the object recognition accuracy. For example, when reading certain image data, the object is recognized so that the difference in color tone is ignored if the shape is the same. When storing another image data, the shape and the color tone are exactly the same. Otherwise, recognition may be performed so as not to regard the same object. Such designation of recognition accuracy is performed when the image data is stored, and is stored in the image index 23 and the object index 24. By making it possible to specify the recognition accuracy in this way, it becomes possible to manage image data more flexibly.

(変形例4)
画像データ以外のデータを、オブジェクトに格納できる(関連付けられる)ようにしてもよい。例えば、文書データや音声データ、映像データ等のデータをオブジェクトに格納できる(関連付けられる)ようにすることが可能である。この場合、画像読み出しモードにおいて、音声データが格納されている(関連付けられている)オブジェクトが認識されるとスルー画が表示されたままその音声データが再生されるようにしたり、映像データの場合にはその映像データがスルー画に重畳して再生されるようにすることもできる。
(Modification 4)
Data other than image data may be stored (associated) in the object. For example, data such as document data, audio data, and video data can be stored (associated) in an object. In this case, in the image readout mode, when an object in which audio data is stored (associated) is recognized, the audio data is reproduced while the through image is displayed, or in the case of video data. The video data can be reproduced by being superimposed on the live view.

また、画像データそのものをオブジェクトに格納できる(関連付けられる)ようにする代わりに、画像データのメタデータ(例えば撮影場所や撮影日時等)をオブジェクトに格納できる(関連付けられる)ようにしてもよい。この場合、画像データ自体は常に再生・鑑賞ができるが、その画像データのメタデータを閲覧するためにはオブジェクトを認識させることが必要となる。   Further, instead of allowing the image data itself to be stored (associated) in the object, metadata of the image data (for example, a shooting location and a shooting date / time) may be stored (associated) in the object. In this case, the image data itself can always be reproduced and viewed, but it is necessary to recognize the object in order to browse the metadata of the image data.

(変形例5)
上述した各実施の形態では、本発明をデジタルカメラに適用した場合の例について説明したが、本発明はデジタルカメラ以外のものに対して適用することも可能である。例えば携帯電話などの小型通信端末に本発明を適用することもできる。また、オブジェクトへの格納(関連付け)と、オブジェクトに格納されている(関連付けられている)画像データの読み出しとを、異なる機器で行うようにしてもよい。例えば、オブジェクトに画像データを格納するデジタルカメラと、格納された画像データを読み出す据置型のパソコンとが連動して動作するようにしてもよい。
(Modification 5)
In each of the above-described embodiments, an example in which the present invention is applied to a digital camera has been described. However, the present invention can also be applied to other than a digital camera. For example, the present invention can be applied to a small communication terminal such as a mobile phone. Further, storage (association) to an object and reading of image data stored (associated) in the object may be performed by different devices. For example, a digital camera that stores image data in an object and a stationary personal computer that reads out stored image data may operate in conjunction with each other.

(変形例6)
上述した各実施形態では、1つのオブジェクトに対して幾つかの画像データを格納していた(関連付けていた)。この、幾つかの画像データが格納されたあるオブジェクトを、更に別のオブジェクトに格納できるようにしてもよい。つまり、オブジェクトの入れ子関係を実現できるようにしてもよい。
(Modification 6)
In each embodiment described above, several pieces of image data are stored (associated) with respect to one object. A certain object in which some image data is stored may be stored in another object. In other words, the nesting relationship between objects may be realized.

(変形例7)
画像格納モードのとき、オブジェクトインデックス24に認識されたオブジェクトの位置情報を記憶してもよい。画像読み出しモードのとき、CPU101はこの位置情報を用いて、オブジェクトの位置のヒントを表示することが可能である。例えば、そのオブジェクトの位置(記憶されている位置情報により表される位置)がデジタルカメラ1の現在位置に一定以上近づくと、近くに画像データが格納されている(関連付けられている)オブジェクトが存在することをディスプレイ116に表示できる。また、オブジェクトの位置を方向により示す(例えば右方向にオブジェクトが存在することを示す)こともできる。
(Modification 7)
In the image storage mode, the position information of the recognized object may be stored in the object index 24. In the image reading mode, the CPU 101 can display a hint of the position of the object using this position information. For example, when the position of the object (the position represented by the stored position information) approaches the current position of the digital camera 1 by a certain amount or more, there is an object in which image data is stored (associated) nearby. Can be displayed on the display 116. Also, the position of the object can be indicated by the direction (for example, indicating that the object exists in the right direction).

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。   As long as the characteristics of the present invention are not impaired, the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .

1…デジタルカメラ、2…メモリカード、3…外部機器、11…画像データ領域、12…管理領域、23…画像インデックス、24…オブジェクトインデックス、101…CPU、102…レンズ駆動回路、103…撮像素子、104…電源コントローラ、105…カードコントローラ、106…USBコントローラ、107…WiFiドライバ、108…I/Fドライバ、109…メモリ、110…LCDドライバ、111…バッテリ、112…カードスロット、113…USBコネクタ、114…WiFi送受信部、115…操作スイッチ、116…ディスプレイ DESCRIPTION OF SYMBOLS 1 ... Digital camera, 2 ... Memory card, 3 ... External device, 11 ... Image data area, 12 ... Management area, 23 ... Image index, 24 ... Object index, 101 ... CPU, 102 ... Lens drive circuit, 103 ... Imaging element 104 ... Power controller, 105 ... Card controller, 106 ... USB controller, 107 ... WiFi driver, 108 ... I / F driver, 109 ... Memory, 110 ... LCD driver, 111 ... Battery, 112 ... Card slot, 113 ... USB connector , 114... WiFi transmission / reception unit, 115 ... operation switch, 116 ... display

Claims (15)

所定のデータを記憶する第1記憶手段と、
被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像手段と、
前記画像信号を解析し所定のオブジェクトを認識する認識手段と、
前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶手段と、
を備えることを特徴とする電子機器。
First storage means for storing predetermined data;
Imaging means for capturing a subject image and outputting an image signal corresponding to the subject image;
Recognition means for analyzing the image signal and recognizing a predetermined object;
Second storage means for storing the object specifying information for specifying the object and the data in association with each other;
An electronic device comprising:
請求項1に記載の電子機器において、
前記データは画像データであることを特徴とする電子機器。
The electronic device according to claim 1,
The electronic device is characterized in that the data is image data.
請求項2に記載の電子機器において、
前記画像データは、前記撮像手段により出力された画像信号から作成された画像データであることを特徴とする電子機器。
The electronic device according to claim 2,
The electronic apparatus is characterized in that the image data is image data created from an image signal output by the imaging means.
請求項1〜3のいずれか一項に記載の電子機器において、
前記第1記憶手段は、複数の前記データを記憶し、
前記第2記憶手段は、前記オブジェクト特定情報に複数の前記データを関連付けて記憶することを特徴とする電子機器。
In the electronic device as described in any one of Claims 1-3,
The first storage means stores a plurality of the data,
The second storage means stores a plurality of the data in association with the object specifying information.
請求項1〜4のいずれか一項に記載の電子機器において、
前記認識手段は、複数の前記オブジェクトを認識し、
前記第2記憶手段は、前記第1記憶手段により記憶された前記データを、前記認識手段により認識された前記複数のオブジェクトのいずれかを特定する前記オブジェクト特定情報に関連付けて記憶することを特徴とする電子機器。
In the electronic device as described in any one of Claims 1-4,
The recognition means recognizes a plurality of the objects,
The second storage means stores the data stored by the first storage means in association with the object specifying information for specifying any of the plurality of objects recognized by the recognition means. Electronic equipment.
所定のオブジェクトを特定するためのオブジェクト特定情報と所定のデータとを関連付けて記憶する記憶手段と、
被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像手段と、
前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示手段と、
前記画像信号を解析し前記オブジェクトを認識する認識手段と、
前記認識手段により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられている前記データを読み出す読出手段と、
を備えることを特徴とする電子機器。
Storage means for associating and storing object specifying information for specifying a predetermined object and predetermined data;
Imaging means for capturing a subject image and outputting an image signal corresponding to the subject image;
Display means for displaying an image showing the subject image on a display screen based on the image signal;
Recognition means for analyzing the image signal and recognizing the object;
Reading means for reading out the data associated with the object specifying information for specifying the object in response to the recognition of the object by the recognition means;
An electronic device comprising:
請求項6に記載の電子機器において、
前記データは画像データであることを特徴とする電子機器。
The electronic device according to claim 6,
The electronic device is characterized in that the data is image data.
請求項7に記載の電子機器において、
前記画像データは、前記撮像手段により出力された画像信号から作成された画像データであることを特徴とする電子機器。
The electronic device according to claim 7,
The electronic apparatus is characterized in that the image data is image data created from an image signal output by the imaging means.
請求項6〜8のいずれか一項に記載の電子機器において、
前記記憶手段は、前記オブジェクト特定情報と複数の前記データとを関連付けて記憶し、
前記読出手段は、前記認識手段により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられている前記複数のデータの少なくとも1つを読み出すことを特徴とする電子機器。
In the electronic device as described in any one of Claims 6-8,
The storage means stores the object specifying information and the plurality of data in association with each other,
The reading means reads at least one of the plurality of data associated with the object specifying information for specifying the object in response to the recognition of the object by the recognizing means. machine.
請求項6〜9のいずれか一項に記載の電子機器において、
前記記憶手段は、複数の前記オブジェクト特定情報の各々に対して、それぞれ異なる前記データを関連付けて記憶することを特徴とする電子機器。
In the electronic device as described in any one of Claims 6-9,
The storage device stores the different data in association with each of the plurality of object specifying information.
請求項6〜10のいずれか一項に記載の電子機器において、
前記表示手段は、前記被写体像に重畳して、前記認識手段が認識した前記オブジェクトを特定する前記オブジェクト特定情報に関連付けられている前記データに関する情報を前記表示画面に表示することを特徴とする電子機器。
In the electronic device as described in any one of Claims 6-10,
The display means superimposes on the subject image and displays information on the data associated with the object specifying information for specifying the object recognized by the recognizing means on the display screen. machine.
所定のデータを記憶する第1記憶手段と、
被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像手段と、
前記画像信号を解析し所定のオブジェクトを認識する認識手段と、
前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶手段と、
前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示手段と、
前記第2記憶手段により前記オブジェクト特定情報と前記データとが関連付けて記憶されている場合、前記認識手段により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられた前記データを読み出す読出手段と、
を備えることを特徴とする電子機器。
First storage means for storing predetermined data;
Imaging means for capturing a subject image and outputting an image signal corresponding to the subject image;
Recognition means for analyzing the image signal and recognizing a predetermined object;
Second storage means for storing the object specifying information for specifying the object and the data in association with each other;
Display means for displaying an image showing the subject image on a display screen based on the image signal;
When the object specifying information and the data are stored in association with each other by the second storage unit, the object specifying information is specified in association with the object specifying information for specifying the object when the object is recognized by the recognition unit. Reading means for reading the data;
An electronic device comprising:
所定のデータを記憶する第1記憶工程と、
被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像工程と、
前記画像信号を解析し所定のオブジェクトを認識する認識工程と、
前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶工程と、
をコンピュータにより実行させることを特徴とするプログラム。
A first storage step for storing predetermined data;
An imaging step of capturing a subject image and outputting an image signal corresponding to the subject image;
A recognition step of analyzing the image signal and recognizing a predetermined object;
A second storing step of storing the object specifying information for specifying the object and the data in association with each other;
Is executed by a computer.
所定のオブジェクトを特定するためのオブジェクト特定情報と所定のデータとを関連付けて記憶する記憶工程と、
被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像工程と、
前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示工程と、
前記画像信号を解析し前記オブジェクトを認識する認識工程と、
前記認識手段により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられている前記データを読み出す読出工程と、
をコンピュータにより実行させることを特徴とするプログラム。
A storage step of associating and storing object specifying information for specifying a predetermined object and predetermined data;
An imaging step of capturing a subject image and outputting an image signal corresponding to the subject image;
A display step of displaying an image showing the subject image on a display screen based on the image signal;
A recognition step of analyzing the image signal and recognizing the object;
A step of reading out the data associated with the object specifying information for specifying the object in response to the object being recognized by the recognition means;
Is executed by a computer.
所定のデータを記憶する第1記憶工程と、
被写体像を撮像して、前記被写体像に対応する画像信号を出力する撮像工程と、
前記画像信号を解析し所定のオブジェクトを認識する認識工程と、
前記オブジェクトを特定するためのオブジェクト特定情報と前記データとを関連付けて記憶する第2記憶工程と、
前記画像信号に基づいて、前記被写体像を示す画像を表示画面に表示する表示工程と、
前記第2記憶工程により前記オブジェクト特定情報と前記データとが関連付けて記憶されている場合、前記認識工程により前記オブジェクトが認識されたことに応じて、そのオブジェクトを特定する前記オブジェクト特定情報に関連付けられた前記データを読み出す読出工程と、
をコンピュータにより実行させることを特徴とするプログラム。
A first storage step for storing predetermined data;
An imaging step of capturing a subject image and outputting an image signal corresponding to the subject image;
A recognition step of analyzing the image signal and recognizing a predetermined object;
A second storing step of storing the object specifying information for specifying the object and the data in association with each other;
A display step of displaying an image showing the subject image on a display screen based on the image signal;
When the object specifying information and the data are stored in association with each other in the second storage step, the object specifying information is specified in association with the object specifying information for specifying the object when the object is recognized by the recognition step. A reading step of reading the data;
Is executed by a computer.
JP2012159506A 2012-07-18 2012-07-18 Electronic apparatus and program Pending JP2014022921A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012159506A JP2014022921A (en) 2012-07-18 2012-07-18 Electronic apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012159506A JP2014022921A (en) 2012-07-18 2012-07-18 Electronic apparatus and program

Publications (2)

Publication Number Publication Date
JP2014022921A true JP2014022921A (en) 2014-02-03
JP2014022921A5 JP2014022921A5 (en) 2015-07-02

Family

ID=50197366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012159506A Pending JP2014022921A (en) 2012-07-18 2012-07-18 Electronic apparatus and program

Country Status (1)

Country Link
JP (1) JP2014022921A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203896A1 (en) * 2015-06-16 2016-12-22 シャープ株式会社 Generation device
JP2022529320A (en) * 2019-04-08 2022-06-21 グーグル エルエルシー Media annotations using product source links

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157961A (en) * 2003-11-28 2005-06-16 Konica Minolta Holdings Inc Imaging apparatus and image processor
JP2006086619A (en) * 2004-09-14 2006-03-30 Dainippon Printing Co Ltd Digital information management method and management apparatus
JP2007110262A (en) * 2005-10-11 2007-04-26 Nikon Corp Image viewing software and image storage device
JP2007133816A (en) * 2005-11-14 2007-05-31 Nikon Corp Plant identification system and biological identification system
JP2009105652A (en) * 2007-10-23 2009-05-14 Nec Corp Portable communication terminal
JP2009110147A (en) * 2007-10-29 2009-05-21 Victor Co Of Japan Ltd Image processor and method therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157961A (en) * 2003-11-28 2005-06-16 Konica Minolta Holdings Inc Imaging apparatus and image processor
JP2006086619A (en) * 2004-09-14 2006-03-30 Dainippon Printing Co Ltd Digital information management method and management apparatus
JP2007110262A (en) * 2005-10-11 2007-04-26 Nikon Corp Image viewing software and image storage device
JP2007133816A (en) * 2005-11-14 2007-05-31 Nikon Corp Plant identification system and biological identification system
JP2009105652A (en) * 2007-10-23 2009-05-14 Nec Corp Portable communication terminal
JP2009110147A (en) * 2007-10-29 2009-05-21 Victor Co Of Japan Ltd Image processor and method therefor

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203896A1 (en) * 2015-06-16 2016-12-22 シャープ株式会社 Generation device
JP2022529320A (en) * 2019-04-08 2022-06-21 グーグル エルエルシー Media annotations using product source links
US11727681B2 (en) 2019-04-08 2023-08-15 Google Llc Media annotation with product source linking
JP2023162251A (en) * 2019-04-08 2023-11-08 グーグル エルエルシー Media annotation with product source links
JP7386890B2 (en) 2019-04-08 2023-11-27 グーグル エルエルシー Media annotation with product source links
JP7773514B2 (en) 2019-04-08 2025-11-19 グーグル エルエルシー Media annotation with product source link

Similar Documents

Publication Publication Date Title
JP5652652B2 (en) Display control apparatus and method
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
CN104639828B (en) Data presentation device, image display device, data display method, method for displaying image and recording medium
JP2009021992A (en) Imaging apparatus and image search method
US20140149872A1 (en) Communication connection method, communication connection apparatus, and communication connection program
US10623632B2 (en) Communication apparatus, control method thereof and storage medium
JP2014022921A (en) Electronic apparatus and program
JP2015103968A (en) Image processing apparatus, image processing method and image processing program
US10623600B2 (en) Image pickup apparatus, control method thereof, and recording medium relating to transferring images to an external apparatus
JP5574397B2 (en) Remote control system
US12106396B2 (en) Information processing device, information display system, and information display method for display of device state information
JP5957902B2 (en) Image processing apparatus, image processing system, program, and display method
JP2007188157A (en) Bar code and imaging device
US12307795B2 (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
JP6185221B2 (en) Content processing device
KR101623494B1 (en) Apparatus and method for managing photo file
CN1882058B (en) Digital image recording device and image recording method
JP2010041225A (en) Electronic apparatus and electronic camera
JP2002247417A (en) Dialogue system and digital camera using the same
CN105791700B (en) A kind of method and terminal for realizing image taking
JP2007181020A (en) Imaging device
JP5564897B2 (en) Image display device
US20190089887A1 (en) Electronic device, control method of electronic device, and storage medium
JP2014143665A (en) Imaging apparatus, control method, and program
JP2014086805A (en) Imaging apparatus, imaging apparatus control method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160906