JP2012108282A

JP2012108282A - Electronic apparatus

Info

Publication number: JP2012108282A
Application number: JP2010256541A
Authority: JP
Inventors: Rie Sugimura; 理絵杉村; Masaichi Sekiguchi; 政一関口; Yusuke Takuma; 裕輔詫摩
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-11-17
Filing date: 2010-11-17
Publication date: 2012-06-07

Abstract

【課題】料理レシピや組み立て手順などの情報を使い勝手よく提供すること。
【解決手段】電子機器１は、被写体を撮像する撮像部２８と、撮像した被写体に関連した情報を出力する出力部４６と、出力部４６が出力した情報への応答である音声を認識する音声認識部３４と、音声認識部３４による認識に応じて撮像とは異なる操作を制御する制御部２０とを備える。
【選択図】図３[PROBLEMS] To provide information such as cooking recipes and assembly procedures in an easy-to-use manner.
An electronic apparatus includes an imaging unit that images a subject, an output unit that outputs information related to the photographed subject, and a voice that recognizes a voice that is a response to the information output by the output unit. A recognition unit 34 and a control unit 20 that controls an operation different from imaging according to recognition by the voice recognition unit 34 are provided.
[Selection] Figure 3

Description

本発明は、電子機器に関する。 The present invention relates to an electronic device.

食材を撮影して自動的にレシピを作成し、作成したレシピを背面液晶表示部に表示するカメラ（自動レシピ作成装置）が提案されている。このカメラは、ＧＰＳおよびデートモジュールを有し、ＧＰＳにより検出した地理的位置情報や、デートモジュールにより検出した季節の情報などを考慮してレシピを作成することが開示されている（特許文献１参照）。 There has been proposed a camera (automatic recipe creation device) that automatically shoots ingredients and automatically creates a recipe and displays the created recipe on a rear liquid crystal display unit. This camera has a GPS and a date module, and it is disclosed that a recipe is created in consideration of geographical position information detected by the GPS, seasonal information detected by the date module, and the like (see Patent Document 1). ).

特開２０１０−６１３８２号公報JP 2010-61382 A

しかしながら、従来のカメラでは、背面の操作スイッチの操作が煩わしいなど、ユーザーインターフェースの使い勝手が十分ではないという問題があった。 However, the conventional camera has a problem that the usability of the user interface is not sufficient, such as troublesome operation of the operation switch on the back.

本発明による電子機器は、被写体を撮像する撮像部と、撮像した被写体に関連した情報を出力する出力部と、出力部が出力した情報への応答である音声を認識する音声認識部と、音声認識部による認識に応じて撮像とは異なる操作を制御する制御部と、を備えたことを特徴とする。 An electronic apparatus according to the present invention includes an imaging unit that captures an image of an object, an output unit that outputs information related to the imaged object, an audio recognition unit that recognizes audio that is a response to the information output by the output unit, and an audio And a control unit that controls an operation different from imaging according to recognition by the recognition unit.

本発明の電子機器によれば、たとえば料理レシピや組み立て手順などの情報を使い勝手よく提供できる。 According to the electronic apparatus of the present invention, for example, information such as cooking recipes and assembly procedures can be provided with ease.

本発明の一実施の形態によるデジタルカメラの正面図である。1 is a front view of a digital camera according to an embodiment of the present invention. 本発明の一実施の形態によるデジタルカメラの背面図である。1 is a rear view of a digital camera according to an embodiment of the present invention. デジタルカメラの構成を例示するブロック図である。It is a block diagram which illustrates the composition of a digital camera. ＣＰＵが実行するレシピ情報提供処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the recipe information provision process which CPU performs.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１の外観を例示する正面図である。図２は、デジタルカメラ１の外観を例示する背面図である。図１において、デジタルカメラ１の筐体内には撮影ユニット２８とプロジェクタユニット４６とが設けられている。プロジェクタユニット４６は撮影ユニット２８の図示左側に配置されており、デジタルカメラ１の筐体前面に設けられている投射窓４６ａからカメラ前方のスクリーンや壁などに向けて投射光が射出される。デジタルカメラ１から画像投射を行う場合には、デジタルカメラ１は不図示の机上やクレードルなどに載置される。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a front view illustrating the appearance of a digital camera 1 according to an embodiment of the invention. FIG. 2 is a rear view illustrating the appearance of the digital camera 1. In FIG. 1, a photographing unit 28 and a projector unit 46 are provided in the housing of the digital camera 1. The projector unit 46 is arranged on the left side of the photographing unit 28 in the figure, and projection light is emitted from a projection window 46a provided on the front surface of the housing of the digital camera 1 toward the screen or wall in front of the camera. When image projection is performed from the digital camera 1, the digital camera 1 is placed on a desk or a cradle (not shown).

図２において、デジタルカメラ１の筐体背面には、液晶モニター３６、操作メニューボタン１１２、ロータリーマルチセレクター１１４、ズームレバー１１１および操作ボタン１１３Ａ〜１１３Ｃが配置されている。液晶モニター３６の表示面上には、不図示のタッチパネル操作部材が設けられている。操作ボタン１１３Ａは、液晶モニター３６に画像を再生表示する再生モードにおいて、メモリカードＭＣに記録されている画像データの削除指示を受け付ける操作部材として機能する。 In FIG. 2, a liquid crystal monitor 36, an operation menu button 112, a rotary multi selector 114, a zoom lever 111, and operation buttons 113 A to 113 C are arranged on the rear surface of the housing of the digital camera 1. A touch panel operating member (not shown) is provided on the display surface of the liquid crystal monitor 36. The operation button 113A functions as an operation member that receives an instruction to delete image data recorded on the memory card MC in a reproduction mode in which an image is reproduced and displayed on the liquid crystal monitor 36.

操作ボタン１１３Ｂは、デジタルカメラ１が撮影ユニット２８によって撮影画像を取得する撮影モードと、上記再生モードとの切替え指示を受け付ける操作部材として機能する。また、プロジェクタユニット４６により画像の投射を行うモード（以下、ＰＪモードと呼ぶ）においては、操作ボタン１１３Ｂは色調整指示を受け付ける操作部材として機能する。 The operation button 113B functions as an operation member that receives an instruction to switch between the shooting mode in which the digital camera 1 acquires a shot image by the shooting unit 28 and the playback mode. In the mode in which the projector unit 46 projects an image (hereinafter referred to as PJ mode), the operation button 113B functions as an operation member that receives a color adjustment instruction.

操作ボタン１１３Ｃは、撮影モードにおいて人物撮影に適したモード（人物を浮き立たせて立体感のある画像を取得するモードであり、以下、フェイスクリアモードと呼ぶ）にセットする指示を受け付ける操作部材として機能する。また、ＰＪモードにおいては、操作ボタン１１３Ｃは投射像の台形補正指示を受け付ける操作部材として機能する。 The operation button 113C functions as an operation member that receives an instruction to set in a mode suitable for portrait photography (a mode in which a person is raised and a stereoscopic image is acquired, and hereinafter referred to as a face clear mode). To do. In the PJ mode, the operation button 113C functions as an operation member that receives a trapezoidal correction instruction for a projected image.

デジタルカメラ１の筐体上面には、レリーズスイッチであるシャッターボタン１１、ＰＪボタン１３、電源スイッチ１４が設けられている。シャッターボタン１１は、撮影モードにおいて撮影ユニット２８による撮影の指示を受け付ける操作部材として機能する。ＰＪボタン１３は、撮影モードまたは再生モードと、ＰＪモードとの切替え指示を受け付ける操作部材として機能する。デジタルカメラ１は、電源スイッチ１４がオン操作されると撮影モードで起動し、操作ボタン１１３Ｂが押下されると再生モードに切替わる。撮影モードまたは再生モードの状態でＰＪボタン１３が押下されるとＰＪモードに切替わる。ＰＪモードの状態で再度ＰＪボタン１３が押下されると、撮影モードまたは再生モード（ＰＪモードへ切替わる前に設定されていたモード）に戻る。 A shutter button 11, a PJ button 13, and a power switch 14 that are release switches are provided on the top surface of the housing of the digital camera 1. The shutter button 11 functions as an operation member that receives an instruction for photographing by the photographing unit 28 in the photographing mode. The PJ button 13 functions as an operation member that receives an instruction to switch between the shooting mode or the reproduction mode and the PJ mode. The digital camera 1 starts in the shooting mode when the power switch 14 is turned on, and switches to the playback mode when the operation button 113B is pressed. When the PJ button 13 is pressed in the shooting mode or the playback mode, the mode is switched to the PJ mode. When the PJ button 13 is pressed again in the PJ mode, the mode returns to the shooting mode or the playback mode (the mode set before switching to the PJ mode).

ロータリーマルチセレクター１１４は、外周部１１４ａ、回転部１１４ｂ、ＯＫボタン１１４ｃから構成される。外周部１１４ａの上下方向や左右方向に押下操作された場合、および回転部１１４ｂが回転操作された場合に、液晶モニター３６に表示されている操作メニュー画面の中で選択する項目や画像を切替る。ＯＫボタン１１４ｃが押下操作されると、その時点における項目や画像の選択内容を確定する。 The rotary multi selector 114 includes an outer peripheral portion 114a, a rotating portion 114b, and an OK button 114c. Switches the item or image to be selected on the operation menu screen displayed on the liquid crystal monitor 36 when the outer peripheral portion 114a is pressed down in the up / down direction or the left / right direction, or when the rotating portion 114b is rotated. . When the OK button 114c is pressed, the selection of items and images at that time is confirmed.

図３は、デジタルカメラ１の構成を例示するブロック図である。デジタルカメラ１には、上述した撮影ユニット２８、液晶モニター３６の他に、ＣＰＵ２０、操作部材２２、顔認識部２４、カレンダ部２６、マイク３０、情報取得部３１、画像処理部３２、音声認識部３４、ＤＢ部４０、ＧＰＳ部４２、プロジェクタユニット４６、スピーカ４８などを備える。 FIG. 3 is a block diagram illustrating the configuration of the digital camera 1. In the digital camera 1, in addition to the above-described photographing unit 28 and liquid crystal monitor 36, the CPU 20, operation member 22, face recognition unit 24, calendar unit 26, microphone 30, information acquisition unit 31, image processing unit 32, voice recognition unit 34, DB unit 40, GPS unit 42, projector unit 46, speaker 48, and the like.

撮影ユニット２８は、撮影レンズ１００（複数のレンズ群から構成される）、レンズシャッター部（不図示）、および撮像素子（不図示）を有する。撮像素子は、上記撮影レンズ１００とレンズシャッター部とを透過した光束を撮像する。画像処理部３２は、信号変換処理、圧縮・伸張処理、モニタ表示回路などを含み、撮像ユニット２８で撮像された画像を画像処理する。 The photographing unit 28 includes a photographing lens 100 (consisting of a plurality of lens groups), a lens shutter unit (not shown), and an image sensor (not shown). The imaging element images the light flux that has passed through the photographing lens 100 and the lens shutter unit. The image processing unit 32 includes a signal conversion process, a compression / decompression process, a monitor display circuit, and the like, and performs image processing on an image captured by the imaging unit 28.

液晶モニター３６は、画像処理部３２によって処理された画像や操作メニューなどを表示する。操作メニューを液晶モニター３６にて表示中にタッチパネル操作部材（不図示）が操作された場合、タッチパネル操作部材はタッチ位置を示す信号をＣＰＵ２０へ出力する。これにより、ＣＰＵ２０は液晶モニター３６に表示中の操作メニューのうち、タッチ位置に対応する項目を選択する。 The liquid crystal monitor 36 displays an image processed by the image processing unit 32, an operation menu, and the like. When a touch panel operation member (not shown) is operated while the operation menu is displayed on the liquid crystal monitor 36, the touch panel operation member outputs a signal indicating the touch position to the CPU 20. Thus, the CPU 20 selects an item corresponding to the touch position from among the operation menus displayed on the liquid crystal monitor 36.

操作部２２は、上述したシャッターボタン１１、ＰＪボタン１３、電源スイッチ１４、操作ボタン１１３Ａ〜１１３Ｃ、ロータリーマルチセレクター１１４を含み、各操作に応じた操作信号をＣＰＵ２０へ送出する。 The operation unit 22 includes the shutter button 11, the PJ button 13, the power switch 14, the operation buttons 113 A to 113 C, and the rotary multi selector 114 described above, and sends an operation signal corresponding to each operation to the CPU 20.

顔認識部２４は、撮影ユニット２８によって取得された人物の顔の画像データを個人情報（名前、性別、年齢、グルーピング等）とともに記憶する不揮発性メモリ（不図示）を有する。カレンダ部２６は、たとえば計時用集積回路を有し、該計時用集積回路が生成した日時情報を取得してＣＰＵ２０へ送出する。カレンダ部２６から異なる時刻に取得した日時情報の時間差を求めることにより、カレンダ部２６をタイマーとして機能させることもできる。 The face recognition unit 24 includes a nonvolatile memory (not shown) that stores image data of a person's face acquired by the photographing unit 28 together with personal information (name, sex, age, grouping, etc.). The calendar unit 26 has, for example, a timekeeping integrated circuit, acquires date information generated by the timekeeping integrated circuit, and sends it to the CPU 20. By obtaining the time difference between the date and time information acquired from the calendar unit 26 at different times, the calendar unit 26 can also function as a timer.

マイク３０は、集音した音声を電気信号に変換し、変換後の音声データを音声認識部３４へ送出する。音声認識部３４は、料理メニューに関する単語の音声データを記憶する不揮発性メモリ（不図示）を有する。音声認識部３４は、マイク３０を介して集音された音声信号と不揮発性メモリ内に記憶している音声データとを比較し、両者が一致した場合に対応する単語を示す情報をＣＰＵ２０へ送出する。音声認識部３４はさらに、料理メニューに関する単語の他に、「上」、「下」、「次」、「戻る」、「タイマー＊＊分」、「タイマー開始」、「撮影」、「家族」、「友人」などの音声データも不揮発性メモリ（不図示）に記憶している。 The microphone 30 converts the collected sound into an electrical signal, and sends the converted sound data to the sound recognition unit 34. The voice recognition unit 34 has a nonvolatile memory (not shown) that stores voice data of words related to the cooking menu. The voice recognition unit 34 compares the voice signal collected through the microphone 30 with the voice data stored in the nonvolatile memory, and sends information indicating the corresponding word to the CPU 20 when the two match. To do. In addition to the words related to the cooking menu, the voice recognition unit 34 further includes “up”, “down”, “next”, “return”, “timer ** minutes”, “timer start”, “shoot”, “family”. Voice data such as “friends” is also stored in a non-volatile memory (not shown).

ＧＰＳ部４２は、ＧＰＳ衛星からの電波を受信し、受信データに基づいて経度、緯度、高度情報を検出してＣＰＵ２０へ送出する。フラッシュＲＯＭ２９は、画像処理部３２で処理された画像を記憶する。フラッシュＲＯＭ２９には、地図情報も記憶されている。ＣＰＵ２０は、ＧＰＳ部４２で検出された情報とフラッシュＲＯＭ２９に記憶される地図情報とに基づいて現在位置の情報を取得する。 The GPS unit 42 receives radio waves from GPS satellites, detects longitude, latitude, and altitude information based on the received data and sends them to the CPU 20. The flash ROM 29 stores the image processed by the image processing unit 32. The flash ROM 29 also stores map information. The CPU 20 acquires information on the current position based on the information detected by the GPS unit 42 and the map information stored in the flash ROM 29.

情報取得部３１は、無線ＬＡＮなどのネットワーク接続部と、イベント情報をネットワーク上から取得するためのプログラムとから構成される。本実施の形態においては、たとえば、キャンプ場などの外出先において料理のレシピに登場する食材がない場合に、ＧＰＳ部４２で取得された現在位置の情報と連携して当該食材を販売する最寄りの店舗の情報を取得する。なお、情報取得部３１は、ネットワークに接続する構成の代わりに、あらかじめフラッシュＲＯＭ２９に記憶させデータベースにアクセス可能に構成したものでもよい。 The information acquisition unit 31 includes a network connection unit such as a wireless LAN and a program for acquiring event information from the network. In the present embodiment, for example, when there is no food that appears in a recipe for cooking at a place such as a campsite, the nearest food that sells the food in cooperation with the current position information acquired by the GPS unit 42 Get store information. Note that the information acquisition unit 31 may be configured to be stored in advance in the flash ROM 29 and accessible to the database instead of the configuration to connect to the network.

ＤＢ部４０は、食材ＤＢ４０ａ、メニュー紹介ＤＢ４０ｂ、およびレシピ紹介ＤＢ４０ｃを有するデータベースである。食材ＤＢ４０ａは、あらかじめ様々な食材のデータ（画像データおよび栄養情報を含む）が記憶された不揮発性メモリ（不図示）を有する。画像データは、加工前（たとえば切る前のトマト）、および加工後（切った後のトマト）のそれぞれの画像データを含む。 The DB unit 40 is a database having a food DB 40a, a menu introduction DB 40b, and a recipe introduction DB 40c. The food DB 40a has a nonvolatile memory (not shown) in which various food data (including image data and nutrition information) are stored in advance. The image data includes image data before processing (for example, tomato before cutting) and after processing (tomato after cutting).

食材ＤＢ４０ａは、食材認識機能を備える。撮影ユニット２８によって取得された食材の画像データを食材ＤＢ４０ａ内の不揮発性メモリ内に記憶している食材のデータと比較し（公知のパターンマッチング処理）、両者が一致した場合に対応する食材に関する情報をＣＰＵ２０へ送出する。一般に、加工された食材は識別が困難な場合がある。たとえば、じゃがいもを切った状態では、男爵いもとメークインとが紛らわしい。この場合の食材ＤＢ４０ａは、男爵いもとメークインとの双方の情報をＣＰＵ２０へ送出する。ＣＰＵ２０は、男爵いもとメークインとの双方の情報を液晶モニター３６に表示させて、ユーザーによるロータリーマルチセレクター１１４またはタッチパネル操作部材（不図示）への選択操作を待つ。なお、上述した音声認識部３４を用いた音声認識を用いた選択操作を待つようにしてもよい。 The food DB 40a has a food recognition function. The food image data acquired by the photographing unit 28 is compared with the food data stored in the nonvolatile memory in the food DB 40a (known pattern matching process), and information on the food corresponding to the case where both match each other Is sent to the CPU 20. In general, processed foods may be difficult to identify. For example, when the potatoes are cut, the baron and make-up are misleading. In this case, the food DB 40a sends the information of both the baron and the make-in to the CPU 20. The CPU 20 displays information on both the baron and the make-in on the liquid crystal monitor 36 and waits for a selection operation by the user to the rotary multi selector 114 or the touch panel operation member (not shown). In addition, you may make it wait for selection operation using the speech recognition using the speech recognition part 34 mentioned above.

食材ＤＢ４０ａが男爵いもとメークインとを識別する理由は、以下の通りである。メークインは煮くずれしにくいのでシチューや肉じゃがに向いている一方で、男爵いもは煮くずれしやすいのでコロッケやサラダに向いている。このため、男爵いもを認識した場合とメークインを認識した場合とで異なる料理メニューを紹介するためである。 The reason why the food DB 40a identifies the baron and the make-in is as follows. Makeins are not suitable for stew and meat potatoes because they are hard to boil, while barons are suitable for croquettes and salads because they are easy to boil. For this reason, it is to introduce different cooking menus when the baron potato is recognized and when the make-in is recognized.

メニュー紹介ＤＢ４０ｂは、あらかじめ様々なジャンルの料理メニューデータが記憶された不揮発性メモリ（不図示）を有する。メニュー紹介ＤＢ４０ｂは、食材ＤＢ４０ａによって認識された食材を用いて調理する料理メニューを抽出し、抽出した料理メニューの情報をＣＰＵ２０へ送出する。ＣＰＵ２０は、抽出した複数の料理メニュー情報を液晶モニター３６に表示させて、ユーザーによるロータリーマルチセレクター１１４またはタッチパネル操作部材（不図示）への選択操作を待つ。なお、上述した音声認識部３４を用いた音声認識を用いた選択操作を待つようにしてもよい。 The menu introduction DB 40b has a nonvolatile memory (not shown) in which dish menu data of various genres is stored in advance. The menu introduction DB 40b extracts a cooking menu to be cooked using the ingredients recognized by the ingredients DB 40a, and sends the extracted cooking menu information to the CPU 20. The CPU 20 displays the extracted plurality of dish menu information on the liquid crystal monitor 36 and waits for a selection operation to the rotary multi selector 114 or the touch panel operation member (not shown) by the user. In addition, you may make it wait for selection operation using the speech recognition using the speech recognition part 34 mentioned above.

レシピ紹介ＤＢ４０ｃは、あらかじめメニュー紹介ＤＢ４０ｂに記憶されている各料理メニューのレシピや詳細情報（カロリーや栄養を示す情報、食材等の分量を示す情報、画像データや音声ガイダンスデータ）が記憶された不揮発性メモリ（不図示）を有する。レシピ紹介ＤＢ４０ｃは、液晶モニター３６に表示させた複数の料理メニュー情報のうち、ユーザーによる選択操作で選択された料理メニューのレシピ情報を液晶モニター３６に表示させる画像と音声ガイダンスとで紹介する。なお、液晶モニター３６に表示させる代わりに、プロジェクタユニット４６から投射させてもよい。 The recipe introduction DB 40c is a nonvolatile storage in which recipes and detailed information (information indicating calories and nutrition, information indicating the amount of ingredients, image data and voice guidance data) of each cooking menu stored in advance in the menu introduction DB 40b are stored. A memory (not shown). The recipe introduction DB 40c introduces the recipe information of the dish menu selected by the user's selection operation among the plurality of dish menu information displayed on the liquid crystal monitor 36 with an image to be displayed on the liquid crystal monitor 36 and voice guidance. Instead of displaying on the liquid crystal monitor 36, the projector unit 46 may project the image.

スピーカ４８は、音声ガイダンスデータに基づく音声を再生したり、ビープ音を発生させたりする。ビープ音は、たとえば、料理のレシピにおける茹で時間が１０分の場合に、カレンダ部２６で１０分が計時されたことをユーザーに知らせるために発生させる。 The speaker 48 reproduces a voice based on the voice guidance data or generates a beep sound. The beep sound is generated, for example, to notify the user that 10 minutes have been timed by the calendar unit 26 when the cooking time in the cooking recipe is 10 minutes.

メモリカードＭＣは、デジタルカメラ１に対して着脱可能に構成されるデータ記憶媒体である。デジタルカメラ１がレシピ情報を提供する場合、ＣＰＵ２０は、提供日時（開始時刻および終了時刻を含む）や提供場所（ＧＰＳ部４２で取得された現在位置の情報）、レシピを提供した料理メニュー情報をログデータとしてメモリカードＭＣに記憶させる。なお、提供したレシピ情報も含めて記憶するようにしてもよい。 The memory card MC is a data storage medium configured to be detachable from the digital camera 1. When the digital camera 1 provides the recipe information, the CPU 20 displays the provision date and time (including the start time and end time), the provision location (information on the current position acquired by the GPS unit 42), and the cooking menu information that provides the recipe. The log data is stored in the memory card MC. In addition, you may make it memorize | store including the provided recipe information.

ＣＰＵ２０は、デジタルカメラ１の全体の動作を制御する。本実施形態は、デジタルカメラ１を用いてレシピ情報を提供する点に特徴を有するので、以降の説明はレシピ情報を提供する動作を中心に行う。 The CPU 20 controls the overall operation of the digital camera 1. Since the present embodiment is characterized in that the recipe information is provided using the digital camera 1, the following description will be focused on the operation of providing the recipe information.

＜事前準備＞
デジタルカメラ１には、あらかじめ人物の情報（人物の名称またはＩＤと、当該人物の「顔」を示す情報など）や、当該人物が好きな食べ物の情報がメモリカードＭＣに登録（記憶）される。登録した人物を、たとえば、家族や所属チーム等によって関連づけてグループ化しておくことにより、メニュー紹介ＤＢ４０ｂが料理メニューを抽出する際、グループのメンバーが好きな料理メニューを優先して抽出し得るように構成する。 <Preparation>
In the digital camera 1, information about a person (such as a person's name or ID and information indicating the “face” of the person) and information about foods that the person likes are registered (stored) in the memory card MC in advance. . For example, when the menu introduction DB 40b extracts a cooking menu by associating the registered persons with each other by a family, a team, or the like, the member of the group can preferentially extract a favorite cooking menu. Constitute.

ここで、人物の登録データをフラッシュＲＯＭ２９内に記憶させる（登録）処理について説明する。ＣＰＵ２０は、たとえば、液晶モニター３６に表示中の「操作メニュー画面」において「登録撮影」項目を選択した状態でロータリーマルチセレクター１１４の外周部１１４ａが右方向に押下操作される、またはタッチパネル操作部材（不図示）がタッチ操作されると、登録処理を行うためのプログラムを起動する。 Here, (registration) processing for storing person registration data in the flash ROM 29 will be described. For example, the CPU 20 presses the outer peripheral portion 114a of the rotary multi-selector 114 in the right direction with the “registered photographing” item selected in the “operation menu screen” displayed on the liquid crystal monitor 36, or touch panel operation member ( When a touch operation is performed on (not shown), a program for performing registration processing is started.

登録プログラムを起動したＣＰＵ２０は、撮影ユニット２８によって取得されたモニタ用のライブビュー画像を液晶モニター３６に表示させるとともに、ライブビュー画像表示に重ねてアシスト枠（不図示）を表示させる。ユーザーは、登録しようとする被写体人物の顔がアシスト枠に収まるようにデジタルカメラ１を構える。 The CPU 20 that has activated the registration program displays the monitor live view image acquired by the photographing unit 28 on the liquid crystal monitor 36 and displays an assist frame (not shown) superimposed on the live view image display. The user holds the digital camera 1 so that the face of the subject person to be registered fits in the assist frame.

ＣＰＵ２０は、シャッターボタン１１が全押し操作された場合に撮影処理を行う。そして、撮影処理で取得した画像データが顔識別に使えるか否かを判定する。ＣＰＵ２０は、画像データのうちアシスト枠内に対応するデータに基づいて顔検出処理を行い、顔を検出した場合には当該顔が登録されている顔か否かを判定する。具体的には、検出した顔の領域の画像データと、フラッシュＲＯＭ２９内に登録されているサムネイル画像の「顔」に対応する参照用データとに基づいて顔識別処理を行うことにより、検出されている人物の顔と、参照用データに含まれている人物の顔とが同一人物のものであるか否かを識別する。 The CPU 20 performs a shooting process when the shutter button 11 is fully pressed. Then, it is determined whether the image data acquired by the photographing process can be used for face identification. The CPU 20 performs face detection processing based on data corresponding to the assist frame in the image data, and when a face is detected, determines whether the face is a registered face. Specifically, it is detected by performing face identification processing based on the detected face area image data and reference data corresponding to the “face” of the thumbnail image registered in the flash ROM 29. The person's face and the person's face included in the reference data are identified as being the same person.

ＣＰＵ２０は、取得画像の「顔」が既に登録されている参照用データと合致する場合には液晶モニター３６に、たとえば、「既に登録されています」と表示させる。登録されている参照用データと合致しない場合には新たな人物の「顔」として参照用データをフラッシュＲＯＭ２９に記憶させる。具体的には、アシスト枠内に対応する画像データに基づいてサムネイル画像データを生成し、上記画像データに基づいて特徴量データを生成する。そして、サムネイル画像データおよび特徴量データを含む参照用データをフラッシュＲＯＭ２９に記憶させる。 If the “face” of the acquired image matches the reference data already registered, the CPU 20 displays, for example, “already registered” on the liquid crystal monitor 36. If it does not match the registered reference data, the reference data is stored in the flash ROM 29 as a “face” of a new person. Specifically, thumbnail image data is generated based on image data corresponding to the assist frame, and feature amount data is generated based on the image data. Then, reference data including thumbnail image data and feature amount data is stored in the flash ROM 29.

ユーザーは、液晶モニター３６に被写体人物の「顔」が表示されている状態で、マイク３０から上記登録する人物が好きな料理メニューや食材の名称をマイク３０から音声入力する。ユーザーはさらに、グループ化（グルーピング）のための情報（たとえば、「家族」、「友人」、「親戚」、「クラス」など）をマイク３０から音声入力する。ＣＰＵ２０は、電気信号に変換後の音声データを上記参照用データに関連づけてフラッシュＲＯＭ２９に記憶させる。これにより、登録人物を「家族」または「友人」などに分けてグルーピングするとともに、登録人物ごとに、たとえば、好きな食べ物として「和食・イタリアン」などの情報を登録できる。なお、苦手な料理メニューや食材の情報を登録してもよい。 While the “face” of the subject person is displayed on the liquid crystal monitor 36, the user inputs from the microphone 30 the name of the cooking menu or ingredients that the person to be registered likes from the microphone 30. The user further inputs information for grouping (for example, “family”, “friend”, “relative”, “class”, etc.) from the microphone 30 by voice. The CPU 20 stores the audio data converted into the electrical signal in the flash ROM 29 in association with the reference data. As a result, the registered persons can be grouped by dividing them into “family” or “friends”, and information such as “Japanese / Italian” can be registered for each registered person. In addition, you may register the dish menu and ingredients information which are not good.

上述した音声入力に代えて、液晶モニター３６にグルーピングメニュー（たとえば、「家族」、「友人」、「親戚」、「学校」、「クラブ」など）を表示させて、ユーザーがロータリーマルチセレクター１１４の外周部１１４ａを押下操作、またはタッチパネル操作部材（不図示）をタッチ操作した場合に、該当するグループに被写体人物を登録するように構成してもよい。さらに、液晶モニター３６に料理メニューや食材の名称を表示させて、ユーザーがロータリーマルチセレクター１１４の外周部１１４ａを押下操作、またはタッチパネル操作部材（不図示）をタッチ操作した場合に、該当する料理メニューや食材を登録人物に関連づけて登録するように構成してもよい。以上説明したように、デジタルカメラ１に事前の準備として人物、および当該人物が好む料理メニュー等が登録される。 Instead of the voice input described above, a grouping menu (for example, “family”, “friend”, “relative”, “school”, “club”, etc.) is displayed on the liquid crystal monitor 36, and the user can select the rotary multi selector 114. When the outer periphery 114a is pressed or a touch panel operation member (not shown) is touched, the subject person may be registered in the corresponding group. Further, when the menu of the cooking menu or the name of the food is displayed on the liquid crystal monitor 36 and the user presses the outer peripheral portion 114a of the rotary multi selector 114 or touches the touch panel operation member (not shown), the corresponding cooking menu is displayed. It is also possible to configure so that foods and ingredients are registered in association with registered persons. As described above, a person and a cooking menu preferred by the person are registered in the digital camera 1 as advance preparations.

＜レシピ提供処理＞
図４は、上述した事前準備が行われたＣＰＵ２０が実行するレシピ情報提供処理の流れを説明するフローチャートである。ＣＰＵ２０は、操作メニュー画面においてユーザーがロータリーマルチセレクター１１４の外周部１１４ａ、またはタッチパネル操作部材（不図示）を操作することによってレシピ情報の提供処理を実行するように指示された場合に、図４による処理を起動する。 <Recipe provision processing>
FIG. 4 is a flowchart for explaining the flow of the recipe information providing process executed by the CPU 20 that has been prepared in advance. When the user is instructed to execute the recipe information providing process by operating the outer peripheral portion 114a of the rotary multi-selector 114 or the touch panel operation member (not shown) on the operation menu screen, the CPU 20 performs FIG. Start the process.

図４による処理を起動するＣＰＵ２０は、音声認識部３４による認識動作を有効にするとともに、液晶モニター３６に表示する情報をプロジェクタユニット４６によって壁などに投射するように切替え制御する。これにより、ユーザーがシャッターボタン１１を操作することなしに音声で撮影を指示したり、ユーザーがロータリーマルチセレクター１１４の外周部１１４ａやタッチパネル操作部材（不図示）を操作することなしに音声で操作メニュー選択指示が行える。 4 activates the recognition operation by the voice recognition unit 34, and controls to switch the information displayed on the liquid crystal monitor 36 to be projected onto a wall or the like by the projector unit 46. Thereby, the user can instruct to perform shooting without operating the shutter button 11 or the user can operate the operation menu with sound without operating the outer peripheral portion 114a of the rotary multi selector 114 or the touch panel operation member (not shown). Selection instructions can be made.

図４のステップＳ１において、ＣＰＵ２０は食材認識を行う。たとえば、ユーザーが１７時に夕食の料理メニューを決定する場合を例に説明する。食材として「えび」と「しめじ」と「トマト」を有するユーザーは、これらの食材をデジタルカメラ１の撮影レンズ１００の前にかざし（デジタルカメラ１の前に載置してもよい）、マイク３０に向かって「撮影」と発声する。 In step S1 of FIG. 4, the CPU 20 performs food material recognition. For example, a case where the user determines a dinner menu at 17:00 will be described as an example. A user who has “shrimp”, “shimeji”, and “tomato” as ingredients holds the ingredients in front of the photographing lens 100 of the digital camera 1 (may be placed in front of the digital camera 1), and the microphone 30. Say “Shoot” toward

ＣＰＵ２０は、音声認識部３４から「撮影」を示す情報を受けると、撮影ユニット２８に撮影開始を指示する。なお、シャッターボタン１１が押下操作された場合にも撮影ユニット２８に撮影開始を指示する。ＣＰＵ２０は、食材ＤＢ４０ａへ指示を送り、撮影ユニット２８によって取得された画像データと食材ＤＢ４０ａ内の不揮発性メモリ内に記憶している食材のデータとを比較させ、両者が一致した場合に対応する食材に関する情報をＣＰＵ２０へ送出させる。 When receiving information indicating “shooting” from the voice recognition unit 34, the CPU 20 instructs the shooting unit 28 to start shooting. Even when the shutter button 11 is pressed, the photographing unit 28 is instructed to start photographing. The CPU 20 sends an instruction to the food DB 40a, compares the image data acquired by the photographing unit 28 with the data of the food stored in the nonvolatile memory in the food DB 40a, and the food corresponding to the case where they match. The information regarding is sent to the CPU 20.

ＣＰＵ２０は、食材ＤＢ４０ａから入力された食材情報に基づいて、当該食材の画像および名称をプロジェクタユニット４６から投射させる。なお、食材画像および名称を液晶モニター３６に表示させてもよい。本例の場合は、「えび」と「しめじ」と「トマト」の画像および名称が投射（または表示）される。 CPU20 projects the image and name of the said foodstuff from the projector unit 46 based on the foodstuff information input from foodstuff DB40a. The food material image and name may be displayed on the liquid crystal monitor 36. In the case of this example, images and names of “shrimp”, “shimeji” and “tomato” are projected (or displayed).

上述したように、加工された食材の識別は困難である。ＣＰＵ２０は、識別が困難である場合は候補となる複数の食材のそれぞれの画像および名称を投射（または表示）させて、ユーザーの音声による選択指示を待つ。この場合、スピーカ４８からガイダンスを再生して選択指示を促す音声案内をしてもよい。候補となる複数の食材を投射（表示）するのは、たとえば、男爵いもとメークインとを識別できない場合や、ラム肉と豚肉とが識別できない場合などである。 As described above, it is difficult to identify processed foods. When the identification is difficult, the CPU 20 projects (or displays) each image and name of a plurality of candidate ingredients, and waits for a selection instruction by the user's voice. In this case, the guidance may be reproduced from the speaker 48 to prompt the selection instruction. Projecting (displaying) a plurality of candidate ingredients is, for example, when the baron and make-in cannot be identified, or when lamb and pork cannot be identified.

食材認識を行ったＣＰＵ２０は、ステップＳ２において料理メニュー表示を行う。ＣＰＵ２０はメニュー紹介ＤＢ４０ｂへ指示を送り、食材ＤＢ４０ａによって認識された食材を用いた料理メニューを抽出させ、抽出した料理メニューの情報をＣＰＵ２０へ送出させる。ＣＰＵ２０は、メニュー紹介ＤＢ４０ｂから入力された複数の料理メニュー情報を投射（または表示）させて、ユーザーの音声による選択指示を待つ。この場合、スピーカ４８からガイダンスを再生して選択指示を促す音声案内をしてもよい。本例の場合は、たとえば、料理メニューとして「えびとトマトのクリームパスタ」、「えびとしめじのトマトリゾット」、および「トマトとエビのチリ炒め」の３つの料理メニューが表示される。各料理メニューは、調理時間および熱量を含めて投射（または表示）される。 CPU20 which performed food material recognition performs a cooking menu display in step S2. The CPU 20 sends an instruction to the menu introduction DB 40b, extracts the cooking menu using the ingredients recognized by the ingredients DB 40a, and sends the extracted cooking menu information to the CPU 20. The CPU 20 projects (or displays) a plurality of dish menu information input from the menu introduction DB 40b, and waits for a selection instruction by the user's voice. In this case, the guidance may be reproduced from the speaker 48 to prompt the selection instruction. In the case of this example, for example, three cooking menus of “shrimp and tomato cream pasta”, “shrimp and shimeji tomato risotto”, and “fried tomato and shrimp chili” are displayed. Each cooking menu is projected (or displayed) including cooking time and heat.

食材の組み合わせが、たとえば「じゃがいも」、「人参」、「玉葱」、および「肉」の場合は、多数の料理メニューが存在する。ＣＰＵ２０は、料理メニューの数が所定数（たとえば１０以上）存在する場合には、スピーカ４８から「和食、中華、イタリアン、フレンチからジャンルを指定してください。」とガイダンスを再生してジャンル指定指示を促す音声案内をする。この場合のユーザーは、マイク３０に向かって、たとえば「イタリアン」と発声する。 When the combination of ingredients is, for example, “potato”, “carrot”, “onion”, and “meat”, there are many cooking menus. When there are a predetermined number (e.g., 10 or more) of cooking menus, the CPU 20 reproduces the guidance “Specify a genre from Japanese, Chinese, Italian, French” from the speaker 48 and instructs to specify the genre. Give voice prompts. In this case, the user speaks, for example, “Italian” toward the microphone 30.

ＣＰＵ２０は、音声認識部３４から「イタリアン」を示す情報を受けると、上記１０以上の料理メニューのうちイタリア料理メニューを抽出させる。そして、抽出したイタリア料理メニュー情報を投射（または表示）させて、ユーザーの音声による選択指示を待つ。なお、スピーカ４８から「和食、中華、イタリアン、フレンチからジャンルを指定して下さい。」とメッセージを再生する代わりに、スピーカ４８から「グループ名を指定して下さい。」とメッセージを再生してもよい。この場合のＣＰＵ２０は、音声認識部３４から、たとえば「家族」を示す情報を受けると、上記１０以上の料理メニューのうち、「家族」としてグルーピングおよび登録されている人物が好きな料理メニューを抽出させる。そして、抽出した料理メニュー情報を投射（または表示）させて、ユーザーの音声による選択指示を待つ。 When the CPU 20 receives information indicating “Italian” from the voice recognition unit 34, the CPU 20 extracts an Italian food menu from the ten or more food menus. Then, the extracted Italian food menu information is projected (or displayed), and a selection instruction by the user's voice is awaited. In addition, instead of playing the message “Please specify the genre from Japanese, Chinese, Italian, French” from the speaker 48, the message “Please specify the group name.” Is played from the speaker 48. Good. In this case, when receiving information indicating, for example, “family” from the voice recognition unit 34, the CPU 20 extracts a cooking menu that the person grouped and registered as “family” from among the above ten or more cooking menus. Let Then, the extracted cooking menu information is projected (or displayed), and a selection instruction by the user's voice is awaited.

料理メニュー表示（投射）を行わせたＣＰＵ２０は、ステップＳ３において、料理メニューが選択済みか否かを判定する。ＣＰＵ２０は、投射（または表示）中の料理メニューのうち、たとえば「えびとトマトのクリームパスタ」を示す情報を音声認識部３４から受けると、ステップＳ３を肯定判定してステップＳ４へ進む。ＣＰＵ２０は、投射（または表示）中の料理メニューを示す情報を音声認識部３４から受けない場合には、ステップＳ３を否定判定してステップＳ２へ戻る。ステップＳ２へ戻る動作を繰り返す場合は、ステップＳ２へ戻って前回と異なる料理メニュー情報を投射（または表示）させて、ユーザーの音声による選択指示を待つ。なお、ジャンル指定指示またはグループ名を指定する指示を受けた場合には、上述したように、指示に応じて抽出した料理メニュー情報を投射（または表示）させる。 In step S3, the CPU 20 that has displayed (projected) the cooking menu determines whether or not the cooking menu has been selected. When the CPU 20 receives information indicating, for example, “shrimp and tomato cream pasta” from the voice recognition unit 34 from the cooking menu being projected (or displayed), the CPU 20 makes a positive determination in step S3 and proceeds to step S4. When the CPU 20 does not receive information indicating the cooking menu being projected (or displayed) from the voice recognition unit 34, the CPU 20 makes a negative determination in step S3 and returns to step S2. When the operation of returning to step S2 is repeated, the process returns to step S2 to project (or display) cooking menu information different from the previous one, and wait for a selection instruction by the user's voice. When receiving a genre designation instruction or an instruction to designate a group name, the dish menu information extracted according to the instruction is projected (or displayed) as described above.

ステップＳ４において、ＣＰＵ２０は、料理メニューから選択された料理を調理するのに必要な食材情報（食材名およびその分量）を投射（または表示）させてステップＳ５へ進む。食材情報は、レシピ紹介ＤＢ４０ｃから取得する。分量は、通常、大人４人分とする。なお、人数が特定されているグループ（たとえば「家族」）が指定されている場合には、当該グループに登録されている人数分の分量に換算して表示する。人数が特定できないグループの場合は、スピーカ４８から「人数を指定して下さい。」とメッセージを再生してもよい。この場合のＣＰＵ２０は、音声認識部３４から、たとえば「３人」を示す情報を受けると、３人分の分量に換算して投射（または表示）させる。 In step S4, the CPU 20 projects (or displays) the ingredient information (the ingredient name and its amount) necessary for cooking the dish selected from the dish menu, and proceeds to step S5. Ingredient information is acquired from the recipe introduction DB 40c. The amount is usually 4 adults. In addition, when the group (for example, "family") by which the number of persons is specified is designated, it displays by converting into the amount for the number of persons registered in the said group. In the case of a group in which the number of persons cannot be specified, a message “Please specify the number of persons.” May be reproduced from the speaker 48. In this case, when receiving information indicating, for example, “three people” from the voice recognition unit 34, the CPU 20 converts the amount into the amount for three people and projects (or displays) the information.

ステップＳ５において、ＣＰＵ２０は、不足食材があるか否かを判定する。ＣＰＵ２０は、スピーカ４８から「材料は揃っていますか？」とメッセージを再生させる。そして、ＣＰＵ２０は音声認識部３４から「はい」を示す情報を受けると、ステップＳ５を肯定判定してステップＳ７へ進む。一方、ＣＰＵ２０は音声認識部３４から「いいえ」を示す情報を受けると、ステップＳ５を否定判定してステップＳ６へ進む。 In step S 5, the CPU 20 determines whether there are insufficient food ingredients. The CPU 20 causes the speaker 48 to reproduce a message “Are you ready?” When the CPU 20 receives information indicating “Yes” from the voice recognition unit 34, the CPU 20 makes an affirmative decision in step S5 and proceeds to step S7. On the other hand, when the CPU 20 receives information indicating “NO” from the voice recognition unit 34, the CPU 20 makes a negative determination in step S5 and proceeds to step S6.

ステップＳ６において、ＣＰＵ２０は不足食材に関する情報を提供する。ＣＰＵ２０は、ステップＳ４で表示した食材名の中にステップＳ１で認識した食材以外の他の食材（たとえば「モッツァレラチーズ」）が含まれる場合、または音声認識部３４から食材名（たとえば「モッツァレラチーズ」）を示す情報を受けた場合には、不足食材（本例の場合は「モッツァレラチーズ」）の情報を情報取得部３１を介して取得する。上述したように、ＧＰＳ部４２で取得された現在位置の情報、フラッシュＲＯＭ２９に記憶される地図情報とに基づいて、不足食材を販売する最寄りの店舗の情報（店舗の名称や交通アクセス等）を取得する。 In step S 6, the CPU 20 provides information on the insufficient food. When the food name displayed in step S4 includes a food other than the food recognized in step S1 (for example, “mozzarella cheese”), or from the voice recognition unit 34, the CPU 20 selects the food name (for example, “mozzarella cheese”). ) Is acquired via the information acquisition unit 31, the information on the insufficient food (in the case of this example, “mozzarella cheese”) is received. As described above, based on the current position information acquired by the GPS unit 42 and the map information stored in the flash ROM 29, information on the nearest store that sells the shortage of ingredients (store name, traffic access, etc.) get.

ＣＰＵ２０は、ステップＳ６の情報提供後に一旦図４による処理を中断してもよい。この場合のＣＰＵ２０は、食材が揃った旨の情報が音声認識部３４から入力されるまで中断状態を継続し、食材が揃った旨の情報が音声認識部３４から入力されると処理を再開してステップＳ７へ進む。 The CPU 20 may temporarily interrupt the process of FIG. 4 after providing the information in step S6. In this case, the CPU 20 continues the suspended state until the information indicating that the ingredients are ready is input from the voice recognition unit 34, and resumes the process when the information indicating that the ingredients are ready is input from the voice recognition unit 34. The process proceeds to step S7.

ステップＳ７において、ＣＰＵ２０は、ステップＳ３で選択されている料理のレシピ情報を投射（または表示）させてステップＳ８へ進む。レシピ情報は、レシピ紹介ＤＢ４０ｃから取得する。レシピ紹介ＤＢ４０ｃには、通常紹介する基本レシピの他、低カロリーレシピや一工夫を加えたサブレシピの情報も格納されている。ＣＰＵ２０は、音声認識部３４から「サブレシピ」を要求する情報を受けると、対応するサブレシピの情報を投射（または表示）させる。レシピ情報の提供は、たとえば、各工程ごとに投射（または表示）して一旦停止し、音声認識部３４から「次」を示す情報を受けると、次工程の情報を投射（または表示）させる。音声認識部３４から「戻る」を示す情報を受けると、前工程の情報を投射（または表示）させる。 In step S7, the CPU 20 projects (or displays) the recipe information of the dish selected in step S3, and proceeds to step S8. Recipe information is acquired from the recipe introduction DB 40c. In addition to the basic recipes that are usually introduced, the recipe introduction DB 40c also stores information on low-calorie recipes and sub-recipes that have been devised. When the CPU 20 receives information requesting a “sub-recipe” from the voice recognition unit 34, the CPU 20 projects (or displays) the information of the corresponding sub-recipe. The provision of the recipe information is, for example, projected (or displayed) for each process and temporarily stopped. When information indicating “next” is received from the voice recognition unit 34, the information of the next process is projected (or displayed). When information indicating “return” is received from the voice recognition unit 34, the information of the previous process is projected (or displayed).

ステップＳ８において、ＣＰＵ２０は調理の様子を記録させる。具体的には、ＣＰＵ２０が撮影ユニット２８に指示を送り、レシピにおける各工程を動画像として所定時間（たとえば１０秒）ずつ間欠的に記録させる。各工程における記録開始は、マイク３０で集音された音声信号（たとえば、包丁で食材を切るときの音、フライパンで食材を炒めるときに発生する音など）をトリガに開始させるとよい。記録開始トリガとして用いたい音声データをあらかじめフラッシュＲＯＭ２９に記憶させておき、記憶されている音声データと同様の周波数の音声信号が集音された場合に、記録開始トリガと判断する。なお、上記各工程における動画像の記録は、料理のレシピ情報を投射（または表示）中に行ってもよいし、一旦停止中に行ってもよい。 In step S8, the CPU 20 records the cooking state. Specifically, the CPU 20 sends an instruction to the photographing unit 28 and records each process in the recipe as a moving image intermittently for a predetermined time (for example, 10 seconds). The recording start in each step may be triggered by an audio signal collected by the microphone 30 (for example, a sound when cutting food with a knife, a sound generated when cooking food with a frying pan, etc.) as a trigger. Audio data to be used as a recording start trigger is stored in the flash ROM 29 in advance, and when an audio signal having the same frequency as the stored audio data is collected, it is determined as a recording start trigger. Note that the recording of the moving image in each of the above steps may be performed while projecting recipe information (or displaying), or may be performed once during stoppage.

ＣＰＵ２０はさらに、各工程の所要時間をカレンダ部２６で計時させて前記動画像と関連づけて調理記録（ログデータ）としてメモリカードＭＣに記憶させる。各工程の所要時間は、ある工程の情報を投射（または表示）開始してから、次工程の情報を投射（または表示）開始するまでの経過時間とする。各工程の投射（または表示）は、１回行なって一旦停止する他に、同工程を繰り返し投射（または表示）させてもよい。ＣＰＵ２０は、音声認識部３４から「繰り返す」を示す情報を受けると、同工程の情報を再度投射（または表示）させる。 Further, the CPU 20 measures the time required for each process by the calendar unit 26 and associates it with the moving image and stores it in the memory card MC as a cooking record (log data). The time required for each process is the elapsed time from the start of projection (or display) of information on a certain process until the start of projection (or display) of information on the next process. The projection (or display) of each process may be performed once (in addition to temporarily stopping), or the same process may be repeatedly projected (or displayed). When the CPU 20 receives information indicating “repeat” from the voice recognition unit 34, the CPU 20 projects (or displays) the information of the same process again.

ステップＳ９において、ＣＰＵ２０は、次の料理を作るか否かを判定する。ＣＰＵ２０は、スピーカ４８から「他の料理を作りますか？」とメッセージを再生させる。そして、ＣＰＵ２０は音声認識部３４から「はい」、または「もう一品」を示す情報を受けると、ステップＳ９を肯定判定してステップＳ１へ戻る。一方、ＣＰＵ２０は音声認識部３４から「いいえ」、または「終了」を示す情報を受けると、ステップＳ９を否定判定して図４による処理を終了する。 In step S9, the CPU 20 determines whether or not to prepare the next dish. The CPU 20 reproduces a message “Do you want to cook other dishes?” From the speaker 48. When the CPU 20 receives information indicating “yes” or “another product” from the voice recognition unit 34, the CPU 20 makes a positive determination in step S9 and returns to step S1. On the other hand, when the CPU 20 receives information indicating “NO” or “END” from the voice recognition unit 34, the CPU 20 makes a negative determination in step S9 and ends the processing of FIG.

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、被写体を撮像する撮影ユニット２８と、撮像した被写体に関連した情報を出力するプロジェクタユニット４６（または液晶モニター３６）と、プロジェクタユニット４６（または液晶モニター３６）が出力した情報への応答である音声を認識する音声認識部３４と、音声認識部３４による認識に応じて撮像とは異なる操作を制御するＣＰＵ２０とを備える。これにより、たとえば料理レシピや組み立て手順などの情報を使い勝手よく提供できる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The digital camera 1 is output by the photographing unit 28 that captures the subject, the projector unit 46 (or the liquid crystal monitor 36) that outputs information related to the captured subject, and the projector unit 46 (or the liquid crystal monitor 36). A speech recognition unit 34 that recognizes speech that is a response to information, and a CPU 20 that controls an operation different from imaging according to recognition by the speech recognition unit 34 are provided. Thereby, information, such as a cooking recipe and an assembly procedure, can be provided conveniently.

（２）上記デジタルカメラ１において、撮影ユニット２８による撮像指示を受け付けるシャッターボタン１１を備え、プロジェクタユニット４６は画像を投射し、ＣＰＵ２０はさらに、プロジェクタユニット４６の投射動作に関連して、シャッターボタン１１からの撮影指示なしに撮影ユニット２８に撮像を行わせるようにした。これにより、たとえば、調理中で手が濡れていたり、手にパン粉などがついていたりして、手でデジタルカメラ１のシャッターボタン１１を操作できない状態でも、撮影ユニット２８に撮像を行わせることができる。 (2) The digital camera 1 includes the shutter button 11 that receives an imaging instruction from the photographing unit 28, the projector unit 46 projects an image, and the CPU 20 further relates to the projection operation of the projector unit 46. The photographing unit 28 is made to take an image without taking a photographing instruction from. Thereby, for example, even when the hand is wet during cooking or the hand has crumbs or the like, and the shutter button 11 of the digital camera 1 cannot be operated by hand, the photographing unit 28 can be imaged. .

（３）上記デジタルカメラ１において、ＣＰＵ２０は、音声認識部３４による認識に応じて撮影ユニット２８に撮像を行わせるので、手を使わないで声によって撮影指示を行える。 (3) In the digital camera 1, since the CPU 20 causes the photographing unit 28 to take an image in accordance with the recognition by the voice recognition unit 34, a photographing instruction can be given by voice without using a hand.

（４）上記デジタルカメラ１において、ＣＰＵ２０は、音声認識部３４がプロジェクタユニット４６の投射した画像に関連した音声を認識した際に撮影ユニット２８で撮像を行わせるようにした。音声認識部３４の不揮発性メモリ（不図示）に記憶させる単語は、投射画像に関する単語だけでよいから、あらゆる単語を記憶させておく場合に比べて不揮発性メモリの容量を抑えることができる。 (4) In the digital camera 1, the CPU 20 causes the photographing unit 28 to pick up an image when the sound recognition unit 34 recognizes sound related to the image projected by the projector unit 46. Since the words to be stored in the nonvolatile memory (not shown) of the voice recognition unit 34 are only words related to the projection image, the capacity of the nonvolatile memory can be reduced as compared with the case where all words are stored.

（５）上記デジタルカメラ１において、被写体に関連した表示を行う液晶モニター３６と、被写体に関連した音声を発生するスピーカ４８の少なくとも一方を備えるので、撮像した被写体に関連した情報の提供を表示または音声で行えるから、表示または音声の一方のみで提供する場合に比べて使い勝手が向上する。 (5) Since the digital camera 1 includes at least one of the liquid crystal monitor 36 that performs display related to the subject and the speaker 48 that generates sound related to the subject, the provision of information related to the captured subject is displayed or displayed. Since it can be performed by voice, usability is improved as compared with the case of providing only by display or voice.

（６）上記デジタルカメラ１において、音声認識部３４による認識に応じて時間を計時するカレンダ部２６をさらに備えるので、たとえば、たとえば料理レシピや組み立て手順などの提供内容に時間指定が含まれる場合において、指定した時間の計時動作に役立つ。 (6) Since the digital camera 1 further includes the calendar unit 26 that measures time in accordance with the recognition by the voice recognition unit 34, for example, in the case where time specification is included in the provided contents such as a cooking recipe or assembly procedure, for example. Useful for timed operation of specified time.

（７）上記デジタルカメラ１において、プロジェクタユニット４６（または液晶モニター３６）は、カレンダ部２６の出力に応じて被写体に関連した情報を変更するので、料理レシピや組み立て手順において所定時間が経過したら自動的に次の工程を案内したり、所定時間が経過したら工程案内を一旦停止したりするなどして、使い勝手よく提供することができる。 (7) In the digital camera 1, the projector unit 46 (or the liquid crystal monitor 36) changes information related to the subject in accordance with the output of the calendar unit 26, and thus automatically when a predetermined time elapses in the cooking recipe or assembly procedure. For example, the next process can be guided, or the process guidance can be temporarily stopped when a predetermined time has elapsed, so that it can be provided with ease of use.

（８）上記デジタルカメラ１において、撮影ユニット２８は所定の食材を撮像し、プロジェクタユニット４６（または液晶モニター３６）は、食材を用いた料理のレシピ情報を投射（または表示）するので、操作部材から食材名の入力操作をすることなく、食材を撮像するだけで該食材を用いた料理のレシピ情報を得ることができる。 (8) In the digital camera 1, the photographing unit 28 images a predetermined food, and the projector unit 46 (or the liquid crystal monitor 36) projects (or displays) cooking recipe information using the food. Therefore, it is possible to obtain recipe information of a dish using the ingredients by simply imaging the ingredients without performing the input operation of the ingredient name.

（９）上記デジタルカメラ１において、食材に関する情報を取得する情報取得部３１を備えるので、レシピ情報がデジタルカメラ１内に記憶されていない場合でも、該レシピ情報をデジタルカメラ１の外部から入手することができる。 (9) Since the digital camera 1 includes the information acquisition unit 31 that acquires information about ingredients, the recipe information is obtained from outside the digital camera 1 even when the recipe information is not stored in the digital camera 1. be able to.

（変形例１）
上述した説明では、メモリカードＭＣに記憶させるログデータにレシピを提供した料理メニュー情報、およびそのレシピ情報を含めるようにした。ステップＳ２のメニュー表示の際にグループ名が指定された場合には、指定されたグループ名（「家族」や所属する「チーム」等）もログデータに含めるとよい。同じメンバーが集うグループに関連づけたログを残すことで、たとえば「家族史」や「チームの合宿記録」など、過去のイベントにおける調理記録をグループごとに自動的に分類して残すことができる。なお、ログデータに含めた調理中の記録画像は、調理後の食事中にプロジェクタユニット４６で投射したり、テレビなどの再生表示装置で再生させて鑑賞することができる。 (Modification 1)
In the above description, the dish menu information providing the recipe and the recipe information are included in the log data stored in the memory card MC. When a group name is specified when the menu is displayed in step S2, the specified group name (such as “family” or “team” to which the user belongs) may be included in the log data. By leaving a log associated with a group where the same members gather, cooking records in past events such as “family history” and “team camp record” can be automatically classified and left for each group. Note that the recorded image during cooking included in the log data can be projected by the projector unit 46 during cooking after cooking, or reproduced by a reproduction display device such as a television for viewing.

（変形例２）
料理のレシピ情報を提供する場合を例に説明したが、模型やプラモデル、キット（物置、犬小屋など）の組み立て手順の情報を提供するように構成してもよい。 (Modification 2)
Although the case where cooking recipe information is provided has been described as an example, it may be configured to provide information on assembly procedures of a model, a plastic model, or a kit (a storeroom, a kennel, etc.).

（変形例３）
上述した説明では、ユーザーによる選択操作を受け付ける態様として、ロータリーマルチセレクター１１４またはタッチパネル操作部材（不図示）に指などで直接触れて行う選択操作の受け付けの他に、音声認識部３４を用いた音声認識を用いることによって非接触で行う選択操作の受け付けの例を説明した。非接触の選択操作の受け付け例として、プロジェクタユニット４６の投影領域を撮影ユニット２８によって撮像した画像に基づいて判断するように構成してもよい。 (Modification 3)
In the above description, as a mode of accepting the selection operation by the user, in addition to accepting the selection operation performed by directly touching the rotary multi selector 114 or the touch panel operation member (not shown) with a finger or the like, the voice using the voice recognition unit 34 is used. An example of accepting a selection operation performed without contact by using recognition has been described. As an example of accepting a non-contact selection operation, the projection area of the projector unit 46 may be determined based on an image captured by the imaging unit 28.

この場合のＣＰＵ２０は、特開２００８−２９８８１９号公報に記載されるように、撮影ユニット２８で撮像して得られたスルー画を順次読み込んで、スルー画の所定の領域（撮影画面における所定画素数以上の領域）に変化があると判断すると、変化を判断した領域に応じた選択指示が行われたものと判断する。なお、スルー画とは、撮影ユニット２８によって所定の時間間隔（たとえば３０コマ／毎秒）で繰り返し取得されるモニタ用画像（ライブビュー画像とも呼ばれる）のことをいう。 In this case, as described in Japanese Patent Application Laid-Open No. 2008-289819, the CPU 20 sequentially reads through images obtained by imaging with the imaging unit 28 and reads a predetermined area of the through image (a predetermined number of pixels on the imaging screen). If it is determined that there is a change in the above areas), it is determined that a selection instruction corresponding to the area for which the change has been determined has been performed. The through image refers to a monitor image (also referred to as a live view image) that is repeatedly acquired by the photographing unit 28 at a predetermined time interval (for example, 30 frames / second).

ＣＰＵ２０は、たとえば、まな板上にメニュー紹介ＤＢ４０ｂから入力された複数の料理メニュー情報をプロジェクタユニット４６により投射させて、ユーザーによる選択指示を待つ。料理メニューとして「えびとトマトのクリームパスタ」、「えびとしめじのトマトリゾット」、および「トマトとエビのチリ炒め」の３つの料理メニューが投射されている場合に、ユーザーは、まな板上で選択したいメニューが投射されている領域へ手をかざす。ＣＰＵ２０は、スルー画像の変化に基づいて手がかざされた領域を判断し、当該領域に対応するメニューの選択指示が行われたものと判断する。なお、上述の説明は、前述の図４のフローチャートＳ２、Ｓ３に相当し、ＣＰＵ２０は、撮影ユニット２８とプロジェクタユニット４６とを用いてメニューを選択した後に、シャッターボタン１１からの撮影指示なしに撮影ユニット２８に撮像させるようにしてもよい。 For example, the CPU 20 projects a plurality of dish menu information input from the menu introduction DB 40b on a cutting board by the projector unit 46, and waits for a selection instruction from the user. The user selects on the cutting board when three food menus are projected: “shrimp and tomato cream pasta”, “shrimp and shimeji tomato risotto”, and “fried tomato and shrimp chili” Hold your hand over the area where the desired menu is projected. The CPU 20 determines an area where the hand is held based on the change in the through image, and determines that an instruction to select a menu corresponding to the area has been issued. Note that the above description corresponds to the flowcharts S2 and S3 in FIG. 4 described above, and the CPU 20 selects a menu using the shooting unit 28 and the projector unit 46, and then performs shooting without a shooting instruction from the shutter button 11. You may make it make the unit 28 image.

なお、まな板上でなく床面に投射した場合には、選択したいメニューが投射されている領域へ足を動かして選択指示を行うようにしてもよい。 When the projection is performed on the floor instead of the cutting board, the selection instruction may be issued by moving the foot to the area where the menu to be selected is projected.

（変形例４）
以上の説明では、コンパクトタイプのデジタルカメラ１を例に説明したが、レンズ交換式の一眼レフカメラや、ミラーレス一眼カメラ、ビデオカメラや携帯電話機などにも本発明を適用することができる。 (Modification 4)
In the above description, the compact digital camera 1 has been described as an example. However, the present invention can also be applied to a lens interchangeable single-lens reflex camera, a mirrorless single-lens camera, a video camera, a mobile phone, and the like.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.

１…デジタルカメラ
１１…シャッターボタン
２０…ＣＰＵ
２４…顔認識部
２６…カレンダ部
２８…撮影ユニット
２９…フラッシュＲＯＭ
３０…マイク
３１…情報取得部
３４…音声認識部
３６…液晶モニター
４０…ＤＢ部
４２…ＧＰＳ部
４６…プロジェクタユニット
４８…スピーカ
１１３Ａ〜Ｃ…操作ボタン
１１４…ロータリーマルチセレクター 1 ... Digital camera 11 ... Shutter button 20 ... CPU
24 ... Face recognition unit 26 ... Calendar unit 28 ... Shooting unit 29 ... Flash ROM
DESCRIPTION OF SYMBOLS 30 ... Microphone 31 ... Information acquisition part 34 ... Voice recognition part 36 ... Liquid crystal monitor 40 ... DB part 42 ... GPS part 46 ... Projector unit 48 ... Speaker 113A-C ... Operation button 114 ... Rotary multi selector

Claims

An imaging unit for imaging a subject;
An output unit for outputting information related to the imaged subject;
A speech recognition unit that recognizes speech that is a response to the information output by the output unit;
A control unit that controls an operation different from the imaging according to recognition by the voice recognition unit;
An electronic device characterized by comprising:

An imaging unit for imaging a subject;
An output unit for outputting information related to the imaged subject;
A determination unit that determines a response to the information output by the output unit based on an image captured by the imaging unit;
A control unit that controls the imaging and an operation different from the imaging according to the determination by the determination unit;
An electronic device characterized by comprising:

The electronic device according to claim 2,
A speech recognition unit for recognizing speech that is a response to the information output by the output unit;
The said control part controls operation different from the said imaging according to the recognition by the said voice recognition part, The electronic device characterized by the above-mentioned.

The electronic device according to claim 1 or 3,
An operation member for receiving an imaging instruction from the imaging unit;
The output unit includes a projection unit that projects an image,
The control unit further causes the imaging unit to perform imaging without an imaging instruction from the operation member in association with the projection operation of the projection unit.

The electronic device according to claim 4,
The control unit causes the imaging unit to perform imaging in accordance with recognition by the voice recognition unit.

The electronic device according to claim 5,
The said control part makes the said imaging part image-capture, when the said audio | voice recognition part recognizes the audio | voice relevant to the image which the said projection part projected, The electronic device characterized by the above-mentioned.

The electronic device according to claim 6,
The electronic device includes at least one of a display unit that performs display related to the subject and a sound output unit that generates sound related to the subject.

The electronic device according to claim 7,
An electronic apparatus comprising: a time measuring unit that measures time according to recognition by the voice recognition unit.

The electronic device according to claim 8,
The electronic device according to claim 1, wherein the output unit changes information related to the subject in accordance with an output of the time measuring unit.

The electronic device according to claim 9,
The imaging unit images a predetermined member,
The electronic device is characterized in that the output unit outputs information indicating a work procedure using the member.

The electronic device according to claim 10,
An electronic apparatus comprising an information acquisition unit that acquires information about the member.