JP5692215B2 - 撮像装置、撮像方法及びプログラム - Google Patents
撮像装置、撮像方法及びプログラム Download PDFInfo
- Publication number
- JP5692215B2 JP5692215B2 JP2012287382A JP2012287382A JP5692215B2 JP 5692215 B2 JP5692215 B2 JP 5692215B2 JP 2012287382 A JP2012287382 A JP 2012287382A JP 2012287382 A JP2012287382 A JP 2012287382A JP 5692215 B2 JP5692215 B2 JP 5692215B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- processing
- communication
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Description
この撮影システムでは、デジタルカメラにより撮像されるライブビュー画像をリモートコントローラに送信し、その映像を表示部に表示させることで、ユーザがライブビュー画像の内容を確認しつつ、所望のタイミングで記録指示をデジタルカメラに送信して、画像の記録を行うことができる。
所定の通信回線を介して接続された外部機器と通信する通信手段と、撮像手段により撮像される画像を逐次処理する処理手段と、前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる送信制御手段と、前記逐次処理された画像を送信している通信回線に含まれる情報を、前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報として取得する取得手段と、被写体の種類を特定する特定手段と、前記取得手段により取得された通信品質情報に基づいて、前記撮像手段の動作内容及び前記処理手段による処理内容の少なくとも一方を制御し、更に、前記特定手段による特定結果に応じて前記処理内容を制御する処理制御手段と、を備えたことを特徴としている。
所定の通信回線を介して接続された外部機器と通信する通信手段と、撮像手段により撮像される画像を逐次処理する処理手段と、を備える撮像装置を用いた撮像方法であって、前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる処理と、前記逐次処理された画像を送信している通信回線に含まれる情報を、前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報として取得する処理と、被写体の種類を特定する処理と、取得された通信品質情報に基づいて、前記撮像手段の動作内容及び前記処理手段による処理内容の少なくとも一方を制御し、更に、特定結果に応じて前記処理内容を制御する処理と、を含むことを特徴としている。
所定の通信回線を介して接続された外部機器と通信する通信手段と、撮像手段により撮像される画像を逐次処理する処理手段と、を備える撮像装置のコンピュータを、前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる送信制御手段、前記逐次処理された画像を送信している通信回線に含まれる情報を、前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報として取得する取得手段、被写体の種類を特定する特定手段、前記取得手段により取得された通信品質情報に基づいて、前記撮像手段の動作内容及び前記処理手段による処理内容の少なくも一方を制御し、更に、前記特定手段による特定結果に応じて前記処理内容を制御する処理制御手段、として機能させることを特徴としている。
図1は、本発明を適用した実施形態1の撮像システム100の概略構成を示す図である。
図1に示すように、実施形態1の撮像システム100は、撮像装置1(図2参照)と、携帯端末2(図3参照)とを備え、撮像装置1と携帯端末2とは、無線通信回線を介して情報通信可能に接続されている。
図2は、実施形態1の撮像システム100の構成する撮像装置1の概略構成を示すブロック図である。
図2に示すように、撮像装置1は、中央制御部101と、メモリ102と、撮像部103と、画像データ処理部104と、記録媒体制御部105と、操作入力部106と、無線処理部107と、動作制御部108と、電源部109とを備えている。
また、中央制御部101、メモリ102、撮像部103、画像データ処理部104、記録媒体制御部105、無線処理部107、動作制御部108、及び電源部109は、バスライン110を介して接続されている。
電子撮像部103bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部103aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部103は、レンズ部103aを通過する光の量を調整する絞りを備えていても良い。
即ち、画像データ処理部104は、処理手段として、撮像部103により撮像されるフレーム画像を逐次処理する。具体的には、画像データ処理部104は、電子撮像部103bから転送されたフレーム画像のアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
具体的には、解像度設定部104aは、例えば、ライブビュー画像や動画像の各フレーム画像のYUVデータを水平及び垂直ともに拡大・縮小する際の倍率を規定する解像度(例えば、VGAやQVGAサイズ等)を設定する。画像データ処理部104は、解像度設定部104aにより設定された解像度に従って各フレーム画像のYUVデータを生成して、生成された所定の解像度の画像データをメモリ102に出力する。
また、携帯端末2からの要求により、画像を再生表示する場合には、画像データ処理部104は、記録媒体制御部105により記録媒体105aから読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して、無線処理部107及び通信アンテナ107aに出力する。出力された画像データは通信アンテナ107aを介して携帯端末2に送信される。尚、送信要求を送った携帯端末2と画像データの送信先である携帯端末2は同一である必要は無く、送信要求を送った側の携帯端末2側での操作で画像データの送信先を指定することもできる。
即ち、記録媒体制御部105は、画像データ処理部104の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式、モーションJPEG形式、MPEG形式等)で符号化された記録用の画像データを記録媒体105aの所定の記録領域に記録させる。
なお、記録媒体105aは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。
即ち、無線処理部107は、所定の通信回線を介して通信する通信手段を構成し、例えば、無線LANモジュール等を備えている。具体的には、無線処理部107は、通信アンテナ107aと、通信品質取得部107bとを具備し、例えば、外部のアクセスポイント(固定基地局)を経由せずに直接携帯端末2の無線処理部203との間で無線通信回線を構築するPeer to Peer(アドホックモード)で動作する。このアドホックモードでは、例えば、予め当該無線通信回線の通信方式、暗号化情報、チャンネル、IPアドレス等の各種の通信制御情報を設定しておく。そして、無線処理部107は、無線通信可能範囲内に存し、共通の通信制御情報が設定されている携帯端末(外部機器)2の無線処理部203との間で無線通信を行う。
なお、無線処理部107は、例えば、記録媒体105aに内蔵された構成であっても良いし、当該装置本体に所定のインタフェース(例えば、USB(Universal Serial Bus)等)を介して接続された構成であっても良い。
ここで、ビーコンパケットには、識別信号(例えば、ESS-ID(Extended Service Set Identifier)、BSS-ID(Basic Service Set Identifier)、MAC(Media Access Control)アドレス等)や、受信信号強度(例えば、RSSI(Received Signal Strength Indication)等)が含まれている。
即ち、通信品質取得部107bは、取得手段として、無線LAN(Local Area Network)等の所定の通信回線を介した無線処理部107と携帯端末2の無線処理部203との通信の品質に係る通信品質情報を取得する。ここで、通信品質情報には、例えば、携帯端末2の無線処理部203から送信され通信アンテナ107aにより受信されたビーコンパケットの受信信号強度や、当該ビーコンパケットの受信の際のノイズ量等が含まれる。
つまり、携帯端末2の無線処理部203からは一定の出力強度で信号が出力されているため、当該携帯端末2の無線処理部203までの距離が近いほど受信信号強度が大きくなり、無線通信の品質が相対的に良いと考えられる。これに対して、携帯端末2の無線処理部203までの距離が遠いほど受信信号強度が小さくなり、無線通信の品質が相対的に悪いと考えられる。
また、携帯端末2の無線処理部203までの距離が近いほど、或いは、チャネル干渉が少ないほど、ノイズが少なくなり、無線通信の品質が相対的に良いと考えられる。これに対して、携帯端末2の無線処理部203までの距離が遠いほど、或いは、チャネル干渉が多いほど、受信信号強度が小さくなり、無線通信の品質が相対的に悪いと考えられる。
なお、通信品質情報として例示した受信信号強度やノイズ量は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
なお、動作制御部108の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
即ち、送信制御部108aは、送信制御手段として、画像データ処理部により逐次処理された画像データを無線処理部107により所定の通信回線を介して外部機器に送信させる。具体的には、送信制御部108aは、無線処理部107を制御して、メモリ102から画像データ処理部104により生成された所定の解像度のフレーム画像の画像データを取得させ、当該画像データを所定の無線通信回線を介して携帯端末2に送信させる。
即ち、処理制御部108bは、処理制御手段として、通信品質取得部107bにより取得された通信品質情報に基づいて、画像データ処理部104による処理内容を制御する。
具体的には、処理制御部108bは、解像度設定処理にて設定される解像度を変更する。例えば、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に良い場合には、伝送速度(スループット)を十分に確保することができる。そこで、処理制御部108bは、画像データ処理部104による相対的に高解像度の画像データ(例えば、VGAサイズの画像データ等)の生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に高解像度の画像データの生成を指示する信号を画像データ処理部104に出力する。
これに対して、例えば、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に悪い場合には、伝送速度を十分に確保することができないので、携帯端末2に送信されるフレーム画像のデータ量を減少させる必要が生じる。そこで、処理制御部108bは、画像データ処理部104による相対的に低解像度の画像データ(例えば、QVGAサイズの画像データ等)の生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に低解像度の画像データの生成を指示する信号を画像データ処理部104に出力する。
なお、画像データ処理部104による処理内容は、各処理の実行に必要な電力量が異なり、例えば、解像度設定処理にて設定されるフレーム画像のYUVデータの解像度に応じて変化する。具体的には、例えば、相対的に高解像度の画像データ(例えば、VGAサイズの画像データ等)を生成すると、相対的に低解像度の画像データ(例えば、QVGAサイズの画像データ等)を生成する場合に比べて、必要な電力量が増大する。つまり、通信品質情報に係る無線通信の品質が相対的に良い場合には、画像データ処理部104に相対的に多くの電力量を割くことができる一方で、通信品質情報に係る無線通信の品質が相対的に悪い場合には、画像データ処理部104に相対的に多くの電力量を割くことができない、つまり、無線処理部107による安定した無線通信の確保に通常以上の電力が必要となる。
即ち、電源部109は、電源を供給する電源供給手段を構成し、例えば、各種方式の充電池(例えば、リチウムイオン電池、ニッケル・水素充電池等)を具備している。つまり、電源部109は、最大限供給可能な電源容量が所定量に限定されている。
図3は、実施形態1の撮像システム100の構成する携帯端末の概略構成を示すブロック図である。
図3に示すように、携帯端末2は、中央制御部201と、メモリ202と、無線処理部203と、画像データ処理部204と、表示部205と、記録媒体制御部206と、操作入力部207とを備えている。
また、中央制御部201、メモリ202、無線処理部203、画像データ処理部204、表示部205及び記録媒体制御部206は、バスライン208を介して接続されている。
ラム(図示略)に従って各種の制御動作を行う。
即ち、無線処理部203は、所定の無線通信回線を介して通信する無線通信手段を構成し、例えば、通信アンテナ203aを具備する無線LANモジュール等を備えている。具体的には、無線処理部203は、撮像装置1の無線処理部107と同様に、外部のアクセスポイント(固定基地局)を経由せずに直接撮像装置1の無線処理部107との間で無線通信回線を構築するPeer to Peer(アドホックモード)で動作する。このアドホックモードでは、撮像装置1の無線処理部107と同様に、例えば、予め当該無線通信回線の通信方式、暗号化情報、チャンネル、IPアドレス等の各種の通信制御情報を設定しておく。そして、無線処理部203は、無線通信可能範囲内に存し、共通の通信制御情報が設定されている撮像装置(外部機器)1の無線処理部107との間で無線通信を行う。
例えば、無線処理部203は、撮像装置1の無線処理部107から所定の無線通信回線を介して送信されたフレーム画像の画像データを通信アンテナ203aにより受信して、画像データ処理部204に出力する。
なお、無線処理部203は、例えば、記録媒体206aに内蔵された構成であっても良いし、当該装置本体に所定のインタフェース(例えば、USB(Universal Serial Bus)等)を介して接続された構成であっても良い。
なお、画像を記録する際には、画像データ処理部204は、画像データを所定の符号化方式(例えば、JPEG形式、モーションJPEG形式、MPEG形式など)に従って圧縮して、記録媒体制御部206に出力する。
具体的には、表示部205は、例えば、撮像装置1から送信され無線処理部203により受信されたフレーム画像の画像データに基づいて、対応するライブビュー画像や動画像等を、再生モードにおいては、記録媒体105aに格納された画像を転送させ、表示画面に表示する。
即ち、記録媒体制御部206は、ユーザによる操作入力部207の所定操作に対応する画像の記録指示に基づいて、無線処理部203により受信された所定の解像度の画像データを記録媒体206aの所定の記録領域に記録させる。
なお、記録媒体206aは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。
図4は、撮像システム100による画像送信処理に係る動作の一例を示すフローチャートである。
図4に示すように、撮像装置1にあっては、中央制御部101のCPUは、無線処理部107により携帯端末2と所定の無線通信回線(例えば、無線LAN等)を介して無線通信可能に接続されているか否かを判定する(ステップS1)。即ち、中央制御部101のCPUは、無線処理部107が所定の無線通信回線を介して携帯端末2の無線処理部203と情報通信可能に接続されているか否かを判定する。
ここで、電源OFF指示が入力されていないと判定されると(ステップS2;NO)、中央制御部101のCPUは、処理をステップS1に戻し、上記の判定処理を所定のタイミングで繰り返し実行する(ステップS1)。
ステップS3にて、動画像の記録開始指示が検出されないと判定されると(ステップS3;NO)、中央制御部101のCPUは、ライブビュー画像送信処理(図5参照)の実行を制御する(ステップS5)。その一方で、動画像の記録開始指示が検出されたと判定されると(ステップS3;YES)、中央制御部101のCPUは、記録した動画像の送信処理(図6参照)の実行を制御する(ステップS6)。
以下に、ライブビュー画像送信処理について図5を参照して説明する。
図5は、画像送信処理におけるライブビュー画像送信処理に係る動作の一例を示すフローチャートである。
続けて、通信品質取得部107bは、所定の無線通信回線を介した無線処理部107と携帯端末2の無線処理部203との通信品質情報を取得する(ステップS22)。具体的には、通信品質取得部107bは、ビーコンパケットの受信信号強度や、当該ビーコンパケットの受信の際のノイズ量等を通信品質情報として取得する。
ここで、携帯端末2との無線接続が解除されていないと判定されると(ステップS23;NO)、中央制御部101のCPUは、通信品質取得部107bにより取得された通信品質情報に基づいて処理を分岐させる(ステップS24)。具体的には、中央制御部101のCPUは、通信品質情報に係る無線通信の品質が相対的に悪い場合(ステップS24;悪い)、処理をステップS251に移行させ、また、通信品質情報に係る無線通信の品質が相対的に良い場合(ステップS24;良い)、処理をステップS261に移行させる。
無線通信の品質が相対的に悪い場合(ステップS24;悪い)、伝送速度を十分に確保することができない(例えば、伝送速度が10Mbps未満程度となる)ので、携帯端末2に送信されるフレーム画像のデータ量を減少させる必要が生じ、処理制御部108bは、画像データ処理部104の解像度設定部104aに、各フレーム画像のYUVデータの解像度としてQVGAサイズを設定させる(ステップS251)。また、処理制御部108bは、解像度設定部104aによる相対的に低解像度の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、解像度設定部104aにより設定された解像度(QVGAサイズ)に従ってライブビュー画像の各フレーム画像のYUVデータを水平及び垂直ともに縮小して、QVGAサイズのYUVデータを生成してメモリ102に出力する(ステップS252)。
無線通信の品質が相対的に良い場合(ステップS24;良い)、伝送速度を十分に確保することができる(例えば、伝送速度が10Mbps以上程度となる)ので、処理制御部108bは、画像データ処理部104の解像度設定部104aに、各フレーム画像のYUVデータの解像度としてVGAサイズを設定させる(ステップS261)。また、処理制御部108bは、画像データ処理部104による相対的に高解像度の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、解像度設定部104aにより設定された解像度(VGAサイズ)に従ってライブビュー画像の各フレーム画像のYUVデータを水平及び垂直ともに縮小して、VGAサイズのYUVデータを生成してメモリ102に出力する(ステップS262)。
その後、中央制御部101のCPUは、図示しない計時部を制御して、無線処理部107による次回の起動タイミング、即ち、外部機器の探索のタイミング(例えば、現在の時刻から3分後等)を設定する(ステップS30)。
以下に、記録した動画像の送信処理について図6を参照して説明する。
図6は、画像送信処理における記録した動画像の送信処理に係る動作の一例を示すフローチャートである。
なお、撮像装置1により撮像された動画像の画像データは、当該撮像装置1と所定の無線通信回線を介して接続された携帯端末2の記録媒体206aに記録させるようにしても良い。
次に、中央制御部101のCPUは、上記ライブビュー画像送信処理と同様に、通信品質取得部107bにより取得された通信品質情報に基づいて、無線処理部107による携帯端末2との所定の無線通信回線を介した無線接続が解除されたか否かを判定する(ステップS23)。
ここで、携帯端末2との無線接続が解除されていないと判定されると(ステップS23;NO)、中央制御部101のCPUは、上記ライブビュー画像送信処理と同様に、通信品質取得部107bにより取得された通信品質情報に基づいて処理を分岐させる(ステップS24)。
無線通信の品質が相対的に悪い場合(ステップS24;悪い)、上記ライブビュー画像送信処理と同様に、処理制御部108bは、画像データ処理部104の解像度設定部104aに、各フレーム画像のYUVデータの解像度としてQVGAサイズを設定させる(ステップS251)。また、処理制御部108bは、画像データ処理部104による相対的に低解像度の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、解像度設定部104aにより設定された解像度(QVGAサイズ)に従って動画像の各フレーム画像のYUVデータを水平及び垂直ともに縮小して、QVGAサイズのYUVデータを生成してメモリ102に出力する(ステップS252)。
無線通信の品質が相対的に良い場合(ステップS24;良い)、上記ライブビュー画像送信処理と同様に、処理制御部108bは、画像データ処理部104の解像度設定部104aに、各フレーム画像のYUVデータの解像度としてVGAサイズを設定させる(ステップS261)。また、処理制御部108bは、解像度設定部104aによる相対的に高解像度の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、解像度設定部104aにより設定された解像度(VGAサイズ)に従って動画像の各フレーム画像のYUVデータを水平及び垂直ともに縮小して、VGAサイズのYUVデータを生成してメモリ102に出力する(ステップS262)。
その後、中央制御部101のCPUは、上記ライブビュー画像送信処理と同様に、図示しない計時部を制御して、無線処理部107による次回の起動タイミング、即ち、外部機器の探索のタイミングを設定する(ステップS30)。
具体的には、通信品質情報に基づいて、解像度設定処理にて設定される出力画像の解像度を変更することで、携帯端末2に送信されるフレーム画像のデータ量を増減させることができ、フレーム画像の無線通信に対する影響の軽減を図ることができる。このとき、携帯端末2に送信されるフレーム画像の解像度が低くなっても、撮像中の画像の状態をユーザはある程度把握することができ、画像の撮像に対する影響は軽減される。
以下に、実施形態2の撮像システムについて説明する。
実施形態2の撮像システムを構成する撮像装置301は、以下に詳細に説明する以外の点で上記実施形態1の撮像装置1と略同様の構成をなし、詳細な説明は省略する。
図7に示すように、実施形態2の撮像装置301の画像データ処理部104は、フレームレート設定部104bと、色条件設定部104cと、画像処理内容設定部104dとを具備している。
具体的には、フレームレート設定部104bは、例えば、撮像部103から逐次転送されてくるライブビュー画像や動画像の各フレーム画像のYUVデータの処理タイミングとして、相対的に高速なフレームレートや相対的に低速なフレームレートを設定する。画像データ処理部104は、フレームレート設定部104bにより設定されたフレームレートに従って所定のタイミングで(時間間隔を空けて)各フレーム画像のYUVデータを生成して、生成された画像データをメモリ102に出力する。
ここで、フレームレート設定処理にて設定されるフレームレートは、無線通信回線を介して携帯端末2に転送されるフレーム画像のフレームレートに相当する。なお、当該フレームレートに対して、電子撮像部103bの撮像領域からフレーム画像を読み出すタイミングを規定する撮像フレームレートは十分に高速となっている。
具体的には、色条件設定部104cは、例えば、撮像部103から逐次転送されてくるライブビュー画像や動画像の各フレーム画像のYUVデータに対する画像処理における、色に関連する条件を設定する。例えば、色条件設定部104cは、各フレーム画像の色数を減少させるために、二値化処理を施して白黒画像を生成することを決定したり、各フレーム画像の色情報量を減少させるために、所定の符号化方式(例えば、JPEG形式)における色に関連する処理(例えば、色差信号の圧縮率等)の内容を決定する。画像データ処理部104は、色条件設定部104cにより設定された色に関連する条件に従って各フレーム画像のYUVデータを生成して、生成された画像データをメモリ102に出力する。
即ち、画像データ処理部104は、撮像部103cから逐次転送されてくるライブビュー画像や動画像の各フレーム画像のYUVデータに対して各種の画像処理(例えば、エッジ抽出処理等)を行うことで、データ量が減少された画像データを生成する。このとき、画像処理内容設定部104dは、例えば、各フレーム画像のデータ量を変更するために、各フレーム画像のYUVデータに対する画像処理の内容を設定する。
画像データ処理部104は、画像処理内容設定部104dにより設定された画像処理の内容に従って当該画像処理後の各フレーム画像(例えば、エッジ抽出処理後の輪郭画像等)のYUVデータを生成して、生成された画像データをメモリ102に出力する。
即ち、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に良い場合には、伝送速度(スループット)を十分に確保することができる。そこで、処理制御部108bは、画像データ処理部104による相対的に高速のフレームレート(例えば、30fps等)での画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に高速のフレームレートでの画像データの生成を指示する信号を画像データ処理部104に出力する。
これに対して、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に悪い場合には、伝送速度を十分に確保することができないので、携帯端末2に送信されるフレーム画像のデータ量を減少させる必要が生じる。そこで、処理制御部108bは、画像データ処理部104による相対的に低速のフレームレート(例えば、15fps等)での画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に低速のフレームレート(例えば、15fps等)での画像データの生成を指示する信号を画像データ処理部104に出力する。
即ち、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に良い場合には、伝送速度を十分に確保することができる。そこで、処理制御部108bは、画像データ処理部104による相対的に色数の多い画像(例えば、カラー画像等)の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に色数の多い画像の画像データの生成を指示する信号を画像データ処理部104に出力する。
これに対して、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に悪い場合には、伝送速度を十分に確保することができないので、携帯端末2に送信されるフレーム画像のデータ量を減少させる必要が生じる。そこで、処理制御部108bは、画像データ処理部104による相対的に色数の少ない画像(例えば、白黒画像等)の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に色数の少ない画像の画像データの生成を指示する信号を画像データ処理部104に出力する。
即ち、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に良い場合には、伝送速度を十分に確保することができる。そこで、処理制御部108bは、画像データ処理部104による相対的にデータ量が多い画像(例えば、カラー画像等)を生成するための画像処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的にデータ量が多い画像を生成するための画像処理の実行を指示する信号を画像データ処理部104に出力する。
これに対して、通信品質取得部107bにより取得された通信品質情報に係る無線通信の品質が相対的に悪い場合には、伝送速度を十分に確保することができないので、携帯端末2に送信されるフレーム画像のデータ量を減少させる必要が生じる。そこで、処理制御部108bは、画像データ処理部104による相対的にデータ量が少ない画像(例えば、輪郭画像等)を生成するための画像処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的にデータ量が少ない画像を生成するための画像処理の実行を指示する信号を画像データ処理部104に出力する。
即ち、例えば、相対的に高速のフレームレート(例えば、30fps等)で画像データを生成すると、相対的に低速のフレームレート(例えば、15fps等)で画像データを生成する場合に比べて、必要な電力量が増大する。また、例えば、相対的に色数の多い画像(例えば、カラー画像等)の画像データを生成すると、相対的に色数の少ない画像(例えば、白黒画像等)の画像データを生成する場合に比べて、必要な電力量が増大する。また、例えば、相対的にデータ量が多い画像(例えば、カラー画像等)の画像データを生成すると、相対的にデータ量が少ない画像(例えば、輪郭画像等)の画像データを生成する場合に比べて、必要な電力量が増大する。
なお、実施形態2の撮像システムによる画像送信処理は、以下に詳細に説明する以外の点で上記実施形態1の撮像システム100による画像送信処理と略同様であり、詳細な説明は省略する。また、通信品質に応じて画像データ処理部104がフレーム画像を処理する際のフレームレートを変更するものとする。
以下に、ライブビュー画像送信処理について図8を参照して説明する。
図8は、ライブビュー画像送信処理に係る動作の一例を示すフローチャートである。
無線通信の品質が相対的に悪い場合(ステップS24;悪い)、伝送速度を十分に確保することができない(例えば、伝送速度が10Mbps未満程度となる)ので、携帯端末2に送信されるフレーム画像のデータ量を減少させる必要が生じ、処理制御部108bは、画像データ処理部104のフレームレート設定部104bに、各フレーム画像のYUVデータの処理タイミングとして、相対的に低速のフレームレート(例えば、15fps等)を設定させる(ステップS351)。また、処理制御部108bは、画像データ処理部104による相対的に低速のフレームレートでの画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、フレームレート設定部104bにより設定された相対的に低速のフレームレートに従って、携帯端末2に送信されるライブビュー画像の各フレーム画像のYUVデータをメモリ102に出力する(ステップS352)。
無線通信の品質が相対的に良い場合(ステップS24;良い)、伝送速度を十分に確保することができる(例えば、伝送速度が10Mbps以上程度となる)ので、処理制御部108bは、画像データ処理部104のフレームレート設定部104bに、各フレーム画像のYUVデータの処理タイミングとして、相対的に高速のフレームレート(例えば、30fps等)を設定させる(ステップS361)。また、処理制御部108bは、画像データ処理部104による相対的に高速のフレームレートでの画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、フレームレート設定部104bにより設定された相対的に高速のフレームレートに従って、携帯端末2に送信されるライブビュー画像の各フレーム画像のYUVデータをメモリ102に出力する(ステップS362)。
その後、中央制御部101のCPUは、上記実施形態1のライブビュー画像送信処理と略同様に、図示しない計時部を制御して、無線処理部107による次回の起動タイミング、即ち、外部機器の探索のタイミングを設定する(ステップS30)。
以下に、記録した動画像の送信処理について図9を参照して説明する。
図9は、記録した動画像の送信処理に係る動作の一例を示すフローチャートである。
無線通信の品質が相対的に悪い場合(ステップS24;悪い)、上記ライブビュー画像送信処理と同様に、処理制御部108bは、画像データ処理部104のフレームレート設定部104bに、各フレーム画像のYUVデータの処理タイミングとして、相対的に低速のフレームレート(例えば、15fps等)を設定させる(ステップS351)。また、処理制御部108bは、画像データ処理部104による相対的に低速のフレームレートでの画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、フレームレート設定部104bにより設定された相対的に低速のフレームレートに従って、携帯端末2に送信されるライブビュー画像の各フレーム画像のYUVデータをメモリ102に出力する(ステップS352)。
無線通信の品質が相対的に良い場合(ステップS24;良い)、上記ライブビュー画像送信処理と同様に、処理制御部108bは、画像データ処理部104のフレームレート設定部104bに、各フレーム画像のYUVデータの処理タイミングとして、相対的に高速のフレームレート(例えば、30fps等)を設定させる(ステップS361)。また、処理制御部108bは、画像データ処理部104による相対的に高速のフレームレートでの画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、フレームレート設定部104bにより設定された相対的に高速のフレームレートに従って、携帯端末2に送信されるライブビュー画像の各フレーム画像のYUVデータをメモリ102に出力する(ステップS362)。
その後、中央制御部101のCPUは、上記実施形態1の記録した動画像の送信処理と略同様に、図示しない計時部を制御して、無線処理部107による次回の起動タイミング、即ち、外部機器の探索のタイミングを設定する(ステップS30)。
具体的には、通信品質情報に基づいて、フレームレート設定処理にて設定される各フレーム画像のフレームレートを変更することで、携帯端末2に送信されるフレーム画像のデータ量を増減させることができ、フレーム画像の無線通信に対する影響の軽減を図ることができる。このとき、携帯端末2に送信されるフレーム画像のフレームレートが低速になっても、撮像中の画像の状態をユーザはある程度把握することができ、画像の撮像に対する影響は軽減される。
また、通信品質情報に基づいて、フレームレート設定処理、色条件設定処理及びデータ量設定処理を逐次切り替えて実行するようにしても良い。つまり、フレームレート設定処理、色条件設定処理及びデータ量設定処理の中で、省電力化度合いに応じて何れか一の処理を選択して実行できる構成として、無線通信の品質に応じて、フレームレート設定処理、色条件設定処理及びデータ量設定処理を逐次切り替えるようにしても良い。
以下に、実施形態3の撮像システムについて説明する。
実施形態3の撮像システムを構成する撮像装置401(図10参照)及び携帯端末402(図11参照)は、それぞれブルートゥース(Bluetooth:登録商標)通信機能を具備し、情報通信可能に接続される。
図10は、本発明を適用した実施形態3の撮像システムを構成する撮像装置401の概略構成を示すブロック図である。
図10に示すように、実施形態3の撮像装置401は、ブルートゥースモジュール(BTモジュール)112を備えている。
なお、撮像装置401は、以下に詳細に説明する以外の点で上記実施形態1、2の撮像装置1、301と略同様の構成をなし、詳細な説明は省略する。
また、BTモジュール112は、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータが無線信号により通信相手と交換され、その後、この通信設定処理を毎回行うことなく、この通信相手と自動的に或いは半自動的に通信接続されたり通信接続が解除されたりするようになっている。例えば、撮像装置401と携帯端末402とが電波が届かない範囲に離れれば通信接続が解除される一方で、電波が届く範囲に近づけば自動的に通信接続される。また、或いは、接続や解除の操作により半自動的に通信接続されたり解除される。
通信品質取得部112bは、外部機器に送信される画像のフレームレートを通信品質情報として取得する。即ち、通信品質取得部112bは、例えば、通信アンテナ112aにより受信される電波の受信信号強度(例えば、RSSI)に応じて変化する伝送速度(例えば、10Mbps等)を所定の時間間隔に取得し、当該伝送速度で所定の解像度(例えば、QVGA等)の画像データを所定のフォーマットで携帯端末402に送信する際のフレームレートを下記式(1)に従って算出して取得する。
フレームレート=伝送速度(bps)/8/画像サイズ …式(1)
なお、式(1)において、「8」は、ビットレートをバイトで計算するための係数である。また、「画像サイズ」は、画像データの解像度とフォーマットにより規定され、例えば、RGB565形式のフォーマットの場合には、1ピクセルを2バイトで表すため、解像度がQVGAでは各フレーム画像の画像サイズは、「320*240*2」となる。
つまり、上記式(1)に従ってフレームレートを算出すると、画像サイズを固定した状態では、伝送速度に応じてフレームレートが可変する。例えば、伝送速度が10Mbpsの場合、解像度がQVGAの画像データを送信する際には、約8fpsのフレームレートで携帯端末402に送信することができるが、伝送速度が1Mbpsとなると、フレームレートが約1/10(約0.8fps)となってしまう。そこで、処理制御部108bは、画像サイズが小さくなるようにフレーム画像の画像サイズを低解像度(例えば、96*72等)に変更する。これにより、伝送速度が1Mbpsであっても、約9fpsのフレームレートを確保することができる。
図11は、本発明を適用した実施形態3の撮像システムを構成する携帯端末402の概略構成を示すブロック図である。
図11に示すように、実施形態3の携帯端末402は、ブルートゥースモジュール(BTモジュール)209を備えている。
なお、携帯端末402は、以下に詳細に説明する以外の点で上記実施形態1、2の携帯端末2と略同様の構成をなし、詳細な説明は省略する。
図12は、実施形態3の撮像システムによる画像送信処理に係る動作の一例を示すフローチャートである。
なお、実施形態3の撮像システムによる画像送信処理は、ライブビュー画像の撮像や動画像の記録の際に行われる処理である。
ステップS401にて、携帯端末402と無線通信可能に接続されていないと判定されると(ステップS401;NO)、中央制御部101のCPUは、ユーザによる操作入力部106の電源ボタンのOFF操作に対応する電源OFF指示が入力されたか否かを判定する(ステップS2)。
ここで、電源OFF指示が入力されていないと判定されると(ステップS2;NO)、中央制御部101のCPUは、処理をステップS401に戻し、上記の判定処理を所定のタイミングで繰り返し実行する(ステップS401)。
ステップS403にて、携帯端末402との無線接続が解除されていないと判定されると(ステップS403;NO)、撮像部103は、画像(例えば、ライブビュー画像等)の撮像を開始する(ステップS404)。即ち、撮像制御部103cは、レンズ部103aにより結像された光学像から電子撮像部103bにより変換された二次元の画像信号を、当該電子撮像部103bの撮像領域から所定の撮像フレームレートで1画面分ずつ読み出してライブビュー画像の各フレーム画像を生成する。
続けて、画像データ処理部104は、解像度設定部104aにより設定された画像サイズ(例えば、解像度がQVGA等)に従って、各フレーム画像のYUVデータを水平及び垂直ともに縮小した後、送信制御部108aは、生成された各フレーム画像のYUVデータをBTモジュールから携帯端末402に送信させる(ステップS405)。
次に、処理制御部108bは、通信品質取得部112bにより取得されたフレームレートが、予め設定済みの所定値(例えば、7fps等)と等しいか否かを判定する(ステップS407)。
一方、ステップS407にて、フレームレートが所定値と等しいと判定されると(ステップS407;YES)、中央制御部101のCPUは、処理をステップS403に戻し、それ以降の各処理の実行を制御する。即ち、携帯端末402に送信されるフレーム画像の画像サイズを基準値に設定した状態のままとなる。
一方、ステップS408にて、フレームレートが所定値よりも小さくないと判定されると(ステップS408;NO)、処理制御部108bは、画像サイズが基準値となるように、画像データ処理部104の解像度設定部104aに、各フレーム画像の解像度(例えば、QVGA等)を設定させる(ステップS410)。ここで、フレームレートとして所定値を確保可能であれば、処理制御部108bは、画像サイズが基準値よりも大きくなるように、解像度設定部104aに、各フレーム画像の解像度(例えば、VGA等)を設定させても良い。
上記の各処理が、ステップS403にて、携帯端末402との無線接続が解除されたと判定されるまで(ステップS403;YES)、繰り返し実行される。つまり、伝送速度に応じて画像サイズを逐次変更させることで、フレームレートが低下するのを抑制することができる。
そして、ステップS403にて、携帯端末402との無線接続が解除されたと判定されると(ステップS403;YES)、画像送信処理が終了する。
具体的には、フレームレートが所定値よりも小さくなった場合に、解像度設定処理にて設定される出力画像の解像度を相対的に低解像度となるように変更するので、携帯端末402に送信されるフレーム画像のデータ量を減少させてフレームレートが低下するのを抑制することができ、フレーム画像の無線通信に対する影響の軽減を図ることができる。このとき、携帯端末402に送信されるフレーム画像の解像度が低くなっても、撮像中の画像の状態をユーザはある程度把握することができ、画像の撮像に対する影響は軽減される。
以下に、実施形態4の撮像システムについて説明する。
実施形態4の撮像システムを構成する撮像装置501は、以下に詳細に説明する以外の点で上記実施形態1、2の撮像装置1、301と略同様の構成をなし、詳細な説明は省略する。
図13に示すように、実施形態4の撮像装置501は、中央制御部101、メモリ102、撮像部103、画像データ処理部104、記録媒体制御部105、操作入力部106、無線処理部107、動作制御部108、電源部109に加えて、被写体種類特定部111を具備している。
具体的には、例えば、ユーザによる操作入力部106の所定操作に基づいて撮影シーンを自動的に認識するオートモードが設定されている場合、被写体種類特定部111は、撮像部103による被写体の撮像により逐次生成されたライブビュー画像の各フレーム画像の画像データ(YUVデータ)をメモリ102から取得して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の所定の画像認識技術を利用して各フレーム画像から注目被写体を検出する。そして、被写体種類特定部111は、検出された注目被写体に応じてその種類、例えば、「ヒト」、「風景」、「夜景」等を特定する。なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、例えば、ユーザによる操作入力部106の所定操作に基づいてユーザ所望の撮影モード(例えば、「ヒト」を注目被写体とするモード、「風景」を注目被写体とするモード、「夜景」を注目被写体とするモード等)が設定されている場合、被写体種類特定部111は、設定されている撮影モードの種類に応じて被写体の種類(例えば、「ヒト」、「風景」、「夜景」等)を特定する。
また、例えば、被写体種類特定部111により被写体の種類として「風景」が特定された場合には、ユーザはフレーム画像内での全体構成が分かれば良いと考えられるので、処理制御部108bは、画像データ処理部104による解像度設定処理にて設定される解像度を相対的に低解像度とするように制御する。具体的には、処理制御部108bは、画像データ処理部104による相対的に低解像度の画像(例えば、QVGAサイズの画像等)の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に低解像度の画像の画像データの生成を指示する信号を画像データ処理部104に出力する。
また、例えば、被写体種類特定部111により被写体の種類として「夜景」が特定された場合には、ユーザはフレーム画像内での明るい部分と暗い部分の区別ができれば良いと考えられるので、処理制御部108bは、画像データ処理部104による色条件設定処理にて設定される色数を相対的に少なくするように制御する。具体的には、処理制御部108bは、画像データ処理部104による相対的に色数の少ない画像(例えば、白黒画像等)の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力するとともに、相対的に色数の少ない画像の画像データの生成を指示する信号を画像データ処理部104に出力する。
なお、実施形態4の撮像システムによる画像送信処理は、以下に詳細に説明する以外の点で上記実施形態1の撮像システム100による画像送信処理と略同様であり、詳細な説明は省略する。
以下に、ライブビュー画像送信処理について図14及び図15を参照して説明する。
図14は、ライブビュー画像送信処理に係る動作の一例を示すフローチャートである。また、図15は、ライブビュー画像送信処理におけるデータ量減少処理に係る動作の一例を示すフローチャートである。
無線通信の品質が相対的に悪い場合(ステップS24;悪い)、伝送速度を十分に確保することができない(例えば、伝送速度が10Mbps未満程度となる)ので、携帯端末2に送信されるフレーム画像のデータ量を減少させる必要が生じる。この場合には、撮像装置501は、携帯端末2に送信されるフレーム画像のデータ量を減少させるデータ量減少処理を実行する(ステップS50;図15参照)。
図15に示すように、先ず、被写体種類特定部111は、撮像部103により撮像される被写体の種類を特定する(ステップS501)。具体的には、被写体種類特定部111は、例えば、ユーザによる操作入力部106の所定操作に基づいて設定されているユーザ所望の撮影モード(例えば、「ヒト」を注目被写体とするモード、「風景」を注目被写体とするモード、「夜景」を注目被写体とするモード等)の種類に応じて、被写体の種類(例えば、「ヒト」、「風景」、「夜景」等)を特定する。
無線通信の品質が相対的に悪い状況下で被写体の種類として「ヒト」が特定された場合(ステップS502;ヒト)、フレーム画像内で「ヒト」の存する位置をユーザに認識させさえすれば良いので、処理制御部108bは、画像データ処理部104の画像処理内容設定部104dに、各フレーム画像のYUVデータに対する画像処理の内容をエッジ抽出処理に設定させる(ステップS531)。また、処理制御部108bは、画像処理内容設定部104dにより設定されたエッジ抽出処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、画像処理内容設定部104dにより設定された画像処理の内容に従ってライブビュー画像の各フレーム画像のYUVデータに対してエッジ抽出処理を施して輪郭画像の画像データを生成してメモリ102に出力する(ステップS532)。
無線通信の品質が相対的に悪い状況下で被写体の種類として「風景」が特定された場合(ステップS502;風景)、フレーム画像内での全体構成をユーザに認識させさえすれば良いので、処理制御部108bは、画像データ処理部104の解像度設定部104aに、各フレーム画像のYUVデータの解像度としてQVGAサイズを設定させる(ステップS541)。また、処理制御部108bは、解像度設定部104aによる相対的に低解像度の画像データの生成処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、解像度設定部104aにより設定された解像度(QVGAサイズ)に従ってライブビュー画像の各フレーム画像のYUVデータを水平及び垂直ともに縮小して、QVGAサイズのYUVデータを生成してメモリ102に出力する(ステップS542)。
無線通信の品質が相対的に悪い状況下で被写体の種類として「夜景」が特定された場合(ステップS502;風景)、フレーム画像内での明るい部分と暗い部分をユーザに認識させさえすれば良いので、処理制御部108bは、画像データ処理部104の色条件設定部104cに、色に関連する条件として、各フレーム画像のYUVデータに対する画像処理の内容を二値化処理に設定させる(ステップS551)。また、処理制御部108bは、色条件設定部104cにより設定された二値化処理に必要な電圧の電源部109からの印加を指示する信号を電源部109に出力する。
そして、画像データ処理部104は、色条件設定部104cにより設定された色に関連する条件に従ってライブビュー画像の各フレーム画像のYUVデータに対して二値化処理を施して白黒画像の画像データを生成してメモリ102に出力する(ステップS552)。
無線通信の品質が相対的に良い場合(ステップS24;良い)、処理制御部108bは、上記実施形態1のライブビュー画像送信処理と略同様に、画像データ処理部104の解像度設定部104aに、各フレーム画像のYUVデータの解像度としてVGAサイズを設定させる(ステップS261)。画像データ処理部104は、解像度設定部104aにより設定された解像度(VGAサイズ)に従ってライブビュー画像の各フレーム画像のYUVデータを水平及び垂直ともに縮小して、VGAサイズのYUVデータを生成してメモリ102に出力する(ステップS262)。
その後、中央制御部101のCPUは、処理をステップS27に移行させる。
その後、中央制御部101のCPUは、上記実施形態1のライブビュー画像送信処理と略同様に、図示しない計時部を制御して、無線処理部107による次回の起動タイミング、即ち、外部機器の探索のタイミングを設定する(ステップS30)。
具体的には、被写体として「ヒト」が特定された場合に、画像データ処理部104により被写体の輪郭部分を表した輪郭画像を生成させるので、携帯端末2に送信されるフレーム画像のデータ量を減少させつつもフレーム画像内で被写体である「ヒト」の存する位置をユーザに認識させることができる。また、被写体として「風景」が特定された場合に、画像データ処理部104により相対的に低解像度の画像の画像データを生成させるので、携帯端末2に送信されるフレーム画像のデータ量を減少させつつもフレーム画像内での全体構成をユーザに認識させることができる。また、被写体として「夜景」が特定された場合に、画像データ処理部104により相対的に色数の少ない画像の画像データを生成させるので、携帯端末2に送信されるフレーム画像のデータ量を減少させつつもフレーム画像内での明るい部分と暗い部分をユーザに認識させることができる。
即ち、通信の品質を考慮して電子撮像部103bにて撮像(受光)する撮像(受光)面積そのものを制御しても良いし、ゲイン補正の強度や感度調整を行なうようにしても良い。また、画像データを掃き出す周期そのものを調整させるようにしてもよい。
このような構成とすることで、画像データ処理部104に対する制御を複雑化させることなく、画像の撮像に対する影響の軽減を図ることができる。
即ち、無線処理部203(或いは、BTモジュール)が、撮像装置1(401)から送信される所定の処理が施された画像を受信するとともに、所定の通信回線を介した当該端末本体と撮像装置1との通信の品質に係る通信品質情報を取得し、当該通信品質情報に基づいて、撮像装置1の撮像に係る動作内容又は撮像装置1の撮像部103により撮像される画像に対する処理内容を変更するための制御指示を所定の通信回線を介して撮像装置1に送信させるように構成しても良い。
このような構成とすることで、通信の品質を考慮して、撮像の際の撮像装置1の撮像制御部103cの動作内容や画像データ処理部104による処理内容を変更することができ、画像の撮像に対する影響の軽減を図ることができる。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、送信制御処理ルーチン、取得処理ルーチン、処理制御処理ルーチンを含むプログラムを記憶しておく。そして、送信制御処理ルーチンにより中央制御部101のCPUを、処理手段により逐次処理された画像を通信手段により所定の通信回線を介して外部機器に送信させる送信制御手段として機能させるようにしても良い。また、取得処理ルーチンにより中央制御部101のCPUを、通信手段による所定の通信回線を介した外部機器との通信の品質に係る通信品質情報を取得する取得手段として機能させるようにしても良い。また、処理制御処理ルーチンにより中央制御部101のCPUを、取得手段により取得された通信品質情報に基づいて、撮像手段の動作内容又は処理手段による処理内容を制御する処理制御手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
所定の通信回線を介して接続された外部機器と通信する通信手段と、
撮像手段により撮像される画像を逐次処理する処理手段と、
前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる送信制御手段と、
前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報を取得する取得手段と、
前記取得手段により取得された通信品質情報に基づいて、前記撮像手段の動作内容又は前記処理手段による処理内容を制御する処理制御手段と、
を備えたことを特徴とする撮像装置。
<請求項2>
前記処理手段は、出力画像の解像度を設定する解像度設定処理を実行し、
前記処理制御手段は、前記通信品質情報に基づいて、前記処理手段による前記解像度設定処理にて設定される解像度を変更することを特徴とする請求項1に記載の撮像装置。
<請求項3>
前記通信品質情報は、前記外部機器に送信される画像のフレームレートを含み、
前記処理制御手段は、前記フレームレートが所定値よりも小さくなった場合に、前記処理手段による前記解像度設定処理にて設定される解像度を相対的に低解像度となるように変更することを特徴とする請求項2に記載の撮像装置。
<請求項4>
前記処理手段は、前記撮像手段により撮像される画像のフレームレートを設定するフレームレート設定処理を実行し、
前記処理制御手段は、前記通信品質情報に基づいて、前記処理手段による前記フレームレート設定処理にて設定されるフレームレートを変更することを特徴とする請求項1に記載の撮像装置。
<請求項5>
前記処理手段は、出力画像の色に関連する条件を設定する色条件設定処理を実行し、
前記処理制御手段は、前記通信品質情報に基づいて、前記処理手段による前記色条件設定処理にて設定される色に関連する条件を変更することを特徴とする請求項1に記載の撮像装置。
<請求項6>
前記処理制御手段は、前記取得手段により取得された通信品質情報に基づいて、前記処理手段による処理内容を前記外部機器に送信される画像のデータ量に応じて制御することを特徴とする請求項1〜5の何れか一項に記載の撮像装置。
<請求項7>
前記処理制御手段は、前記取得手段により取得された通信品質情報に基づいて、前記処理手段による処理内容を必要な電力量に応じて制御することを特徴とする請求項1〜6に記載の撮像装置。
<請求項8>
被写体の種類を特定する特定手段を更に備え、
前記処理制御手段は、前記特定手段による特定結果に応じて、前記処理手段による処理内容を制御することを特徴とする請求項1に記載の撮像装置。
<請求項9>
前記処理制御手段は、前記特定手段により被写体としてヒトが特定された場合に、前記処理手段により被写体の輪郭部分を表した輪郭画像を生成させるように制御することを特徴とする請求項8に記載の撮像装置。
<請求項10>
前記処理手段は、出力画像の解像度を設定する解像度設定処理を実行し、
前記処理制御手段は、前記特定手段により被写体として風景が特定された場合に、前記処理手段による前記解像度設定処理にて設定される解像度を相対的に低解像度とするように制御することを特徴とする請求項8に記載の撮像装置。
<請求項11>
前記処理手段は、出力画像の色に関連する条件を設定する色条件設定処理を実行し、
前記処理制御手段は、前記特定手段により被写体として夜景が特定された場合に、前記処理手段による前記色条件設定処理にて設定される色数を相対的に少なくするように制御することを特徴とする請求項8に記載の撮像装置。
<請求項12>
所定の通信回線を介して撮像装置と接続された携帯端末であって、
前記撮像装置から送信される所定の処理が施された画像を受信する通信手段と、
前記通信手段による前記所定の通信回線を介した当該端末本体と前記撮像装置との通信の品質に係る通信品質情報を取得する取得手段と、
前記取得手段により取得された通信品質情報に基づいて、前記撮像装置の撮像に係る動作内容又は前記撮像装置の撮像手段により撮像される画像に対する処理内容を変更するための制御指示を前記通信手段により前記所定の通信回線を介して前記撮像装置に送信させる送信制御手段と、
を備えたことを特徴とする携帯端末。
<請求項13>
所定の通信回線を介して接続された外部機器と通信する通信手段と、撮像手段により撮像される画像を逐次処理する処理手段と、を備える撮像装置を用いた撮像方法であって、
前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる処理と、
前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報を取得する処理と、
取得された通信品質情報に基づいて、前記撮像手段の動作内容又は前記処理手段による処理内容を制御する処理と、
を含むことを特徴とする撮像方法。
<請求項14>
所定の通信回線を介して接続された外部機器と通信する通信手段と、撮像手段により撮像される画像を逐次処理する処理手段と、を備える撮像装置のコンピュータを、
前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる送信制御手段、
前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報を取得する取得手段、
前記取得手段により取得された通信品質情報に基づいて、前記撮像手段の動作内容又は前記処理手段による処理内容を制御する処理制御手段、
として機能させることを特徴とするプログラム。
1、301、401、501 撮像装置
101 中央制御部
103 撮像部
104 画像データ処理部
107 無線処理部
107b 通信品質取得部
108 動作制御部
108a 送信制御部
108b 処理制御部
111 被写体種類特定部
112 BTモジュール
112b 通信品質取得部
2、402 携帯端末
Claims (6)
- 所定の通信回線を介して接続された外部機器と通信する通信手段と、
撮像手段により撮像される画像を逐次処理する処理手段と、
前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる送信制御手段と、
前記逐次処理された画像を送信している通信回線に含まれる情報を、前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報として取得する取得手段と、
被写体の種類を特定する特定手段と、
前記取得手段により取得された通信品質情報に基づいて、前記撮像手段の動作内容及び前記処理手段による処理内容の少なくとも一方を制御し、更に、前記特定手段による特定結果に応じて前記処理内容を制御する処理制御手段と、
を備えたことを特徴とする撮像装置。 - 前記処理制御手段は、前記特定手段により被写体としてヒトが特定された場合に、前記処理手段により被写体の輪郭部分を表した輪郭画像を生成させるように制御することを特徴とする請求項1に記載の撮像装置。
- 前記処理手段は、出力画像の解像度を設定する解像度設定処理を実行し、
前記処理制御手段は、前記特定手段により被写体として風景が特定された場合に、前記処理手段による前記解像度設定処理にて設定される解像度を相対的に低解像度とするように制御することを特徴とする請求項1に記載の撮像装置。 - 前記処理手段は、出力画像の色に関連する条件を設定する色条件設定処理を実行し、
前記処理制御手段は、前記特定手段により被写体として夜景が特定された場合に、前記処理手段による前記色条件設定処理にて設定される色数を相対的に少なくするように制御することを特徴とする請求項1に記載の撮像装置。 - 所定の通信回線を介して接続された外部機器と通信する通信手段と、撮像手段により撮像される画像を逐次処理する処理手段と、を備える撮像装置を用いた撮像方法であって、
前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる処理と、
前記逐次処理された画像を送信している通信回線に含まれる情報を、前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報として取得する処理と、
被写体の種類を特定する処理と、
取得された通信品質情報に基づいて、前記撮像手段の動作内容及び前記処理手段による処理内容の少なくとも一方を制御し、更に、特定結果に応じて前記処理内容を制御する処理と、
を含むことを特徴とする撮像方法。 - 所定の通信回線を介して接続された外部機器と通信する通信手段と、撮像手段により撮像される画像を逐次処理する処理手段と、を備える撮像装置のコンピュータを、
前記処理手段により逐次処理された画像を前記通信手段により前記所定の通信回線を介して前記外部機器に送信させる送信制御手段、
前記逐次処理された画像を送信している通信回線に含まれる情報を、前記通信手段による前記所定の通信回線を介した前記外部機器との通信の品質に係る通信品質情報として取得する取得手段、
被写体の種類を特定する特定手段、
前記取得手段により取得された通信品質情報に基づいて、前記撮像手段の動作内容及び前記処理手段による処理内容の少なくも一方を制御し、更に、前記特定手段による特定結果に応じて前記処理内容を制御する制御する処理制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012287382A JP5692215B2 (ja) | 2012-06-15 | 2012-12-28 | 撮像装置、撮像方法及びプログラム |
| CN201310227549.XA CN103516990A (zh) | 2012-06-15 | 2013-06-08 | 摄像装置、便携式终端以及摄像方法 |
| US13/918,532 US9772680B2 (en) | 2012-06-15 | 2013-06-14 | Image pickup apparatus, portable terminal, image pickup method and storage medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012136196 | 2012-06-15 | ||
| JP2012136196 | 2012-06-15 | ||
| JP2012287382A JP5692215B2 (ja) | 2012-06-15 | 2012-12-28 | 撮像装置、撮像方法及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014017803A JP2014017803A (ja) | 2014-01-30 |
| JP2014017803A5 JP2014017803A5 (ja) | 2014-05-22 |
| JP5692215B2 true JP5692215B2 (ja) | 2015-04-01 |
Family
ID=49755542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012287382A Expired - Fee Related JP5692215B2 (ja) | 2012-06-15 | 2012-12-28 | 撮像装置、撮像方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9772680B2 (ja) |
| JP (1) | JP5692215B2 (ja) |
| CN (1) | CN103516990A (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102072731B1 (ko) * | 2012-12-18 | 2020-02-04 | 삼성전자주식회사 | 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 |
| JP6112903B2 (ja) * | 2013-02-22 | 2017-04-12 | キヤノン株式会社 | 通信装置、通信装置の制御方法、コンピュータプログラム |
| KR101488666B1 (ko) * | 2014-01-28 | 2015-02-04 | 서울대학교산학협력단 | 무선 통신 시스템에서의 데이터 신호 송신 방법 및 데이터 신호 수신 방법 |
| WO2016013119A1 (ja) * | 2014-07-25 | 2016-01-28 | キヤノン株式会社 | 通信装置、通信装置の制御方法、プログラム |
| US20180064335A1 (en) * | 2014-11-18 | 2018-03-08 | Elwha Llc | Retinal imager device and system with edge processing |
| US10609270B2 (en) | 2014-11-18 | 2020-03-31 | The Invention Science Fund Ii, Llc | Devices, methods and systems for visual imaging arrays |
| JP2017079392A (ja) * | 2015-10-20 | 2017-04-27 | 株式会社レイトロン | 無線撮影システムおよび撮影装置 |
| WO2017169362A1 (ja) * | 2016-03-31 | 2017-10-05 | 日立マクセル株式会社 | カメラ付携帯情報端末装置 |
| US10979744B2 (en) * | 2017-11-03 | 2021-04-13 | Nvidia Corporation | Method and system for low latency high frame rate streaming |
| DE112018007886B4 (de) | 2018-09-13 | 2023-05-17 | Mitsubishi Electric Corporation | Fahrzeuginnenüberwachung-Informationserzeugung-Steuervorrichtung und Fahrzeuginnenüberwachung-Informationserzeugung-Steuerverfahren |
| JP7280698B2 (ja) * | 2019-01-11 | 2023-05-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| JP2021016063A (ja) * | 2019-07-11 | 2021-02-12 | パナソニックIpマネジメント株式会社 | 撮像装置、電子端末及び撮像システム |
| US20230239777A1 (en) * | 2019-12-24 | 2023-07-27 | Sony Group Corporation | Imaging device, method for controlling imaging device, control program, information processing device, method for controlling information processing device, and control program |
| CN118074828B (zh) * | 2022-11-22 | 2025-08-22 | 荣耀终端股份有限公司 | 一种帧率控制方法及相关装置 |
| EP4546803A4 (en) * | 2023-08-30 | 2025-08-27 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE AND ITS DATA TRANSMISSION METHOD |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3669413B2 (ja) * | 1999-05-17 | 2005-07-06 | 日本電気株式会社 | 画像表示用アダプタを備えた移動端末と回線品質変化対応方法 |
| JP2001359108A (ja) * | 2000-06-15 | 2001-12-26 | Fuji Photo Film Co Ltd | 携帯型撮像装置およびその動作制御方法 |
| US7304665B2 (en) * | 2001-03-21 | 2007-12-04 | Canon Kabushiki Kaisha | Image transfer system and display method in which a stored image is transferred to an image display device |
| JP3886109B2 (ja) * | 2001-03-21 | 2007-02-28 | キヤノン株式会社 | 携帯端末、データ表示方法、データ表示プログラムおよび記憶媒体 |
| JP2003224588A (ja) * | 2002-01-30 | 2003-08-08 | Nippon Telegr & Teleph Corp <Ntt> | 通信品質制御方法 |
| JP2005260641A (ja) * | 2004-03-12 | 2005-09-22 | Matsushita Electric Ind Co Ltd | 移動型カメラシステムおよびその制御方法 |
| JP4317540B2 (ja) * | 2005-08-30 | 2009-08-19 | 日本電信電話株式会社 | 映像品質推定装置、方法およびプログラム |
| JP4743856B2 (ja) * | 2005-09-13 | 2011-08-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2007081837A (ja) * | 2005-09-14 | 2007-03-29 | Aruze Corp | テレビ会議端末装置、テレビ会議システム、及びテレビ会議方法 |
| US7702821B2 (en) * | 2005-09-15 | 2010-04-20 | Eye-Fi, Inc. | Content-aware digital media storage device and methods of using the same |
| US8135443B2 (en) * | 2006-08-31 | 2012-03-13 | Qualcomm Incorporated | Portable device with priority based power savings control and method thereof |
| JP4692971B2 (ja) | 2006-09-25 | 2011-06-01 | 富士フイルム株式会社 | 撮影システム |
| JP2010028596A (ja) * | 2008-07-23 | 2010-02-04 | Hitachi Ltd | 撮像装置 |
| CN101895684B (zh) * | 2009-05-22 | 2012-11-28 | 奥林巴斯映像株式会社 | 摄影条件控制装置、照相机以及摄影条件控制方法 |
| CN101895683B (zh) * | 2009-05-22 | 2013-11-06 | 奥林巴斯映像株式会社 | 摄影条件控制装置及其控制方法、照相机、画质控制装置 |
| US8749630B2 (en) * | 2010-05-13 | 2014-06-10 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for automatic objects localization |
| KR101683291B1 (ko) * | 2010-05-14 | 2016-12-06 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 제어 방법 |
| JP2012004944A (ja) * | 2010-06-18 | 2012-01-05 | Nec Corp | テレビ電話装置、テレビ電話システム、テレビ電話方法及びテレビ電話制御プログラム |
| JP2012054813A (ja) * | 2010-09-02 | 2012-03-15 | Ricoh Co Ltd | 会議装置の筐体、会議装置 |
| JP5567959B2 (ja) * | 2010-09-22 | 2014-08-06 | パナソニック株式会社 | マルチキャスト配信システム、並びにそれに用いる送信機及び受信機 |
| JP2012084973A (ja) * | 2010-10-07 | 2012-04-26 | Pentax Ricoh Imaging Co Ltd | デジタルカメラ |
| US8902334B2 (en) * | 2010-10-12 | 2014-12-02 | Sony Corporation | Terminal apparatus and method for adding an effect to an image |
| WO2012120952A1 (ja) * | 2011-03-04 | 2012-09-13 | 富士フイルム株式会社 | 撮影装置及び表示制御方法 |
| US8861893B2 (en) * | 2011-09-27 | 2014-10-14 | The Boeing Company | Enhancing video using super-resolution |
| CN102368820A (zh) * | 2011-10-27 | 2012-03-07 | 东莞中山大学研究院 | 一种基于数字电视的可视对讲系统 |
-
2012
- 2012-12-28 JP JP2012287382A patent/JP5692215B2/ja not_active Expired - Fee Related
-
2013
- 2013-06-08 CN CN201310227549.XA patent/CN103516990A/zh active Pending
- 2013-06-14 US US13/918,532 patent/US9772680B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014017803A (ja) | 2014-01-30 |
| CN103516990A (zh) | 2014-01-15 |
| US20130335584A1 (en) | 2013-12-19 |
| US9772680B2 (en) | 2017-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5692215B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| US10349010B2 (en) | Imaging apparatus, electronic device and imaging system | |
| KR20190073518A (ko) | 광학 촬영 방법 및 장치 | |
| JP5642994B2 (ja) | 無線通信装置 | |
| KR102375688B1 (ko) | 촬상 장치, 촬영 시스템 및 촬영 방법 | |
| JP5838852B2 (ja) | 撮像システム、撮像装置、撮像方法及びプログラム | |
| CN115145517A (zh) | 一种投屏方法、电子设备和系统 | |
| US20180041701A1 (en) | Imaging apparatus, imaging mode control method and storage medium | |
| US20060285129A1 (en) | Image output apparatus, image input/output system, image capturing apparatus, and program | |
| KR101686155B1 (ko) | 디지털 비디오 카메라로부터 출력되는 비디오 스트림을 구성하는 방법 | |
| JP6155953B2 (ja) | 情報通信装置、情報通信システム、情報通信方法及びプログラム | |
| JP4295948B2 (ja) | 撮像システム、撮像装置および撮像方法 | |
| US20060002751A1 (en) | Printing system, printing device, imaging device, printing method and image-transmitting method | |
| CN104811605A (zh) | 摄像装置以及摄像控制方法 | |
| JP6413443B2 (ja) | 電子機器、プログラム及び通信システム | |
| US10057495B2 (en) | Display device, image display method and storage medium | |
| JP7064373B2 (ja) | 通信装置およびその制御方法、並びにプログラム | |
| JP2003169284A (ja) | 画像変換装置並びに画像変換プログラム | |
| JP6237201B2 (ja) | 撮像装置、撮像システム、撮像方法及びプログラム | |
| JP2014007691A (ja) | 撮像装置、画像送信方法及びプログラム | |
| JP2009105687A (ja) | 撮像システム | |
| JP6733717B2 (ja) | 通信装置、及び、プログラム | |
| US20120256965A1 (en) | Display control device, display control method, program, and display control system | |
| US20250301211A1 (en) | Control apparatus, control method, and storage medium | |
| JP2007097032A (ja) | 画像表示装置、画像表示方法およびディジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140409 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140409 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140409 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150119 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5692215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |