[go: up one dir, main page]

JP2018074564A - 撮像装置、その撮像方法 - Google Patents

撮像装置、その撮像方法 Download PDF

Info

Publication number
JP2018074564A
JP2018074564A JP2017136586A JP2017136586A JP2018074564A JP 2018074564 A JP2018074564 A JP 2018074564A JP 2017136586 A JP2017136586 A JP 2017136586A JP 2017136586 A JP2017136586 A JP 2017136586A JP 2018074564 A JP2018074564 A JP 2018074564A
Authority
JP
Japan
Prior art keywords
image
optical member
moving image
image sensor
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017136586A
Other languages
English (en)
Other versions
JP6942546B2 (ja
Inventor
和樹 松島
Kazuki Matsushima
和樹 松島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2018074564A publication Critical patent/JP2018074564A/ja
Application granted granted Critical
Publication of JP6942546B2 publication Critical patent/JP6942546B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B08CLEANING
    • B08BCLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B7/00Cleaning by methods not provided for in a single other subclass or a single group in this subclass
    • B08B7/02Cleaning by methods not provided for in a single other subclass or a single group in this subclass by distortion, beating, or vibration of the surface to be cleaned
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

【課題】 課題は、防塵幕の表面に付着した異物を除去するために、防塵幕に接合させた圧電素子に電圧を印加し、この圧電素子の駆動により防塵幕を光軸方向に変位させて幕振動を発生させる徐塵機能と、被写体像の映像確認を行うLV表示機能を同時実行した際に、LV表示にノイズが重畳してしまう問題である。【解決手段】 そこで、本発明の撮像装置は、制御手段は、動画像を表示している間に光学部材を振動させる場合、撮像素子に蓄積された電荷を読み出す2つの読み出し期間の間のブランキング期間に光学部材を振動させるとともに、読み出し期間に光学部材を振動させないことを特徴とする構成とした。【選択図】 図1

Description

本発明は、光学部材の表面に付着した塵埃等の異物を除去する技術を搭載した撮像装置に関するものである。
被写体の光学像を電気信号に変換して撮像するデジタルカメラ等の撮像装置では、撮影光束を撮像素子で受光する。
そして、その撮像素子から出力される光電変換信号を画像データに変換して、メモリカード等の記録媒体に記録する。
撮像素子としては、CCD(Charge Coupled Device)やCMOSセンサ(Complementary Metal Oxide Semiconductor)等が用いられる。
このような撮像装置では、撮像素子の被写体側に、光学ローパスフィルタや赤外線カットフィルタが配置される。
この場合に、撮像素子のカバーガラスやこれらフィルタの表面に塵埃等の異物が付着すると、その付着部分が黒い点となって撮影画像に写り込み、画像の見栄えが低下してしまう。
このような現象を回避するために、撮像素子の被写体側に撮影光束を透過させる防塵幕を設け、これを圧電素子で振動させることにより、防塵幕の表面に付着した塵埃等の異物を除去する技術が知られている。
一方で、近年のデジタルカメラには静止画写真だけでなく、連続的に撮像素子が露光、読み出しを行い、それを液晶モニタ等の表示装置に表示するようにした、いわゆるライブビュー表示機能がある。
LV表示機能、スルー画機能、電子ファインダ機能ともいう。
このようなカメラでは光学ファインダを廃止し、このLV表示を使うことでユーザが被写体を確認することができるようになっているものある。
これら機能を両方有したカメラもあるが、徐塵機構の多くは超音波振動を利用したものであるため、LV機能と除塵機能を同時に実行すると、LV画像が見苦しくなるという問題が発生する。
これは圧電素子へ高電圧を印加するために、昇圧トランスによって発生するノイズや、電気GNDが変動することで信号電圧が異常となるノイズがLV画を作り出す画像信号に重畳してしまうことが原因である。
そのためこの問題を避けるようとすると、徐塵機能の実行時間が限定されてしまい、十分な徐塵効果を確保できないというケースが考えられる。
このような現象を回避するために、特許文献1にはLV表示中に徐塵機能を実施する際には、動画像の表示を固定、もしくは非表示にする技術が提案されている。
特開2008−53846号公報
特許文献1に記載されている技術では、LV表示のノイズ重畳は回避できるものの、徐塵機能実行中はLV表示の画像更新が止まってしまう。
したがって、徐塵機能の能力を確保するため実行時間を長くすると、長時間LV表示の画面更新が止まってしまうことが考えられる。
しかし、この間、ユーザはリアルタイムな被写体像の確認ができず、撮影に支障をきたすという問題がある。
本発明は、上記の問題点を鑑みてなされたものであり、LV機能と除塵機能を同時実行しても、LV表示更新を止めることなく、リアルタイムかつ良好なLV映像をユーザに提供することを目的とする。
そこで、本発明では、被写体の光学像を光電変換して電荷を蓄積する撮像素子と、前記撮像素子の被写体側に配置された光学部材と、前記光学部材を振動させる振動手段と、前記撮像素子から出力される撮像信号に基づいて動画像を表示する表示手段と、前記撮像素子及び前記振動手段及び前記表示手段の駆動制御を行う制御手段と、を有する撮像装置であって、
前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記撮像素子に蓄積された電荷を読み出す2つの読み出し期間の間に前記光学部材を振動させるとともに、前記読み出し期間に前記光学部材を振動させないことを特徴とする。
本発明によれば、除塵機能とLV表示機能を同時実行した際も、リアルタイムかつ良好なLV映像をユーザに提供することできる撮像装置が提供可能となる。
本発明の実施例1、実施例2、実施例3、実施例4のデジタルカメラの正面側斜視図である。 本発明の実施例1、実施例2、実施例3のデジタルカメラの背面側斜視図である。 本発明の実施例1、実施例2、実施例3、実施例4のデジタルカメラの電気的構成を示すブロック図である。 本発明の実施例1、実施例2、実施例3、実施例4のデジタルカメラの光学部材及び撮像素子周辺の保持構造について説明するためのカメラ内部の概略構成を示す分解斜視図である。 本発明の実施例1、実施例2、実施例3、実施例4のデジタルカメラの撮像ユニットの構成を示す分解斜視図である。 本発明の実施例1、実施例2、実施例3、実施例4のデジタルカメラの振動ユニット470の構成を示す斜視図である。 図4におけるX−X線断面図である。 本発明の実施例1、実施例2、実施例4のデジタルカメラのLV表示処理タイミングと異物除去動作のタイミングを示す図である。 本発明の実施例1の異物除去動作を示すフローチャート図である。 本発明の実施例1の異物除去動作を示すタイミングチャート図である。 本発明の実施例2の異物除去動作を示すフローチャート図である。 本発明の実施例2の異物除去動作を示すタイミングチャート図である。 本発明の実施例3の印加周波数とノイズレベルの関係を示す図である。 本発明の実施例3のデジタルフカメラのLV表示処理タイミングと異物除去動作のタイミングを示す図である。 本発明の実施例3の異物除去動作を示すフローチャート図である。 本発明の実施例3の異物除去動作を示すタイミングチャート図である。 本発明の実施例4のデジタルフカメラの背面側斜視図である。 本発明の実施例4の異物除去動作を示すフローチャート図である。 本発明の実施例4の異物除去動作を示すタイミングチャート図である。
[実施例1]
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
(デジタルカメラの外観を示す図)
図1および図2は本実施形態に係るデジタルカメラの外観を示す図である。具体的には、図1はカメラ前面側より見た斜視図であって、撮影レンズユニットを外した状態を示し、図2はカメラ背面側より見た斜視図である。
図1において、1はカメラ本体であり、撮影時に使用者がカメラを安定して握り易いように前方に突出したグリップ部1aが設けられている。
2はマウント部であり、着脱可能な撮影レンズユニット(不図示)をカメラ本体に固定させる。
マウント接点21は、カメラ本体と撮影レンズユニットとの間で制御信号、状態信号、データ信号などを介在すると共に、撮影レンズユニット側に電力を供給する機能を有する。
また、マウント接点21は電気通信のみならず、光通信、音声通信などを可能なように構成してもよい。
4は撮影レンズユニットを取り外す際に押し込むレンズロック解除釦である。
カメラ上部のグリップ側には、シャッタボタン7と、撮影時の動作モードに応じてシャッタスピードやレンズ絞り値を設定するためのメイン操作ダイヤル8と、撮影系の上面動作モード設定ボタン10が配置されている。
これらの操作部材の操作結果の一部は、LCD表示パネル9に表示される。
撮影開始の起動スイッチとしてのシャッタボタン7は、第1ストロークでSW1(後述の7a)がONし、第2ストロークにてSW2(後述の7b)がONする構成となっている。
また、上面動作モード設定ボタン10は、シャッタボタン7の1回の押込みで連写になるか1コマのみの撮影となるかの設定を行う。
また、上面動作モード設定ボタン10は、セルフ撮影モードの設定などを行うものであり、LCD表示パネル9にその設定状況が表示されるようになっている。
カメラ上部中央には、カメラ本体に対してポップアップするストロボユニット11とフラッシュ取付け用のシュー溝12とフラッシュ接点13があり、カメラ上部右よりには撮影モード設定ダイヤル14が配置されている。
グリップに対して反対側の側面には、開閉可能な外部端子蓋15が設けられている。
この外部端子蓋15を開けた内部には、外部インタフェースとしてビデオ信号出力用ジャック16とUSB出力用コネクタ17が納められている。
図2において、カメラ背面側には画像表示可能なカラー液晶モニタ19が設けられている。
カラー液晶モニタ19は後述のライブビュー(LV)表示モードで撮像素子33が受光した撮影光束から出力される動画像を表示することができ、ユーザはこの動画像で被写体を確認し撮影を行う。
カラー液晶モニタ19の横に配置されたサブ操作ダイヤル20は、メイン操作ダイヤル8の機能の補助的役割を担う。
例えば、カメラのAEモードでは自動露出装置により算出された適正露出値に対する露出補正量を設定するために使用される。
あるいは、シャッタスピードとレンズ絞り値の各々を使用者の意志によって設定するマニュアルモードにおいて、メイン操作ダイヤル8でシャッタスピードを設定する。
そして、サブ操作ダイヤル20でレンズ絞り値を設定するように使用される。
また、このサブ操作ダイヤル20は、カラー液晶モニタ19に表示される撮影済み画像の表示選択にも用いられる。
43はカメラの動作を起動もしくは停止するためのメインスイッチである。
(デジタルカメラの主要な電気的構成を示すブロック図)
図3は、本実施の形態に係るデジタルカメラの主要な電気的構成を示すブロック図である。なお、前述の図面と共通する部分は同じ記号で示している。
50は撮影光軸である。
100はカメラ本体に内蔵されたマイクロコンピュータの中央処理装置(以下、MPUという)である。
MPU100は、カメラの動作制御を司るものであり、各要素に対して様々な処理や指示を実行する。
100aはMPU100に内蔵されたEEPROMであり、時刻計測回路109の計時情報やその他の情報を随時記憶可能であるほか、
MPU100には、シャッタ駆動回路103、映像信号処理回路104、スイッチセンス回路105、が接続されている。
また、LCD駆動回路107、バッテリチェック回路108、時刻計測回路109、電源供給回路110、圧電素子駆動回路111、撮像制御回路112、についても接続されている。これらの回路はMPUの制御により動作するものである。
また、MPU100は、撮影レンズユニット内に配置されたレンズ制御回路201と、マウント接点21を介して通信を行う。
マウント接点21は撮影レンズユニットが接続されるとMPU100へ信号を送信する機能も備えている。
これにより、レンズ制御回路201は、MPU100との間で通信を行い、撮影レンズユニット内の撮影レンズ200および絞り204の駆動を、AF駆動回路202および絞り駆動回路203を介して行うことが可能となる。
なお、本実施形態では便宜上1枚の撮影レンズで示しているが、実際は多数のレンズ群により構成されている。
AF駆動回路202は、ステッピングモータによって構成され、レンズ制御回路201の制御によって撮影レンズ200内のフォーカスレンズ位置を変化させることにより、被写体フォーカスを調整する。
MPU100は撮像素子33が受光した撮影光束から、デフォーカス量およびデフォーカス方向を求める。
求められた情報に基づきレンズ制御回路201およびAF駆動回路202を介して、撮影レンズ200内のフォーカスレンズを合焦位置まで駆動する。
203は絞り駆動回路であり、たとえばオートアイリスなどによって構成され、レンズ制御回路201によって絞り204を変化させ、光学的な絞り値を得るように構成されている。
32は、機械フォーカルプレーンシャッタであり、LV表示中は開放状態となり、撮影光束を撮像素子33へ導く。
また、撮像時にはレリーズ信号に応じて、不図示の先羽根群と後羽根群の走行する時間差により所望の露光時間を得るように構成されている。
フォーカルプレーンシャッタ32は、MPU100の指令を受けたシャッタ駆動回路103によって制御される。
33は撮像素子で、本実施例においては撮像デバイスであるCMOSが用いられる。
撮像デバイスには、CCD型、CMOS型およびCID型など様々な形態があり、何れの形態の撮像デバイスを採用してもよい。
CMOSセンサは、水平ライン毎に時間をずらしながら順次電荷の蓄積と読み出しを行う。
34はクランプ/CDS(相関二重サンプリング)回路であり、A/D変換する前の基本的なアナログ処理を行うとともに、クランプレベルの変更も可能である。
35はAGC(自動利得調整装置)であり、A/D変換する前の基本的なアナログ処理を行うとともに、AGC基本レベルの変更も可能である。
36はA/D変換器であり、撮像素子33のアナログ出力信号をデジタル信号に変換する。
410は高い空間周波数を取り除く矩形の赤外線カットフィルタで、後述するように異物の付着を防止するために、導電性を有するように表面がコーティングされている。
420は光学ローパスフィルタで、水晶からなる複屈折板および位相板を複数枚貼り合わせて積層されている。
光学ローパスフィルタ420は、撮像素子33に入射される光束を複数に分離し、偽解像信号や偽色信号の発生を効果的に低減させる。
111は圧電素子駆動回路であり、赤外線カットフィルタ410に固着された圧電素子430を振動させる回路である。
MPU100の指示に従って、圧電素子430を振動させ赤外線カットフィルタ410に振動振幅を発生させる。なお、圧電素子430の駆動の仕方については後述する。
400は、赤外線カットフィルタ410、圧電素子430、撮像素子33と後述する他の部品と共にユニット化された撮像ユニットであり、詳細な構成については後述する。
112は撮像制御回路であり、MPU100の指示に従って、撮像素子33の電荷蓄積と読み出しを制御する。
104は映像信号処理回路であり、デジタル化された画像データに対してガンマ/ニー処理、フィルタ処理、モニタ表示用の情報合成処理など、ハードウエアによる画像処理全般を実行する。
37はバッファメモリであり、映像信号処理回路104からのモニタ表示用の動画像・静止画像データは、バッファメモリ37に一時格納されたのち、カラー液晶駆動回路114を介してカラー液晶モニタ19に表示される。
LV表示機能は、MPU100の指示に従って、撮像制御回路112が撮像素子33から動画フレームレートに応じた時間間隔で順次、電荷蓄積と読み出しを行う。
そして、ランプ/CDS34、AGC35、A/D変換器36、映像信号処理回路104を介してバッファメモリ37に一次保存する。
そして、カラー液晶駆動回路114は、バッファメモリ37から読みだした映像をフレームレートに応じた更新間隔で連続的にカラー液晶モニタ19に表示する事によって行われる。
また、映像信号処理回路104は、JPEGなどの画像データ圧縮処理を行う機能も有している。
連写撮影など連続して撮影が行われる場合は、一旦バッファメモリ37に画像データを格納し、メモリコントローラ38を通して未処理の画像データを順次読み出すことも可能である。
これにより映像信号処理回路104は、A/D変換器36から入力されてくる画像データの速度に関わらず、画像処理や圧縮処理を順次行うことが可能となる。
外部インタフェース40は、図1におけるビデオ信号出力用ジャック16およびUSB出力用コネクタ17が相当する。
メモリコントローラ38は、外部インタフェース40から入力される画像データをメモリ39に記憶することや、メモリ39に記憶されている画像データを外部インタフェース40から出力する機能についても有する。
なお、メモリ39は、カメラ本体に対して着脱可能なフラッシュメモリなどである。
電力供給回路110は、クリーニングモードに必要な電力を、カメラ本体1の各部へ必要に応じて供給を行う。
また、これに並行して電源42の電池残量を検出して、その結果をMPU100へ送信する。
MPU100は、クリーニングモード開始の信号を受け取ると、シャッタ駆動回路103を介してフォーカルプレーンシャッタ32を撮影光束から退避する位置へ駆動する。
このクリーニングモードにおいて使用者は、綿棒、シルボン紙、ゴムなどを用いて赤外線カットフィルタ410上の異物を直接クリーニングすることが可能となる。
105はスイッチセンス回路であり、各スイッチの操作状態に応じて入力信号をMPU100に送信する。
7aは、レリーズボタン7の第1ストロークによりオンするスイッチSW1である。7bは、レリーズボタン7の第2ストロークによりオンするスイッチSW2である。
スイッチSW2がオンされると、撮影開始の指示がMPU100に送信される。また、メイン操作ダイヤル8、サブ操作ダイヤル20、撮影モード設定ダイヤル14、メインスイッチ43。
107はLCD駆動回路であり、MPU100の指示に従って、LCD表示パネル9を駆動する。
108はバッテリチェック回路であり、MPU100からの信号に従って、所定時間バッテリチェックを行い、その検出出力をMPU100へ送る。
42は電源部であり、カメラの各要素に対して、必要な電源を供給する。
109は時刻計測回路でメインスイッチ43がOFFされて次にONされるまでの時間や日付を計測し、MPU100からの指令により、計測結果をMPU100へ送信することができる。
(撮像ユニット400の保持構造)
次に、撮像ユニット400の詳細な構成について、図4〜7を用いて以下に説明する。
図4は、導電性を有するようにコーティングされた赤外線カットフィルタ410及び撮像素子33周辺の保持構造について説明するための、カメラ内部の概略構成を示す分解斜視図である。
カメラ本体の骨格となる本体シャーシ300の被写体側には、被写体側に、シャッタユニット32が配設され、撮影者側には撮像ユニット400が配設されている。
特に、撮像ユニット400は、撮影レンズユニットが取り付けられる基準となるマウント2の取付け面に撮像素子33の撮像面が所定の距離かつ平行になるように、調整されて固定される。
(撮像ユニット400の斜視図)
図5は、撮像ユニット400の構成を示す斜視図である。撮像ユニット400は、振動ユニット470と撮像素子ユニット500、及び弾性部材450によって構成されている。
撮像素子ユニット500は、撮像素子33と撮像素子保持部材510、回路基板520、シールドケース530、光学ローパスフィルタ420、遮光部材540、光学ローパスフィルタ保持部材550により構成されている。
撮像素子保持部材510は金属などによって形成され、位置決めピン510aとビス穴510b、ビス穴510cが設けられている。
回路基板520は、撮像系の電気回路が実装され、ビス用の逃げ穴520aが設けられている。
シールドケース530は金属などによって形成され、ビス用の逃げ穴530aが設けられている。
回路基板520とシールドケース530は、ビス用の逃げ穴520aとビス用の逃げ穴530a、ビス穴510bを用いている。
そして、回路基板520とシールドケース530は、撮像素子保持部材510にビスで係止され、シールドケース530は電気回路を静電気などから保護するため回路上の接地電位に接続される。
遮光部材540は、撮像素子33の光電変換面の有効領域に対応した開口が形成され、被写体側と撮影者側とに両面テープが固着されている。
光学ローパスフィルタ保持部材550は、遮光部材540の両面テープにより撮像素子33のカバーガラス33a(図7を参照)に固着される。
光学ローパスフィルタ420は、光学ローパスフィルタ保持部材550の開口箇所にて位置決めされ、遮光部材540に両面テープで固定保持される。
振動ユニット470は、位置決め穴460aと位置決めピン510aを用いて撮像素子ユニット500に対して位置決めされる。
振動ユニット470は、ビス用の逃げ穴460bとビス穴510cを用い、弾性部材450を挟み込んで撮像素子ユニット500にビスで係止される。
これにより、赤外線カットフィルタ410の表面に帯電した電気は、保持部材460と撮像素子保持部材510、シールドケース530を介して回路基板520へ逃がすことができ、異物の付着を防止できる。
弾性部材450は、ゴムなどの軟質材で形成され、赤外線カットフィルタ410の振動吸収部としての役割を有するとともに、後述するように赤外線カットフィルタ410と光学ローパスフィルタ420の密閉空間を形成する。
なお、弾性部材450は、赤外線カットフィルタ410の振動吸収性を高めるために、厚い部材または硬度が低い部材で構成すること、および赤外線カットフィルタ410の振動の節部に当接することが望ましい。
(振動ユニット470の斜視図)
図6は、振動ユニット470の詳細な構成を示す斜視図である。振動ユニット470は、少なくとも赤外線カットフィルタ410と、圧電素子430、保持部材460により構成されている。
保持部材460は、金属などの弾性を有した材料によって単一部品として形成され、位置決め穴460aとビス用の逃げ穴460bが設けられている。
また、保持部材460の保持面460c(図5を参照)は赤外線カットフィルタ410に対して振動の節部を含む四隅付近に導電性の接着剤などの手段によって固着されている。
そして、平面部460dは赤外線カットフィルタ410の振動に平行な光軸方向に折り曲げられている。
圧電素子430は、矩形の赤外線カットフィルタ410の端部に接着などの手段によって固着される。本実施形態においては、赤外線カットフィルタ410の両端に合計2枚の同一形状の圧電素子を固着している。
図7は、撮像ユニット400の一部で、図4のX−X線に沿う断面図である。遮光部材540の被写体側の面は光学ローパスフィルタ420と当接し、撮影者側の面は撮像素子33のカバーガラス33cと当接する。
遮光部材540の被写体側と撮影者側には両面テープが固着されており、光学ローパスフィルタ420は遮光部材540の両面テープにより撮像素子33のカバーガラス33cに固定保持されている。
これにより、光学ローパスフィルタ420と撮像素子33のカバーガラス33aとの間は遮光部材540によって封止され、塵埃等の異物の侵入を防ぐ密閉空間が形成されている。
また、弾性部材450の被写体側の面は、赤外線カットフィルタ410と当接し、撮影者側の面は光学ローパスフィルタ420と当接する。
振動ユニット470は、保持部材460のバネ性によって撮像ユニット500側へと付勢されているので、弾性部材450と赤外フィルタ410は隙間無く密着し、弾性部材450と光学ローパスフィルタ420も同様に隙間無く密着している。
これにより、赤外線カットフィルタ410と光学ローパスフィルタ420との間は弾性部材450によって封止され、塵埃等の異物の侵入を防ぐ密閉空間が形成されている。
(振動ユニット470の異物除去動作)
次に、振動ユニット470の異物除去動作について説明する。
赤外線カットフィルタ410に固着された圧電素子430にMPU100の制御に従って圧電素子駆動回路111が所定の周波数の電圧を印加する。
そうすると、圧電素子430は光軸と直角方向に伸縮し、赤外線カットフィルタ410を屈曲振動させる。
印加する電圧の周波数は、赤外線カットフィルタ410の固有モードの共振周波数近傍帯で周波数掃引を行うと振動効率よくすることができる。
通常、このように異物除去動作を行うが、先に述べたようにLV表示機能が実行されている際にはLV表示映像にノイズが重畳してしまう。
これは、撮像素子33の撮像信号読み出しと、圧電素子430への電圧印加が同時に起こるためである。
そして、印加によって発生した高圧トランスノイズやGND変動ノイズが撮像素子33から映像信号処理回路104を通る撮像信号に重畳してしまうためである。
そのため、撮像素子33の信号読み出しタイミングを避けて異物除去動作を実行すれば、LV表示へノイズ影響を出さず異物除去動作を同時実行可能となる。
(異物除去動作のタイミング)
図8は、LV表示の撮像素子33の蓄積及び読み出しと、異物除去動作のタイミングに関して説明するための図である。
図8(a)は撮像素子33の受光領域801を表しており、撮影レンズ200を介して結像された被写体像(上下、左右逆)のイメージをオーバーラップして示している。
図8(b)は、撮像素子33の蓄積、読み出し時のタイミングチャートを表している。ラインAが蓄積開始、ラインBが蓄積終了、ラインCが1行分データの読み出し終了を示している。従って、ラインA〜Bの間が蓄積期間であり、ラインB〜Cの間が読み出し期間を示している。
時刻t0にて、撮像素子33の一番上のラインの蓄積を開始し、時刻t1で蓄積を終了すると共に続いて画素信号の読み出しを開始し、A/D変換器36にて1画素ずつ撮像素子33の1ライン分の画像データをデジタル信号に変換しながら読み出す。
時刻t2で1ライン分の全ての画素の読み出しが終了する。これらの動作が各ラインに毎に同時連続的に行われていき、時刻t3にて最後のラインの画素の読み出しを終了する。
これらの処理でLV画像1フレーム分の撮像信号の蓄積と読み出しが完了する。
LV表示はこの蓄積〜読み出しを動画フレームレートに応じた時間で繰り返すことで行われる。
なお、LV表示においては全画素ラインを全て読み出す事は時間の観点から難しい。
例えば、動画フレームレート30fpsの場合、撮像素子33の縦方向に、例えば1/3、横方向に、例えば1/3に間引いて読み出しを行い、1画面を読み出すためにかかる読み出し時間を短縮している。
図8(c)は、異物除去動作の駆動状態を表しており、太線(t0〜t1)が駆動状態、細線(t1〜t3)が非駆動状態である。
つまり、先述の撮像素子33の全読み出しライン分の時間(t1〜t3)は圧電素子430への電圧印加を停止して、それ以外の時間で駆動を行うことを示している。
なお、以下では、この1フレームの撮像素子33の全読み出しライン分の時間(t1〜t3)と次の1フレームの撮像素子33の全読み出しライン分の時間(t1〜t3)の間の期間を、ブランキング期間と称する。
このように、撮像素子33からの信号読み出しタイミングを避けたブランキング期間に異物除去動動作を行うことにより、LV表示映像にノイズを乗せることなく、LV表示機能と除塵機能の同時実行を可能としている。
なお、本発明における動画フレームレートに基づくカラー液晶モニタ19の画面更新のタイミングは、撮像素子33と異物除去機能動作のタイミング制御への影響を避けるため、異物除去動作中に行われるものとする。
(異物除去動作の手順)
本実施例のデジタルカメラの異物除去動作の手順を図9のフローチャートを用いて説明する。
まず、カメラ本体1に備えられたメインスイッチ43が押下されると、MPU100は、カメラ本体1の電源をオンにし、カメラ本体1を起動する(ステップS601)。
次に、MPU100は、カメラ本体1の起動時の初期手続きを行う(ステップS602)。
この初期手続きとは、電源電圧レベルやカメラ本体1に備えられたSW系の異常の確認、記録メディアの有無の確認、レンズの装着の確認、及び撮影のための初期設定等であり、約40ms時間行われる。
ここで、初期手続きと同時に、所定のパラメーターを用いた異物除去動作が開始される(ステップS603)。
本実施例では、所定のパラメーターを印可電圧20Vpp、周波数帯50kHz〜40kHz、駆動時間100msとする。
40msの初期手続きが完了すると、次にMPU100はカラー液晶モニタ18に被写体像を写し、LV表示を開始し、撮影待機状態になる(ステップS604)。
ここでのLV表示パラメーターは、フレームレート30fps、1画面に対する撮像素子33の読み出しライン数は1/3に間引くとする。
ここでは、まだ、ステップS603で開始した異物除去動作は40msしか行われておらず駆動途中であるためLV表示開始後は同時駆動となる。
そのため、ステップS604でMPU100は異物除去動作をLV表示との同時駆動制御に切り替える。
こうして、所定の時間(本実施例においては100ms)、動作を行った後、異物除去動作は終了する(ステップS605)。
なお、ステップS604からカメラ本体1は撮影待機状態になるため、撮影指示(ユーザによるシャッタボタン7の押圧)があった場合、MPU100は異物除去動作を直ちに終了し、撮影動作を実行する。
(タイミングチャート)
次に、図10のタイミングチャートを用いて詳細に図9ステップS601〜S605における、各動作のタイミングを説明する。
図10のチャートは、横方向が時間軸であり左から右へ進み、縦軸には各種動作のオンオフ状態を上ライン(オン)、下ライン(オフ)であらわしている。
901はカメラ本体1の初期手続き動作。902は異物除去動作である。
903は撮像信号読み出し動作であり、オン1回が前述の図8にて説明したLV画像1フレーム分の読み出しとなり(図8(b)t1〜t3)、各LV画像フレームをF1〜F6の番号で示している。
なお、本実施例では、LV画像1フレーム・1画面に対する撮像素子33の読み出しライン数は1/3間引きで行い、1画面の読み出しに13msの時間がかかるとする。
904は、カラー液晶モニタ19に表示されるLV表示動作を示しており、おおよその表示画像更新タイミングごとに区切り線を入れ、各区間をF1´〜F5´の番号で示している。
F1´〜F5´はそれぞれLV画像フレームF1〜F5に対応しており、各区間のあいだ対応したLV画像フレームがカラー液晶モニタ19に表示される。
905は特定のタイミングをp0〜p4でp0からのおおよその経過時間とともに示している。
チャートを時間軸に沿って説明する。
まず、p0はメインスイッチ43が押下されカメラ本体1が起動したタイミングであり、初期手続き動作901と異物除去動作902がオン状態となる、図9でのステップS601〜S602に相当する。
次に、p1は初期手続きが完了しLV表示が始まるタイミングを表しており、図9ではステップS604に相当する。
初期手続き動作901はオフ、LV表示動作のためにまず撮像信号読み出し動作903がオン、除去動作902はオフとなる。
ここで、撮像信号読み出し動作903はLV表示の最初の画像1フレーム(F1)の撮像信号を読み出す、それとともに除去動作902がオフとなるのはLV表示動作と同時駆動となったためである。
次に、p2はLV画像1フレーム(F1)を構成する撮像信号読み出しが完了するタイミングを表しており、撮像信号読み出し動作903はオフ、LV液晶表示904と除去動作902はオンとなる。
カラー液晶モニタ19には先ほど読み出したLV画像フレーム(F1)が表示される。より詳細にp2の動作シーケンスを説明すると、撮像信号読み出し動作903オフ、除去動作902オン、LV液晶表示904オンの順となる。
次に、p3は次のLV表示画像(F2)を取得するため、再度撮像信号読み出し動作が始まるタイミングであり、撮像信号読み出し動作903はオン、除去動作902はオフとなる。
p3以後はp1〜p3と同じプロセスが繰り返され、LV表示と除去動作が同時駆動していく。図8(c)のタイミングでは、(t3−t1=p2−p1,t1−t0=p3−p2)となる。
次に、p4は除去動作の完了タイミングを表しており、除去動作902はオフとなる。図9ではステップS605に相当する。以後は撮影待機状態を表している。
本実施例では、制御手段は、動画像を表示している間に光学部材を振動させる場合、撮像素子に蓄積された電荷を読み出す2つの読み出し期間の間のブランキング期間に光学部材を振動させるとともに、読み出し期間に光学部材を振動させない構成とした。
本実施例では、制御手段は、光学部材の振動と動画像の表示を同時に行う場合、表示手段の動画像のフレームの更新を、光学部材の振動中に行う。
以上述べたように、本実施例によれば、LV機能と除塵機能を同時実行しても、LV表示映像にノイズをのせることなく、リアルタイムかつ良好なLV映像を提供することが可能となる。
また、本実施例では、赤外線カットフィルタ410に屈曲振動を励起する構成としたが、複屈折板、位相板及び赤外線カットフィルタの貼り合わせによって構成される光学ローパスフィルタや複屈折板もしくは位相板単体に屈曲振動を励起させる構成にしてもよい。
[実施例2]
本実施例のデジタルカメラの異物除去動作の手順を図11のフローチャートを用いて説明する。
本実施例のカメラ本体および交換レンズの構成は、実施例1と同様であり、本実施例において、実施例1と共通する構成要素には実施例1と同符号を付す。
また、図7〜図8を使って説明した異物除去動作は、実施例1と同じであるので説明は割愛する。
まず、カメラ本体1に備えられたメインスイッチ43が押下されると、MPU100は、カメラ本体1の電源をオンにし、カメラ本体1を起動する(ステップS951)。
次に、MPU100は、カメラ本体1の起動時の初期手続きを行う(ステップS952)。
この初期手続きとは、電源電圧レベルやカメラ本体1に備えられたSW系の異常の確認、記録メディアの有無の確認、レンズの装着の確認、及び撮影のための初期設定等であり、約40ms時間行われる。
ここで初期手続きと同時に、所定のパラメーターαを用いた異物除去動作が開始される(ステップS953)。
本実施例では、所定のパラメーターαを印可電圧20Vpp、周波数帯50kHz〜40kHz、駆動時間40msとする。
異物除去動作が完了するとともに、初期手続きも完了して、次にMPU100はカラー液晶モニタ18に被写体像を写し、LV表示を開始して撮影待機状態になる(ステップS954)。
ここでのLV表示パラメーターは、フレームレート15fps、1画面に対する撮像素子33の読み出しライン数は1/5に間引くとする。
次に、MPU100は所定のパラメーターβを用いて異物除去動作を実行する(ステップS955)。
本実施例では所定のパラメーターβを印可電圧30Vpp、周波数帯80kHz〜70kHz、駆動時間180msとする。
この異物除去のパラメーターを変更する意図を説明する。
本実施例におけるデジタルカメラのように、被写体像をLV表示によって確認するカメラにおいては、素早く撮影待機状態にするため、カメラ起動〜LV表示までの時間を可能な限り早めるのが通常である。
そのため、本実施例でのステップS953に相当する、カメラ起動〜LV表示開始までの間の時間は短くなり、この間の異物除去動作では十分な除塵効果を出せないケースがある。
そこで、本実施例においては撮影待機状態に入ったのちにも、さらなる除塵効果を出すために、新たなパラメーターで異物除去動作をおこなっている。
図11の説明に戻る。ステップ955で開始した異物除去動作が終了すると、次にMPU100はLV表示パラメーターを、フレームレート30fps、1画面に対する撮像素子33の読み出しライン数は1/3に間引くように変更する。
これによりステップS957以降のLV表示映像は、ステップS955時と比較して、より動画フレーム1画面に対する画素も多く、また動画フレームレートも高く滑らかな映像になる。
つまり、ステップS955では、異物除去動作を優先するために粗い表示設定でLV表示を実施し、異物除去動作終了後のステップS957ではLV表示に最適な設定にするということである。
次に図12のタイミングチャートを用いて詳細に図11ステップS952〜S957における、各動作のタイミングを説明する。
図12のチャートは横方向が時間軸であり左から右へ進み、縦軸には各カメラ動作のオンオフ状態を上ライン(オン)、下ライン(オフ)であらわしている。
1201はカメラ本体1の初期手続き動作。1202は異物除去動作である。
1203は撮像信号読み出し動作であり、オン1回が前述の図8にて説明したLV画像1フレーム分の読み出しとなり(図8(b)t1〜t3)、各LV画像フレームをF1〜F6の番号で示している。
なお、本実施例ではLV画像1フレーム・1画面に対する撮像素子33の読み出し時間は、読み出しライン数を1/3に間引く時では13ms、1/5に間引く時では7msとする。
1204はカラー液晶モニタ19に表示されるLV表示動作を示しており、おおよその表示画像更新タイミングごとに区切り線を入れ、各区間をF1´〜F5´の番号で示している。
F1´〜F5´はそれぞれLV画像フレームF1〜F5に対応しており、各区間のあいだ対応したLV画像フレームがカラー液晶モニタ19に表示される。1205は特定のタイミングをp0〜p5で、p0からのおおよその経過時間とともに示している。
チャートを時間軸に沿って説明する。
まず、p0はメインスイッチ43が押下されカメラ本体1が起動したタイミングであり、初期手続き動作1201とパラメーターαで実行される異物除去動作1202がオン状態となる、図11でのステップS952に相当する。
次に、p1は、異物除去動作および初期手続きが完了し、LV表示が始まるタイミングを表しており、図11ではステップS954〜S955に相当する。
初期手続き動作1201と除去動作1202はオフ、撮像信号読み出し動作1203はオンとなる。ここで除去動作1202はパラメーターβで開始されているが、オフ状態となるのはLV表示動作と同時駆動となったためである。
次に、p2は撮像信号読み出し動作1203がLV表示の最初の画像1フレーム(F1)の撮像信号を7msかけて読み出し終わったタイミングであり、撮像信号読み出し動作1203はオフ、LV液晶表示1204と除去動作1202はオンとなる。
カラー液晶モニタ19には先ほど読み出したLV画像フレーム(F1)が表示される。
より詳細にp2の動作シーケンスを説明すると、撮像信号読み出し動作1203オフ、除去動作1202オン、LV液晶表示1204オンの順となる。
次に、p3では、次のLV表示画像(F2)を取得するため、再度撮像信号読み出し動作1203が始まるタイミングであり、撮像信号読み出し動作1203はオン、除去動作1202はオフとなる。
p3以後は、p1〜p3と同じプロセスが繰り返され、LV表示と除去動作が同時駆動していく。図8(c)のタイミングでは、(t3−t1=p2−p1,t1−t0=p3−p2)となる。
次に、p4は、除去動作が完了したタイミングであり、図11ではステップS956〜S957に相当する。
除去動作1202はオフとなり、撮像信号読み出し1203はオンとなる。
ここで、MPU100はLV表示のパラメーターをフレームレート30fps、1画面に対する撮像素子33の読み出しライン数を1/3に間引くように変更する。
次に、p5は、画像1フレーム(F4)の撮像信号を13msかけて読み出し終わったタイミングである。
次に、p6は、次のLV表示画像(F5)を取得するため、再度撮像信号読み出し動作1203が始まるタイミングであり、p4〜p6がLV表示のフレームレートから33msとなる。p6以後は撮影待機状態を表している。
本実施例では、制御手段は、動画像を表示している間に光学部材を振動させる場合、動画像を表示している間に光学部材を振動させない場合に比べて、動画像の表示のフレームレートを下げる。
本実施例では、制御手段は、動画像を表示している間に光学部材を振動させる場合、動画像を表示している間に光学部材を振動させない場合に比べて、電荷蓄積期間を長くする。
本実施例では、制御手段は、動画像を表示している間に光学部材を振動させる場合、動画像を表示している間に光学部材を振動させない場合に比べて、読み出し期間内に読み出す読み出しライン数を減らす。
以上述べたように、本実施例によれば、LV機能と除塵機能を同時実行しても、リアルタイムかつ良好なLV映像を提供することが可能となる。
[実施例3]
本実施例のデジタルカメラの異物除去動作の手順を図13〜図16を用いて説明する。
本実施例のカメラ本体および交換レンズの構成は、実施例1と同様であり、本実施例において実施例1と共通する構成要素には実施例1と同符号を付す。
先に説明したようにLV表示機能と異物除去機能が同時実行された際にLV表示にノイズが重畳する原因は、圧電素子430への電圧印加に起因するノイズが撮像素子33からの読み出し信号に重畳してしまうことによるものである。
しかし、このとき、圧電素子430への印加電圧周波数や電圧の高低によってそのノイズレベルは変動する。
図13(a)および図13(b)のタイミングチャートを用いて異物除去動作周波数によるこのノイズレベル影響について説明する。
図13(a)は横方向が時間軸であり左から右へ進む。ライン読み出しは、撮像素子33のライン読み出しタイミングを表しており周波数は30kHzとする。
印加電圧は、圧電素子430への印加電圧の振幅をGND基準で正負の電圧変化として正弦波で表しており、周波数は63kHzとする。
1301はライン読み出しの1周期を示し、1302は圧電素子430への印加電圧1周期を表している。
「N1」〜「N1+6」は、それぞれライン読み出しタイミングで、撮像素子33の水平何ライン目の電荷が読み出されたかを示す。
1310〜1316は、それぞれ撮像素子33のライン読み出しタイミング(N1〜N1+6)でのノイズ源である圧電素子430への印加電圧状態を示す。
撮像素子33から読み出される電荷に重畳するノイズのノイズレベルは、圧電素子430への印加電圧の電圧GNDからの振幅量に依存するため、読み出しラインN1〜N1+6はそれぞれノイズ影響が異なる。
例えば、ラインN1+5は、圧電素子430への印加状態が1315で示されるようにGND付近である。そのため、ノイズの影響は小さい、一方でラインN1+2は、1312が示すように印加電圧振幅がピーク付近であるためノイズの影響が大きくなる。
つまり、撮像信号へのノイズ影響度は読み出しラインごとに、圧電素子430への印加状況によって異なることを図13(a)では示している。
次に、図13(b)を用いて圧電素子430への周波数が変化させることで、ノイズレベルが変動する事を説明する。
図13(b)において、ライン読み出しは、撮像素子33のライン読み出しタイミングを表しており周波数は30kHzとする。
印加電圧は、圧電素子430への印加電圧の振幅をGND基準で正負の電圧変化として正弦波で表しており、周波数は30kHzとする。
1321はライン読み出しの1周期を示し、1322は圧電素子430への印加電圧1周期を表している。
「N1」から「N1+6」は、それぞれライン読み出しタイミングで、撮像素子33の水平何ライン目の電荷が読み出されたかを示す。
1330から1336はそれぞれ撮像素子33のライン読み出しタイミング(N1〜N1+6)でのノイズ源である圧電素子430への印加電圧状態を示す。
先に述べたように撮像素子33の読み出し電荷に重畳するノイズのレベルは、圧電素子430への印加電圧の電圧GNDからの振幅量に依存するが、1330〜1336はいずれもGND付近である。
そのため、対応する読み出し撮像信号N1〜N1+6のラインはノイズレベルが限りなく小さいことを示している。
つまり、図13(b)で示すような印加電圧制御であれば、LV表示機能と異物除去機能を同時実行しても撮像信号のへのノイズ影響を最小限に抑えることが可能となることを表している。
なお、ここでは、撮像素子33のライン読み出し周波数と、圧電素子430の印加周波数を同一としたが、ライン読み出し周波数に対して印加周波数が整数倍の関係とすることも考えられる。
さらには、圧電素子430への印加電圧を下げることで、ノイズレベルを下げるといったことも考えられる。
しかしながら、撮像素子33のライン読み出し周波数をもとにした周波数や、低い印加電圧での異物除去動作では、十分な徐塵効果が得られないこともある。そこで本実施例における異物除去動作について図14を用いて説明する。
図14は、LV表示の撮像素子33の蓄積及び読み出しと、異物除去動作のタイミングに関して説明するための図である。
図14(a)は撮像素子33の受光領域801を表しており、撮影レンズ200を介して結像された被写体像(上下、左右逆)のイメージをオーバーラップして示している。
図14(b)は、撮像素子33の蓄積、読み出し時のタイミングチャートを表している。ラインAが蓄積開始、ラインBが蓄積終了、ラインCが1行分データの読み出し終了を示している。
従って、ラインA〜Bの間が蓄積期間であり、ラインB〜Cの間が読み出し期間を示している。
時刻t0にて、撮像素子33の一番上のラインの蓄積を開始し、時刻t1で蓄積を終了すると共に続いて画素信号の読み出しを開始し、A/D変換器36にて1画素ずつ撮像素子33の1ライン分の画像データをデジタル信号に変換しながら読み出す。
時刻t2で1ライン分の全ての画素の読み出しが終了する。これらの動作が各ラインに毎に所定の周波数タイミングで同時連続的に行われていき、時刻t3にて最後のラインの画素の読み出しを終了する。
これらの処理でLV画像1フレーム分の撮像信号の蓄積と読み出しが完了する。LV表示はこの蓄積〜読み出しを動画フレームレートに応じた時間で繰り返すことで行われる。
なお、LV表示においては全画素ラインを全て読み出す事は時間の観点から難しい。
例えば、動画フレームレート30fpsの場合、撮像素子33の縦方向に、例えば1/3、横方向に、例えば1/3に間引いて読み出しを行い、1画面を読み出すためにかかる読み出し時間を短縮している。
図14(c)は異物除去動作の駆動周波数を表しており、f1区間では周波数fαでの駆動、f2区間では周波数fβで異物除去動作を駆動することを表している。
周波数fαは異物除去動作に適した所定の周波数であり、ここでは130kHzとする。
周波数fβは撮像素子33のライン読み出し周波数に対応した周波数であり、ここでは同一の30kHzとする。
つまり、ブランキング期間(t1〜t3)は読み出し信号へのノイズを抑えるため周波数(周波数fβ)で異物除去動作を行う。それ以外の時間では異物除去動作に適した周波数(周波数fα)で駆動を行うことを示している。
このように撮像素子33からの信号読み出しタイミングとブランキング期間とで、異物除去動動作の周波数を切り替える。
それにより、LV表示映像にノイズを乗せることなく、かつ除塵能力をおとすことなく、LV表示機能と除塵機能の同時実行を可能としている。
なお、ここでは、周波数のみを変更するとしたが、周波数f1が示す区間(t0〜t1)と、周波数f2が示す区間(t1〜t3)で異物除去動作の印加電圧を変化させることも考えられる。
また、本発明における動画フレームレートに基づくカラー液晶モニタ19の画面更新のタイミングは、異物除去機能が動作と同時に行われるものとする。
本実施例のデジタルカメラの異物除去動作の手順を図15のフローチャートを用いて説明する。
まず、カメラ本体1に備えられたメインスイッチ43が押下されると、MPU100は、カメラ本体1の電源をオンにし、カメラ本体1を起動する(ステップS1501)。
次に、MPU100は、カメラ本体1の起動時の初期手続きを行う(ステップS1502)。
この初期手続きとは、電源電圧レベルやカメラ本体1に備えられたSW系の異常の確認、記録メディアの有無の確認、レンズの装着の確認、及び撮影のための初期設定等であり、約40ms時間行われる。
ここで、初期手続きと同時に、所定のパラメーターを用いた異物除去動作が開始される(ステップS1503)。
本実施例では、所定のパラメーターを印可電圧20Vpp、周波数帯130kHz〜110kHz(以後この周波数帯をfαと表記)、駆動時間100msとする。
40msの初期手続きが完了すると、次に、MPU100はカラー液晶モニタ18に被写体像を写し、LV表示を開始し、撮影待機状態になる(ステップS1504)。
ここでのLV表示パラメーターは、フレームレート30fps、1画面に対する撮像素子33の読み出しライン数は1/3に間引くとする。そして、読み出しライン周波数は30kHzとする(以後この周波数をfβと表記)。
ここでは、まだステップS1503で開始した異物除去動作は40msしか行われておらず駆動途中であるためLV表示開始後は同時駆動となる。
そのため、ステップS1504でMPU100は異物除去動作をLV表示との同時駆動制御に切り替える。
こうして、所定の時間(本実施例においては100ms)、動作を行った後、異物除去動作は終了する(ステップS1505)。
なお、ステップS1504からカメラ本体1は撮影待機状態になるため、撮影指示(ユーザによるシャッタボタン7の押圧)があった場合、MPU100は異物除去動作を直ちに終了し、撮影動作を実行する。
次に、図16のタイミングチャートを用いて詳細に図15ステップS1501〜S1505における、各動作のタイミングを説明する。
図16のチャートは横方向が時間軸であり左から右へ進み、縦軸には各種動作のオンオフ状態を上ライン(オン)、下ライン(オフ)であらわしている。
1601はカメラ本体1の初期手続き動作。1602は異物除去動作であり、fαとfβで各タイミングでの駆動周波数も表している。
1603は撮像信号読み出し動作であり、オン1回が前述の図14にて説明したLV画像1フレーム分の読み出しとなり(図14(b)t1〜t3)、各LV画像フレームをF1〜F6の番号で示している。
なお、本実施例では、LV画像1フレーム・1画面に対する撮像素子33の読み出しライン数は1/3間引きで行い、1画面の読み出しに13msの時間がかかるとする。
1604はカラー液晶モニタ19に表示されるLV表示動作を示しており、おおよその表示画像更新タイミングごとに区切り線を入れ、各区間をF1´〜F5´の番号で示している。
F1´〜F5´はそれぞれLV画像フレームF1〜F5に対応しており、各区間のあいだ対応したLV画像フレームがカラー液晶モニタ19に表示される。
1605は特定のタイミングをp0〜p4でp0からのおおよその経過時間とともに示している。
チャートを時間軸に沿って説明する。まずp0はメインスイッチ43が押下されカメラ本体1が起動したタイミングであり、初期手続き動作1601と除去動作1602がオン状態となる、図15でのステップS1501〜S1502に相当する。
次にp1は初期手続きが完了しLV表示が始まるタイミングを表しており、図15ではステップS1504に相当する。
初期手続き動作1601はオフ、LV表示動作のためにまず撮像信号読み出し動作1603がオン、除去動作1602は駆動周波数がfβとなる。ここで撮像信号読み出し動作1603はLV表示の最初の画像1フレーム(F1)の撮像信号を読み出す。
それとともに、除去動作1602の周波数が変更されるのはLV表示動作と同時駆動となったためである。
次に、p2はLV画像1フレーム(F1)を構成する撮像信号の読み出しが完了するタイミングを表している。
撮像信号読み出し動作1603はオフ、LV液晶表示1604はオン、除去動作1602の周波数はfαとなる。カラー液晶モニタ19には先ほど読み出したLV画像フレーム(F1)が表示される。
より詳細にp2の動作シーケンスを説明すると、撮像信号読み出し動作1603オフ、除去動作1602の周波数変更、LV液晶表示1604オンの順となる。
次に、p3は、次のLV表示画像(F2)を取得するため、再度撮像信号読み出し動作が始まるタイミングであり、撮像信号読み出し動作1603はオン、除去動作1602の周波数はfβとなる。
p3以後はp1〜p3と同じプロセスが繰り返され、除去動作は撮像信号読み出しのタイミングに合わせ、周波数をfαとfβで切り替えながらLV表示と同時駆動していく。
図14(c)のタイミングでは、(t3−t1=p2−p1,t1−t0=p3−p2)となる。
次にp4は除去動作の完了タイミングを表しており、除去動作1602はオフとなる。図15ではステップS1505に相当する。以後は撮影待機状態を表している。
なお、ここでは、異物除去動作の周波数を切り替えるとしたが、印加電圧を切り替えるとしてもよいし、周波数と印加電圧の両方を切り替えるとしてもよい。
さらにはより適した形態として、異物除去動作がLV表示と同時実行時とそうでないときとで、異物除去駆動パラメーター、LV表示フレームレート、撮像素子33の読み出しライン数、等を変更してもよい。
本実施例では、制御手段は、動画像を表示している間に光学部材を振動させる場合、振動手段の駆動周波数を撮像素子に蓄積された電荷を読み出す読み出し期間の読み出し周期の整数倍とする第1の駆動制御を実行する。
また、制御手段は、動画像を表示している間に光学部材を振動させる場合、振動手段の駆動電圧を所定値よりも小さくする第2の駆動制御を実行する。
第1の駆動制御及び第2の駆動制御の一方だけでなく、第1の駆動制御及び第2の駆動制御の両方を実行しても良い。
以上、述べたように、本実施例によれば、LV機能と除塵機能を同時実行しても、除塵機能の能力を落とすことなく、LV表示映像にノイズレベルを抑え、良好なLV映像を提供することが可能となる。
また、本実施例では、赤外線カットフィルタ410に屈曲振動を励起する構成とした。
但し、複屈折板、位相板及び赤外線カットフィルタの貼り合わせによって構成される光学ローパスフィルタや複屈折板もしくは位相板単体に屈曲振動を励起させる構成にしてもよい。
[実施例4]
本実施例のデジタルカメラの異物除去動作の手順を図17〜図19を用いて説明する。
本実施例において実施例1と共通する構成要素には実施例1と同符号を付す。
図17は本実施例のカメラ本体および交換レンズの構成でカメラ背面側より見た斜視図である、なおカメラ本体の正面図は図1と同一である。
カラー液晶モニタ19、サブ操作ダイヤル20、メインスイッチ43は図2と同一であるため説明は割愛する。
22は動画記録ボタンであり、動画記録の開始と終了の操作に使用される。
本実施例のデジタルカメラの異物除去動作の手順を図18のフローチャートを用いて説明する。
まず、カメラ本体1に備えられたメインスイッチ43が押下されると、MPU100は、カメラ本体1の電源をオンにし、カメラ本体1を起動する(ステップS1801)。
次に、MPU100は、カメラ本体1の起動時の初期手続きを行う(ステップS1802)。
この初期手続きとは、電源電圧レベルやカメラ本体1に備えられたSW系の異常の確認、記録メディアの有無の確認、レンズの装着の確認、及び撮影のための初期設定等である。
約40ms時間行われる。
ここで初期手続きと同時に、所定のパラメーターを用いた異物除去動作が開始される(ステップS1803)。
本実施例では所定のパラメーターを印可電圧20Vpp、周波数帯50kHz〜40kHz、駆動時間166msとする。
40msの初期手続きが完了すると、次にMPU100はカラー液晶モニタ18に被写体像を写し、LV表示を開始し、撮影待機状態になる(ステップS1804)。
ここでのLV表示パラメーターは、フレームレート30fps、1画面に対する撮像素子33の読み出しライン数は1/3に間引くとする。
MPU100はこの撮影待機状態の間に動画記録ボタン22が押下されたか否か判断する(ステップS1808)。
次に動画記録ボタン22が押下されると、MPU100はバッファメモリ37に一次保存されている動画データをメモリ39に記録し動画記録が開始される(ステップS1805)。
ここでは66msの撮影待機状態ののちに動画記録が開始されたとする。
ここではステップS1803で開始した異物除去動作は106msしか行われておらず駆動途中である。
そのため、MPU100は記録動画像にノイズが入らないよう、異物除去動作を動画記録との同時駆動制御に切り替える。
こうして所定の時間(本実施例においては166ms)、動作を行った後、異物除去動作は終了する(ステップS1806)。
そして、再び動画記録ボタン22が押下されるとMPU100は動画記録を終了する(ステップS1807)。
次に図19のタイミングチャートを用いて詳細に図18ステップS1801〜S1807における、各動作のタイミングを説明する。
図19のチャートは横方向が時間軸であり左から右へ進み、縦軸には各種動作のオンオフ状態を上ライン(オン)、下ライン(オフ)であらわしている。
1901はカメラ本体1の初期手続き動作。1902は異物除去動作である。
1903は撮像信号読み出し動作であり、オン1回が前述の図8にて説明したLV画像1フレーム分の読み出しとなり(図8(b)t1〜t3)、各LV画像フレームをF1〜F6の番号で示している。
本実施例ではこのLV画像フレームを動画記録用の動画像1フレームとしても使用する
そのため、動画像フレームと称す。動画像1フレームに対する撮像素子33の読み出しライン数は1/3間引きで行い、1画面の読み出しに13msの時間がかかるとする。
1904はカラー液晶モニタ19に表示されるLV表示動作を示しており、おおよその表示画像更新タイミングごとに区切り線を入れ、各区間をF1´〜F6´の番号で示している。
F1´〜F6´はそれぞれ動画像フレームF1〜F6に対応しており、各区間のあいだ対応した動画像フレームがカラー液晶モニタ19に表示される。
1905は動画記録動作であり、メモリ39に動画像が記録されるタイミングごとに区切り線をいれ、F3+〜F6+の番号で示している。
F3+〜F6+はそれぞれ動画像フレームフレームF3〜F6に対応している。
1906は特定のタイミングをp0〜p8でp0からのおおよその経過時間とともに示している。
チャートを時間軸に沿って説明する。
まずp0はメインスイッチ43が押下されカメラ本体1が起動したタイミングである。
初期手続き動作1901と異物除去動作1902がオン状態となる、図18でのステップS1801〜S1803に相当する。
次にp1は初期手続きが完了しLV表示が始まるタイミングを表しており、図18ではステップS1804に相当する。
初期手続き動作1901はオフ、LV表示動作のために撮像信号読み出し動作1903がオンとなる。
ここで撮像信号読み出し動作1903はLV表示の最初の動画像フレーム(F1)の撮像信号を読み出す。
次に、p2は動画像フレーム(F1)を構成する撮像信号読み出しが完了するタイミングを表しており、撮像信号読み出し動作1903はオフとなる。
カラー液晶モニタ19には先ほど読み出した動画像フレーム(F1)が表示される。
次にp3は次の動画像フレーム(F2)を取得するため、再度撮像信号読み出し動作が始まるタイミングであり、撮像信号読み出し動作1903はオンとなる。
p3以後はp1〜p3と同じプロセスが繰り返され、p4のタイミングまでLV表示と除去動作が同時駆動していく。
次にp4は動画記録の開始タイミングを表しており、図18ではステップS1805に相当する。
撮像信号読み出し動作1903と動画記録1905がオンとなるとともに、除去動作1902はオフとなる。
除去動作1902がオフとなるのは動画記録動作と同時駆動となったためである。撮像信号読み出し動作1903は動画像フレーム(F3)を読み込む。
次にp5は動画像フレーム(F3)の読み込みが終了したタイミングである。撮像信号読み出し動作1903はオフ、除去動作1902がオンとなる。
メモリ39にはLV画像フレーム(F3)が動画像1フレームとして記録される。ここで動画像フレーム(F3)は除去動作オフ状態で読込んだ画像である。
そのため、動画像フレーム(F1、F2)とは違いノイズのない動画像ということになる。
次にp6は次の動画像フレーム(F4)を取得する。
そのため、再度撮像信号読み出し動作が始まるタイミングであり、撮像信号読み出し動作1903はオン、除去動作1902がオフとなる。
p6以後はp4〜p6と同じプロセスが繰り返され、動画記録、除去動作、LV表示が同時駆動していく。
次にp7は除去動作の完了タイミングを表しており、図18ではステップS1806に相当する。
除去動作1902はオフ、撮像信号読み出し動作1903はオンとなる。
次にp8は次の動画像フレーム(F6)の読み出し、LV表示の動画像フレーム更新、動画像フレーム(F6)の記録が完了したタイミングである。
以後は不図示であるがp7〜p8の動作が、図18のステップS1807に相当する動画記録終了まで続く。
以上述べたように本実施例によれば動画記録機能と除塵機能を同時実行しても、動画像にノイズをのせることなく、良好な動画像を記録することが可能となる。
また本実施例では、赤外線カットフィルタ410に屈曲振動を励起する構成とした。
しかしながら、複屈折板、位相板及び赤外線カットフィルタの貼り合わせによって構成される光学ローパスフィルタや複屈折板もしくは位相板単体に屈曲振動を励起させる構成にしてもよい。
1 カメラ本体
2 マウント部
19 カラー液晶モニタ
32 シャッタユニット
33 撮像素子
100 中央処理装置
111 圧電素子駆動回路
112 撮像制御回路
300 本体シャーシ
400 撮像ユニット
410 赤外線カットフィルタ
420 光学ローパスフィルタ
430 圧電素子
450 弾性部材
460 保持部材
470 振動ユニット
500 撮像素子ユニット
510 撮像素子保持部材

Claims (13)

  1. 被写体の光学像を光電変換して電荷を蓄積する撮像素子と、前記撮像素子の被写体側に配置された光学部材と、前記光学部材を振動させる振動手段と、前記撮像素子から出力される撮像信号に基づいて動画像を表示する表示手段と、前記撮像素子及び前記振動手段及び前記表示手段の駆動制御を行う制御手段と、を有する撮像装置であって、
    前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記撮像素子に蓄積された電荷を読み出す2つの読み出し期間の間に前記光学部材を振動させるとともに、前記読み出し期間に前記光学部材を振動させないことを特徴とする撮像装置。
  2. 前記制御手段は、前記光学部材の振動と前記動画像の表示を同時に行う場合、前記表示手段の動画像のフレームの更新を、前記光学部材の振動中に行う請求項1に記載の撮像装置。
  3. 前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記動画像を表示している間に前記光学部材を振動させない場合に比べて、前記動画像の表示のフレームレートを下げる請求項1又は2に記載の撮像装置。
  4. 前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記動画像を表示している間に前記光学部材を振動させない場合に比べて、前記電荷蓄積期間を長くする請求項1乃至3の何れか一項に記載の撮像装置。
  5. 前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記動画像を表示している間に前記光学部材を振動させない場合に比べて、前記読み出し期間内に読み出す読み出しライン数を減らす請求項1乃至4の何れか一項に記載の撮像装置。
  6. 被写体の光学像を光電変換して電荷を蓄積する撮像素子と、前記撮像素子の被写体側に配置された光学部材と、前記光学部材を振動させる振動手段と、前記撮像素子から出力される撮像信号に基づいて動画像を表示する表示手段と、前記撮像素子及び前記振動手段及び前記表示手段の駆動制御を行う制御手段と、を有する撮像装置であって、
    前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、
    前記振動手段の駆動周波数を前記撮像素子に蓄積された電荷を読み出す読み出し期間の読み出し周期の整数倍とする駆動制御、及び、
    前記振動手段の駆動電圧を所定値よりも小さくする駆動制御の少なくとも1つを実行することを特徴とする撮像装置。
  7. 前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記動画像を表示している間に前記光学部材を振動させない場合に比べて、前記動画像の表示のフレームレートを下げる請求項6に記載の撮像装置。
  8. 前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記動画像を表示している間に前記光学部材を振動させない場合に比べて、前記電荷蓄積期間を長くする請求項6又は7に記載の撮像装置。
  9. 前記制御手段は、前記動画像を表示している間に前記光学部材を振動させる場合、前記動画像を表示している間に前記光学部材を振動させない場合に比べて、前記読み出し期間内に読み出す読み出しライン数を減らす請求項6乃至8の何れか一項に記載の撮像装置。
  10. 被写体の光学像を光電変換して電荷を蓄積する撮像素子と、前記撮像素子の被写体側に配置された光学部材と、前記光学部材を振動させる振動手段と、前記撮像素子から出力される撮像信号に基づいて動画像を記録する記録手段と、前記撮像素子及び前記振動手段の駆動制御を行う制御手段と、を有する撮像装置であって、
    前記制御手段は、前記動画像を記録している間に前記光学部材を振動させる場合、前記撮像素子に蓄積された電荷を読み出す2つの読み出し期間の間に前記光学部材を振動させるとともに、前記読み出し期間に前記光学部材を振動させないことを特徴とする撮像装置。
  11. 撮像素子にて被写体の光学像を光電変換して電荷を蓄積する撮像工程と、前記撮像素子の被写体側に配置された光学部材を振動させる振動工程と、前記撮像素子から出力される撮像信号に基づいて動画像を表示する表示工程と、前記撮像工程及び前記振動工程及び前記表示工程の駆動制御を行う制御工程と、を有する撮像方法であって、
    前記制御工程は、前記動画像を表示している間に前記光学部材を振動させる場合、前記撮像素子に蓄積された電荷を読み出す2つの読み出し期間の間に前記光学部材を振動させるとともに、前記読み出し期間に前記光学部材を振動させないことを特徴とする撮像方法。
  12. 撮像素子にて被写体の光学像を光電変換して電荷を蓄積する撮像工程と、前記撮像素子の被写体側に配置された光学部材を振動させる振動工程と、前記撮像素子から出力される撮像信号に基づいて動画像を表示する表示工程と、前記撮像工程及び前記振動工程及び前記表示工程の駆動制御を行う制御工程と、を有する撮像方法であって、
    前記制御工程は、前記動画像を表示している間に前記光学部材を振動させる場合、
    前記振動工程の駆動周波数を前記撮像素子に蓄積された電荷を読み出す読み出し期間の読み出し周期の整数倍とする駆動制御、及び、
    前記振動工程の駆動電圧を所定値よりも小さくする駆動制御の少なくとも1つを実行することを特徴とする撮像方法。
  13. 撮像素子にて被写体の光学像を光電変換して電荷を蓄積する撮像工程と、前記撮像素子の被写体側に配置された光学部材を振動させる振動工程と、前記撮像素子から出力される撮像信号に基づいて動画像を記録する記録工程と、前記撮像素子及び前記振動工程及び前記記録工程の駆動制御を行う制御手段と、を有する撮像方法であって、
    前記制御工程は、前記動画像を記録している間に前記光学部材を振動させる場合、前記撮像素子に蓄積された電荷を読み出す2つの読み出し期間の間に前記光学部材を振動させるとともに、前記読み出し期間に前記光学部材を振動させないことを特徴とする撮像方法。
JP2017136586A 2016-10-21 2017-07-12 撮像装置、その撮像方法 Expired - Fee Related JP6942546B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016207315 2016-10-21
JP2016207315 2016-10-21

Publications (2)

Publication Number Publication Date
JP2018074564A true JP2018074564A (ja) 2018-05-10
JP6942546B2 JP6942546B2 (ja) 2021-09-29

Family

ID=61970466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136586A Expired - Fee Related JP6942546B2 (ja) 2016-10-21 2017-07-12 撮像装置、その撮像方法

Country Status (2)

Country Link
US (1) US10244172B2 (ja)
JP (1) JP6942546B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170971A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11034335B2 (en) 2016-07-07 2021-06-15 Nio Usa, Inc. Low-profile imaging system with enhanced viewing angles
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
JP2020123794A (ja) * 2019-01-30 2020-08-13 キヤノン株式会社 撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053845A (ja) * 2006-08-22 2008-03-06 Olympus Imaging Corp レンズ交換式カメラ
JP2008098837A (ja) * 2006-10-10 2008-04-24 Olympus Imaging Corp デジタルカメラ
JP2008118378A (ja) * 2006-11-02 2008-05-22 Canon Inc 撮影装置及びその駆動方法
JP2009213106A (ja) * 2008-02-06 2009-09-17 Sony Corp 固体撮像装置
JP2012028841A (ja) * 2010-07-20 2012-02-09 Sony Corp 撮像装置、制御装置及び撮像装置の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215372B2 (en) * 2002-05-17 2007-05-08 Olympus Corporation Optical apparatus having dust off function
JP4499520B2 (ja) * 2004-09-22 2010-07-07 オリンパス株式会社 電子撮像装置
JP2007189401A (ja) * 2006-01-12 2007-07-26 Sony Corp 撮像装置
JP2008053846A (ja) 2006-08-22 2008-03-06 Olympus Imaging Corp デジタルカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008053845A (ja) * 2006-08-22 2008-03-06 Olympus Imaging Corp レンズ交換式カメラ
JP2008098837A (ja) * 2006-10-10 2008-04-24 Olympus Imaging Corp デジタルカメラ
JP2008118378A (ja) * 2006-11-02 2008-05-22 Canon Inc 撮影装置及びその駆動方法
JP2009213106A (ja) * 2008-02-06 2009-09-17 Sony Corp 固体撮像装置
JP2012028841A (ja) * 2010-07-20 2012-02-09 Sony Corp 撮像装置、制御装置及び撮像装置の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170971A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
JP7297500B2 (ja) 2019-04-04 2023-06-26 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム

Also Published As

Publication number Publication date
JP6942546B2 (ja) 2021-09-29
US20180115693A1 (en) 2018-04-26
US10244172B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
JP4871802B2 (ja) 駆動装置および撮像装置
US7978220B2 (en) Optical apparatus having device for removing foreign substance
JP4926855B2 (ja) 光学装置
US8159603B2 (en) Image capturing apparatus with frame for sealing between optical member and image sensor
US8085336B2 (en) Optical apparatus having device for removing foreign substance
JP6942546B2 (ja) 撮像装置、その撮像方法
JP4719705B2 (ja) 撮像装置及び撮像ユニット
US7969500B2 (en) Optical apparatus having device for removing foreign substance
JP4005423B2 (ja) 電子撮像装置
JP2015231173A (ja) 撮像装置
JP6460824B2 (ja) 光学機器およびその制御方法
JP5385650B2 (ja) 撮像装置、その制御方法及びプログラム
JP2010098410A (ja) 撮像装置
JP2009159268A (ja) 光学装置
JP7297500B2 (ja) 撮像装置及びその制御方法並びにプログラム
JP5484084B2 (ja) 撮像ユニット及び撮像装置
JP2003348397A (ja) カメラ及びこれに用いる撮像素子ユニット
JP2009033441A (ja) 撮像装置
JP2008203554A (ja) 撮像装置
JP2008028615A (ja) 撮像装置
JP2015126420A (ja) 撮像装置、その制御方法プログラム
JP2016085245A (ja) 撮像装置
JP2009267536A (ja) 撮像装置
JP2010093796A (ja) 撮像装置及び埃塵除去装置
JP2007134802A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210908

R151 Written notification of patent or utility model registration

Ref document number: 6942546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees