JP4038103B2 - オートフォーカスカメラ - Google Patents
オートフォーカスカメラ Download PDFInfo
- Publication number
- JP4038103B2 JP4038103B2 JP2002279553A JP2002279553A JP4038103B2 JP 4038103 B2 JP4038103 B2 JP 4038103B2 JP 2002279553 A JP2002279553 A JP 2002279553A JP 2002279553 A JP2002279553 A JP 2002279553A JP 4038103 B2 JP4038103 B2 JP 4038103B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- shift
- aperture stop
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像素子の出力信号を利用してピント合わせを行うオートフォーカスカメラに関し、さらに詳しくは動体の撮影に好適なオートフォーカスカメラに関するものである。
【０００２】
【従来の技術】
ピント合わせを自動で行なうオートフォーカスカメラには、赤外線を投射するアクティブ型の距離計や、被写体光を利用するパッシブ型の距離計を内蔵したものが知られている。いずれも、三角測距によって割り出される被写体距離からフォーカスレンズの合焦位置を特定してピント合わせを行なっている。また、近年では、ＣＣＤイメージセンサを内蔵し、撮像された被写体画像のコントラストをフレームごとに評価し、最も鮮明なコントラストを得るようにオートフォーカス制御を行うデジタルスチルカメラやビデオカメラも広く知られている。
【０００３】
画像のコントラストに基づくピント合わせは、検出素子として撮像素子自体が利用されるため、距離計を内蔵させるよりもコストアップを抑えられる利点がある。一方、被写体の輪郭が不鮮明で、撮像された画像が明暗分布の狭い低コントラストな画像である場合には、山登り制御と称される画像のコントラスト評価に時間がかかり、シャッタチャンスを逃すなどの欠点を有していた。
【０００４】
そこで、コントラスト方式によるピント合わせと、位相差検出方式によるピント合わせとを併用したデジタルスチルカメラが知られている（特許文献１参照）。位相差検出方式では、光軸対称な光路上に分光した被写体光をそれぞれ取り込み、その光電信号の位相差を検出することで、デフォーカス量を瞬時に割り出して合焦位置を特定する。上記デジタルスチルカメラでは、位相差検出による大まかなピント合わせを行なった後、コントラスト評価による精巧なピント合わせを行うことで精度を落とすことなくフォーカス速度を向上させている。
【０００５】
【特許文献１】
特開２００１−２８１５３０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の位相差検出方式を利用するものは、被写体光のズレを検出するラインセンサや、その周辺の光学系など、高い組み込み精度を必要とする部品が多く使用される。また、撮像素子とは別に設けられるセンサ群の駆動回路や信号処理回路などが必要になり、製造コストの上昇が大きいという欠点がある。
【０００７】
本発明は、上記問題点を考慮してなされたもので、撮像素子を利用してピントズレの大きさが検出でき、低コスト化を図ることが可能なオートフォーカスカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のオートフォーカスカメラは、被写体光を撮像する撮像素子と、レンズ光軸上を移動し、被写体距離に応じた合焦位置で撮像面に被写体光を結像させるフォーカスレンズと、レンズ光軸と垂直な面内で独立して移動可能に設けられた２枚の絞り羽根からなり、撮像面に達する被写体光量を調節する開口絞りと、２枚の前記絞り羽根の各々について個別に設けられ、前記絞り羽根の各々を前記開口絞りの開口径を連続的に調節するとともに前記開口絞りをシフトさせる駆動源となるアイリスモータと、各々の前記アイリスモータの駆動を個々に制御し、レンズ光軸と垂直な面内に設定された少なくとも二箇所の瞳位置間に前記開口絞りを往復して移動させるとともに前記開口絞りの開口径の調節を行う絞り移動手段と、前記開口絞りが各瞳位置に位置するときに撮像された画像を比較して、第１の画像ズレを割り出す第１演算手段と、前記開口絞りが同じ瞳位置に位置するときに撮像された画像を比較して、第２の画像ズレを割り出す第２演算手段と、第１の画像ズレから第２の画像ズレの半分を差し引いて、開口絞りの移動によって生じる視差の大きさを求める処理と、この視差の大きさからピントズレの大きさを算出する処理と、ピントズレの大きさからレンズ駆動量を割り出す処理を行う第３演算手段と、前記レンズ駆動量に基づいてフォーカスレンズを合焦位置まで駆動させるレンズ駆動手段とが設けられていることを特徴とする。
【０００９】
【発明の実施の形態】
図１において、本発明を適用したデジタルカメラ１には、主制御部２、撮像信号処理部３、表示制御部４、記録制御部５、操作部６が設けられている。主制御部２は、演算処理を行いながら各部に制御信号を出力し、デジタルカメラ１の動作シーケンスを管理する。撮像信号処理部３は、撮像部７から出力されたアナログ撮像信号に各種の処理を行なう。表示制御部４は、液晶モニタ（図示なし）に撮影画像を表示出力させる。記録制御部５は、撮影された動画像や静止画像をビデオテープやメモリカードに記録するための制御を行なう。操作部６は、録画ボタンや静止画撮影ボタン等（図示なし）の操作によって生じる操作信号を主制御部２に出力する。
【００１０】
撮像部７は、ズームレンズ９とフォーカスレンズ１０、開口絞り１１、ＣＣＤ撮像素子１２から構成されている。ズームレンズ９は、ズームモータを備えたズームレンズ駆動部１３により光軸方向に駆動され、ＣＣＤ撮像素子１２上の被写体像を光学的に変倍させる。フォーカスレンズ１０は、フォーカスモータを備えたフォーカスレンズ駆動部１４により光軸方向に駆動され、ＣＣＤ撮像素子９上に被写体光を結像させる。アイリス駆動部１５はアイリスモータを備え、開口絞り１１の開口径を調節するとともに、開口絞り１１をシフト駆動させる。
【００１１】
図２において、開口絞り１１は、２枚の絞り羽根１６，１７によって構成されている。絞り羽根１６，１７の下部には、平歯部１６ａ，１７ａが形成されている。絞り羽根１６，１７は、アイリスモータ１８，１９によって駆動される。アイリスモータ１８，１９の駆動軸上には、平歯部１６ａ，１７ａに噛合する小歯車２０，２１が設けられている。このラックピニオンの駆動によって絞り羽根１６，１７がそれぞれ左右方向へ自在に移動し、開口絞り１１の開口径調節と、開口絞り１１のシフト移動とが行なわれる。
【００１２】
図３において、開口絞り１１は光軸対称な２つの瞳位置Ｐ１とＰ２の間をシフト駆動する。図３（ａ）に示すように、フォーカスレンズ１０が物点Ｏ１からの光を撮像面ＰI 上で結像させる位置にあるとき、開口絞り１１が位置Ｐ１に移動したときを考える。物点Ｏ１からの主光線Ｒ１は、光軸Ａ１上の点Ｓ１で撮像面ＰI に達する。物点Ｏ１より遠くにある物点Ｏ２の主光線Ｒ２は、結像面ＰI の手前で光軸Ａ１と交差し、撮像面ＰI 上の点Ｓ２に達する。また、物点Ｏ１よりも近くにある物点Ｏ３の主光線Ｒ３は、光軸Ａ１と交差せずに撮像面ＰI 上の点Ｓ３に達する。また、図３（ｂ）に示すように、開口絞り１１が位置Ｐ２に移動したときは、主光線Ｒ１，Ｒ２，Ｒ３は撮像面ＰI 上のＳ１，Ｓ２’，Ｓ３’にそれぞれ達する。
【００１３】
図４（ａ）において、物点Ｏ１からの光は撮像面ＰI 上で結像し、これを合焦状態として示している。図４（ｂ）では、物点Ｏ２からの光が撮像面ＰI の手前にある結像面ＰF 上で結像する様子を前ピン状態として示している。前ピン状態における画像のズレＧ２は、点Ｓ２と点Ｓ２’との距離に等しくなる。また、図４（ｃ）に後ピン状態として示すように、物点Ｏ３からの光は撮像面ＰI の後方にある結像面ＰI 上で結像する。前ピン状態にあるときの画像ズレＧ２を正、後ピン状態にあるときの画像ズレＧ３を負のズレ量と定めておくことで、撮像面ＰI からその手前の結像面までの距離が正の距離、撮像面ＰI の後方にある結像面までが負の距離となり、フォーカスレンズ１０を移動すべき方向がわかる。
【００１４】
非合焦状態では、開口絞り１１から撮像面ＰI までの距離Ｄが被写体距離に比べて十分小さければ、各瞳位置における開口絞り１１の開口中心と、撮像面ＰI 上の主光線とを結んだとき、相似関係に近似できる三角形の対が形成される。開口絞り１１の往復のシフト移動量Ｍと、画像ズレ量Ｇとからその相似比が求められるので、この相似比と距離Ｄ１とによって撮像面ＰI から各結像面ＰF ，ＰR までの距離が算出される。撮像面ＰI と各被写体距離における結像面までの距離が求められると、フォーカスレンズ１０の移動量が割り出される。
【００１５】
図５において、撮像信号処理部３は、撮像取込み回路２５、フレームメモリ２６、画像比較回路２７、フォーカス評価回路２８、映像信号出力回路２９とから構成されている。撮像取込み回路２６には、ゲインコントローラ３１、画素混合回路３２、画質補正回路３３、ＡＤコンバータ３４が設けられている。
【００１６】
ゲインコントローラ３１は、ＣＣＤ撮像素子１２から出力されたアナログ撮像信号の平均輝度レベルをフレームごとに求め、撮像信号の輝度レベルが規格レベルになるようにゲインを調節するオートゲインコントロール（ＡＧＣ）処理と、規格レベルの４分の１のレベルまで増幅する特殊増幅処理とを行う。この２種類の増幅処理は設定に応じて切り替えられ、特殊増幅処理された撮像信号は画素混合回路３２に出力される。
【００１７】
画素混合回路３２は、画像中で隣接する正方４画素の輝度信号を加算処理して１画素の輝度信号に置き換えることで輝度補正を行う。画素混合回路３２に入力された撮像信号は、画素数が撮像時の４分の１になり、コントラストが４倍向上する。画質補正回路３３は、ゲインコントローラ３１又は画素混合回路３２から出力された撮像信号にホワイトバランス調節、γ調節を行なう。ＡＤコンバータ３４は、画質補正回路３３から出力された撮像信号をデジタル変換する。
【００１８】
フレームメモリ２６は、撮像取込み回路２５から出力された撮像信号を画像比較用データとして記憶する。フレームメモリ２６には複数フレームの画像が記憶され、フレーム数が記憶容量の限度に達すると、最も過去の画像から順に消去されて新たな画像に書き換えられる。画像比較回路２７は、フレームメモリ２６から２フレームの画像を読み出して、相互間の画像のズレを画素単位で割り出す。画像比較回路２７は、２フレーム間に生じた画像のズレを割り出して、開口絞り１１の移動や手ブレに起因する像ブレ検出用データを出力する処理と、開口絞り１１が二箇所の瞳位置に位置するときの画像間のズレを割り出してピントズレ計測用データを出力する処理とを行う。
【００１９】
フォーカス評価回路２８には、コントラスト演算回路３６とピントズレ演算回路３７とが設けられている。コントラスト演算回路３６は、フレームメモリ２６からフレームデータを順次読み出して、各フレーム間のコントラスト変化を比較解析し、コントラスト向上、コントラスト悪化のいずれかを示すコントラスト判定信号を出力する。コントラスト判定信号は主制御部２に送られ、フォーカスレンズ１０はコントラストが向上するように調整駆動される。
【００２０】
ピントズレ演算回路３７は、画像比較回路２７から出力されたピントズレ計測用データに基づいてピントズレの大きさを割り出し、フォーカスレンズ１０の駆動量を算出する。ピントズレ計測用データは、開口絞り１１の左右方向のシフト駆動による第１の画像ズレ情報と、被写体の動きによる第２の画像ズレ情報とからなる。ピントズレ演算回路３７は、第１の画像ズレ情報と第２の画像ズレ情報との差分から、開口絞り１１の視差による画像ズレ情報を割り出し、これをピントズレの大きさに換算して、フォーカスレンズ１０の駆動量を割り出す。
【００２１】
映像信号出力回路２９には、像ブレ補正回路３８が設けられている。像ブレ補正回路３８は、像ブレ検出用データに基づいて撮像取込み回路２５から出力された撮像信号に像ブレ補正処理を行う。
【００２２】
次に、図６を用いて本発明の作用について説明する。ＣＣＤ撮像素子１２の駆動が開始され、撮像取込み回路２５に撮像信号が入力される。撮像取込み回路２５では、その設定状態に応じてゲインコントローラ３１のみによる輝度補正処理か、画素混合回路３２による輝度補正処理のいずれかの処理が行われる。撮像取込み回路２５で各処理が行われた撮像信号は、フレームメモリ２６と映像信号出力回路２９にそれぞれ出力される。
【００２３】
主制御部２では、コントラスト測定によるフォーカス制御か、測距によるフォーカス制御のいずれかのシーケンスが実行される。コントラスト測定によるフォーカス制御シーケンスが実行された場合、フォーカス駆動部１４はフォーカスレンズ１０を微小駆動させる。コントラスト演算回路３６では、フレームメモリ２６から読み出した各画像を比較し、フォーカスレンズ１０の駆動によるコントラスト変化を割り出す。
【００２４】
コントラスト演算回路３６はコントラスト判定信号を出力し、フォーカスレンズ１０はコントラストが良好になる方向に駆動される。フォーカスレンズ１０の駆動中にコントラストが低下すると、合焦位置を通過したことが検知され、フォーカスレンズ１０は最良のコントラストが得られた合焦位置に戻る。撮像された画像のコントラスト変化はコントラスト演算回路３６で常時監視され、最も鮮明なコントラストが得られるようにフォーカスレンズ１０が駆動されてフォーカス制御が行われる。
【００２５】
測距によるフォーカス制御シーケンスが実行された場合、アイリス駆動部１５がアイリスモータ１８，１９を駆動させ、絞り羽根１６，１７を同方向に駆動させる。開口絞り１１は右シフトを開始して、瞳位置Ｐ１まで移動する。画像比較回路２７は、開口絞り１１の移動中に生じる被写体光のズレを割り出して像ブレ補正回路３８に像ブレ検出用データを送る。像ブレ補正回路３８は、像ブレ検出用データに基づいて画像の位置修正を行う。像ブレ補正が行われた映像信号は、表示制御部４、記録制御部５にそれぞれ出力される。なお、ピンぼけによって被写体像の輪郭が不鮮明であると検知されたときには、開口絞り１１が駆動して開口径が小さく絞り込まれる。
【００２６】
アイリス駆動部１５は、開口絞り１１が瞳位置Ｐ１に達するとアイリスモータ１８，１９を逆方向に駆動させ、左シフトを開始させる。開口絞り１１の移動中には、右シフト時と同様に像ブレ補正が行われる。開口絞り１１が瞳位置Ｐ２に達すると、開口絞り１１の２回目の右シフトが開始される。１回目の右シフト及び左シフトが終了すると、画像比較回路２７は、開口絞り１１が各瞳位置に位置するときに撮像された各々の画像を比較する。画像比較回路２７は、開口絞り１１の１回目のシフト駆動による画像のズレ（一次シフトズレ）を割り出し、これをピントズレ演算回路３７に出力する。
【００２７】
開口絞り１１が瞳位置Ｐ１上に再び到達すると、開口絞り１１の２回目の左シフトが開始される。画像比較回路２７は、開口絞り１１が瞳位置Ｐ１上にあるときに撮像された各々の画像を比較し、開口絞り１１が往復移動する間に被写体が動くことで生じた画像のズレ（一次動きズレ）を割り出し、これをピントズレ演算回路３７に出力する。
【００２８】
開口絞り１１が測距ポイントＰ２上に再び到達すると、開口絞り１１は光軸上の元の位置に戻る。画像比較回路２７は、開口絞り１１の２回目のシフト移動による画像のズレ（二次シフトズレ）を割り出し、これをピントズレ演算回路３７に出力する。また、開口絞り１１が測距ポイントＰ２上にあるときに撮像された画像を比較して被写体の動きによって生じた画像ずれ（二次動きズレ）を割り出し、これをピントズレ演算回路３７に出力する。
【００２９】
撮影範囲の右下から左上に向かって等速度で直線移動する被写体について考える。図７及び図８に示すように、開口絞り１１の右シフト時には画像５０、左シフト時には画像５１が得られる。また、２回目の右シフト時には画像５２、２回目の左シフト時には画像５３が得られる。開口絞り１１の往復移動の周期をＴ秒とすれば、各画像はＴ／２秒ごとに得られる。画像５０及び画像５１を比較することで一次シフトズレＳＧ１が割り出され（図７（ａ））、画像５２及び画像５３を比較することで二次シフトズレＳＧ２が割り出される（図７（ｂ））。また、画像５０及び５２を比較することで一次動きズレＭＧ１が割り出され（図７（ｃ））、画像５１及び画像５３を比較することで二次動きズレＭＧ２が割り出される（図７（ｄ））。
【００３０】
各動きズレＭＧ１，ＭＧ２は、被写体のＴ秒間の移動によって生じる画像ズレであり、各シフトズレＳＧ１，ＳＧ２は、被写体のＴ／２秒間の移動による画像ズレであるから、Ｔ／２秒あたりの動きズレを算出して、これをシフトズレから差し引けば、開口絞り１１の左右方向の移動によって生じる視差が割り出される。上記例の場合、各動きズレＭＧ１とＭＧ２が向きも大きさも同じであることから、被写体が像面と平行に等速度で直線移動していることが割り出され、一次シフトズレＳＧ１から一次動きズレＭＧ１の半分を単純に差し引くことで視差が求められる。
【００３１】
ピントズレ演算回路３７は、求められた視差に基づいてピントズレの大きさを算出する。ピントズレ、つまり撮像面と現時点での結像面との距離が求められると、フォーカスレンズ１０を移動すべき距離が算出される。ピントズレ演算回路３７は、主制御部２にフォーカスレンズ１０の移動量情報を出力する。主制御部２は、移動量情報に基づいてアイリス駆動部１５にモータ駆動信号を送る。フォーカスレンズ１０は、ピントズレ演算回路３７で特定された合焦位置まで光軸方向に移動し、ピント合わせが行われる。
【００３２】
同様にして、開口絞りが各瞳位置に位置するときに得られた画像から、手ぶれなどによる周期的な画像の動きや、パンニングなどによる不規則な画像の動きを分離して、開口絞りの移動による視差を抽出してピントズレを求めることができる。被写体が等速度で移動している場合には、開口絞りを２回だけ往復移動させることで画像の動きを分離できるが、開口絞りの移動回数を増やすことで画像の周期的な動きや不規則な動きを予測し、これらの動きを分離することもできる。
【００３３】
なお、被写体の画面方向の移動に加えて光軸方向の移動も考慮する場合には、測距を繰り返して行うことでコンティニュアスオートフォーカス制御を行ったり、ピント位置の変化を時系列的にサンプリングし、フォーカスレンズの駆動によるタイムラグを考慮した動体予測オートフォーカス制御を行うようにしてもよい。このとき、開口絞りの移動中に被写体距離が変化しても、撮像面上における被写体像の倍率変化が小さければ画像ズレの検出に支障は生じないが、撮像面の中心付近である近軸領域の被写体画像を検出対象とすることで、被写体像の倍率変化が小さくなり、画像ズレの検出が可能な被写体距離の変動幅を広くすることもできる。
【００３４】
また、本発明では、フォーカスエリアが開口絞りの移動経路の中心に設定されているが、フォーカスエリアを撮影範囲の任意の位置に設定することもできる。また、上記実施形態のように開口絞り１１を光軸対称な２地点間で水平方向にシフト移動させる以外に、開口絞りを水平方向と垂直方向とで２次元移動できるように構成すれば、水平方向の輝度変化（すなわち縦線被写体）のみならず、垂直方向の輝度変化（すなわち水平線被写体）も検出できるようになる。
【００３５】
【発明の効果】
以上のように、本発明によれば、非合焦時に開口絞りを移動させて生じる画像ズレからピントズレを求め、フォーカスレンズの駆動量を算出してオートフォーカス制御を行っているので、検出素子として撮像素子が利用でき、高精度な組み込みを必要とする光学部品や電気部品が必要なく、コストアップが抑えられる。また、開口絞りが同じ瞳位置にあるときの画像を比較することで、被写体の動きや手ブレによる画像の動きを分離して、ピントズレによる画像ズレのみを求めることができ、風景などの静止した被写体のみならず、動く被写体の撮影も支障なく行える。
【図面の簡単な説明】
【図１】本発明を内蔵したデジタルカメラの電気的構成を示すブロック図である。
【図２】開口絞りの斜視図である。
【図３】開口絞りのシフト移動によって生じる画像ズレを示す説明図である。
【図４】各ピント状態において生じる画像ズレを示す説明図である。
【図５】撮像信号処理部の回路ブロック図である。
【図６】デジタルカメラの動作の流れを示すフローチャートである。
【図７】画像比較処理の流れを示す説明図である。
【図８】画像比較処理による視差検出の原理を示す説明図である。
【符号の説明】
７ 撮像部
１０ フォーカスレンズ
１１ 開口絞り
１２ ＣＣＤ撮像素子
１４ フォーカスレンズ駆動部
１５ アイリス駆動部
１６，１７ 絞り羽根
１６ａ，１７ａ 平歯部
１８，１９ アイリスモータ
２０，２１ 小歯車
２５ 撮像取込み回路
２６ フレームメモリ
２７ 画像比較回路
２８ フォーカス評価回路
３７ ピントズレ演算回路
【発明の属する技術分野】
本発明は、撮像素子の出力信号を利用してピント合わせを行うオートフォーカスカメラに関し、さらに詳しくは動体の撮影に好適なオートフォーカスカメラに関するものである。
【０００２】
【従来の技術】
ピント合わせを自動で行なうオートフォーカスカメラには、赤外線を投射するアクティブ型の距離計や、被写体光を利用するパッシブ型の距離計を内蔵したものが知られている。いずれも、三角測距によって割り出される被写体距離からフォーカスレンズの合焦位置を特定してピント合わせを行なっている。また、近年では、ＣＣＤイメージセンサを内蔵し、撮像された被写体画像のコントラストをフレームごとに評価し、最も鮮明なコントラストを得るようにオートフォーカス制御を行うデジタルスチルカメラやビデオカメラも広く知られている。
【０００３】
画像のコントラストに基づくピント合わせは、検出素子として撮像素子自体が利用されるため、距離計を内蔵させるよりもコストアップを抑えられる利点がある。一方、被写体の輪郭が不鮮明で、撮像された画像が明暗分布の狭い低コントラストな画像である場合には、山登り制御と称される画像のコントラスト評価に時間がかかり、シャッタチャンスを逃すなどの欠点を有していた。
【０００４】
そこで、コントラスト方式によるピント合わせと、位相差検出方式によるピント合わせとを併用したデジタルスチルカメラが知られている（特許文献１参照）。位相差検出方式では、光軸対称な光路上に分光した被写体光をそれぞれ取り込み、その光電信号の位相差を検出することで、デフォーカス量を瞬時に割り出して合焦位置を特定する。上記デジタルスチルカメラでは、位相差検出による大まかなピント合わせを行なった後、コントラスト評価による精巧なピント合わせを行うことで精度を落とすことなくフォーカス速度を向上させている。
【０００５】
【特許文献１】
特開２００１−２８１５３０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の位相差検出方式を利用するものは、被写体光のズレを検出するラインセンサや、その周辺の光学系など、高い組み込み精度を必要とする部品が多く使用される。また、撮像素子とは別に設けられるセンサ群の駆動回路や信号処理回路などが必要になり、製造コストの上昇が大きいという欠点がある。
【０００７】
本発明は、上記問題点を考慮してなされたもので、撮像素子を利用してピントズレの大きさが検出でき、低コスト化を図ることが可能なオートフォーカスカメラを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のオートフォーカスカメラは、被写体光を撮像する撮像素子と、レンズ光軸上を移動し、被写体距離に応じた合焦位置で撮像面に被写体光を結像させるフォーカスレンズと、レンズ光軸と垂直な面内で独立して移動可能に設けられた２枚の絞り羽根からなり、撮像面に達する被写体光量を調節する開口絞りと、２枚の前記絞り羽根の各々について個別に設けられ、前記絞り羽根の各々を前記開口絞りの開口径を連続的に調節するとともに前記開口絞りをシフトさせる駆動源となるアイリスモータと、各々の前記アイリスモータの駆動を個々に制御し、レンズ光軸と垂直な面内に設定された少なくとも二箇所の瞳位置間に前記開口絞りを往復して移動させるとともに前記開口絞りの開口径の調節を行う絞り移動手段と、前記開口絞りが各瞳位置に位置するときに撮像された画像を比較して、第１の画像ズレを割り出す第１演算手段と、前記開口絞りが同じ瞳位置に位置するときに撮像された画像を比較して、第２の画像ズレを割り出す第２演算手段と、第１の画像ズレから第２の画像ズレの半分を差し引いて、開口絞りの移動によって生じる視差の大きさを求める処理と、この視差の大きさからピントズレの大きさを算出する処理と、ピントズレの大きさからレンズ駆動量を割り出す処理を行う第３演算手段と、前記レンズ駆動量に基づいてフォーカスレンズを合焦位置まで駆動させるレンズ駆動手段とが設けられていることを特徴とする。
【０００９】
【発明の実施の形態】
図１において、本発明を適用したデジタルカメラ１には、主制御部２、撮像信号処理部３、表示制御部４、記録制御部５、操作部６が設けられている。主制御部２は、演算処理を行いながら各部に制御信号を出力し、デジタルカメラ１の動作シーケンスを管理する。撮像信号処理部３は、撮像部７から出力されたアナログ撮像信号に各種の処理を行なう。表示制御部４は、液晶モニタ（図示なし）に撮影画像を表示出力させる。記録制御部５は、撮影された動画像や静止画像をビデオテープやメモリカードに記録するための制御を行なう。操作部６は、録画ボタンや静止画撮影ボタン等（図示なし）の操作によって生じる操作信号を主制御部２に出力する。
【００１０】
撮像部７は、ズームレンズ９とフォーカスレンズ１０、開口絞り１１、ＣＣＤ撮像素子１２から構成されている。ズームレンズ９は、ズームモータを備えたズームレンズ駆動部１３により光軸方向に駆動され、ＣＣＤ撮像素子１２上の被写体像を光学的に変倍させる。フォーカスレンズ１０は、フォーカスモータを備えたフォーカスレンズ駆動部１４により光軸方向に駆動され、ＣＣＤ撮像素子９上に被写体光を結像させる。アイリス駆動部１５はアイリスモータを備え、開口絞り１１の開口径を調節するとともに、開口絞り１１をシフト駆動させる。
【００１１】
図２において、開口絞り１１は、２枚の絞り羽根１６，１７によって構成されている。絞り羽根１６，１７の下部には、平歯部１６ａ，１７ａが形成されている。絞り羽根１６，１７は、アイリスモータ１８，１９によって駆動される。アイリスモータ１８，１９の駆動軸上には、平歯部１６ａ，１７ａに噛合する小歯車２０，２１が設けられている。このラックピニオンの駆動によって絞り羽根１６，１７がそれぞれ左右方向へ自在に移動し、開口絞り１１の開口径調節と、開口絞り１１のシフト移動とが行なわれる。
【００１２】
図３において、開口絞り１１は光軸対称な２つの瞳位置Ｐ１とＰ２の間をシフト駆動する。図３（ａ）に示すように、フォーカスレンズ１０が物点Ｏ１からの光を撮像面ＰI 上で結像させる位置にあるとき、開口絞り１１が位置Ｐ１に移動したときを考える。物点Ｏ１からの主光線Ｒ１は、光軸Ａ１上の点Ｓ１で撮像面ＰI に達する。物点Ｏ１より遠くにある物点Ｏ２の主光線Ｒ２は、結像面ＰI の手前で光軸Ａ１と交差し、撮像面ＰI 上の点Ｓ２に達する。また、物点Ｏ１よりも近くにある物点Ｏ３の主光線Ｒ３は、光軸Ａ１と交差せずに撮像面ＰI 上の点Ｓ３に達する。また、図３（ｂ）に示すように、開口絞り１１が位置Ｐ２に移動したときは、主光線Ｒ１，Ｒ２，Ｒ３は撮像面ＰI 上のＳ１，Ｓ２’，Ｓ３’にそれぞれ達する。
【００１３】
図４（ａ）において、物点Ｏ１からの光は撮像面ＰI 上で結像し、これを合焦状態として示している。図４（ｂ）では、物点Ｏ２からの光が撮像面ＰI の手前にある結像面ＰF 上で結像する様子を前ピン状態として示している。前ピン状態における画像のズレＧ２は、点Ｓ２と点Ｓ２’との距離に等しくなる。また、図４（ｃ）に後ピン状態として示すように、物点Ｏ３からの光は撮像面ＰI の後方にある結像面ＰI 上で結像する。前ピン状態にあるときの画像ズレＧ２を正、後ピン状態にあるときの画像ズレＧ３を負のズレ量と定めておくことで、撮像面ＰI からその手前の結像面までの距離が正の距離、撮像面ＰI の後方にある結像面までが負の距離となり、フォーカスレンズ１０を移動すべき方向がわかる。
【００１４】
非合焦状態では、開口絞り１１から撮像面ＰI までの距離Ｄが被写体距離に比べて十分小さければ、各瞳位置における開口絞り１１の開口中心と、撮像面ＰI 上の主光線とを結んだとき、相似関係に近似できる三角形の対が形成される。開口絞り１１の往復のシフト移動量Ｍと、画像ズレ量Ｇとからその相似比が求められるので、この相似比と距離Ｄ１とによって撮像面ＰI から各結像面ＰF ，ＰR までの距離が算出される。撮像面ＰI と各被写体距離における結像面までの距離が求められると、フォーカスレンズ１０の移動量が割り出される。
【００１５】
図５において、撮像信号処理部３は、撮像取込み回路２５、フレームメモリ２６、画像比較回路２７、フォーカス評価回路２８、映像信号出力回路２９とから構成されている。撮像取込み回路２６には、ゲインコントローラ３１、画素混合回路３２、画質補正回路３３、ＡＤコンバータ３４が設けられている。
【００１６】
ゲインコントローラ３１は、ＣＣＤ撮像素子１２から出力されたアナログ撮像信号の平均輝度レベルをフレームごとに求め、撮像信号の輝度レベルが規格レベルになるようにゲインを調節するオートゲインコントロール（ＡＧＣ）処理と、規格レベルの４分の１のレベルまで増幅する特殊増幅処理とを行う。この２種類の増幅処理は設定に応じて切り替えられ、特殊増幅処理された撮像信号は画素混合回路３２に出力される。
【００１７】
画素混合回路３２は、画像中で隣接する正方４画素の輝度信号を加算処理して１画素の輝度信号に置き換えることで輝度補正を行う。画素混合回路３２に入力された撮像信号は、画素数が撮像時の４分の１になり、コントラストが４倍向上する。画質補正回路３３は、ゲインコントローラ３１又は画素混合回路３２から出力された撮像信号にホワイトバランス調節、γ調節を行なう。ＡＤコンバータ３４は、画質補正回路３３から出力された撮像信号をデジタル変換する。
【００１８】
フレームメモリ２６は、撮像取込み回路２５から出力された撮像信号を画像比較用データとして記憶する。フレームメモリ２６には複数フレームの画像が記憶され、フレーム数が記憶容量の限度に達すると、最も過去の画像から順に消去されて新たな画像に書き換えられる。画像比較回路２７は、フレームメモリ２６から２フレームの画像を読み出して、相互間の画像のズレを画素単位で割り出す。画像比較回路２７は、２フレーム間に生じた画像のズレを割り出して、開口絞り１１の移動や手ブレに起因する像ブレ検出用データを出力する処理と、開口絞り１１が二箇所の瞳位置に位置するときの画像間のズレを割り出してピントズレ計測用データを出力する処理とを行う。
【００１９】
フォーカス評価回路２８には、コントラスト演算回路３６とピントズレ演算回路３７とが設けられている。コントラスト演算回路３６は、フレームメモリ２６からフレームデータを順次読み出して、各フレーム間のコントラスト変化を比較解析し、コントラスト向上、コントラスト悪化のいずれかを示すコントラスト判定信号を出力する。コントラスト判定信号は主制御部２に送られ、フォーカスレンズ１０はコントラストが向上するように調整駆動される。
【００２０】
ピントズレ演算回路３７は、画像比較回路２７から出力されたピントズレ計測用データに基づいてピントズレの大きさを割り出し、フォーカスレンズ１０の駆動量を算出する。ピントズレ計測用データは、開口絞り１１の左右方向のシフト駆動による第１の画像ズレ情報と、被写体の動きによる第２の画像ズレ情報とからなる。ピントズレ演算回路３７は、第１の画像ズレ情報と第２の画像ズレ情報との差分から、開口絞り１１の視差による画像ズレ情報を割り出し、これをピントズレの大きさに換算して、フォーカスレンズ１０の駆動量を割り出す。
【００２１】
映像信号出力回路２９には、像ブレ補正回路３８が設けられている。像ブレ補正回路３８は、像ブレ検出用データに基づいて撮像取込み回路２５から出力された撮像信号に像ブレ補正処理を行う。
【００２２】
次に、図６を用いて本発明の作用について説明する。ＣＣＤ撮像素子１２の駆動が開始され、撮像取込み回路２５に撮像信号が入力される。撮像取込み回路２５では、その設定状態に応じてゲインコントローラ３１のみによる輝度補正処理か、画素混合回路３２による輝度補正処理のいずれかの処理が行われる。撮像取込み回路２５で各処理が行われた撮像信号は、フレームメモリ２６と映像信号出力回路２９にそれぞれ出力される。
【００２３】
主制御部２では、コントラスト測定によるフォーカス制御か、測距によるフォーカス制御のいずれかのシーケンスが実行される。コントラスト測定によるフォーカス制御シーケンスが実行された場合、フォーカス駆動部１４はフォーカスレンズ１０を微小駆動させる。コントラスト演算回路３６では、フレームメモリ２６から読み出した各画像を比較し、フォーカスレンズ１０の駆動によるコントラスト変化を割り出す。
【００２４】
コントラスト演算回路３６はコントラスト判定信号を出力し、フォーカスレンズ１０はコントラストが良好になる方向に駆動される。フォーカスレンズ１０の駆動中にコントラストが低下すると、合焦位置を通過したことが検知され、フォーカスレンズ１０は最良のコントラストが得られた合焦位置に戻る。撮像された画像のコントラスト変化はコントラスト演算回路３６で常時監視され、最も鮮明なコントラストが得られるようにフォーカスレンズ１０が駆動されてフォーカス制御が行われる。
【００２５】
測距によるフォーカス制御シーケンスが実行された場合、アイリス駆動部１５がアイリスモータ１８，１９を駆動させ、絞り羽根１６，１７を同方向に駆動させる。開口絞り１１は右シフトを開始して、瞳位置Ｐ１まで移動する。画像比較回路２７は、開口絞り１１の移動中に生じる被写体光のズレを割り出して像ブレ補正回路３８に像ブレ検出用データを送る。像ブレ補正回路３８は、像ブレ検出用データに基づいて画像の位置修正を行う。像ブレ補正が行われた映像信号は、表示制御部４、記録制御部５にそれぞれ出力される。なお、ピンぼけによって被写体像の輪郭が不鮮明であると検知されたときには、開口絞り１１が駆動して開口径が小さく絞り込まれる。
【００２６】
アイリス駆動部１５は、開口絞り１１が瞳位置Ｐ１に達するとアイリスモータ１８，１９を逆方向に駆動させ、左シフトを開始させる。開口絞り１１の移動中には、右シフト時と同様に像ブレ補正が行われる。開口絞り１１が瞳位置Ｐ２に達すると、開口絞り１１の２回目の右シフトが開始される。１回目の右シフト及び左シフトが終了すると、画像比較回路２７は、開口絞り１１が各瞳位置に位置するときに撮像された各々の画像を比較する。画像比較回路２７は、開口絞り１１の１回目のシフト駆動による画像のズレ（一次シフトズレ）を割り出し、これをピントズレ演算回路３７に出力する。
【００２７】
開口絞り１１が瞳位置Ｐ１上に再び到達すると、開口絞り１１の２回目の左シフトが開始される。画像比較回路２７は、開口絞り１１が瞳位置Ｐ１上にあるときに撮像された各々の画像を比較し、開口絞り１１が往復移動する間に被写体が動くことで生じた画像のズレ（一次動きズレ）を割り出し、これをピントズレ演算回路３７に出力する。
【００２８】
開口絞り１１が測距ポイントＰ２上に再び到達すると、開口絞り１１は光軸上の元の位置に戻る。画像比較回路２７は、開口絞り１１の２回目のシフト移動による画像のズレ（二次シフトズレ）を割り出し、これをピントズレ演算回路３７に出力する。また、開口絞り１１が測距ポイントＰ２上にあるときに撮像された画像を比較して被写体の動きによって生じた画像ずれ（二次動きズレ）を割り出し、これをピントズレ演算回路３７に出力する。
【００２９】
撮影範囲の右下から左上に向かって等速度で直線移動する被写体について考える。図７及び図８に示すように、開口絞り１１の右シフト時には画像５０、左シフト時には画像５１が得られる。また、２回目の右シフト時には画像５２、２回目の左シフト時には画像５３が得られる。開口絞り１１の往復移動の周期をＴ秒とすれば、各画像はＴ／２秒ごとに得られる。画像５０及び画像５１を比較することで一次シフトズレＳＧ１が割り出され（図７（ａ））、画像５２及び画像５３を比較することで二次シフトズレＳＧ２が割り出される（図７（ｂ））。また、画像５０及び５２を比較することで一次動きズレＭＧ１が割り出され（図７（ｃ））、画像５１及び画像５３を比較することで二次動きズレＭＧ２が割り出される（図７（ｄ））。
【００３０】
各動きズレＭＧ１，ＭＧ２は、被写体のＴ秒間の移動によって生じる画像ズレであり、各シフトズレＳＧ１，ＳＧ２は、被写体のＴ／２秒間の移動による画像ズレであるから、Ｔ／２秒あたりの動きズレを算出して、これをシフトズレから差し引けば、開口絞り１１の左右方向の移動によって生じる視差が割り出される。上記例の場合、各動きズレＭＧ１とＭＧ２が向きも大きさも同じであることから、被写体が像面と平行に等速度で直線移動していることが割り出され、一次シフトズレＳＧ１から一次動きズレＭＧ１の半分を単純に差し引くことで視差が求められる。
【００３１】
ピントズレ演算回路３７は、求められた視差に基づいてピントズレの大きさを算出する。ピントズレ、つまり撮像面と現時点での結像面との距離が求められると、フォーカスレンズ１０を移動すべき距離が算出される。ピントズレ演算回路３７は、主制御部２にフォーカスレンズ１０の移動量情報を出力する。主制御部２は、移動量情報に基づいてアイリス駆動部１５にモータ駆動信号を送る。フォーカスレンズ１０は、ピントズレ演算回路３７で特定された合焦位置まで光軸方向に移動し、ピント合わせが行われる。
【００３２】
同様にして、開口絞りが各瞳位置に位置するときに得られた画像から、手ぶれなどによる周期的な画像の動きや、パンニングなどによる不規則な画像の動きを分離して、開口絞りの移動による視差を抽出してピントズレを求めることができる。被写体が等速度で移動している場合には、開口絞りを２回だけ往復移動させることで画像の動きを分離できるが、開口絞りの移動回数を増やすことで画像の周期的な動きや不規則な動きを予測し、これらの動きを分離することもできる。
【００３３】
なお、被写体の画面方向の移動に加えて光軸方向の移動も考慮する場合には、測距を繰り返して行うことでコンティニュアスオートフォーカス制御を行ったり、ピント位置の変化を時系列的にサンプリングし、フォーカスレンズの駆動によるタイムラグを考慮した動体予測オートフォーカス制御を行うようにしてもよい。このとき、開口絞りの移動中に被写体距離が変化しても、撮像面上における被写体像の倍率変化が小さければ画像ズレの検出に支障は生じないが、撮像面の中心付近である近軸領域の被写体画像を検出対象とすることで、被写体像の倍率変化が小さくなり、画像ズレの検出が可能な被写体距離の変動幅を広くすることもできる。
【００３４】
また、本発明では、フォーカスエリアが開口絞りの移動経路の中心に設定されているが、フォーカスエリアを撮影範囲の任意の位置に設定することもできる。また、上記実施形態のように開口絞り１１を光軸対称な２地点間で水平方向にシフト移動させる以外に、開口絞りを水平方向と垂直方向とで２次元移動できるように構成すれば、水平方向の輝度変化（すなわち縦線被写体）のみならず、垂直方向の輝度変化（すなわち水平線被写体）も検出できるようになる。
【００３５】
【発明の効果】
以上のように、本発明によれば、非合焦時に開口絞りを移動させて生じる画像ズレからピントズレを求め、フォーカスレンズの駆動量を算出してオートフォーカス制御を行っているので、検出素子として撮像素子が利用でき、高精度な組み込みを必要とする光学部品や電気部品が必要なく、コストアップが抑えられる。また、開口絞りが同じ瞳位置にあるときの画像を比較することで、被写体の動きや手ブレによる画像の動きを分離して、ピントズレによる画像ズレのみを求めることができ、風景などの静止した被写体のみならず、動く被写体の撮影も支障なく行える。
【図面の簡単な説明】
【図１】本発明を内蔵したデジタルカメラの電気的構成を示すブロック図である。
【図２】開口絞りの斜視図である。
【図３】開口絞りのシフト移動によって生じる画像ズレを示す説明図である。
【図４】各ピント状態において生じる画像ズレを示す説明図である。
【図５】撮像信号処理部の回路ブロック図である。
【図６】デジタルカメラの動作の流れを示すフローチャートである。
【図７】画像比較処理の流れを示す説明図である。
【図８】画像比較処理による視差検出の原理を示す説明図である。
【符号の説明】
７ 撮像部
１０ フォーカスレンズ
１１ 開口絞り
１２ ＣＣＤ撮像素子
１４ フォーカスレンズ駆動部
１５ アイリス駆動部
１６，１７ 絞り羽根
１６ａ，１７ａ 平歯部
１８，１９ アイリスモータ
２０，２１ 小歯車
２５ 撮像取込み回路
２６ フレームメモリ
２７ 画像比較回路
２８ フォーカス評価回路
３７ ピントズレ演算回路
Claims (1)
- 被写体光を撮像する撮像素子と、
レンズ光軸上を移動し、被写体距離に応じた合焦位置で撮像面に被写体光を結像させるフォーカスレンズと、
レンズ光軸と垂直な面内で独立して移動可能に設けられた２枚の絞り羽根からなり、撮像面に達する被写体光量を調節する開口絞りと、
２枚の前記絞り羽根の各々について個別に設けられ、前記絞り羽根の各々を前記開口絞りの開口径を連続的に調節するとともに前記開口絞りをシフトさせる駆動源となるアイリスモータと、
各々の前記アイリスモータの駆動を個々に制御し、レンズ光軸と垂直な面内に設定された少なくとも二箇所の瞳位置間に前記開口絞りを往復して移動させるとともに前記開口絞りの開口径の調節を行う絞り移動手段と、
前記開口絞りが各瞳位置に位置するときに撮像された画像を比較して、第１の画像ズレを割り出す第１演算手段と、
前記開口絞りが同じ瞳位置に位置するときに撮像された画像を比較して、第２の画像ズレを割り出す第２演算手段と、
第１の画像ズレから第２の画像ズレの半分を差し引いて、開口絞りの移動によって生じる視差の大きさを求める処理と、この視差の大きさからピントズレの大きさを算出する処理と、ピントズレの大きさからレンズ駆動量を割り出す処理を行う第３演算手段と、
前記レンズ駆動量に基づいてフォーカスレンズを合焦位置まで駆動させるレンズ駆動手段とが設けられていることを特徴とするオートフォーカスカメラ。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002279553A JP4038103B2 (ja) | 2002-09-25 | 2002-09-25 | オートフォーカスカメラ |
| US10/614,328 US7099575B2 (en) | 2002-07-08 | 2003-07-08 | Manual focus device and autofocus camera |
| US11/481,814 US7231143B2 (en) | 2002-07-08 | 2006-07-07 | Manual focus device and autofocus camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002279553A JP4038103B2 (ja) | 2002-09-25 | 2002-09-25 | オートフォーカスカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004117712A JP2004117712A (ja) | 2004-04-15 |
| JP4038103B2 true JP4038103B2 (ja) | 2008-01-23 |
Family
ID=32274518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002279553A Expired - Fee Related JP4038103B2 (ja) | 2002-07-08 | 2002-09-25 | オートフォーカスカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4038103B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7538813B2 (en) * | 2005-05-11 | 2009-05-26 | Sony Ericsson Mobile Communications Ab | Digital cameras with triangulation autofocus systems and related methods |
| JP2008083338A (ja) * | 2006-09-27 | 2008-04-10 | Fujitsu Ltd | Ａｆ検波の光学ズーム補正撮像装置 |
| EP2277072A4 (en) | 2008-04-30 | 2011-08-31 | Canon Kk | IMAGE DETECTION APPARATUS |
-
2002
- 2002-09-25 JP JP2002279553A patent/JP4038103B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004117712A (ja) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5328307B2 (ja) | 振れ補正機能を有する撮影装置及びその制御方法 | |
| US7430367B2 (en) | Image pickup apparatus, camera main body thereof and interchangeable lens | |
| US9137436B2 (en) | Imaging apparatus and method with focus detection and adjustment | |
| US20060062557A1 (en) | Camera system, image capturing apparatus, and a method of an image capturing apparatus | |
| US20120268613A1 (en) | Image capturing apparatus and control method thereof | |
| JP2006258944A (ja) | オートフォーカスシステム | |
| JPH11341522A (ja) | 立体画像撮影装置 | |
| JP3929034B2 (ja) | マニュアルフォーカス装置 | |
| US7317488B2 (en) | Method of and system for autofocus | |
| JP4334784B2 (ja) | オートフォーカス装置及びそれを用いた撮像装置 | |
| JP4596246B2 (ja) | オートフォーカスシステム | |
| JPH05257062A (ja) | 自動焦点装置 | |
| US7570298B2 (en) | Image-taking apparatus with first focus control such that in-focus position is searched for based on first signal and second focus control such that one of in-focus position and drive amount is determined based on second signal | |
| JP5157377B2 (ja) | 焦点検出装置および撮像装置 | |
| JP2015106116A (ja) | 撮像装置 | |
| JP2006267221A (ja) | オートフォーカスシステム | |
| JP5387341B2 (ja) | 撮像装置 | |
| US20160275657A1 (en) | Imaging apparatus, image processing apparatus and method of processing image | |
| JP4508991B2 (ja) | 撮像装置 | |
| JP2004038114A (ja) | オートフォーカスカメラ | |
| JP3412713B2 (ja) | ピント調整方法 | |
| JP4038103B2 (ja) | オートフォーカスカメラ | |
| US8582016B2 (en) | Photographing apparatus and focus detecting method using the same | |
| JP5023750B2 (ja) | 測距装置および撮像装置 | |
| JPH06105339A (ja) | 立体カメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070418 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070618 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070711 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070910 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071102 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |