JP2010034885A

JP2010034885A - 撮像装置

Info

Publication number: JP2010034885A
Application number: JP2008195318A
Authority: JP
Inventors: 潤 ▲吉▼村; Jun Yoshimura; Takuma Sudo; 拓磨須藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-07-29
Filing date: 2008-07-29
Publication date: 2010-02-12

Abstract

【課題】ズーム倍率を変更した際に被写体を見失うことを防止可能な撮像装置を提供する。
【解決手段】撮像素子によって捉えられた画像から被写体の輪郭を抽出する輪郭抽出手段と、画像から表示あるいは記録のために取得する範囲を変更する旨の変更指示に応じて、撮像素子によって得られた新たな画像から、被写体の輪郭と一致する被写体像を検出する検出手段と、検出手段で検出された被写体像の位置を中心として新たな取得範囲を決定し、画像取得処理に供する範囲決定手段とを備える。
【選択図】図１

Description

本発明は、携帯電話に代表される携帯端末に搭載されるカメラ機能に好適な撮像装置に関する。

近年では、多種多様な機種の携帯端末にカメラ機能が搭載され、様々なシーンでの気軽な撮影に利用されている。

携帯端末では、撮影される画像の画質よりも、撮影の手軽さが重要視されるため、携帯端末のカメラ機能は、小型化された撮影光学系によって実現される場合が多い。このため、撮像倍率の高い望遠画像の撮影は、一般に、撮像素子で取得された画像の一部を拡大処理するデジタルズーム処理で実現されている。

また一方、携帯端末のカメラ機能やデジタルカメラの撮影制御機能を音声コマンドで制御することにより、撮影の際の操作性を向上する技術も提案されている（特許文献１乃至３参照）。
特開２０００−２１５０２１号公報特開平１−０５６４２８号公報特開２０００−２３５２１６号公報

ところで、従来のデジタルズーム処理では、被写体が画面の中央部に捉えられていることを前提として、所望の被写体倍率に応じて、画面の中央部の画像を切り出して拡大する処理を行っている。

例えば、上述した音声コマンドによる制御を携帯端末のカメラ機能に適用した場合には、ズームアップを指示する音声コマンドに応じて、画像の中央部を所定の割合で切り出した部分画像を拡大する処理が行われる。このような操作では、撮像素子で捉えられた画像から切り出される範囲は、上述した所定の割合で示される範囲に不連続に縮小され、この範囲の画像が拡大処理を施された後に、携帯端末の液晶表示画面による表示処理に供される。したがって、携帯端末の利用者に液晶表示画面を介して提供される画像は、ズームアップを指示する音声コマンドに応じて、拡大前の画像から拡大後の画像に切り替えられ、中間的な拡大率の画像が提供されることはない。

このため、このように入力されたコマンドに応じて範囲が段階的に決定されるような切り出し処理が行われる場合には、カメラレンズを連続的に操作してズームアップする場合と違って、利用者は画面内での被写体の位置などを確認してカメラの向きなどを調整することはできない。

それゆえ、被写体が画面の中央部からずれた位置にある場合や、被写体が移動して中央部からずれてしまった場合などに、ズームアップを指示する音声コマンドに対応して上述したような画像の切り出し処理を単純に行うと、切り出された範囲から被写体が外れて、被写体を見失ってしまう場合があった。

本発明は、ズーム倍率を変更した際に被写体を見失うことを防止可能な撮像装置を提供することを目的とする。

上述した目的は、以下に開示する撮像装置によって達成することができる。

この撮像装置の特徴は、撮像素子によって捉えられた画像から被写体の輪郭を抽出する輪郭抽出手段と、画像から表示あるいは記録のために取得する範囲を変更する旨の変更指示に応じて、撮像素子によって得られた新たな画像から、被写体の輪郭と一致する被写体像を検出する検出手段と、検出手段で検出された被写体像の位置を中心として新たな取得範囲を決定し、画像取得処理に供する範囲決定手段とを備える点にある。

このように構成された撮像装置では、輪郭抽出手段によって輪郭が抽出された被写体に対応する被写体像が撮像素子によって捉えられた画像に含まれている限り、検出手段により、この輪郭と新たに得られた画像とのマッチングを行うことによって、輪郭に対応する被写体像を検出することができる。このようにして検出された被写体像の位置を中心として、範囲決定手段により、液晶表示画面による表示やメモリカードへの記録などのための取得範囲を決定することにより、所望の被写体がほぼ確実に中央部に捉えられた画像を取得することができる。

以上に述べたような基本構成を備えた撮像装置によれば、音声コマンドによるズームアップ指示などに応じて撮影倍率などが不連続に変更された際にも、被写体が撮像素子で得られる画像の範囲に捉えられている限りは、被写体が画面の中央部に捉えられた画像を、液晶表示画面などを介して利用者に提供することができる。

特に、携帯端末のように、焦点距離の可変範囲が小さい光学系が搭載されている装置では、デジタルズーム処理が適用される場面が多く、液晶表示画面への表示やメモリカードへの記録などのために取得された画像に対応する範囲よりも広い範囲に対応する画像が撮像素子によって得られている。それゆえ、一度画面内に捉えられた被写体の像は、被写体が多少移動したとしても撮像素子によって得られた画像の内部には納まっている可能性が高い。

したがって、撮像素子で得られた画像全体について輪郭に基づく被写体検出を行い、これを追跡するように画像の取得範囲を決定することにより、撮影倍率などが不連続に変更された際にも、きわめて高い確率で被写体が捉えられた画像を利用者に提供できる。

これにより、音声コマンドによる撮影制御を適用した際にも、音声コマンドに対応した倍率変更処理に伴って取得される画像の範囲から被写体が外れてしまう事態の発生を防ぐことができるので、利用者は、安心して撮影を行うことができる。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。

図１に、課題を解決するための手段の項で基本構成を開示した撮像装置の一実施形態を示す。

図１に示した携帯端末は、無線通信を行う無線送受信部２１２および操作指示のための操作パネル２１１とこれらの制御のための端末制御部２１３に加えて、液晶表示部２１４と、撮影光学系２１５、撮像素子２１６および信号処理部２１７からなるカメラ機能部を備えている。

このカメラ機能部で取得された画像データは、画像処理部２２０において必要な処理が施された後に、端末制御部２１３を介して液晶表示部２１４による表示処理に供される。このとき、端末制御部２１３は、利用者が操作パネル２１１を操作して入力した指示や音声コマンドによって入力した指示に基づいて、撮影光学系２１５の焦点距離の調整や焦点検出のための操作および画像処理部２２０による画像処理を制御する。また、画像を記録する旨が利用者から指示された場合に、端末制御部２１３は、画像処理部２２０から受け取った画像データを記録インタフェース(Ｉ／Ｆ)２１８に渡し、メモリカード２１９にこの画像データを保存させる。

図１に示した画像処理部２２０において、画像保持部２２１は、撮像素子２１６から出力される画像信号に基づいて、信号処理部２１７によってフレームレートに従って生成される画像データを保持する。つまり、画像保持部２２１の内容は、フレームレートに対応する時間ごとに、カメラ機能によって得られる画像データによって更新される。また、範囲読出制御部２２２は、端末制御部２１３からの指示に基づいて、画像保持部２２１に保持された画像から適切な範囲を読み出し、必要に応じて拡大処理を行う。

また、図１に示した輪郭抽出部２２３は、範囲読出制御部２２２からの指示に応じて、画像保持部２２１に保持された画像データの指定された部分に捉えられた被写体の輪郭を抽出する。抽出された輪郭を示す輪郭データは、範囲読出制御部２２２を介して輪郭保持部２２４に格納され、マッチング処理部２２５による画像保持部２２１に保持された新たな画像とのマッチング処理に供される。

以下、撮影に関する操作(例えば、ズームアップなど)を音声コマンドによって入力する場合を例として、抽出された輪郭に基づいて、カメラ機能で得られた画像から液晶表示部２１４による表示やメモリカード２１９への記録などの出力処理に供する範囲を決定する方法について説明する。

図２、図３に、撮影制御動作を表す流れ図を示す。

端末制御部２１３を介して音声コマンドが入力されると(ステップ３０１)、範囲読出制御部２２２は、まず、輪郭保持部２２４に抽出済みの輪郭データが保持されているか否かを判定する(ステップ３０２)。

撮影開始直後のように、まだ、輪郭データが保持されていない場合に、範囲読出制御部２２２は、被写体が未特定であると判断して(ステップ３０２の否定判定)、図３に示した流れ図に従って、音声コマンドに対応する処理を行う。

例えば、ズームアップを指示する音声コマンドが入力された場合は、ステップ３２２の肯定判定としてステップ３２３に進み、端末制御部２１３による制御の下でカメラ機能によって得られた画像データについて、画像処理部２２０により、従来と同様に、画面の中央を基準としてズームアップ画像を生成する処理が行われる。なお、ズームアップ指示に応じた撮影光学系２１５の操作によって、この撮影光学系２１５が最大望遠状態となった後は、範囲読出制御部２２２により、ズームアップコマンドについて予め決定された割合に従って、画像保持部２２１に保持された画像データの一部(図４(ａ)において破線で囲んで示す)が切り出され、この切り出された画像データに対して元の画面に対応するサイズに拡大するデジタルズーム処理を行うことにより、図４(ｂ)に示すようなズームアップ画像が生成される。このようにして生成されたズームアップ画像は、端末制御部２１３を介して生成した画像データが液晶表示部２１４による表示処理に供される。

一方、ズームダウンを指示する音声コマンドが入力された場合は、ステップ３２６の肯定判定としてステップ３２７に進み、端末制御部２１３による制御の下でカメラ機能によって得られた画像データについて、画像処理部２２０により、従来と同様に、画面の中央を基準としてズームダウン画像が生成され、液晶表示部２１４による表示処理に供される。

その後、撮影処理が継続されていることを確認した後(ステップ３２４の肯定判定)、範囲読出制御部２２２は、図２の流れ図の最初に戻って新たな音声コマンドを待つ。

新たな音声コマンドとして、被写体を特定する旨のロック指示が入力されたときに(図３のステップ３２１の肯定判定)、範囲読出制御部２２２は、図１に示した輪郭抽出部２２３に対して、被写体の輪郭の抽出を指示し、また、抽出された輪郭を輪郭保持部２２４に保持する(ステップ３２５)。このとき、範囲読出制御部２２２は、例えば、図４(ｂ)に二重かぎ括弧マークで示す範囲を指定して、輪郭抽出部２２３に輪郭抽出処理の実行を指示することができる。このようにして、図４(ｃ)に示すような被写体の輪郭が抽出され、この輪郭を示す輪郭データが、輪郭保持部２２４に保持される。

このようにして輪郭データが輪郭保持部２２４に保持された後に、倍率を変更する指示の一つであるズームアップ指示が入力された場合に(図２のステップ３０３の肯定判定)、範囲読出制御部２２２は、ステップ３０４からステップ３０８に示すようにして、ズームアップ画像を生成する。

まず、音声コマンドに応じた操作による撮影光学系２１５の倍率の変化に対応して、範囲読出制御部２２２は、輪郭保持部２２４に保持された輪郭データで示される被写体の輪郭を拡大あるいは縮小する(ステップ３０４)。次いで、範囲読出制御部２２２は、拡大あるいは縮小処理の結果として得られた輪郭データをマッチング処理部２２５に渡し、この輪郭データに基づいて、画像保持部２２１に保持されている画像とのパターンマッチング処理により、輪郭データに対応する被写体を検出する(ステップ３０５)。

次に、範囲読出制御部２２２は、マッチング処理部２２５から検出された被写体の位置を示す情報を受け取り、この検出位置を中心として画像の読出範囲を決定する(ステップ３０６)。例えば、上述した輪郭データとのマッチング処理によって、図４(ｄ)に示すように、画像保持部２２１に保持された画像の中央からずれた位置に被写体が検出された場合に、範囲読出制御部２２２は、図４(ｄ)に鎖線で囲んで示すように、検出された被写体を中央に位置させるような読出範囲を決定することができる。この読出範囲の大きさは、例えば、端末制御部２１３から指定された倍率に従って拡大したときに、元の画像の大きさと同等となるように、範囲読出制御部２２２によって決定することができる。

このようにして決定された読出範囲に含まれる画像データは、範囲読出制御部２２２によって画像保持部２２１から読み出された後に、端末制御部２１３から指定された倍率に従って拡大処理され(ステップ３０７)、端末制御部２１３を介して液晶表示部２１４による表示処理に供される(ステップ３０８)。

これにより、撮像素子２１７によって捉えられた画像において被写体が占める位置が中央から外れている場合にも、上述したような被写体位置を考慮したデジタルズーム処理を行うことにより、被写体を中央に捉えた画像を液晶表示部２１４による表示処理に供することができる（図４(ｅ)参照）。

このようにして被写体の位置に応じて読出範囲が決定された後に撮影を指示する音声コマンドが入力された場合に(ステップ３０９の肯定判定)、端末制御部２１３は、範囲読出制御部２２２から上述した読出範囲の画像データを受け取り、記録インタフェース２１８を介してこの画像データをメモリカード２１９に書き込んで(ステップ３１０)、処理を終了する。

一方、ステップ３０９の否定判定の場合は、ステップ３０５に進んで、カメラ機能によって更新された画像保持部２２１内の画像データについて改めて被写体検出が行われ、この検出結果に応じて読出範囲の決定およびデジタルズームによる拡大／縮小処理が行われる(ステップ３０６，３０７)。また、音声コマンドの入力の有無にかかわらず、画像保持部２２１内の画像データが更新されるごとに、上述したステップ３０５〜ステップ３０７を実行することにより、被写体に追従するように更新した読出範囲についてのデジタルズーム処理を実現し、得られた画像を液晶表示部２１４による表示に供することができる。

このように、被写体の輪郭を抽出し、この輪郭に基づいて新たな画像から被写体の像を検出してデジタルズーム処理による拡大／縮小処理を適用する範囲を決定することにより、デジタルズーム処理に伴って被写体を見失ってしまうことを確実に防ぐことができる。

更に、図５(ａ)に示す輪郭データに基づいて、図５(ｂ)に示す新たな画像データから被写体の像を検出した後に、輪郭抽出部２２３により、この新たな画像データについて被写体の輪郭を抽出する処理を行い、抽出した輪郭(図５(ｃ)参照)を示す輪郭データを用いて輪郭保持部２２４の内容を更新することもできる。

このようにして、被写体の輪郭を更新していくことにより、図５に示した小鳥が翼を広げる例のように、被写体の外形が変形する場合にも被写体を追跡し続けることができる。

撮像装置の実施形態を示す図である。撮影制御動作を表す流れ図（１）である。撮影制御動作を表す流れ図（２）である。読出範囲の変更を説明する図である。輪郭を更新する処理を説明する図である。

符号の説明

２１１操作パネル
２１２無線送受信部
２１３端末制御部
２１４液晶表示部
２１５撮影光学系
２１６撮像素子
２１７信号処理部
２１８記録インタフェース(Ｉ／Ｆ)
２１９メモリカード
２２０画像処理部
２２１画像保持部
２２２範囲読出制御部
２２３輪郭抽出部
２２４輪郭保持部
２２５マッチング処理部

Claims

撮像素子によって捉えられた画像から被写体の輪郭を抽出する輪郭抽出手段と、
前記画像から表示あるいは記録のために取得する範囲を変更する旨の変更指示に応じて、前記撮像素子によって得られた新たな画像から、前記被写体の輪郭と一致する被写体像を検出する検出手段と、
前記検出手段で検出された被写体像の位置を中心として新たな取得範囲を決定し、画像取得処理に供する範囲決定手段と
を備えたことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記検出手段は、前記変更指示で撮影倍率が変化する変更が指示された場合に、前記撮影倍率の変更に応じて、前記輪郭を拡大あるいは縮小して、前記被写体像の検出処理に供する輪郭調整手段を備えた
ことを特徴とする撮像装置。