JP6427711B1 - 電子機器、方法及びプログラム - Google Patents

Abstract

【課題】 撮像領域の焦点距離を適切に補間することを可能とする電子機器、方法及びプログラムを提供する。
【解決手段】 電子機器は、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子と、プロセッサと、を備える。前記プロセッサは、前記所定撮像領域に含まれる第１撮像領域において前記複数の撮像画像を比較することによって、前記第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定する第１処理を実行し、前記第１撮像領域において前記２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間する第２処理を実行する。前記第２処理は、前記中間領域の内側又は外側に位置しており、かつ、前記２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間する処理を含む。
【選択図】 図２

Description

本発明は、電子機器、方法及びプログラムに関する。

近年、焦点距離が異なる複数の撮像画像を撮像するとともに、複数の撮像画像に含まれるエッジ成分を用いて、被写体領域と背景領域とを区別する技術が提案されている（例えば、特許文献１）。

特開２０１５−０４１８６５号公報 特開２０１５−１０４０３１号公報

しかしながら、エッジ成分を用いた領域特定では、いずれの撮像画像においてもエッジ成分が出現しない領域（例えば、単色領域）が存在し得る。すなわち、撮像領域の焦点距離を特定する技術には改善の余地がある。

そこで、本発明は、上述した課題を解決するためになされたものであり、撮像領域の焦点距離を適切に補間することを可能とする電子機器、方法及びプログラムを提供することを目的とする。

第１の特徴に係る電子機器は、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子と、プロセッサと、を備える。前記プロセッサは、前記所定撮像領域に含まれる第１撮像領域において前記複数の撮像画像を比較することによって、前記第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定する第１処理を実行する。前記プロセッサは、前記第１撮像領域において前記２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間する第２処理を実行する。前記第２処理は、前記中間領域の内側又は外側に位置しており、かつ、前記２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間する処理を含む。

第２の特徴に係る方法は、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子を少なくとも備える電子機器で用いる方法である。前記方法は、前記所定撮像領域に含まれる第１撮像領域において前記複数の撮像画像を比較することによって、前記第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定するステップＡと、前記第１撮像領域において前記２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間するステップＢと、を備える。前記ステップＢは、前記中間領域の内側又は外側に位置しており、かつ、前記２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間するステップを含む。

第３の特徴に係るプログラムは、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子を少なくとも備える電子機器で用いるプログラムである。前記プログラムは、コンピュータに、前記所定撮像領域に含まれる第１撮像領域において前記複数の撮像画像を比較することによって、前記第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定するステップＡと、前記第１撮像領域において前記２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間するステップＢと、を実行させる。前記ステップＢは、前記中間領域の内側又は外側に位置しており、かつ、前記２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間するステップを実行させる。

一態様によれば、撮像領域の焦点距離を適切に補間することを可能とする電子機器、方法及びプログラム提供することができる。

図１（ａ）は、実施形態に係る携帯端末１の正面図であり、図１（ｂ）は、実施形態に係る携帯端末１の背面図であり、図１（ｃ）は、実施形態に係る携帯端末１の右側側面図である。 図２は、実施形態に係る携帯端末１のブロック図である。 図３は、実施形態に係る深さマップの一例を示す図である。 図４は、実施形態に係る中間領域の再特定を説明するための図である。 図５は、実施形態に係る第１補間処理を説明するための図である。 図６は、実施形態に係る第２補間処理を説明するための図である。 図７は、実施形態に係る画像処理方法を示す図である。 図８は、実施形態に係る画像処理方法を示す図である。 図９は、実施形態に係る画像処理方法を示す図である。 図１０は、変更例に係る補正処理を説明するための図である。 図１１は、変更例に係る画像処理方法を示す図である。 図１２は、変更例に係るＧＵＩの一例を示す図である。 図１３は、変更例に係るＧＵＩの一例を示す図である。

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。

［実施形態］
（電子機器の概要）
以下において、実施形態に係る電子機器について説明する。実施形態では、電子機器の一例として携帯端末１について説明する。携帯端末１は、スマートフォン及びタブレット端末などであってもよい。図１（ａ）〜図１（ｃ）において、キャビネット２の長手方向を上下方向と定義し、キャビネット２の短手方向を左右方向と定義する。上下方向及び左右方向に垂直な方向を前後方向と定義する。

図１（ａ）〜図１（ｃ）に示すように、携帯端末１は、キャビネット２と、ディスプレイ３と、タッチパネル４と、マイクロフォン５と、スピーカ６と、外部スピーカ７と、インカメラ８と、アウトカメラ９と、を有する。

キャビネット２は、図２に示す各構成を収容する筐体である。キャビネット２は、正面から見て略長方形の輪郭を有する。

ディスプレイ３は、キャビネット２の正面側に設けられる。ディスプレイ３は、各種画像を表示する。例えば、ディスプレイ３は、液晶パネル及びＬＥＤバックライトを有する液晶ディスプレイであってもよく、有機ＥＬディスプレイであってもよく、他のディスプレイであってもよい。

タッチパネル４は、ディスプレイ３を覆うように設けられる。タッチパネル４は、透明なシート状の部材によって構成される。タッチパネル４は、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のタッチパネルであってもよい。

マイクロフォン５は、キャビネット２の内部に設けられており、キャビネット２の下端部に設けられる。マイクロフォン５は、音を検出する。具体的には、マイクロフォン５は、キャビネット２の正面に形成されたマイク孔５ａを介して音を検出する。マイクロフォン５は、検出された音に応じた電気信号を生成する。

スピーカ６は、キャビネット２の内部に設けられており、キャビネット２の上端部に設けられる。スピーカ６は、音を出力する。具体的には、スピーカ６は、キャビネット２の正面に形成された出力孔６ａを介してして音を出力する。スピーカ６は、通話相手の音声を出力してもよく、他の通知音などを出力してもよい。

外部スピーカ７は、キャビネット２の内部に設けられており、キャビネット２の背面に設けられる。外部スピーカ７は、キャビネット２の背面に形成された出力孔７ａを介して音を出力する。外部スピーカ７は、携帯端末１にインストールされるアプリケーションから通知される通知音を出力してもよい。

インカメラ８は、撮像素子の一例であり、キャビネット２の上部かつ正面に設けられる。インカメラ８は、携帯端末１の正面と対向する撮像対象を撮像する。例えば、インカメラ８は、ＣＣＤ、ＣＭＯＳセンサ及び広角レンズを含む。インカメラ８は、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像してもよい。

アウトカメラ９は、撮像素子の一例であり、キャビネット２の背面に設けられる。アウトカメラ９は、携帯端末１の背面と対向する撮像対象を撮像する。例えば、インカメラ９は、ＣＣＤ、ＣＭＯＳセンサ及び広角レンズを含む。アウトカメラ９は、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像してもよい。

（携帯端末）
以下において、実施形態に係る携帯端末について説明する。

図２に示すように、携帯端末１は、制御部１１と、記憶部１２と、画像出力部１３と、タッチ検出部１４と、音声入力部１５と、音声出力部１６と、音声処理部１７と、キー入力部１８と、通信部１９と、第１撮像部２０と、第２撮像部２１と、照度検出部２２とを含む。

制御部１１は、少なくとも１つのプロセッサを有する。制御部１１は、ＣＰＵ及びメモリなどによって構成される制御回路を有する。制御部１１は、携帯端末１を構成する各構成を制御する。制御部１１の詳細については後述する。

記憶部１２は、様々な情報を記憶する。例えば、記憶部１２は、ＲＯＭ又はＲＡＭなどのメモリによって構成される。記憶部１２は、携帯端末１に内蔵される内部メモリであってもよく、携帯端末１に着脱可能に構成される外部メモリであってもよい。記憶部１２は、携帯端末１を構成する各構成を制御するための制御プログラムを記憶してもよい。記憶部１２は、携帯端末１にインストールされるアプリケーションを実行するためのアプリケーションプログラムを記憶してもよい。例えば、アプリケーションは、電話、メッセージ、カメラ、ウェブブラウザ、地図、ゲーム、スケジュール管理などのアプリケーションを含む。アプリケーションは、携帯端末１のメーカによって製造時又は出荷時にインストールされるプリアプリケーションを含んでもよく、通信回線網又は記憶媒体からインストールされるアプリケーションを含んでもよい。記憶部１２は、プログラムの実行で一時的に利用されるデータを記憶するワーキングメモリを含んでもよい。

実施形態では、記憶部１２は、インカメラ８及びアウトカメラ９によって撮像された画像を一時的に記憶する一時記憶フォルダ１２ａを含む。一時記憶フォルダ１２ａに記憶される画像は、恒久記憶フォルダ１２ｂに画像を保存するか否かをユーザが決定するために用いられる。記憶部１２は、インカメラ８及びアウトカメラ９によって撮像された画像を恒久的に記憶する恒久記憶フォルダ１２ｂを含む。恒久記憶フォルダ１２ｂは、撮像画像を保存するためのストレージの一例である。恒久記憶フォルダ１２ｂに記憶される画像は、ユーザによって参照される。記憶部１２は、インカメラ８及びアウトカメラ９によって撮像された画像を一時的に記憶する編集フォルダ１２ｃを含む。編集フォルダ１２ｃに記憶された画像は、インカメラ８及びアウトカメラ９によって撮像された画像の加工に用いられる。画像の加工は、所定撮像領域に含まれる各領域の焦点距離を調整する加工を含む。

画像出力部１３は、ディスプレイ３を含む。画像出力部１３は、図１（ａ）に示すディスプレイ３上に様々な画像を表示させる。具体的には、画像出力部１３は、制御部１１から入力される制御信号及び画像信号に基づいて、ディスプレイ３上に画像を表示させる。画像出力部１３は、制御部１１から入力される制御信号に応じて、ディスプレイ３の点灯、消灯及び輝度調整を行ってもよい。画像出力部１３は、制御部１１から入力される制御信号に応じて、ディスプレイ３からフラッシュを放出させてもよい。フラッシュは、白色光であってもよい。

タッチ検出部１４は、タッチパネル４を含む。タッチ検出部１４は、図１（ａ）に示すタッチパネル４へのタッチ操作を検出する。具体的には、タッチ検出部１４は、タッチ操作の位置（以下、タッチ位置）を検出し、検出されたタッチ位置に対応する位置信号を制御部１１に出力する。例えば、タッチ操作は、ディスプレイ３に表示されるオブジェクトを対象として行われ、オブジェクトには携帯端末１が実行可能な機能が対応付けられている。

ここで、タッチ操作は、タッチパネル４にユーザの指が接触する操作だけではなく、タッチパネル４にユーザの指が近接する操作を含んでもよい。タッチ操作は、所定時間内に２回以上のタッチ操作が連続するタップ操作を含んでもよい。タッチ操作は、タッチ操作が行われた状態でタッチ位置が移動するフリック操作又はスライド操作を含んでもよい。

音声入力部１５は、マイクロフォン５を含む。音声入力部１５は、マイクロフォン５によって検出された音に応じて、電気信号を音声処理部１７に出力する。

音声出力部１５は、スピーカ６及び外部スピーカ７を含む。音声出力部１６は、音声処理部１７から入力される電気信号を取得する。音声出力部１６は、取得された電気信号に応じて、スピーカ６又は外部スピーカ７に音を出力させる。

音声処理部１７は、音声入力部１５から入力される電気信号をＡ／Ｄ変換等によってデジタル信号に変換し、デジタル信号を制御部１１に出力する。音声処理部１７は、制御部１１から入力されるデジタル信号をＤ／Ａ変換等によって電気信号に変換し、電気信号を音声出力部１６に出力する。

キー入力部１８は、ユーザによって操作されるキーを含むインタフェースである。例えば、キー入力部１８は、少なくとも１つ以上のハードキーを含んでもよい。例えば、ハードキーは、携帯端末１の電源を投入するための電源キーを含んでもよい。キー入力部１８は、押下されたキーに対応する信号を制御部１１に出力する。

通信部１９は、通信モジュール等によって構成されており、通話及び通信の少なくともいずれか１つを行う。通信部１９は、信号変換回路及びアンテナなどを含む。通信部１９は、通信インタフェースを含む。通信部は、有線又は無線で通信を行うことができる。

第１撮像部２０は、少なくとも１つのプロセッサを有する。第１撮像部２０は、インカメラ８を含んでもよい。第１撮像部２０は、インカメラ８によって撮像された画像を加工する。例えば、第１撮像部２０は、自動露出機能を有しており、広角レンズに取り込まれる光量に応じて露出値（絞り値、シャッタースピード）を調整してもよい。第１撮像部２０は、自動ホワイトバランス機能を有しており、広角レンズに取り込まれる光に応じてホワイトバランス値を調整してもよい。

第２撮像部２１は、少なくとも１つのプロセッサを有する。第２撮像部２１は、アウトカメラ９を含んでもよい。第２撮像部２１は、アウトカメラ９によって撮像された画像を加工する。例えば、第２撮像部２１は、自動露出機能を有しており、広角レンズに取り込まれる光量に応じて露出値（絞り値、シャッタースピード）を調整してもよい。第２撮像部２１は、自動ホワイトバランス機能を有しており、広角レンズに取り込まれる光に応じてホワイトバランス値を調整してもよい。

照度検出部２２は、携帯端末１の周囲の明るさを検出する照度センサを含んでもよい。照度検出部２２は、検出された明るさを示す信号を制御部１１に出力する。検出された明るさは、制御部１１がディスプレイ３の輝度を調整する処理に用いられてもよい。

各機能部又は各検出部が実行するとして説明した各種処理は、制御部１１によって実行されてもよい。各機能部は、記憶部１２と、画像出力部１３と、音声出力部１６と、音声処理部１７と、キー入力部１８と、通信部１９と、第１撮像部２０と、第２撮像部２１とを含む。各検出部は、タッチ検出部１４と、音声入力部１５と、照度検出部２２とを含む。

（適用シーン）
以下において、実施形態に係る適用シーンについて説明する。ここでは、撮像素子としてアウトカメラ９を例に挙げるとともに、プロセッサとして第２撮像部２１を例に挙げて説明する。

具体的には、図３の上段に示すように、アウトカメラ９は、所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する。複数の撮像画像は、編集フォルダ１２ｃに記憶される。例えば、所定撮像領域は、アウトカメラ９が有する広角レンズによって定義される。以下において、焦点距離は、深さと称することもある。図３では、７枚の撮像画像が撮像されるケースを例示する。言い換えると、アウトカメラ９は、７種類の深さで撮像画像を撮像する。

第２撮像部２１は、所定撮像領域に含まれる第１撮像領域において複数の撮像画像を比較することによって、第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定する第１処理を実行する。第２撮像部２１は、第１撮像領域において２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間する第２処理を実行する。第２処理は、中間領域の内側又は外側に位置しており、かつ、２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、中間領域の焦点距離を補間する処理を含む。補間焦点領域は、第１撮像領域に含まれる全ての焦点特定領域であってもよいし、一部分の焦点特定領域であってもよい。第２撮像部２１は、焦点特定領域が中間領域の内側及び外側の双方に位置している場合、中間領域と焦点特定領域とのそれぞれの境界線の長さに基づいて補間焦点領域を決定してもよい。すなわち、第２撮像部２１は、中間領域の内側に位置する焦点特定領域及び中間領域の内側に位置する焦点特定領域のうち、中間領域との境界線がより長い焦点特定領域を補間焦点領域とし、当該補間焦点領域に基づいて第２処理を行ってもよい。なお、第１撮像領域は、中間領域又は焦点特定領域に属する任意の大きさの点の集合である。そして、境界線とは、中間領域及び焦点特定領域が共有する点の集合である。第２撮像部２１は、焦点特定領域が中間領域の内側及び外側の双方に位置している場合に、それぞれの焦点特定領域の面積に基づいて補間焦点領域を決定してもよい。すなわち、第２撮像部２１は、中間領域の内側に位置する焦点特定領域及び中間領域の内側に位置する焦点特定領域のうち、より面積が大きい焦点特定領域を補間焦点領域とし、当該補間焦点領域に基づいて第２処理を行ってもよい。第２撮像部２１は、焦点特定領域が中間領域の内側及び外側の双方に位置している場合に、それぞれの焦点特定領域の焦点距離の深さに基づいて補間焦点領域を決定してもよい。すなわち、第２撮像部２１は、中間領域の内側に位置する焦点特定領域及び中間領域の内側に位置する焦点特定領域のうち、焦点距離がより浅い焦点特定領域を補間焦点領域とし、当該補間焦点領域に基づいて第２処理を行ってもよい。第２撮像部２１は、中間領域の内側に位置する焦点特定領域を常に補間焦点領域としてもよい。第２撮像部２１は、中間領域の外側に位置する焦点特定領域を常に補間焦点領域としてもよい。

実施形態では、第２撮像部２１は、第１撮像領域を複数の分割領域に分割するとともに、深さが特定される分割領域（焦点特定領域）及び深さが特定されない分割領域（中間領域）を特定する。例えば、分割領域は、所定撮像領域が６０×６０で分割された領域である。

ここで、第１処理及び第２処理は、アウトカメラ９から被写体までの距離が所定距離以下である場合に適用されてもよい。すなわち、撮像素子から被写体までの距離が所定距離よりも大きい場合には、第１処理及び第２処理以外の処理（例えば、人物検出処理）が適用されてもよい。

（深さマップの生成）
以下において、実施形態に係る深さマップの生成について説明する。

第２撮像部２１は、複数の撮像画像のそれぞれに各種手法を適用することによって、複数の撮像画像のエッジ成分を分割領域毎に比較する。各種手法とは、１次微分又は２次微分を用いる手法であってもよい。例えば、１次微分を用いる手法は、ソーベルフィルタ及びプレヴィットフィルタを含む。例えば、２次微分を用いる手法は、ラプラシアンフィルタを含む。以下では、撮像画像のエッジ成分の検出にラプラシアンフィルタを用いた例を説明する。

第２撮像部２１は、第１処理において、最も大きいエッジ成分が閾値よりも大きいことを条件として、最も大きいエッジ成分を有する撮像画像の深さを分割領域の深さとして特定する。深さが特定された分割領域は、２以上の焦点特定領域のいずれかである。例えば、第２撮像部２１は、対象分割領域について１枚目の撮像画像のエッジ成分が最も大きい場合には、１枚目の撮像画像の深さを対象分割領域の深さとして特定する。

第２撮像部２１は、第２処理において、最も大きいエッジ成分が閾値以下である分割領域を特定する。このような分割領域の深さの信頼性は低いことに留意すべきである。最も大きいエッジ成分が閾値以下である分割領域は、２以上の焦点特定領域のいずれにも属さない中間領域である。例えば、第２撮像部２１は、対象分割領域について全ての撮像画像のエッジ成分が閾値以下である場合には、このような対象分割領域を中間領域として特定する。

これらの処理によって、第２撮像部２１は、図３の下段に示す深さマップを生成する。図３の下段に示すように、中間領域の外側に焦点特定領域が存在していてもよく、中間領域の内側に焦点特定領域が存在していてもよい。ここでは、皿の部分については、エッジ成分が小さい単色部分であるため、皿の部分が中間領域として特定されるケースが例示されている。一方で、皿に載せられたケーキ及び皿の背景の部分については、エッジ成分が大きいため、これらの部分が焦点特定領域として特定されるケースが例示されている。

（エッジ成分の再検出）
以下において、実施形態に係る中間領域の再特定について説明する。

第２撮像部２１は、第２処理において、図４の上段及び中段に示すように、中間領域を含む対象領域を特定する。すなわち、第２撮像部２１は、中間領域の位置を特定し、特定した位置を含むように対象領域を決定してもよい。位置を特定する中間領域は、第１撮像領域に含まれる複数の中間領域のうちの１つの中間領域であってもよい。対象領域は、中間領域を２０％拡大した領域であってもよい。図４の上段及び中段では、対象領域が矩形形状を有するが、対象領域は、中間領域の相似形状であってもよい。ここでは、皿の部分を含む領域が対象領域として特定されるケースが例示されている。

第２撮像部２１は、第２処理において、図４の下段に示すように、中間領域を含む対象領域の中で中間領域の内側及び外側の少なくともいずれか１つに位置する所定領域を所定色に変換する。ここでは、中間領域の外側に位置する所定領域が所定色に変換されるケースが例示されている。中間領域の内側に位置する所定領域が所定色に変換されてもよい。但し、中間領域を区画する境界については所定色に変換されないことに留意すべきである。特に限定されるものではないが、所定色は黒色であってもよい。

第２撮像部２１は、対象領域を対象として、複数の撮像画像のそれぞれにラプラシアンフィルタを適用することによって、複数の撮像画像のエッジ成分を、分割領域毎ではなく、対象領域全体で検出して比較する。第２撮像部２１は、対象領域を対象として、複数の撮像画像のエッジ成分を分割領域毎に検出して比較してもよい。第２撮像部２１は、対象領域エッジ成分を再特定する。言い換えると、所定領域が所定色に変換された後の対象領域においてエッジ成分が再特定される。

中間領域と焦点特定領域との境界線の長さ、焦点特定領域の面積又は焦点特定領域の焦点距離の深さに基づいて補間焦点領域が決定されてよいことは上述した。これらの処理は、分割領域毎に再特定されたエッジ成分に基づいて実行され得る。

なお、例えば中間領域と焦点特定領域との境界線の長さに基づいて補間焦点領域が決定される場合などは、第２撮像部２１は、対象となる中間領域を特定さえすれば、最初に検出したエッジ成分（第１撮像領域を対象に検出したエッジ成分）に基づいて補間焦点領域を決定することができる。この場合、第２撮像部２１は、中間領域を特定した後は、中間領域を含む対象領域を特定するのみで、エッジ成分の再検出を行わなくてもよい。

（第１補間処理）
以下において、実施形態に係る第１補間処理について説明する。

第２撮像部２１は、第２処理において、中間領域の内側又は外側に位置しており、かつ、２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、中間領域の焦点距離を補間する。すなわち、第２撮像部２１は、図５の上段に示す深さマップ（図３の下段に示す深さマップと同じ）について、中間領域の焦点距離を補間することによって、図５の下段に示す深さマップを生成する。ここでは、ケーキの部分を構成する焦点特定領域が補間焦点領域として用いられるケースが例示されている。

なお、中間領域の内側に位置する焦点特定領域及び中間領域の内側に位置する焦点特定領域のどちらが補間焦点領域に採用されるかは、上述した例に限られない。例えば、複数の撮像画像のエッジ成分が、対象領域全体で比較されると、１枚の撮像画像につき１つのエッジ成分が検出される。第２撮像部２１は、これらのエッジ成分のうち最もピークの強いエッジ成分に基づいて第２処理を行ってもよい。すなわち、第２撮像部２１は、これらのエッジ成分のうち最もピークの強いエッジ成分に対応する焦点距離を有する領域を補間焦点領域とし、当該補間焦点領域に基づいて第２処理を行ってもよい。このとき、最もピークの強いエッジ成分に対応する焦点距離を有する領域は、中間領域の内側に位置する焦点特定領域か、又は中間領域の外側に位置する焦点特定領域であり得る。

他の実施形態において、第２撮像部２１は、対象領域を対象とし、複数の撮像画像のエッジ成分を分割領域毎に検出し、それらを重ね合わせることで、１枚の撮像画像につき１つのエッジ成分を特定してもよい。

ここで、このような補間処理（以下、第１補間処理）が適用される中間領域は、所定面積以下の中間領域であってもよい。言い換えると、第１補間処理は、所定面積よりも大きい中間領域には適用されなくてもよい。

このような第１補間処理は、分割領域単位で行われてもよく、分割領域を構成する画素単位で行われてもよい。

（第２補間処理）
以下において、実施形態に係る第２補間処理について説明する。

第２撮像部２１は、中間領域の補間後において、焦点距離が特定されていない残り領域を特定し、残り領域の列方向又は行方向に含まれる補間焦点領域の焦点距離に基づいて、残り領域の焦点距離を補間する。第２撮像部２１は、図６の上段に示す深さマップ（図５の下段に示す深さマップと同じ）について、残り領域の焦点距離を補間することによって、図６の下段に示す深さマップを生成する。ここでは、残り領域の行方向に含まれる焦点特定領域のうち、最も面積が大きい焦点特定領域が補間焦点領域として用いられるケースを例示している。焦点特定領域としては、上述した第１補間処理で焦点距離が補間された分割領域を用いてもよい。

このような第２補間処理は、分割領域単位で行われてもよく、分割領域を構成する画素単位で行われてもよい。

（画像処理方法）
以下において、実施形態に係る画像処理方法について説明する。

図７に示すように、ステップＳ１０において、携帯端末１の第２撮像部２１（以下、単にプロセッサ）は、アウトカメラ９から被写体までの距離（被写体距離）が所定距離以下であるか否かを判定する。プロセッサは、判定結果がＹＥＳである場合に、ステップＳ３０の処理を行う。プロセッサは、判定結果がＮＯである場合に、ステップＳ２０の処理を行う。

ステップＳ２０において、プロセッサは、撮像画像によって人物検出が可能であるか否かを判定する。プロセッサは、判定結果がＹＥＳである場合に、ステップＳ４０の処理を行う。プロセッサは、判定結果がＮＯである場合に、ステップＳ５０の処理を行う。ここで、人物検出の方法としては、画像マッチングなどのように既知の方法を用いることができる。

ステップＳ３０において、プロセッサは、第１撮像処理を実行する。第１撮像処理は、上述した第１処理及び第２処理を含む処理である。第１撮像処理の詳細については後述する（図８を参照）。

ステップＳ４０において、プロセッサは、第２撮像処理を実行する。第２撮像処理は、被写体を含む領域（人物領域）と被写体を含まない領域（背景領域）とを人物検出によって判別する処理を含んでもよい。第２撮像処理は、人物領域の焦点距離及び背景領域の焦点距離を個別に変更する処理を含んでもよい。第２撮像処理は、背景領域をぼかした画像を生成する処理であってもよく、人物領域をぼかした画像を生成する処理であってもよい。

ステップＳ５０において、プロセッサは、第３撮像処理を実行する。第３撮像処理は、１枚の撮像画像のみを撮像する処理である。第３撮像処理では、深さマップは生成されずに、１枚の撮像画像がそのまま保存される。

以下において、上述した第１撮像処理の詳細について説明する。

図８に示すように、ステップＳ３１において、プロセッサは、図３の下段に示す深さマップを生成する。具体的には、プロセッサは、複数の撮像画像のそれぞれにラプラシアンフィルタを適用することによって、複数の撮像画像のエッジ成分を分割領域毎に比較する。プロセッサは、最も大きいエッジ成分が閾値よりも大きい分割領域を焦点特定領域として特定する。プロセッサは、最も大きいエッジ成分が閾値以下である分割領域を中間領域として特定する。ステップＳ３１は、第１処理及び第２処理に共通する処理である。

ステップＳ３２において、プロセッサは、中間領域があるか否かを判定する。プロセッサは、判定結果がＹＥＳである場合に、ステップＳ３３の処理を行う。プロセッサは、判定結果がＮＯである場合に、一連の処理を終了する。

ステップＳ３３において、プロセッサは、中間領域の焦点距離を補間する（第１補間処理）。プロセッサは、図４及び図５を用いて説明したように、中間領域の内側又は外側に位置する補間焦点領域の焦点距離に基づいて、中間領域の焦点距離を補間する。第１補間処理の詳細については後述する（図９を参照）。ステップＳ３３は、第２処理の一部である。

ステップＳ３４において、プロセッサは、残り領域があるか否かを判定する。プロセッサは、判定結果がＹＥＳである場合に、ステップＳ３５の処理を行う。プロセッサは、判定結果がＮＯである場合に、一連の処理を終了する。

ステップＳ３５において、プロセッサは、残り領域の焦点距離を補間する（第２補間処理）。プロセッサは、図６を用いて説明したように、焦点距離が特定されていない残り領域の列方向又は行方向に含まれる補間焦点領域の焦点距離に基づいて、残り領域の焦点距離を補間する。ステップＳ３５は、第２処理の一部である。

ステップＳ３６において、プロセッサは、焦点距離が補間された深さマップを用いて、撮像画像を加工する処理を実行する。撮像画像の加工処理（第３処理）は、ぼかし処理が施されるぼかし領域とぼかし処理が施されない非ぼかし領域とを特定する処理を含む。ぼかし領域及び非ぼかし領域の少なくともいずれか１つは、ユーザによって選択可能に構成されていてもよい。

撮像画像の加工処理（第３処理）は、非ぼかし領域に基づいて複数の撮像画像の中からメイン画像を特定する処理を含む。メイン画像は、非ぼかし領域の焦点距離の深さを有する撮像画像であってもよい。撮像画像の加工処理（第３処理）は、複数の撮像画像のうちの１つに対してぼかし処理を行って、ボケ画像を生成する処理を含む。複数の撮像画像のうちの１つとは、メイン画像であってもよい。撮像画像の加工処理（第３処理）は、ぼかし領域及び非ぼかし領域に基づいて、ボケ画像とメイン画像における非ぼかし領域とを合成する処理を含む。

以下において、上述した第１補間処理の詳細について説明する。

図９に示すように、ステップＳ３３１において、プロセッサは、中間領域を含む対象領域を特定する。例えば、対象領域は、中間領域を２０％拡大した領域であってもよい。

ステップＳ３３２において、プロセッサは、中間領域を含む対象領域の中で中間領域の内側及び外側の少なくともいずれか１つに位置する所定領域を所定色に変換する。

ステップＳ３３３において、プロセッサは、対象領域に含まれる中間領域を再特定する。

ステップＳ３３４において、プロセッサは、中間領域の内側又は外側に位置する補間焦点領域の焦点距離に基づいて、中間領域の焦点距離を補間する。補間焦点領域としては、中間領域の周囲に位置する焦点特定領域のうち、最も面積が大きい焦点特定領域が用いられてもよい。

（作用及び効果）
実施形態では、携帯端末１は、中間領域の内側又は外側に位置しており、かつ、２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、中間領域の焦点距離を補間する。このような構成によれば、携帯端末１は、エッジ成分が出現しない領域（例えば、単色領域）が存在しても、エッジ成分が出現しない領域（中間領域）の焦点距離を補間することができる。ひいては、焦点距離の適切な補間によって、ぼかし処理などの画像加工を適切に実行することができる。

実施形態では、携帯端末１は、中間領域を含む対象領域を特定する。また、携帯端末１は、中間領域を含む対象領域の中で中間領域の内側及び外側の少なくともいずれか１つに位置する所定領域を所定色に変換する。このような構成によれば、携帯端末１は、中間領域が複数存在する場合でも、第１補間処理を適用する中間領域を適切に選択することができる。ひいては、補間処理を簡略化するとともに補間処理の精度を向上させることができる。

実施形態では、携帯端末１は、被写体距離が所定距離以下である場合に、第１処理及び第２処理を含む第１撮像処理を実行する。このような構成によれば、効果が期待しにくい撮像画像にまで第１撮像処理を適用することによって、携帯端末１の処理負荷が増大することを抑制することができる。

［変更例］
以下において、実施形態の変更例について説明する。変更例では、実施形態に対する相違点について主として説明する。

変更例では、焦点距離が特定又は補間された領域の特定精度を高めるために、輪郭画像と焦点距離が特定又は補間された領域との比較によって、焦点距離が特定又は補間された領域の範囲を補正する補正処理が実行される。焦点距離が特定された領域とは、複数の撮像画像の比較によって焦点距離が特定された領域であり、焦点距離が補間された領域とは、第１補間処理及び第２補間処理がなされた後の中間領域である。これらの領域については、既に焦点距離が定まっているため、以下においては単に焦点特定領域と称する。

第１に、第２撮像部２１は、図１０の上段に示すように、複数の撮像画像のそれぞれに含まれる画素の２値化によって得られる輪郭画像を生成する。例えば、２値化は、三原色信号（ＲＧＢ信号）及び輝度信号（Ｙ信号）の少なくともいずれか１つを用いた２値化であってもよい。第２撮像部２１は、１つの撮像画像を対象として２以上の閾値を用いることによって、１つの撮像画像から２以上の輪郭画像を生成してもよい。さらに、第２撮像部２１は、複数の輪郭画像を重ね合わせて１つの輪郭画像を生成する。

第２に、第２撮像部２１は、図１０の中段に示すように、図６の下段に示す深さマップを輪郭画像と重ね合わせる。

第３に、第２撮像部２１は、図１０の下段に示すように、輪郭画像と焦点特定領域との比較によって、焦点特定領域の範囲を補正する。具体的には、第２撮像部２１は、輪郭画像に輪郭によって区画される輪郭領域のうち、所定閾値よりも大きいサイズを有する輪郭領域を特定する。第２撮像部２１は、特定された輪郭領域と重複する焦点特定領域が閾値（例えば、５０％）以上である場合に、特定された輪郭領域の全体が輪郭領域と重複する焦点特定領域となるように焦点特定領域を補正する。

（画像処理方法）
以下において、変更例に係る画像処理方法について説明する。

図１１に示すように、ステップＳ１０１に示すように、携帯端末１の第２撮像部２１（以下、単にプロセッサ）は、複数の撮像画像のそれぞれに含まれる画素の２値化によって得られる輪郭画像を生成する。プロセッサは、複数の輪郭画像を重ね合わせて１つの輪郭画像を生成する。

ステップＳ１０２において、プロセッサは、深さマップを輪郭画像と重ね合わせる。

ステップＳ１０３において、プロセッサは、所定閾値よりも大きいサイズを有する輪郭領域と重複する焦点特定領域を補正する。

（作用及び効果）
変更例では、携帯端末１は、輪郭画像と焦点特定領域との比較によって、焦点特定領域の範囲を補正する。このような構成によれば、２以上の焦点特定領域の特定精度が向上する。

変更例では、携帯端末１は、所定閾値よりも大きいサイズを有する輪郭領域を用いて、焦点特定領域を補正する。このような構成によれば、効果が期待しにくい領域にまで補正処理を適用することによって、携帯端末１の処理負荷が増大することを抑制することができる。

［変更例］
以下において、実施形態の変更例について説明する。変更例では、実施形態に対する相違点について主として説明する。

変更例では、携帯端末１のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）について説明する。ＧＵＩは、携帯端末１のディスプレイ３上に表示される画像である。

第１に、第１処理及び第２処理を含む第１撮像処理を利用するめの第１撮像モードに係るＧＵＩについて説明する。ここでは、説明簡略化のため、第１撮像モード以外のモードを通常モードと称する。通常モードは、上述した第２撮像処理及び第３撮像処理を利用するためのモードであってもよく、アウトカメラ９を利用するアプリケーションを起動したときの初期モードであってもよい。

具体的には、図１２に示すように、ＧＵＩは、第１撮像モードアイコン２０１と、シャッターアイコン２０２と、サムネイルアイコン２０３とを含む。第１撮像モードアイコン２０１は、第１撮像モードを起動するためのアイコンである。シャッターアイコン２０２は、アウトカメラ９によって画像を撮像するためのアイコンである。サムネイルアイコン２０３は、記憶部１２に記憶される画像のサムネイルを表示するためのアイコンである。

ここで、第１撮像モードアイコン２０１、シャッターアイコン２０２及びサムネイルアイコン２０３の配置は、通常モード及び第１撮像モードのＧＵＩで共通である。通常モードにおける第１撮像モードアイコン２０１Ａは、第１撮像モードが非アクティブであることを表示する（例えば、非点灯）。第１撮像モードにおける第１撮像モードアイコン２０１Ｂは、第１撮像モードがアクティブであることを表示する（例えば、点灯）。第１撮像モードにおけるシャッターアイコン２０２Ｂは、通常モードにおけるシャッターアイコン２０２Ａとは異なる態様で表示される。同様に、第１撮像モードにおけるサムネイルアイコン２０３Ｂは、通常モードにおけるサムネイルアイコン２０３Ａとは異なる態様で表示される。すなわち、シャッターアイコン２０２Ａ及びサムネイルアイコン２０３Ｂは、現在のモードが第１撮像モードであることを表す専用アイコンである。

第２に、第１撮像モードを利用するためのエディタに係るＧＵＩについて説明する。図１３に示すように、ＧＵＩは、ぼかし処理の効果を選択するための複数の効果アイコン２１１を含む。例えば、効果アイコン２１１が選択された状態で、表示画像の一部（例えば、タッチ領域２１２）がユーザによって選択されると、タッチ領域２１２を基準として効果アイコン２１１に対応するぼかし処理が適用される。

ここで、効果アイコン２１１に対応するぼかし処理は、エッジ成分を相対的に小さくする処理を含んでもよく、エッジ成分を相対的に大きくする処理を含んでもよい。

［変更例］
以下において、実施形態の変更例について説明する。変更例では、実施形態に対する相違点について主として説明する。

変更例では、アウトカメラ９は、複数の撮像画像として、第１解像度を有する複数の第１撮像画像と、アイコン第１解像度よりも小さい第２解像度を有する複数の第２撮像画像を撮像する。複数の第１撮像画像のそれぞれの撮像範囲及び焦点距離は、複数の第２撮像画像のそれぞれの撮像範囲及び焦点距離と対応する。

第１に、第２撮像部２１は、複数の第２撮像画像を用いて、第１処理及び第２処理を実行してもよい。第２撮像部２１は、複数の第２撮像画像を用いて取得される焦点距離に基づいて、複数の第１撮像画像を加工する処理を実行してもよい。このような構成によれば、第１処理及び第２処理の処理負荷を軽減しながらも、解像度が高い画像を加工することができる。

第２に、第２撮像部２１は、複数の第２撮像画像を恒久記憶フォルダ１２ｂに保存せずに、複数の第１撮像画像を恒久記憶フォルダ１２ｂに保存する処理を実行してもよい。このようなケースにおいて、複数の第２撮像画像は、第１処理及び第２処理の実行中において編集フォルダ１２ｃに記憶され、第１処理及び第２処理の完了後に編集フォルダ１２ｃから削除されてもよい。

第３に、第２撮像部２１は、複数の第２撮像画像をディスプレイ３に表示せずに、複数の第１撮像画像をディスプレイ３に表示する処理を実行してもよい。第２撮像部２１は、複数の第１撮像画像の少なくともいずれか１つに対するユーザ操作に応じて、複数の第２撮像画像を用いて、第１処理及び第２処理を実行してもよい。ユーザ操作は、図１３に示す撮像画像の一部のタッチ操作又はタップ操作であってもよい。

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

実施形態では、アウトカメラ９によって撮像される撮像画像について、第１処理及び第２処理が適用されるケースを例示した。しかしながら、実施形態はこれに限定されるものではない。第１処理及び第２処理は、インカメラ８によって撮像される撮像画像に適用されてもよい。

実施形態では、７枚の撮像画像が撮像されるケースについて説明した。しかしながら、実施形態はこれに限定されるものではない。３枚以上の撮像画像について第１処理及び第２処理が適用されてもよい。このような構成によれば、被写体と背景との２種類ではなく、少なくとも３段階以上の焦点距離を有する撮像画像によってぼかし処理を行うことができる。但し、第１処理及び第２処理が適用される撮像画像は２枚であってもよい。

実施形態では、電子機器の一例として携帯端末１を例示した。しかしながら、実施形態はこれに限定されるものではない。電子機器は、撮像素子を備える機器であればよく、デジタルカメラであってもよい。

実施形態では特に触れていないが、携帯端末１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。

或いは、携帯端末１が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１：携帯端末、２：キャビネット、３：ディスプレイ、４：タッチパネル、５：マイクロフォン、５ａ：マイク孔、６：スピーカ、６ａ：出力孔、７：外部スピーカ、７ａ：出力孔、８：インカメラ、９：アウトカメラ、１１：制御部、１２：記憶部、１２ａ：一時記憶フォルダ、１２ｂ：恒久記憶フォルダ、１２ｃ：編集フォルダ、１３：画像出力部、１４：タッチ検出部、１５：音声入力部、１６：音声出力部、１７：音声処理部、１８：キー入力部、１９：通信部、２０：第１撮像部、２１：第２撮像部、２２：照度検出部

Claims (14)

1. 所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子と、
   プロセッサと、を備え、
   前記プロセッサは、
   前記所定撮像領域に含まれる第１撮像領域において前記複数の撮像画像を比較することによって、前記第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定する第１処理を実行し、
   前記第１撮像領域において前記２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間する第２処理を実行し、
   前記第２処理は、前記中間領域の内側又は外側に位置しており、かつ、前記２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間する処理を含む、電子機器。
2. 前記第２処理は、前記中間領域を含む対象領域の中で前記中間領域の内側及び外側の少なくともいずれか１つに位置する所定領域を所定色に変換し、前記所定領域が前記所定色に変換された後の前記対象領域において、前記中間領域を再特定する処理を含む、請求項１に記載の電子機器。
3. 前記プロセッサは、前記中間領域の補間後において、焦点距離が特定されていない残り領域を特定し、前記残り領域の列方向又は行方向に含まれる前記補間焦点領域の焦点距離に基づいて、前記残り領域の焦点距離を補間する処理を実行する、請求項１又は請求項２に記載の電子機器。
4. 前記第２処理は、前記複数の撮像画像のそれぞれに含まれる画素の２値化によって得られる輪郭画像を生成し、焦点距離が特定又は補間された領域と前記輪郭画像との比較によって、前記焦点距離が特定又は補間された領域の範囲を補正する補正処理を含む、請求項１乃至請求項３のいずれかに１項に記載の電子機器。
5. 前記プロセッサは、前記輪郭画像に含まれる輪郭によって区画される輪郭領域のうち、所定閾値よりも大きいサイズを有する輪郭領域と前記焦点距離が特定又は補間された領域とを比較する、請求項４に記載の電子機器。
6. 前記プロセッサは、前記撮像素子から被写体までの距離が所定距離以下である場合に、前記第１処理及び前記第２処理を実行する、請求項１乃至請求項５のいずれか１項に記載の電子機器。
7. 前記プロセッサは、前記撮像素子から被写体までの距離が所定距離よりも大きい場合に、前記被写体を含む領域と前記被写体を含まない領域とを人物検出によって特定する処理を実行する、請求項６に記載の電子機器。
8. 前記プロセッサは、前記第１処理及び前記第２処理によって得られる焦点距離が異なる複数の領域について、ぼかし処理が施されるぼかし領域と前記ぼかし処理が施されない非ぼかし領域とを特定し、前記ぼかし領域と前記非ぼかし領域とを合成する第３処理を実行する、請求項１乃至請求項７のいずれか１項に記載の電子機器。
9. 前記複数の撮像画像は、３枚以上の撮像画像である、請求項１乃至請求項８のいずれか１項に記載の電子機器。
10. 前記複数の撮像画像は、第１解像度を有する複数の第１撮像画像と、前記第１解像度よりも小さい第２解像度を有する複数の第２撮像画像と、を含み、
    前記複数の第１撮像画像のそれぞれの撮像範囲及び焦点距離は、前記複数の第２撮像画像のそれぞれの撮像範囲及び焦点距離と対応しており、
    前記プロセッサは、
    前記複数の第２撮像画像を用いて、前記第１処理及び前記第２処理を実行し、
    前記複数の第２撮像画像を用いて取得される焦点距離に基づいて、前記複数の第１撮像画像を加工する処理を実行する、請求項１乃至請求項９のいずれかに記載の電子機器。
11. 撮像画像を保存するためのストレージを備え、
    前記プロセッサは、前記複数の第２撮像画像を前記ストレージに保存せずに、前記複数の第１撮像画像を前記ストレージに保存する処理を実行する、請求項１０に記載の電子機器。
12. ディスプレイを備え、
    前記プロセッサは、
    前記複数の第２撮像画像を前記ディスプレイに表示せずに、前記複数の第１撮像画像を前記ディスプレイに表示する処理を実行し、
    前記複数の第１撮像画像の少なくともいずれか１つに対するユーザ操作に応じて、前記複数の第２撮像画像を用いて、前記第１処理及び前記第２処理を実行する、請求項１０及び請求項１１のいずれか１項に記載の電子機器。
13. 所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子を少なくとも備える電子機器で用いる方法であって、
    前記所定撮像領域に含まれる第１撮像領域において前記複数の撮像画像を比較することによって、前記第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定するステップＡと、
    前記第１撮像領域において前記２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間するステップＢと、を備え、
    前記ステップＢは、前記中間領域の内側又は外側に位置しており、かつ、前記２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間するステップを含む、方法。
14. 所定撮像領域を有しており、かつ、異なる焦点距離を有する複数の撮像画像を撮像する撮像素子を少なくとも備える電子機器で用いるプログラムであって、コンピュータに、
    前記所定撮像領域に含まれる第１撮像領域において前記複数の撮像画像を比較することによって、前記第１撮像領域に含まれる少なくとも２以上の焦点特定領域を特定するステップＡと、
    前記第１撮像領域において前記２以上の焦点特定領域のいずれにも属さない中間領域の焦点距離を補間するステップＢと、を実行させ、
    前記ステップＢは、前記中間領域の内側又は外側に位置しており、かつ、前記２以上の焦点特定領域のいずれかである補間焦点領域の焦点距離に基づいて、前記中間領域の焦点距離を補間するステップを実行させる、プログラム。