[go: up one dir, main page]

JP5882975B2 - 画像処理装置、撮像装置、画像処理方法、及び記録媒体 - Google Patents

画像処理装置、撮像装置、画像処理方法、及び記録媒体 Download PDF

Info

Publication number
JP5882975B2
JP5882975B2 JP2013234313A JP2013234313A JP5882975B2 JP 5882975 B2 JP5882975 B2 JP 5882975B2 JP 2013234313 A JP2013234313 A JP 2013234313A JP 2013234313 A JP2013234313 A JP 2013234313A JP 5882975 B2 JP5882975 B2 JP 5882975B2
Authority
JP
Japan
Prior art keywords
trimming
area
region
subject
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013234313A
Other languages
English (en)
Other versions
JP2014143673A (ja
JP2014143673A5 (ja
Inventor
裕佑 田村
裕佑 田村
泰伸 兒玉
泰伸 兒玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013234313A priority Critical patent/JP5882975B2/ja
Priority to DE102013226164.0A priority patent/DE102013226164B4/de
Priority to GB1322770.7A priority patent/GB2511194B/en
Priority to GB1423310.0A priority patent/GB2529734B/en
Priority to US14/138,813 priority patent/US10115178B2/en
Priority to RU2013157873/08A priority patent/RU2587410C2/ru
Priority to CN201310740104.1A priority patent/CN103905700B/zh
Publication of JP2014143673A publication Critical patent/JP2014143673A/ja
Publication of JP2014143673A5 publication Critical patent/JP2014143673A5/ja
Application granted granted Critical
Publication of JP5882975B2 publication Critical patent/JP5882975B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/22Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及び記録媒体に関し、特に画像のトリミング技術に関する。
近年、デジタルカメラ等の撮像装置に限らず、画像管理アプリケーション等で、人物等の特定の被写体を画像内から検出するものがある。特許文献1には、検出された特定の被写体に合わせて画像をトリミングする技術が開示されている。
特許第4625356号公報 特開2007−19893号公報
上述の特許文献1では、トリミング後の画像における1つの被写体の位置が所定の位置となるようにトリミング位置を決定している。しかしながら、特許文献1に開示された方法を複数の被写体が含まれる画像について適用した場合、以下のような好ましくないトリミングが行われることがある。
例えば、トリミング後の画像において、水平方向に3等分する直線上に被写体が存在する構図が好適な構図として設定されている場合について考える。図16(a)に示されるように画像1200内に1人の人物(被写体)1201のみが存在する場合、トリミング後は画像1202のように、設定された好適な構図に合致する画像が得られる。一方、図16(b)に示されるように画像1210内に2人の人物が存在する場合を考える。このとき、人物1211について好適な構図となるように画像がトリミングされると、画像1213のように人物1212の一部が画像に含まれない構図となってしまうことがあった。
また、特許文献2には、予め決められた所定の設定条件に従って、画像に対して複数のトリミング領域を設定し、設定した各々のトリミング領域に基づいて、該画像から複数のトリミング画像を生成する技術が開示されている。
しかし、特許文献2に記載されるように設定した複数のトリミング領域についてトリミング画像を生成する場合、類似したトリミング画像が複数生成されてしまう場合がある。
本発明は、上述の問題点に鑑みてなされたものであり、好適なトリミング画像を生成する画像処理装置、撮像装置、画像処理方法、及び記録媒体を提供することを目的とする。
前述の目的を達成するために、本発明の一態様に係る画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、画像から被写体領域を特定する特定手段と、特定手段により特定された被写体領域それぞれについて、複数のトリミング領域候補を設定する設定手段と、設定手段により設定された複数のトリミング領域候補それぞれの評価値を求める評価手段と、複数のトリミング領域候補の中から所定数を、トリミング領域として選択する選択手段と、を有し、選択手段は、複数のトリミング領域候補の間の類似度と、複数のトリミング領域候補それぞれの評価値とに基づいて、所定数のトリミング領域を選択することを特徴とする。
前述の目的を達成するために、本発明の別の態様に係る画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、画像から被写体領域を特定する特定手段と、特定手段により特定された被写体領域それぞれについて、複数のトリミング領域候補を設定する設定手段と、を有し、設定手段は、トリミング領域候補内の所定の位置に被写体領域を配置するように、トリミング領域候補を設定するものであって、特定手段で特定された被写体領域の数、大きさ、種類、および、配置の少なくともいずれかに応じて、所定の位置を異ならせることを特徴とする。
このような構成により本発明によれば、好適なトリミング画像を生成することが可能となる。
本発明の実施形態に係るデジタルカメラ100の機能構成を示したブロック図 画像処理部105の、トリミング処理に用いられる内部構成を示したブロック図 トリミング領域候補のアスペクト比およびサイズの例示した図 被写体の領域候補の優先度の設定処理を例示したフローチャート (a)は被写体の領域候補に対する面積に応じた評価値の算出例を示す図、(b)は被写体の領域候補に対する画像の中心からの距離に対応する評価値の算出例を示す図 トリミング領域候補決定処理を例示したフローチャート (a)は顔領域のサイズを示す図、(b)は顔領域のサイズから推定される胴体領域のサイズを示す図、(c)は注目被写体の顔領域及び胴体領域の少なくともいずれかが他の被写体の顔領域あるいは胴体領域と重複する例を示す図、(d)は注目被写体の顔領域及び胴体領域の少なくともいずれかが他の被写体の顔領域あるいは胴体領域と重複しない例を示す図 単独トリミングにおける注目顔領域の好適な配置を説明するための図 単独トリミング用の評価処理を例示したフローチャート (a)は対象被写体領域候補の対象画像外に対するはみ出し量が大きい場合の例を示す図、(b)は対象被写体領域候補の対象画像外に対するはみ出し量が小さい場合の例を示す図 単独トリミング用の評価処理における評価値の算出方法を説明するための図 複数トリミングにおける顔領域の好適な配置を説明するための図 複数トリミング用の評価処理を例示したフローチャート トリミング領域候補外に顔領域が存在する場合の処理を説明するための図 各被写体領域のトリミング領域の選択処理を例示したフローチャート 従来のトリミング技術の問題点を説明するための図
[実施形態]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、対象画像から任意の領域をトリミングした画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、対象画像についてトリミング領域を設定することが可能な任意の機器に適用可能である。
《デジタルカメラ100の構成》
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
制御部101は、例えばCPUであり、デジタルカメラ100が有する各ブロックの動作を制御する。具体的には制御部101は、ROM102に格納された各ブロックの動作プログラムを読み出し、RAM103に展開して実行することにより各ブロックの動作を制御する。
ROM102は、例えば書き換え可能な不揮発性メモリである。ROM102は、デジタルカメラ100が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要なパラメータ等の情報を記憶する。RAM103は、揮発性メモリである。RAM103は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データを一時的に記憶する記憶領域としても用いられる。
画像信号取得部104は、デジタル画像信号を出力する。画像信号取得部104は、例えばCCDやCMOSセンサ等の撮像素子である。画像信号取得部104は、撮像により、不図示の光学系により撮像面に結像された光学像を光電変換し、アナログ画像信号を取得する。また画像信号取得部104は、得られたアナログ画像信号に対してサンプリング処理、ゲイン調整処理、A/D変換処理等の所定の画像処理を行い、デジタル画像信号を出力する。また、画像信号取得部104は、外部の記録メディアやネットワークを介して、任意の画像信号を受信して出力する構成であってもよい。
画像処理部105は、デジタル画像信号(以下、単に画像)に対して、色変換処理や拡大縮小処理等の画像処理を行う。この他、画像処理部105は、入力された画像から任意の領域を抽出するトリミング処理を行う。
〈画像処理部105の詳細構成〉
ここで、本実施形態の画像処理部105で行われるトリミング処理に係る処理ラインの機能構成を、図2を用いてさらに説明する。
被写体領域抽出部111は、入力された画像(対象)に含まれる特定の被写体に対応する被写体領域を検出する。本実施形態では被写体領域抽出部111は、被写体領域として、対象画像に含まれる人物の顔に対応する顔領域を検出するものとして説明するが、本発明の実施はこれに限られるものではない。例えば、被写体領域の種類は人物以外の動物の顔や、特定パターンの外観を有する物体あってもよい。また本実施形態では被写体領域抽出部111は、画像処理部105に入力された対象画像に対応する輝度画像について検出を行うものとして説明するが、検出を行う画像は輝度画像に限られるものではない。対象画像に対応する色差信号から検出を行う構成としてもよい。被写体領域抽出部111は、被写体領域の検出結果として、例えば検出した顔領域の対象画像における中心座標、及び顔領域のサイズの情報を出力するものとする。
また、被写体領域抽出部111は、入力された画像から顔領域が検出できなかった場合には、顔領域以外の被写体を検出するため、画像を複数のブロックに分割して、それぞれのブロックの色相を求める。そして、類似する色相を有する隣接ブロックを同じ被写体として統合することで、色相ごとにまとめた領域を抽出する。そして、この色相ごとにまとめた領域のうち、画像の端部に接しておらず、かつ、サイズが所定の大きさ以上であるものを、被写体領域の候補(被写体領域候補)として設定し、出力する。
領域優先度設定部112は、被写体領域抽出部111で顔領域ではない被写体領域候補を設定した場合には、検出された複数の被写体領域候補の各々について、領域毎の優先順位を決定算出する。領域優先度設定部112は、例えば、画像における被写体領域候補の位置、大きさ、距離情報等から、被写体領域候補毎の評価値を算出し、算出した評価値が高い領域ほど、優先順位を高くする。例えば、位置に基づいて評価値を算出する場合、被写体領域候補の重心座標が画像の中心座標に近いほど、位置についての評価値が高くなるようにする。そして、評価値が閾値以上であり、かつ、優先順位が所定以内(例えば、2位以内)となる領域候補が、被写体領域として決定される。この領域優先度設定方法については図4を参照して後述する。
トリミング領域候補設定部113は、トリミング処理によって切り出す領域の候補である、トリミング領域候補を設定する。本実施形態の画像処理部105は、被写体領域が好適に配置された構図となるような領域の画像を、撮像により得られた対象画像からトリミング処理によって切り出す。このためトリミング領域候補設定部113は、被写体領域抽出部111により検出された被写体領域の各々について、該被写体領域の配置条件を満たすトリミング領域候補を複数設定する。あるいはトリミング領域候補設定部113は、領域優先度設定部112により供給される評価値及び優先順位の情報に基づいて被写体領域抽出部111により設定された被写体領域候補から被写体領域を決定する。そして該被写体領域の各々についてトリミング領域候補を複数設定する。本実施形態ではトリミング領域候補設定部113は、図3に示すアスペクト比およびサイズ(画素数)の矩形領域をトリミング領域候補として設定する。
トリミング領域評価部114は、トリミング領域候補設定部113により設定されたトリミング領域候補の各々を、該領域における被写体領域の位置を基準にして評価値を算出する。トリミング領域評価部114における各トリミング領域候補の評価値の算出方法については後述のトリミング領域の決定処理の説明において詳述する。
トリミング領域選択部115は、トリミング領域候補設定部113により設定されたトリミング領域候補のうち、トリミング領域評価部114により算出された評価値を基にトリミング領域を選択する。トリミング領域選択部115は、例えば、1つの画像から1つのトリミング画像を生成する場合には、トリミング領域評価部114で算出された評価値が最も高いトリミング領域候補をトリミング領域として選択する。一方、1つの画像から複数のトリミング画像を生成する場合には、トリミング領域選択部115は後述の類似度判定部116と共働して、複数のトリミング領域候補の中から、生成するトリミング画像の数のトリミング領域を決定する。
類似度判定部116は、1つの画像から複数のトリミング画像を生成する場合に、トリミング領域選択部115により類似する構図のトリミング領域が選択されないようにトリミング領域候補の類似度を判定し、判定結果をトリミング領域選択部115に返す。例えば、類似度判定部116は、トリミング領域選択部115から評価値の高い順にトリミング領域候補を順次受信し、受信した候補と既に決定したトリミング領域との類似度を判定する。トリミング領域選択部115は、判定結果が類似する旨を示す場合は、判定が行われたトリミング領域候補をトリミング領域として設定せず、候補から除外する。一方、トリミング領域選択部115は、判定結果が類似しない旨を示す場合は、判定が行われたトリミング領域候補をトリミング領域として設定する。トリミング領域選択部115は、トリミング領域として選択したトリミング領域候補の数が出力するトリミング画像の数に達するまで、類似度判定部116による類似度判定のためにトリミング領域候補の出力及び類似度に基づく選択判断を繰り返し行う。この類似度判定及びトリミング領域の決定方法については図15を参照して後述する。
なお、1つの画像から1つのトリミング画像を生成する場合には、トリミング領域選択部115は1つのトリミング領域のみを選択すればよいため、類似度判定部116による処理を行う必要はない。
トリミング領域抽出結果出力部117は、トリミング領域選択部115により選択されたトリミング領域の情報、あるいは、類似度判定部116により最終的なトリミング領域として決定された領域の情報に基づいて対象画像から切り出しを行う。そしてトリミング領域抽出結果出力部117は、トリミング画像を生成して出力する。
またデジタルカメラ100の表示部106は、例えばLCD等のデジタルカメラ100が有する表示装置である。表示部106には、画像信号取得部104における撮像や画像処理部105におけるトリミング処理により得られた画像、あるいは記録媒体107に記録されている画像等が表示される。
記録媒体107は、例えばデジタルカメラ100が有する内蔵メモリや、メモリカードやHDD等のデジタルカメラ100に着脱可能に接続された記録装置である。記録媒体107には、画像信号取得部104における撮像や画像処理部105におけるトリミング処理により得られた画像が記録される。
なお、本実施形態ではハードウェアとしてデジタルカメラ100が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は該各ブロックと同様の処理を行うプログラムで実現されてもよい。
<領域優先度の設定処理>
次に、領域優先度設定部112において行われる、複数の被写体領域の候補(被写体領域候補)に優先度を設定する方法について、図4のフローチャートを用いて具体的な処理を説明する。本フローチャートは、例えば被写体領域抽出部111において顔領域が検出されず、色相に基づいて複数の被写体領域候補が設定された場合に開始されるものとする。
まずS200において、領域優先度設定部112は、検出された全ての被写体領域候補について総合評価値の算出が完了しているかどうかを判断する。領域優先度設定部112は、完了していなければ処理をS201に進め、完了していれば処理をS206へ進める。
S201において、領域優先度設定部112は、検出された被写体領域候補のうち、まだ総合評価値の算出を行っていない被写体領域候補(対象被写体領域候補)を選択し、その面積を取得する。本実施形態では領域優先度設定部112は、対象被写体領域候補の設定に用いられたブロックの数を面積として取得する。次に、領域優先度設定部112は、S201で取得したブロック数に基づいて、対象被写体領域候補の面積についての評価値を算出する(S202)。図5(a)は対象被写体領域候補の面積についての評価値の算出例を示すものである。図5(a)は、画像全体に対する対象被写体領域候補の面積比率、即ち全ブロック数のうちの対象被写体領域候補に係るブロック数の割合と、面積についての評価値との関係を示している。図5(a)に示されるように、対象被写体領域候補の面積についての評価値は、対象被写体領域候補の面積が大きいほど、高い評価値となるように設定されていればよい。
次にS203において、領域優先度設定部112は、対象被写体領域候補について、画像の中心からの距離を算出する。具体的には領域優先度設定部112は、まず対象被写体領域候補を構成するブロックの各々について画像の中心からの距離を算出する。そして対象被写体領域候補の全ブロックについて算出した画像中心からの距離の平均値を、対象被写体領域候補についての画像中心からの距離とする。次にS204において領域優先度設定部112は、S203で算出した画像の中心からの距離に基づいて、対象被写体領域候補の、画像中心からの距離についての評価値を算出する。図5(b)は画像の中心からの距離についての評価値の算出例を示すものである。図5(b)に示されるように、対象被写体領域候補の画像中心からの距離についての評価値は、画像中心から対象被写体領域候補までの距離が大きいほど、低い評価値となるように設定されていればよい。
次にS205において領域優先度設定部112は、S202及びS204で算出した2種の評価値に基づいて、対象被写体領域候補の総合評価値を算出する。総合評価値は、例えば、S202及びS204で算出した2種の評価値の積として算出すればよい。S205の処理後、領域優先度設定部112は処理をS200に戻し、全ての被写体領域候補について総合評価値の算出が完了したかどうかを再び判断し、完了していなければ次の被写体領域候補について上記処理を繰り返す。
全ての被写体領域候補について総合評価値を算出し終えたら(S200でYES)、S206において領域優先度設定部112は、それぞれの被写体領域候補に対して、総合評価値の高い順に優先順位を割り当てる。
《トリミング領域候補決定処理》
次に、被写体領域抽出部111が顔領域である被写体領域を出力した場合のトリミング領域候補決定処理について、図6のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101の制御の下、トリミング領域候補設定部113およびトリミング領域評価部114により実現される。なお、本トリミング領域候補決定処理は、例えば自動トリミング処理を適用する対象画像が設定された後、被写体領域抽出部111により被写体領域の検出がなされた際に開始されるものとして説明する。また本トリミング領域候補決定処理において、対象画像には少なくとも1つの顔領域が含まれているものとする。
S301で、トリミング領域候補設定部113は、被写体領域抽出部111により検出された顔領域(被写体領域)の位置及びサイズの情報を取得する。
S302で、トリミング領域候補設定部113は、対象画像に所定数以上の顔領域が含まれるか否かを判断する。本実施形態のデジタルカメラ100では、対象画像に含まれる顔領域の数が所定数以上である場合、トリミング領域候補設定部113は対象画像が集合写真を撮影した画像であると判断するものとする。即ち、集合写真の場合、1つの顔領域がトリミング後の画像において好適と定める位置に配置されるようにトリミング領域(構図)を決めたとしても、好適な位置に配置されない顔領域の数が多数となりうる。このため、本実施形態ではトリミング領域候補設定部113は、集合写真が撮影されたものとして判断する所定数以上の顔領域が対象画像に含まれる場合は、1つの顔領域の配置を基準にしたトリミング領域の決定を行わない。
なお、本実施形態では対象画像内に含まれる顔領域の数が所定数以上である場合に集合写真が撮影されたとして判断するものとして説明するが、集合写真であることの判断には顔領域のサイズ等にさらに条件を課して判断してもよい。例えば、撮影中に現れた無関係の人物が対象画像に写ってしまった場合、該人物の顔領域を集合写真の被写体であると判断することは不適切である。このため、例えば顔領域のサイズに範囲を設け、サイズが該範囲に含まれる顔領域のみを集合写真であるか否かの判断に用いる顔領域として計数してもよい。
トリミング領域候補設定部113は、対象画像に含まれる顔領域が所定数以上であると判断した場合は処理をS309に移し、所定数未満であると判断した場合は処理をS303に移す。
S303で、トリミング領域候補設定部113は、対象画像に含まれる顔領域が1つであるか否かを判断する。本実施形態では、トリミング処理のために設定するトリミング領域候補について顔領域を複数含めるか否かによって、トリミング領域評価部114における評価方法が異なる。このため、本ステップではトリミング領域候補設定部113は、トリミング領域候補に含めることが可能な顔領域の数が、確実に1である条件について適用する評価方法を割り当てる。トリミング領域候補設定部113は、対象画像に含まれる顔領域が1つであると判断した場合は処理をS305に移し、複数であると判断した場合は処理をS304に移す。
S304で、トリミング領域候補設定部113は、顔領域に対応する被写体同士が対象画像において重なって撮像されているか否かという、複数の被写体の配置を判断する。具体的には制御部101は、検出された顔領域の被写体について、該顔領域の下端に隣接して存在するであろう胴体部の領域(胴体領域)を推定し、該胴体領域が他の被写体の胴体領域あるいは顔領域と所定割合以上の重複を有するか否かを判断する。
胴体領域は、顔領域が例えば図7(a)のようである場合、図7(b)に示されるように顔領域の幅及び高さの各々に予め定められた係数を乗ずることにより推定されればよい。そしてトリミング領域候補設定部113は、図7(c)のように注目被写体の顔領域及び胴体領域の少なくともいずれかが他の被写体の顔領域あるいは胴体領域と重複する場合は、これらの顔領域は異なるトリミング領域候補に分離されるべきではないと判断する。一方、図7(d)のように注目被写体の顔領域及び胴体領域のいずれも、他の被写体の顔領域あるいは胴体領域と重複しない場合は、これらの被写体に対応する顔領域を異なるトリミング領域候補に分離する方が好適な構図になると判断する。
なお、本実施形態では胴体領域の設定方法は顔領域の下端に胴体が隣接するものとして説明したが、これに限られるものではない。胴体領域は、例えば顔領域から算出された顔の向きに応じて設定されてもよいし、デジタルカメラ100が重力方向を検出可能である場合は、顔領域の鉛直下方向に存在するものとして設定されてもよい。あるいは、胴体領域を求めずに、顔領域の距離から、被写体同士が対象画像において重なって撮像されているか否かを判断するようにしてもよい。
トリミング領域候補設定部113は、顔領域に対応する被写体同士が対象画像において重なって撮影されていると判断した場合は処理をS307に移し、重なって撮影されていないと判断した場合は処理をS305に移す。なお、本ステップの処理は、検出された顔領域ごとに行われてよい。即ち、対象画像に含まれる他のいずれの顔領域の被写体とも重なりがないものとして判断された顔領域についてのみ、トリミング領域候補設定部113はS305における評価処理を行うように制御する。そして、制御部101は、他のいずれかの顔領域の被写体と重なりがあると判断された顔領域については、S307における評価処理を行うように制御すればよい。
S305で、トリミング領域候補設定部113は、対象画像内の画像のうち、単独でトリミングを行う顔領域についてトリミング領域候補を設定する。具体的には、トリミング領域候補設定部113は単独でトリミングを行う顔領域(注目顔領域)を順に選択し、それぞれについてトリミング領域候補を複数パターン設定する。トリミング領域候補設定部113は、設定されるトリミング領域候補における注目顔領域の配置位置が、予め定められた位置となるようにトリミング領域候補を設定する。本実施形態では図8に示されるように、経験的に好適な構図となる、トリミング領域候補を水平方向及び垂直方向に3等分する線分を基準とした位置に注目顔領域が配置された6種類のトリミング領域候補が設定される。上述したように本実施形態のトリミング領域候補設定部113では、5種類のアスペクト比の矩形領域についてそれぞれ3種類のサイズを有するトリミング領域候補を設定するものとしている。そのため、5×3×6=90通りのトリミング領域候補が、1つの注目顔領域について設定される。なお、この6種類の構図は一つの例であって、顔領域を中央に配置した構図や、中央上部に配置した構図としてもよい。
S306で、トリミング領域評価部114は、S305において設定された全てのトリミング領域候補について、それぞれに単独トリミング用の評価処理を実行し、各トリミング領域候補についての評価値を取得する。
〈評価処理(単独)〉
ここで、本ステップで行われる単独トリミング用の評価処理について、図9のフローチャートを参照して詳細を説明する。なお、以下の説明では本評価処理の対象となるトリミング領域候補を「対象領域候補」として説明する。
S601で、トリミング領域評価部114は、対象領域候補の一部の領域が対象画像外の領域を参照しているか否かを判断する。即ち、本ステップにおいてトリミング領域評価部114は、図10(a)のように、破線で示された対象領域候補が実線で示される対象画像の範囲を超えた領域をトリミング対象としているか否かを判断する。トリミング領域評価部114が対象領域候補が対象画像外の領域を参照していると判断した場合、制御部101は処理をS602に移す。また対象領域候補が対象画像内の領域を参照しているとトリミング領域評価部114が判断した場合、制御部101は処理をS604に移す。
S602で、トリミング領域評価部114は、対象画像外に出ている対象領域候補の量が予め定めた閾値以下であるか否かを判断する。本ステップでトリミング領域評価部114は、対象画像外に出ている対象領域候補の量(はみ出し量)を水平方向及び垂直方向の各々について取得し、該はみ出し量が対象領域候補の微調整可能な閾値以下に収まるか否かを判断する。図10(a)の例では対象領域候補は垂直方向のみ対象画像外に出ているため、その垂直方向のはみ出し量Δが判断の基準となる。制御部101は、はみ出し量が予め定めた閾値以下であるとトリミング領域評価部114が判断した場合は処理をS603に移し、閾値を超えると判断した場合は処理をS605に移す。
S603で、領域候補設定部113は制御部101の制御の下、S602で取得されたはみ出し量の情報に従って、対象領域候補が対象画像内に収まるように参照範囲を更新する。例えば図10(b)に示されるように、はみ出し量Δが微調整可能な閾値以下である場合は、はみ出している方向、即ち垂直方向にΔ分だけ平行移動することで対象領域候補を更新すればよい。
S604で、トリミング領域評価部114は、対象領域候補についての評価値を算出する。本実施形態においてトリミング領域候補の評価値Eは、以下の4つ値(E1、E2、E3、E4)を乗じることで算出される。
1.対象領域候補における注目顔領域の面積の割合について定められた評価値E1
2.注目顔領域の配置位置について定められた評価値E2
3.アスペクト比について定められた評価値E3
4.評価結果の偏りを抑止するための乱数値E4
評価値E1は、例えば図11(a)に示されるように、対象領域候補における注目顔領域の面積の割合(占有率)に応じてVal1〜Val2の値が設定される。図11(a)の例では、評価値E1は、注目顔領域の占有率Rについて好適であると定められた範囲(R2≦R<R3)では最大値Val2をとっている。また小さすぎるまたは大きすぎると定められた範囲(R<R1、及びR≧R4)では最小値Val1をとっている。またさらに、その中間範囲(R1≦R<R2、及びR3≦R<R4)では、割合に応じて最大値と最小値の中間値をとる。
なお、本実施形態では評価値E1は、図11(a)のように設定されるものとして説明するが、本発明の実施はこれに限られるものではない。例えば露出オーバー撮影により、人物の後方に存在する背景領域に白飛び画素が多数存在する場合は、白飛び領域がトリミング領域に含まれていても好適な構図とは言えない。このように被写体に対応する領域以外の領域において所定の輝度値よりも高い輝度値を有する画素の割合が所定数を超える場合に、例えば注目顔領域の占有率が高いほど評価値E1が高くなるように設定されていてもよい。あるいは例えば露出アンダー撮影により対象画像が全体的に輝度が低い雰囲気である場合、注目顔領域が大きすぎると背景を含んだ画像の雰囲気がトリミング後に残りにくい。この場合、例えば注目顔領域の占有率が低いほど評価値E1が高くなるように設定されていてもよい。
評価値E2は、トリミング領域候補内における注目顔領域の配置位置について、例えば図11(b)のように評価値が設定される。このとき、経験的に好適な構図となる垂直方向3等分線のうちの上方の線上、水平方向3等分線上に注目顔領域が配置されているトリミング領域候補ほど高い評価値E3が設定されるものとする。なお、評価値E3の評価分布はこれに限らず、例えば撮影シーン判定結果や撮影時に設定されていた撮影モード等に応じて定められた好適な構図が高い評価となるように変更されてよい。
評価値E3は、対象画像のアスペクト比に応じて、トリミング領域候補の好適なアスペクト比について高い評価値が与えられるように定められている。トリミング領域評価部114は、対象画像内の顔領域および胴体領域を包含する最小の矩形領域の高さHobjと幅Wobjを算出し、この矩形領域のアスペクト比であるWobj/Hobjを求める。トリミング領域評価部114は、図3に示すトリミング領域候補のアスペクト比をWtri:Htriとし、次の式によって両者のアスペクト比の類似値を求める。
(i)Wobj/Hobj<Wtri/Htriの場合、
アスペクト類似値 = (Wobj/Hobj)/(Wtri/Htri)
(ii)Wobj/Hobj≧Wtri/Htriの場合、
アスペクト類似値 = (Wtri/Htri)/(Wobj/Hobj)
そして、トリミング領域評価部114は、図11(c)に示すように、アスペクト類似値が1に近いトリミング領域候補ほど、評価値E3の値を高くする。あるいは、トリミング領域評価部114は、顔領域および胴体領域を包含する最小の矩形領域のアスペクト比の代わりに、対象画像のアスペクト比とトリミング領域候補のアスペクト比の類似値から、トリミング領域候補の評価値E3を決定してもよい。
乱数値E4は、自動で設定されるトリミング領域が毎回同様の構図とならないように、評価結果を変動させるための値である。しかしながら、乱数値E4は、評価結果が大幅に変更され、好適でない構図がトリミング領域として選択されぬよう、例えば0.9〜1.1の範囲等、他の評価値への影響が少ない値に設定されることが好ましい。
トリミング領域評価部114は、このように対象領域候補について得られた4つの値を乗じて評価値Eを算出した後、本評価処理を完了する。
またS602においてはみ出し量が予め定められた閾値を超えると判断した場合、トリミング領域評価部114はS605で、対象領域候補に対して評価値0(低い評価)を割り当て、本評価処理を完了する。
一方、複数の顔領域を含むようにトリミングを行うことが好ましい場合、トリミング領域候補設定部113は制御部101の制御の下、トリミング領域候補を設定する。具体的には、トリミング領域候補設定部113は互いに重なると判定された全ての顔領域を1つのグループとする。そして、トリミング領域候補設定部113はグループ内の左端に存在する顔領域の配置位置、及び右端に存在する顔領域の配置位置が予め定められた位置となるようにトリミング領域候補を設定する。
左端の顔領域及び右端の顔領域についての条件は、図12に示されるようであってよい。図12は、対象画像内に2つの顔領域が含まれる場合の、配置位置についての条件例を示している。具体的には左端の顔領域については、水平方向3等分線の左側の線上に存在し、かつi)垂直方向3等分線の上側の線上、ii)垂直方向3等分線の中心、iii)垂直方向3等分線の下側の線上のいずれかに存在するようにトリミング領域候補が設定される。また右端の顔領域については、水平方向3等分線の右側の線上に存在し、かつi)垂直方向3等分線の上側の線上、ii)垂直方向3等分線の中心、iii)垂直方向3等分線の下側の線上のいずれかに存在するようにトリミング領域候補が設定される。
このため、本ステップにおいて設定されるトリミング領域候補は、「全て」の注目顔領域について、5×3×6=90通りとなる。
S308で、トリミング領域評価部114は制御部101の制御の下、S307において設定された全てのトリミング領域候補について、それぞれに複数トリミング用の評価処理を実行し、各トリミング領域候補についての評価値を取得する。
〈評価処理(複数)〉
ここで、本ステップで行われる複数トリミング用の評価処理について、図13のフローチャートを参照して詳細を説明する。なお、以下の説明では上述した単独トリミング用の評価処理と同様の処理を行うステップについては、同一の参照符号を付して説明を省略するものとする。
S603までの対象領域候補と対象画像との関係に関する処理の後、トリミング領域評価部114はS1001で、グループの全ての顔領域が対象領域候補に含まれているか否かを判断する。制御部101は、全ての顔領域が対象領域候補に含まれているとトリミング領域評価部114が判断した場合は処理をS1004に移し、含まれていないと判断した場合は処理をS1002に移す。
トリミング領域評価部114は、グループの全ての顔領域を含むように規定される最小の矩形領域の対象領域候補外に出ている量が予め定めた閾値以下であるか否かを判断する。本ステップでトリミング領域評価部114は、対象領域候補外に出ている顔領域のはみ出し量を水平方向及び垂直方向の各々について取得し、該はみ出し量が対象領域候補の微調整可能な閾値以下に収まるか否かを判断する。即ち、グループの顔領域のうち、上端、下端、左端、右端のそれぞれに配置される顔領域についての対象領域候補からのはみ出し量を取得し、判断が行われる。制御部101は、はみ出し量が予め定めた閾値以下であるとトリミング領域評価部114が判断した場合は処理をS1003に移し、閾値を超えると判断した場合は処理をS605に移す。
S1003で、トリミング領域候補設定部113は制御部101の制御の下、S1002で取得されたはみ出し量の情報に従って、グループの全ての顔領域が対象領域候補に収まるように参照範囲を更新する。例えば図14に示されるように、垂直方向のはみ出し量Δが微調整可能な閾値以下である場合は、垂直方向にΔ分だけ平行移動した位置に対象領域候補を更新すればよい。なお、本ステップにおいて対象領域候補の位置を更新したとしてもグループの全ての顔領域が対象領域候補に収まらない場合は処理をS605に移す。あるいは、全ての顔領域が対象領域候補に収まらないまま後述するS1004で評価値を算出し、この評価値に対して1未満の係数(例えば、0.8)を乗算したものを新たな評価値として算出するようにしてもよい。
このようにして対象領域候補が設定された後、S1004でトリミング領域評価部114は、単独トリミング用の評価処理のS604と同様に対象領域候補の評価値を算出し、本評価処理を完了する。このとき、評価方法は単独トリミング用と同様であってもよいし、異なる方法を用いてもよい。単独トリミング用と同様の方法を用いる場合、評価値E1は対象領域候補内の全て顔領域について算出された占有率の平均とし、評価値E2は全ての顔領域の配置位置についての評価値の合計値とすればよい。また評価値E2は、単にグループ下端の顔領域と対象領域候補の下端との距離が長いほど大きい評価値が設定されるものとしてもよい。
一方、トリミング領域候補決定処理のS302において対象画像に含まれる顔領域が所定数以上であると制御部101により判断された場合、S309でトリミング領域候補設定部113は、集合写真用のトリミング領域候補を設定する。具体的にはトリミング領域候補設定部113は、対象画像内の全ての顔領域についての重心位置を中心としてトリミング領域候補を設定する。本実施形態ではトリミング領域候補は、上述のように5種類のアスペクト比のそれぞれについて3つのサイズを有するものとして予め定められているため、本ステップでは5×3=15通りのトリミング領域候補が設定される。
S310で、トリミング領域評価部114は制御部101の制御の下、S309において設定された全てのトリミング領域候補について、それぞれについて評価値を算出する。集合写真トリミング用の評価処理については詳述しないが、全ての顔領域が含まれることを前提として評価されるものとする。
以上が、対象画像に少なくとも1つの顔領域が含まれている場合のトリミング領域候補の決定方法である。
なお、ここでは、検出された顔領域の数に応じて評価方法を変更するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、1つの顔領域のみを含む対象画像について設定したトリミング領域候補に、上述した複数トリミング用の評価処理を適用したとしても問題はないことは容易に想像されよう。
続いて、被写体領域抽出部111が被写体領域候補を出力した場合、即ち対象画像に顔領域が含まれていない場合のトリミング領域候補の決定方法について説明する。対象画像に顔領域が含まれていない場合は、上述したように、領域優先度設定部112により算出された評価値及び優先順位によって被写体領域が決定される。
ここで、トリミング領域候補設定部113は、顔領域に対しては、顔領域に対応する被写体同士が対象画像において重なって撮影されているか否かを判定したが、顔領域でない被写体領域については、この判定は行わない。顔以外の物体がトリミング領域からはみ出していても、さほどユーザにとっては気にならないと考えられるためである。そのため、対象画像に顔領域が含まれていない場合は、それぞれの被写体領域に対して、1つの顔領域が検出されたときと同様の方法で、トリミング領域候補を設定すればよい。
つまり、トリミング領域候補設定部113は、被写体領域の位置およびサイズの情報を取得すると、トリミング領域候補を水平方向及び垂直方向に3等分する線分を基準とした位置に、顔領域ではない被写体領域が配置されるようにする。あるいは、顔領域ではない被写体領域が中心となるようにトリミング領域候補を設定してもよいし、顔領域ではない被写体領域の一部分だけがトリミング領域候補に含まれるようにしてもよい。この場合、トリミング領域候補の5割以上を被写体領域が占めるようにし、かつ、被写体領域の水平方向または垂直方向の両端がトリミング領域候補からはみ出るトリミング領域候補は設定しないものとする。
そして、トリミング領域評価部114は、設定された全てのトリミング領域候補について、それぞれに単独トリミング用の評価処理を実行し、各トリミング領域候補についての評価値を取得する。これは顔領域に対する評価処理と同様の処理を行えばよい。
《トリミング領域選択及び類似度判定方法》
次に、類似度判定部116及びトリミング領域選択部115によって実施されるトリミング領域を選択する方法を説明する。
図15は本実施形態において、1つの被写体領域について設定したトリミング領域候補の各々について算出した評価値に基づいて、該被写体領域について設定されたトリミング領域候補の中からトリミング領域を決定する方法を示すフローチャートである。以下のフローチャートに係る処理は、トリミング領域が1つ確定する度に終了するが、1つの被写体領域について予め設定した数(トリミング画像を生成する数)のトリミング領域が選択されるまで繰り返し実行される。また、この処理は、対象画像に複数の被写体領域が存在する場合は、検出されている被写体領域を優先度の高い順に選択し、それぞれについて所定数のトリミング領域が設定されるまで実行される。
まずS1501で、トリミング領域選択部115は、設定されたトリミング領域候補の各々について算出された評価値が最も高いトリミング領域候補を判定対象候補として選択する。そしてトリミング領域選択部115は、選択した判定対象候補の情報を類似度判定部116に出力する。
S1502において、類似度判定部116は、受信した判定対象候補の情報に従い、判定対象であるトリミング領域候補(判定対象候補)と、同一の被写体領域について既に決定したトリミング領域とについて、アスペクト比の観点での類似度を判定する。具体的には類似度判定部116は、既に決定した全てのトリミング領域のアスペクト比と判定対象候補のアスペクト比とを比較し、その差が所定範囲内であるトリミング領域が存在する場合、処理をS1503に移す。また類似度判定部116は、アスペクト比の差が所定範囲内であるトリミング領域が存在しない場合、類似しない旨を示す判定結果をトリミング領域選択部115に出力して処理をS1506に移す。そしてトリミング領域選択部115はS1506で、判定対象候補を処理中の被写体領域のトリミング領域の1つとして決定し、本選択処理を終了する。
S1503で、類似度判定部116は、判定対象候補と、同一の被写体領域について既に決定したトリミング領域とについて、サイズの観点での類似度を判定する。類似度判定部116は、既に決定した全てのトリミング領域のサイズと判定対象候補のサイズとを比較し、その差が所定範囲内であるトリミング領域が存在する場合、処理をS1504に移す。また類似度判定部116は、サイズの差が所定範囲内であるトリミング領域が存在しない場合、類似しない旨を示す判定結果をトリミング領域選択部115に出力して処理をS1506に移す。
S1504で、類似度判定部116は、判定対象候補と、同一の被写体領域について既に決定したトリミング領域とについて、トリミング範囲の観点での類似度を判定する。まず類似度判定部116は、全てのトリミング領域と判定対象候補とについて領域開始座標(例えば、領域の左上端の座標)を取得する。類似度判定部116は、各トリミング領域の領域開始座標と判定対象候補の領域開始座標とについて水平座標及び垂直座標の差分を算出する。そして類似度判定部116は、該差分が以下の条件式をいずれも満たす場合、類似する旨を示す判定結果をトリミング領域選択部115に出力して処理をS1505に進める。また類似度判定部116は、領域開始座標の差分が少なくともいずれかの条件式を満たさない場合、類似しない旨を示す判定結果をトリミング領域選択部115に出力して処理をS1506に進める。
(領域開始座標の水平方向の差分)/(トリミング領域の水平方向画素数) < 1/2
(領域開始座標の垂直方向の差分)/(トリミング領域の垂直方向画素数) < 1/2
S1505で、トリミング領域選択部115は、受信した判定結果に基づき、判定対象候補をトリミング領域として決定せず、トリミング領域候補からも除外する。そしてトリミング領域選択部115は、現在判定を行った判定対象候補の次に評価値が高いトリミング領域候補を新たな判定対象候補として選択し、その情報を類似度判定部116に出力し、処理をS1502に戻す。
このようにすることで、1つの被写体領域について複数のトリミング画像を生成する場合に、構図が類似するトリミング領域が設定されることを除外することができる。
このように決定したトリミング領域の各々の情報はトリミング領域抽出結果出力部117に伝送される。そしてトリミング領域抽出結果出力部117は、該情報に従って対象画像についてトリミング処理を実行し、得られたトリミング画像を出力する。
以上説明したように、本実施形態の画像処理装置は、取得したトリミング対象の対象画像について、画像内に含まれる特定の被写体を検出する。そして対象画像について、検出した1つの被写体がトリミング後の領域において所定の条件を満たす位置に配置されるような1以上のトリミング領域候補を設定し、評価する。
このようにすることで、トリミング領域における被写体の配置位置だけでなく、特定の被写体が全て含まれるような好適な構図のトリミング領域が設定可能となる。
また、評価値が高いトリミング領域候補であっても、同一の被写体領域について既に選択した他のトリミング領域と類似する構成である場合には、該領域候補をトリミング領域に選択しない構成とした。これにより、類似したトリミング画像が複数生成されることを抑制することが可能となる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (19)

  1. 画像から被写体領域を特定する特定手段と、
    前記特定手段により特定された被写体領域それぞれについて、複数のトリミング領域候補を設定する設定手段と、を有し、
    前記設定手段は、トリミング領域候補内の所定の位置に前記被写体領域を配置するように各トリミング領域候補を設定するものであって、前記特定手段で特定された前記被写体領域の数、大きさ、種類、および、配置の少なくともいずれかに応じて、前記所定の位置を異ならせる
    ことを特徴とする画像処理装置。
  2. 前記設定手段は、前記特定手段により複数の被写体領域が特定された場合には、前記複数の被写体領域の位置に基づいて、前記複数の被写体領域のそれぞれに対して複数のトリミング領域候補を設定するか、前記複数の被写体領域を含む領域に対して複数のトリミング領域候補を設定するかを切り替えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段は、前記複数の被写体領域が重複する場合には、前記複数の被写体領域を含む領域に対して複数のトリミング領域候補を設定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記設定手段は、前記特定手段により所定数以上の被写体領域が特定された場合には、前記所定数以上の被写体領域を含む領域に対してトリミング領域候補を設定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記設定手段は、前記特定手段により特定された被写体領域に対して、画素数およびアスペクト比の異なるトリミング領域候補を設定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記設定手段は、前記特定手段により特定された被写体領域を前記所定の位置に配置したトリミング領域候補を設定できない場合には、前記被写体領域を前記所定の位置からずらした位置に配置したトリミング領域候補を設定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記設定手段により設定された複数のトリミング領域候補それぞれの評価値を求める評価手段と、
    前記評価手段により求められた評価値に基づいて前記複数のトリミング領域候補の中から所定数を、トリミング領域として選択する選択手段と、をさらに有する
    ことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 画像から被写体領域を特定する特定手段と、
    前記特定手段により特定された被写体領域それぞれについて、複数のトリミング領域候補を設定する設定手段と、
    前記設定手段により設定された複数のトリミング領域候補それぞれの評価値を求める評価手段と、
    前記複数のトリミング領域候補の中から所定数を、トリミング領域として選択する選択手段と、を有し、
    前記選択手段は、前記複数のトリミング領域候補の間の類似度と、前記複数のトリミング領域候補それぞれの評価値とに基づいて、前記所定数のトリミング領域を選択する
    ことを特徴とする画像処理装置。
  9. 前記選択手段は、前記評価値が高いトリミング領域候補から順に前記トリミング領域として選択するものであって、先に選択したトリミング領域と類似すると判断するトリミング領域候補を除外して前記所定数のトリミング領域を選択することを特徴とする請求項8に記載の画像処理装置。
  10. 前記選択手段は、前記先に選択したトリミング領域とのアスペクト比の差が予め決められた範囲内であるトリミング領域候補を除外して前記所定数のトリミング領域を選択することを特徴とする請求項9に記載の画像処理装置。
  11. 前記選択手段は、前記先に選択したトリミング領域とのサイズの差が予め決められた範囲内であるトリミング領域候補を除外して前記所定数のトリミング領域を選択することを特徴とする請求項9または10に記載の画像処理装置。
  12. 前記選択手段は、前記先に選択したトリミング領域との領域開始座標の差分が該トリミング領域の幅及び高さに対して予め決められた範囲内であるトリミング領域候補を除外して前記所定数のトリミング領域を選択することを特徴とする請求項9乃至11のいずれか1項に記載の画像処理装置。
  13. 前記評価手段は、前記複数のトリミング領域候補それぞれについて、前記被写体領域の積に基づいて評価値を求めることを特徴とする請求項8乃至12のいずれか1項に記載の画像処理装置。
  14. 前記評価手段は、前記複数のトリミング領域候補それぞれについて、乱数値に基づいて評価値を求めることを特徴とする請求項8乃至13のいずれか1項に記載の画像処理装置。
  15. 前記画像から、前記選択手段により選択されたトリミング領域で規定される領域の画像を抽出して出力する生成手段を更に有することを特徴とする請求項8乃至1のいずれか1項に記載の画像処理装置。
  16. 請求項1乃至1のいずれか1項に記載の画像処理装置と、
    前記画像を撮像する撮像手段と、を有する
    ことを特徴とする撮像装置。
  17. 特定手段が、画像から被写体領域を特定する特定工程と、
    設定手段が、前記特定工程において特定された被写体領域それぞれについて、複数のトリミング領域候補を設定する設定工程と、を有し、
    前記設定手段は前記設定工程において、トリミング領域候補内の所定の位置に前記被写体領域を配置するように各トリミング領域候補を設定するものであって、前記特定工程で特定された前記被写体領域の数、大きさ、種類、および、配置の少なくともいずれかに応じて、前記所定の位置を異ならせる
    ことを特徴とする画像処理方法。
  18. 特定手段が、画像から被写体領域を特定する特定工程と、
    設定手段が、前記特定工程において特定された被写体領域それぞれについて、複数のトリミング領域候補を設定する設定工程と、
    評価手段が、前記設定工程において設定された複数のトリミング領域候補それぞれの評価値を求める評価工程と、
    選択手段が、前記複数のトリミング領域候補の中から所定数を、トリミング領域として選択する選択工程と、を有し、
    前記選択手段は前記選択工程において、前記複数のトリミング領域候補の間の類似度と、前記複数のトリミング領域候補それぞれの評価値とに基づいて、前記トリミング領域を選択する
    ことを特徴とする画像処理方法。
  19. コンピュータを、請求項1乃至1のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2013234313A 2012-12-26 2013-11-12 画像処理装置、撮像装置、画像処理方法、及び記録媒体 Active JP5882975B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013234313A JP5882975B2 (ja) 2012-12-26 2013-11-12 画像処理装置、撮像装置、画像処理方法、及び記録媒体
DE102013226164.0A DE102013226164B4 (de) 2012-12-26 2013-12-17 Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Speichermedium
GB1423310.0A GB2529734B (en) 2012-12-26 2013-12-20 Image processing apparatus, image capturing apparatus, image processing method, program, and storage medium
GB1322770.7A GB2511194B (en) 2012-12-26 2013-12-20 Image processing apparatus, image capturing apparatus, image processing method, program, and storage medium
US14/138,813 US10115178B2 (en) 2012-12-26 2013-12-23 Image processing apparatus, image capturing apparatus, image processing method, and storage medium
RU2013157873/08A RU2587410C2 (ru) 2012-12-26 2013-12-25 Устройство обработки изображений, устройство захвата изображений и способ обработки изображений
CN201310740104.1A CN103905700B (zh) 2012-12-26 2013-12-26 图像处理设备、摄像设备和图像处理方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012283671 2012-12-26
JP2012283671 2012-12-26
JP2012286167 2012-12-27
JP2012286167 2012-12-27
JP2013234313A JP5882975B2 (ja) 2012-12-26 2013-11-12 画像処理装置、撮像装置、画像処理方法、及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015242632A Division JP6049846B2 (ja) 2012-12-26 2015-12-11 画像処理装置、撮像装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2014143673A JP2014143673A (ja) 2014-08-07
JP2014143673A5 JP2014143673A5 (ja) 2015-08-20
JP5882975B2 true JP5882975B2 (ja) 2016-03-09

Family

ID=50071301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013234313A Active JP5882975B2 (ja) 2012-12-26 2013-11-12 画像処理装置、撮像装置、画像処理方法、及び記録媒体

Country Status (6)

Country Link
US (1) US10115178B2 (ja)
JP (1) JP5882975B2 (ja)
CN (1) CN103905700B (ja)
DE (1) DE102013226164B4 (ja)
GB (2) GB2529734B (ja)
RU (1) RU2587410C2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292756B2 (en) 2013-12-10 2016-03-22 Dropbox, Inc. Systems and methods for automated image cropping
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
CN105528786B (zh) * 2015-12-04 2019-10-01 小米科技有限责任公司 图像处理方法及装置
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
JP2019029998A (ja) * 2017-07-28 2019-02-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、および制御プログラム
JP6887910B2 (ja) * 2017-08-01 2021-06-16 株式会社東芝 画像処理装置
JP7094691B2 (ja) * 2017-11-22 2022-07-04 キヤノン株式会社 放射線撮影システム、放射線撮影方法、制御装置及びプログラム
US11308318B2 (en) 2018-05-30 2022-04-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11462009B2 (en) 2018-06-01 2022-10-04 Apple Inc. Dynamic image analysis and cropping
JP6987255B2 (ja) * 2018-08-08 2021-12-22 株式会社日立ビルシステム エレベータ診断システム
US11528429B2 (en) 2018-09-12 2022-12-13 Sony Corporation Image processing device, and image processing method
CN109495687A (zh) * 2018-12-21 2019-03-19 努比亚技术有限公司 拍照方法、装置、终端及存储介质
CN109948494B (zh) * 2019-03-11 2020-12-29 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
US11030465B1 (en) * 2019-12-01 2021-06-08 Automotive Research & Testing Center Method for analyzing number of people and system thereof
CN111583273A (zh) * 2020-04-29 2020-08-25 京东方科技集团股份有限公司 可读存储介质、显示装置及其图像处理方法
JP7533011B2 (ja) * 2020-08-20 2024-08-14 大日本印刷株式会社 情報処理装置、プログラム及び情報処理方法
CN116457824A (zh) * 2020-12-18 2023-07-18 富士通株式会社 认证方法、信息处理装置以及认证程序
EP4319129A4 (en) * 2021-03-26 2024-10-09 Sony Group Corporation Information processing device and method, and program
TWI800814B (zh) * 2021-04-12 2023-05-01 宏碁股份有限公司 影像拼接方法
JP7609086B2 (ja) 2022-01-31 2025-01-07 トヨタ自動車株式会社 画像処理装置
JPWO2023163217A1 (ja) * 2022-02-28 2023-08-31
EP4502726A4 (en) * 2022-03-31 2025-07-23 Sony Group Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
KR20250009845A (ko) 2023-07-11 2025-01-20 엘지전자 주식회사 디스플레이 장치 및 이를 위한 영상 처리 방법
CN117132614A (zh) * 2023-08-29 2023-11-28 常州微亿智造科技有限公司 图像多边形标注的快速切图方法和装置

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4625356Y1 (ja) 1967-05-17 1971-09-01
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
GB2370438A (en) * 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
US6898316B2 (en) * 2001-11-09 2005-05-24 Arcsoft, Inc. Multiple image area detection in a digital image
US7162102B2 (en) * 2001-12-19 2007-01-09 Eastman Kodak Company Method and system for compositing images to produce a cropped image
JP2004274428A (ja) * 2003-03-10 2004-09-30 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、記憶媒体及びプログラム
US7286723B2 (en) * 2003-06-27 2007-10-23 Hewlett-Packard Development Company, L.P. System and method for organizing images
US7573486B2 (en) * 2003-08-18 2009-08-11 LumaPix Inc. Method and system for automatic generation of image distributions
US8739060B2 (en) * 2003-09-29 2014-05-27 Eqapez Foundation, L.L.C. Method and system for displaying multiple aspect ratios of a viewport
US7656543B2 (en) * 2004-11-12 2010-02-02 Hewlett-Packard Development Company, L.P. Albuming images
AU2004231206A1 (en) * 2004-11-19 2006-06-08 Canon Kabushiki Kaisha Displaying a plurality of images in a stack arrangement
US9329827B2 (en) * 2004-12-29 2016-05-03 Funmobility, Inc. Cropping of images for display on variably sized display devices
US7528846B2 (en) * 2005-02-23 2009-05-05 Microsoft Corporation Systems and methods to adjust a source image aspect ratio to match a different target display aspect ratio
JP4625356B2 (ja) * 2005-03-30 2011-02-02 セイコーエプソン株式会社 ユーザ負担を低減した画像のトリミング
US20060222243A1 (en) * 2005-04-02 2006-10-05 Newell Martin E Extraction and scaled display of objects in an image
TWI309026B (en) * 2005-04-12 2009-04-21 Newsoft Technology Corp Method for auto-cropping image objects and method for detecting image object contour
JP4929631B2 (ja) 2005-07-08 2012-05-09 カシオ計算機株式会社 画像生成装置、及び画像生成方法
JP2007020122A (ja) * 2005-07-11 2007-01-25 Canon Inc 画像処理装置、画像処理装置の制御方法およびプログラム
US7529390B2 (en) * 2005-10-03 2009-05-05 Microsoft Corporation Automatically cropping an image
JP4624948B2 (ja) * 2006-03-22 2011-02-02 富士フイルム株式会社 画像のトリミング方法および撮像装置
JP4493631B2 (ja) * 2006-08-10 2010-06-30 富士フイルム株式会社 トリミング装置および方法並びにプログラム
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8578267B2 (en) * 2006-09-28 2013-11-05 Hewlett-Packard Development Company, L.P. Graphic assembly layout with maximum page coverage and minimum content removal
US20080100642A1 (en) * 2006-10-31 2008-05-01 International Business Machines Corporation User definable aspect ratios for image regions
US8218830B2 (en) 2007-01-29 2012-07-10 Myspace Llc Image editing system and method
US7831901B1 (en) * 2007-02-16 2010-11-09 Adobe Systems Incorporated Systems and methods employing multiple crop areas
GB2451483B (en) 2007-07-31 2012-05-30 Hewlett Packard Development Co Image processing method, system and computer readable medium
JP4850818B2 (ja) * 2007-11-30 2012-01-11 キヤノン株式会社 画像処理装置およびその方法
JP2009212929A (ja) * 2008-03-05 2009-09-17 Fujifilm Corp 画像トリミング範囲の評価方法、装置およびプログラム
JP4945486B2 (ja) 2008-03-18 2012-06-06 富士フイルム株式会社 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法
US20090295787A1 (en) * 2008-06-02 2009-12-03 Amlogic, Inc. Methods for Displaying Objects of Interest on a Digital Display Device
WO2010027080A1 (ja) 2008-09-08 2010-03-11 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム
US9165388B2 (en) * 2008-09-22 2015-10-20 International Business Machines Corporation Method of automatic cropping
US8385609B2 (en) * 2008-10-21 2013-02-26 Flashfoto, Inc. Image segmentation
AU2008259357B2 (en) * 2008-12-18 2010-09-16 Canon Kabushiki Kaisha Automatic image cropping
US20100299621A1 (en) * 2009-05-20 2010-11-25 Making Everlasting Memories, L.L.C. System and Method for Extracting a Plurality of Images from a Single Scan
EP2446618A4 (en) * 2009-06-24 2013-03-06 Hewlett Packard Development Co CREATING AN ALBUM OF MAGES
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
US8180178B2 (en) * 2009-06-24 2012-05-15 Hewlett-Packard Development Company, L.P. Autocropping and autolayout method for digital images
JP4844657B2 (ja) 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
KR100999056B1 (ko) * 2009-10-30 2010-12-08 (주)올라웍스 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP2011176747A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
JP5803058B2 (ja) 2010-03-30 2015-11-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9070182B1 (en) * 2010-07-13 2015-06-30 Google Inc. Method and system for automatically cropping images
JP5629562B2 (ja) 2010-12-01 2014-11-19 キヤノン株式会社 画像処理装置及びその制御方法、及びプログラム
JP5631181B2 (ja) 2010-12-01 2014-11-26 キヤノン株式会社 画像処理装置及びその制御方法、及びプログラム
JP5761991B2 (ja) 2010-12-24 2015-08-12 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP6019567B2 (ja) 2011-03-31 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9449411B2 (en) * 2011-04-29 2016-09-20 Kodak Alaris Inc. Ranking image importance with a photo-collage
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
US9424765B2 (en) * 2011-09-20 2016-08-23 Sony Corporation Image processing apparatus, image processing method, and program
US20130108119A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US9025836B2 (en) * 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938116B2 (en) * 2011-12-08 2015-01-20 Yahoo! Inc. Image cropping using supervised learning
US9881354B2 (en) * 2012-03-15 2018-01-30 Microsoft Technology Licensing, Llc Image completion including automatic cropping
US9171404B1 (en) * 2015-04-20 2015-10-27 Popcards, Llc Augmented reality greeting cards

Also Published As

Publication number Publication date
RU2587410C2 (ru) 2016-06-20
GB201322770D0 (en) 2014-02-05
GB2511194B (en) 2017-06-14
CN103905700A (zh) 2014-07-02
JP2014143673A (ja) 2014-08-07
US20140176612A1 (en) 2014-06-26
US10115178B2 (en) 2018-10-30
RU2013157873A (ru) 2015-06-27
GB201423310D0 (en) 2015-02-11
CN103905700B (zh) 2017-10-20
DE102013226164B4 (de) 2022-04-28
GB2529734B (en) 2017-11-15
GB2529734A (en) 2016-03-02
DE102013226164A1 (de) 2014-06-26
GB2511194A (en) 2014-08-27

Similar Documents

Publication Publication Date Title
JP5882975B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び記録媒体
JP5620990B2 (ja) 形状抽出方法及び装置、並びに寸法測定装置及び距離測定装置
JP5631106B2 (ja) 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
US20130307966A1 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
CN102567729B (zh) 区域特定方法、区域特定装置、服务器及系统
KR101548183B1 (ko) 화상처리장치 및 그 제어 방법
JP2009081714A (ja) 撮像装置および撮像装置における顔領域決定方法
JP5956844B2 (ja) 画像処理装置およびその制御方法
KR101321780B1 (ko) 화상처리장치 및 화상처리방법
JP6320053B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6049846B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
EP2541469B1 (en) Image recognition device, image recognition method and image recognition program
JP2014099087A (ja) 特徴点検出装置およびプログラム
JP2008117305A (ja) 画像処理装置
JP2014153866A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2011044989A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010154323A (ja) 画像処理装置、画像抽出方法、および、プログラム
JP5631181B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP5629562B2 (ja) 画像処理装置及びその制御方法、及びプログラム
JP2008005438A (ja) 撮像装置及び撮像方法
JP2015149570A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6318661B2 (ja) 被写体検出装置、撮像装置及び画像処理プログラム
JP2012094067A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2014127763A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012123721A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150703

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150708

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160204

R151 Written notification of patent or utility model registration

Ref document number: 5882975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151