JP6728091B2 - 画像合成装置，画像合成方法およびそのプログラム - Google Patents

Description

この発明は，画像合成装置，画像合成方法およびそのプログラムに関する。

テンプレート画像に合成対象画像を貼り付けてポストカード，電子アルバム，フォトブックなどを生成することが行われている。たとえば，画像解析結果にもとづいて各々の画像の評価値を決定し，評価値をもとに画像を選択して所定のレイアウトに配置するもの（特許文献１），指定された仕上がり印象にもとづいてテンプレート画像と対象画像とを決定するもの（特許文献２）などがある。また，テンプレート画像とテンプレート画像に合成される対象画像とのバランスを良くするもの（特許文献３），対象画像を合成するのに適したテンプレート画像を見つけるもの（特許文献４），統一感のあるアルバムを作成するもの（特許文献５）なども考えられている。

特許第5655112 特開2015-162850号公報 特開2016-170465号公報 特開2016-48408号公報 特開2006-350462号公報

しかしながら，特許文献１に記載のものでは，評価値をもとに画像を選択して所定のレイアウトに配置するものであり，合成画像の印象を良くすることは考えられていない。特許文献２に記載のものでは，指定された仕上がり印象となるようにテンプレート画像と対象画像とが決定されるが，指定された印象以外の印象については考えられていない。特許文献３に記載のものは，テンプレート画像とテンプレート画像に合成される対象画像とのバランスを良くするものであり，合成画像の印象については考えられていない。特許文献４に記載のものは，対象画像を合成するのに適したテンプレート画像を見つけるものであるが，特定の対象画像についてのみしか適したテンプレート画像を見つけることができない。特許文献５に記載のものは，写真画像の代表色とテンプレート画像の色との色較差から色調補正値を算出して写真画像を色調補正するが，写真画像とテンプレート画像との印象という観点は考えられていない。

この発明は，印象が合う合成候補画像と背景画像との組合せを決定できるようにすることを目的とする。

この発明による画像合成装置は，複数の合成候補画像を入力する合成候補画像入力手段，複数の背景画像を入力する背景画像入力手段，合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について決定する合成候補画像印象値決定手段，背景画像入力手段に入力した複数の背景画像のそれぞれの背景画像の印象値を，複数の印象軸について決定する背景画像印象値決定手段，複数の印象軸のうち少なくとも1つの印象軸について，合成候補画像印象値決定手段によって決定された合成候補画像の印象値と背景画像印象値決定手段によって決定された背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せを決定する組合せ決定手段，および組合せ決定手段によって決定した組合せの合成候補画像と背景画像とを合成して合成画像を生成する合成画像生成手段を備えていることを特徴とする。

この発明は，画像合成装置に適した画像合成方法も提供している。すなわち，この方法は，合成候補画像入力手段が，複数の合成候補画像を入力し，背景画像入力手段が，複数の背景画像を入力し，合成候補画像印象値決定手段が，合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について決定し，背景画像印象値決定手段が，背景画像入力手段に入力した複数の背景画像のそれぞれの背景画像の印象値を，複数の印象軸について決定し，組合せ決定手段が，複数の印象軸のうち少なくとも1つの印象軸について，合成候補画像印象値決定手段によって決定された合成候補画像の印象値と背景画像印象値決定手段によって決定された背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せを決定し，合成画像生成手段が，組合せ決定手段によって決定した組合せの合成候補画像と背景画像とを合成して合成画像を生成することを特徴とする。

また，プロセッサ回路が，複数の合成候補画像を入力させ，複数の背景画像を入力させ，入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について決定し，入力した複数の背景画像のそれぞれの背景画像の印象値を，複数の印象軸について決定し，複数の印象軸のうち少なくとも1つの印象軸について，決定された合成候補画像の印象値と決定された背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せを決定し，決定した組合せの合成候補画像と背景画像とを合成して合成画像を生成する画像合成装置を提供してもよい。

この発明は，画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのようなプログラムを格納した記録媒体も提供している。

合成画像生成手段によって生成された合成画像を表示させる表示制御手段をさらに備えてもよい。

少なくとも１つの印象軸の名称を表示させる第１の印象軸名称表示制御手段をさらに備えてもよい。

合成候補画像印象値決定手段は，たとえば，合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について算出することにより決定し，背景画像印象値決定手段は，たとえば，背景画像入力手段により入力した複数の背景画像のそれぞれの背景画像の印象値を，複数の印象軸について算出することにより決定する。

合成候補画像印象値決定手段は，合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について記憶する合成候補画像印象値記憶手段に記憶されている印象値にもとづいて合成候補画像の印象値を決定し，背景画像印象値決定手段は，背景画像入力手段に入力した複数の背景画像のそれぞれの背景画像の印象値を，複数の印象軸について記憶する背景画像印象値記憶手段に記憶されている印象値にもとづいて背景画像の印象値を決定してもよい。

複数の印象軸を指定する印象軸指定手段をさらに備えてもよい。

組合せ決定手段は，たとえば，合成候補画像印象値決定手段によって決定された合成候補画像の印象値と背景画像印象値決定手段によって決定された背景画像の印象値との差異がもっとも小さい印象軸について合成候補画像と背景画像との組合せを決定する。

複数の印象軸の名称を表示させる第２の印象軸名称表示制御手段，および第２の印象軸名称表示制御手段の制御により表示される複数の印象軸の名称のうち少なくとも１つの印象軸の名称を指定する印象軸名称指定手段をさらに備えてもよい。この場合，組合せ決定手段は，たとえば，印象軸名称指定手段によって指定された少なくとも１つの印象軸の名称に対応する印象軸について合成候補画像印象値決定手段によって決定された合成候補画像の印象値と背景画像印象値決定手段によって決定された背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せを決定する。

複数の合成候補画像のうちの一の合成候補画像の印象値と複数の背景画像のうちの一の背景画像の印象値との差異が小さい，合成候補画像と背景画像との組合せの数がしきい値以上の印象軸を，複数の印象軸と決定する第１の印象軸決定手段をさらに備えてもよい。

第１の印象軸決定手段によって決定された印象軸の名称を，差異の小さい順に表示させる第３の印象軸名称表示制御手段をさらに備えてもよい。

２つの印象軸または３つの印象軸によって規定される領域における複数の合成候補画像の印象値の分布および複数の背景画像の印象値の分布にもとづいて，複数の印象軸を決定する第２の印象軸決定手段をさらに備えてもよい。

第２の印象軸決定手段は，たとえば，複数の合成候補画像の印象値の分布の広がっている方向の印象に対応する印象軸，複数の合成候補画像の印象値の分布が狭い方向の印象に対応する印象軸，複数の背景画像の印象値の分布の広がっている方向の印象に対応する印象軸および複数の背景画像の印象値の分布が狭い方向の印象に対応する印象軸の少なくともいずれかの印象軸を決定する。

この発明によると，複数の合成候補画像および複数の背景画像が画像合成装置に入力する。入力した複数の合成候補画像のそれぞれの合成候補画像の印象値が，複数の印象軸について決定され，かつ入力した複数の背景画像のそれぞれの背景画像の印象値が，複数の印象軸について決定される。複数の印象軸について，合成候補画像の印象値と背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せが決定される。決定された合成候補画像と背景画像とが合成された合成画像が生成される。印象のよく合う合成候補画像と背景画像とから合成される合成画像が得られるようになる。

画像合成装置の電気的構成を示すブロック図である。 画像合成装置の処理手順を示すフローチャートである。 合成候補画像の一例である。 合成候補画像の一例である。 合成候補画像の一例である。 合成候補画像の一例である。 合成候補画像の一例である。 印象領域の一例である。 背景画像の一例である。 背景画像の一例である。 背景画像の一例である。 背景画像の一例である。 背景画像の一例である。 印象値と印象軸との関係を示している。 合成画像の一例である。 印象軸指定ウインドウの一例である。 合成画像の一例である。 おすすめ印象軸指定ウインドウの一例である。 印象領域の一例である。

［第１実施例］
図１は，この発明の実施例を示すもので，画像合成装置１の電気的構成を示すブロック図である。

画像合成装置１の全体の動作は，ＣＰＵ（Central Processing Unit）７によって統括される。

画像合成装置１には，表示制御装置３によって制御される表示装置２，データを一時的に記憶するメモリ４，コンパクト・ディスク５にアクセスするためのＣＤ（コンパクト・ディスク）ドライブ６，ユーザが画像合成装置１に指令を与えるためのキーボード８およびマウス９が含まれている。また，画像合成装置１には，ＨＤ（ハードディスク）12にアクセスするためのＨＤ（ハードディスク）ドライブ11およびサーバ（図示略）等と通信するための通信装置10も含まれている。さらに，画像合成装置１には，メモリ・カード14に格納されている画像ファイル等を読み取るメモリ・カード・インターフェイス13も含まれている。

後述する動作を制御するプログラムが格納されているコンパクト・ディスク５が画像合成装置１に装填され，コンパクト・ディスク・ドライブ６によってコンパクト・ディスク５に格納されているプログラムが読み取られる。読み取られたプログラムが画像合成装置１にインストールされることにより，画像合成装置１は，後述する動作を行う。画像合成装置１を制御するプログラムは，コンパクト・ディスク５のような記録媒体から読み取られるのではなく，インターネットを介して送信されたものを受信するようにしてもよい。

図２は，画像合成装置１の処理手順を示すフローチャートである。

ユーザは，複数の合成候補画像（を表すファイル）が格納されているメモリ・カード14を画像合成装置１に装填し，メモリ・カード・インターフェイス13（合成候補画像入力手段）を介して複数の合成候補画像を画像合成装置１に入力する（ステップ21）。メモリ・カード14に格納されているすべての画像を合成候補画像としてもよいし，メモリ・カード14にフォルダが形成され，そのフォルダの中に画像が格納されている場合には，フォルダを指定し，指定されたフォルダの中に格納されているすべての画像を合成候補画像として，画像合成装置１に入力するようにしてもよい。もちろん，メモリ・カード14に格納されている画像に限らず，コンパクト・ディスク５に格納されている画像，ハードディスク12に格納されている画像を指定し，指定された画像を合成候補画像としてもよい。

図３から図７は，画像合成装置１に入力した複数の合成候補画像を構成する合成候補画像Ｉ１からＩ５の一例である。

この実施例では，図３から図７に示す合成候補画像Ｉ１からＩ５が画像合成装置１に入力したものとする。これらの合成候補画像Ｉ１からＩ５は，いずれも結婚式の画像である。

複数の合成候補画像Ｉ１からＩ５が画像合成装置１に入力すると，複数の合成候補画像Ｉ１からＩ５のうちのそれぞれの合成候補画像Ｉ１，Ｉ２，Ｉ３，Ｉ４およびＩ５の印象値が，ＣＰＵ７（合成候補画像印象値決定手段）によって複数の印象軸について決定される（図２ステップ22）。

図８は，あらかじめ定められている２つの基準印象軸によって規定される印象領域の一例である。

印象領域の基準印象軸の横軸は，「ウォーム」と「クール」との印象軸の名称で規定されており，印象領域の基準印象軸の縦軸は，「ソフト」と「ハード」との印象軸の名称で規定されている。

図８に示す印象領域には，基準印象軸によって規定される印象値に対応して「やわらかい」，「かわいい」などの印象を示す感性語が分布されている。

この実施例においては，５つの印象軸Ａｘ１からＡｘ５があらかじめ定められている。第１の印象軸Ａｘ１は，「元気な」と「やわらかい」という印象を示す感性語によって規定されている。第２の印象軸Ａｘ２は，「エレガントな」と「おとなしい」という印象を示す感性語によって規定されている。第３の印象軸Ａｘ３は，「アクティブな」と「上部な」という印象を示す感性語によって規定されている。第４の印象軸Ａｘ４は，「なつかしい」と「おちついた」という印象を示す感性語によって規定されている。第５の印象軸Ａｘ５は，「フォーマルな」と「ひっそりとした」という印象を示す感性語によって規定されている。

合成候補画像Ｉ１，Ｉ２，Ｉ３，Ｉ４またはＩ５のそれぞれには，画像ファイルのヘッダに「ウォーム」と「クール」に対応する印象値および「ソフト」と「ハード」とに対応する基準印象値が格納されている。これらの基準印象値を用いて，複数の印象軸について，それぞれの印象値がＣＰＵ７によって決定する。たとえば，座標（Ｐｘ，Ｐｙ）によって示される基準印象値が合成候補画像Ｉ１の画像ファイルのヘッダ（合成候補画像印象値記憶手段）に格納されているとする。この場合に，合成候補画像Ｉ１の第２の印象軸Ａｘ２についての印象値は，その座標（Ｐｘ，Ｐｙ）の位置から第２の印象軸Ａｘ２に垂線を降ろし，垂線と第２の印象軸Ａｘ２との交点ＰＡ２によって表される値となる。その他の第１の印象軸Ａｘ１，第３の印象軸Ａｘ３，第４の印象軸Ａｘ４，第５の印象軸Ａｘ５についても同様にして，それぞれの印象軸についての印象値が得られる。画像ファイルのヘッダに格納されている基準印象値を表す座標（Ｐｘ，Ｐｙ）から降ろす第１から第５の印象軸Ａｘ１からＡｘ５のいずれかの印象軸と垂線とが交わらない場合には，その印象軸に対応する印象値は算出不能としてもよいし，印象軸の延長上と垂線とが交わる交点に近い印象値を，その印象軸に対応する印象値としてもよい。たとえば，合成候補画像Ｉ１の基準印象値を示す座標（Ｐｘ，Ｐｙ）から第１の印象軸Ａｘ１に垂線を降ろそうとしても，その第１の印象軸Ａｘ１内では交わらない。そのような場合には，鎖線で示すように第１の印象軸Ａｘ１の延長線に合成候補画像Ｉ１の基準印象値を示す座標（Ｐｘ，Ｐｙ）から垂線を降ろし，得られた交点ＰＡ１に近い第１の印象軸Ａｘ１の印象（「やわらかい」）の値を第１の印象軸Ａｘ１における画像Ｉ１の印象値とすればよい。もっとも，他のやり方によって印象値を決定してもよい。

つづいて，複数の背景画像が画像合成装置１に入力する（図２ステップ23）。この場合もユーザは，複数の背景画像（を表すファイル）が格納されているメモリ・カード14を画像合成装置１に装填し，メモリ・カード・インターフェイス13（背景画像入力手段）を介して複数の背景画像を画像合成装置１に入力する。メモリ・カード14に格納されているすべての画像を背景画像としてもよいし，メモリ・カード14にフォルダが形成され，そのフォルダの中に画像が格納されている場合には，フォルダを指定し，指定されたフォルダの中に格納されているすべての画像を背景画像として，画像合成装置１に入力するようにしてもよい。もちろん，メモリ・カード14に格納されている画像に限らず，コンパクト・ディスク５に格納されている画像，ハードディスク12に格納されている画像を指定し，指定された画像を背景画像としてもよい。背景画像とは，台紙画像，テンプレート画像のように，画像を合成する領域が規定されているような画像に限らず，単なる壁の一部を示すような画像も含む。

図９から図13は，背景画像ＦＲ１からＦＲ５の一例である。

この実施例では，図９から図13に示す背景画像ＦＲ１からＦＲ５が画像合成装置１に入力したものとする。背景画像ＦＲ１からＦＲ５は，いずれも画像を合成する領域があらかじめ規定されているが，上述のように壁の画像のように画像を合成する領域が規定されていないような画像であってもよい。

複数の背景画像ＦＲ１からＦＲ５が画像合成装置１に入力すると，それらの複数の背景画像ＦＲ１からＦＲ５のそれぞれについても複数の印象軸についての印象値がＣＰＵ７（背景画像印象値決定手段）によって決定される（図２ステップ24）これらの背景画像ＦＲ１からＦＲ５のそれぞれにも，合成候補画像Ｉ１からＩ５と同様に背景画像ＦＲ１からＦＲ５のそれぞれを表す画像ファイルのヘッダ（背景画像印象値記憶手段）に基準印象値が格納されている。合成候補画像Ｉ１からＩ５の第１から第５の印象軸Ａｘ１からＡｘ５についての印象値の決定と同様にして第１から第５の印象軸Ａｘ１からＡｘ５について背景画像ＦＲ１からＦＲ５の印象値が決定できる。

第１から第５の印象軸Ａｘ１からＡｘ５について複数の合成候補画像Ｉ１からＩ５の印象値および第１から第５の印象軸Ａｘ１からＡｘ５について複数の背景画像ＦＲ１からＦＲ５の印象値が決定すると，これらの複数の印象軸Ａｘ１からＡｘ５のうち，少なくとも１つの印象軸について，合成候補画像Ｉ１からＩ５の印象値と背景画像ＦＲ１からＦＲ５の印象値との差異が小さい，合成候補画像と背景画像との組合せがＣＰＵ７（組合せ決定手段）によって決定される（図２ステップ25）。

表１は，上述のようにして決定された印象値を示すテーブルの一例である。

第１から第５の印象軸Ａｘ１からＡｘ５について合成候補画像Ｉ１からＩ５の印象値および第１から第５の印象軸Ａｘ１からＡｘ５について背景画像ＦＲ１からＦＲ５の印象値がそれぞれ格納されている。表１において(後述する表２，表３でも同様である)，Ｌ１，Ｌ２，Ｌ３，Ｌ４およびＬ５は，第１から第５の印象軸Ａｘ１からＡｘ５のそれぞれの印象軸における印象値を示している。表１では(後述する表２，表３でも同様である)，レベルＬ１からＬ５までの５段階によって印象値が表現されているが，５段階以外の複数段階によって印象値が表現されていてもよいし，複数段階に分けることなく小数点以下の数値含むように計算によって得られた値そのものによって印象値が表現されていてもよい。

図14は，印象値と印象軸との関係を示している。

図14に示すものは，第１から第５の印象軸Ａｘ１からＡｘ５について合成候補画像Ｉ２の印象値と第１から第５の印象軸Ａｘ１からＡｘ５について背景画像ＦＲ４の印象値との関係を示している。

第１から第５の印象軸Ａｘ１からＡｘ５について合成候補画像Ｉ２の印象値と第１から第５の印象軸Ａｘ１からＡｘ５について背景画像ＦＲ４の印象値とは，第１から第５の印象軸Ａｘ１からＡｘ５のいずれにおいても一致している。第１から第５の印象軸Ａｘ１からＡｘ５について合成候補画像Ｉ２の印象値と第１から第５の印象軸Ａｘ１からＡｘ５について背景画像ＦＲ４の印象値との差異が無く，その差異が小さいと判断される。このために，合成候補画像Ｉ２と背景画像ＦＲ４とがＣＰＵ７（合成画像生成手段）によって合成されて合成画像が生成される（図２ステップ26）。差異が小さいとは，差異の値がしきい値以下であること，差異が小さい組合せのうち最小のものから数えてしきい値以下の順位に入っているものなどをいう。

図15は，生成された合成画像30の一例である。

合成画像30は，上述のように合成候補画像Ｉ２と背景画像ＦＲ４とが合成されたものである。これらの合成候補画像Ｉ２と背景画像ＦＲ４とは，第１の印象軸Ａｘ１から第５の印象軸Ａｘ５におけるそれぞれの印象値の差異が小さい。第１の印象軸Ａｘ１から第５の印象軸Ａｘ５の印象軸について，同じ印象を受ける画像同士が合成されていることとなる。このために，ユーザは，合成画像30から受ける印象に違和感を生じない。

図15においては，表示制御装置３（第１の印象軸名称表示制御手段）の制御により合成画像30の下に合成候補画像Ｉ２の印象値と背景画像ＦＲ４の印象値との差異が小さい印象軸の名称，すなわち，「元気な」と「やわらかい」とで規定されている印象軸の名称，「エレガントな」と「おとなしい」とで規定されている印象軸の名称，「アクティブな」と「丈夫な」とで規定されている印象軸の名称，「なつかしい」と「おちついた」とで規定されている印象軸の名称および「フォーマルな」と「ひっそりとした」とで規定されている印象軸の名称が表示されている。これらの印象軸の名称が表示されているから，合成画像30が印象軸のうち，どのような印象軸についての合成候補画像Ｉ２と背景画像ＦＲ４との差異が小さいかがユーザがわかる。

上述の実施例においては，合成候補画像Ｉ１からＩ５，背景画像ＦＲ１からＦＲ５のいずれもそれぞれの画像ファイルのヘッダに印象値が格納されているが，画像ファイルのヘッダに印象値が格納されていない場合には，次に述べるように印象値を算出することもできる。

表２は，多数のサンプル合成候補画像についての印象値を格納した印象値格納テーブルの一例である。

印象値格納テーブルには，印象軸Ａｘ１からＡｘ５（印象軸Ａｘ１からＡｘ５に限らない）ごとにサンプル合成候補画像についての印象値が格納されている。これらの印象値に対応して，性別，表情などのアイテムごとにカテゴリが格納されている。たとえば，「性別」のアイテムであれば，「男」または「女」のカテゴリが格納され，「表情」のアイテムであれば，「笑顔」または「真顔」のカテゴリが格納されている。ある印象軸についての印象値をｆ（印象軸），カテゴリをｘとし，カテゴリの係数をａとすると，ある印象軸についての印象値ｆ（印象軸）は，数量化理論Ｉ類を利用して，式（１）によって表される。但し，画像にカテゴリのいずれか一方が該当する場合には「１」とし，該当しない場合には「０」とする。

ｆ（印象軸）＝Σａｘ 式（１）

たとえば，サンプル合成候補画像Ｎｏ．１について，印象軸Ａｘ１での印象値Ｌ２をユーザが主観で入力すると，被写体が「男」の場合には「１」，被写体が「女」の場合には「０」，被写体の表情が「笑顔」の場合には「１」，「真顔」の場合には「０」とすると，式（２）が成立する。

Ｌ２＝ａ１×（男）＋ａ２×（笑顔）・・・＝ａ１＋ａ２・・・ 式（２）

印象軸Ａｘ１について，他のサンプル合成候補画像Ｎｏ．２などの印象値をユーザがあらかじめ主観で入力すると，式（２）に相当する式が多数得られる。さらに，印象軸Ａｘ１以外の印象軸Ａｘ２について，多数のサンプル合成候補画像についての印象値をユーザがあらかじめ主観で入力しておく。すると，印象軸Ａｘ１以外の印象軸Ａｘ２などについても式（２）に相当する式が多数得られる。式（２）に相当する式が多数得られると，それらの多数の式から係数ａ（ａ１，ａ２など）を一般化でき，印象軸ごとに式（１）についての係数ａが分かる。合成候補画像Ｉ１からＩ５について，それらの合成候補画像Ｉ１からＩ５のそれぞれについてＣＰＵ７によって画像解析が行われ，アイテムごとに対応するカテゴリの有無が検出されることにより，式（１）におけるカテゴリのｘの値が分かり，係数ａとカテゴリｘの値とから，印象軸ごとに合成候補画像Ｉ１からＩ５の印象値がＣＰＵ７（合成候補画像印象値決定手段）によって算出（決定）される。

表３は，表２に対応するもので，多数のサンプル背景画像についての印象値を格納した印象値格納テーブルの一例である。

表３に示す印象値格納テーブルにも，印象軸Ａｘ１からＡｘ５（印象軸Ａｘ１からＡｘ５に限らない）ごとにサンプル背景画像についての印象値が格納されている。これらの印象値に対応して，枠，色などのアイテムごとにカテゴリが格納されている。たとえば，「枠」のアイテムであれば，「直線」または「曲線」のカテゴリが格納され，「色」のアイテムであれば，「暖色」または「寒色」のカテゴリが格納されている。ある印象軸についての印象値をｆ（印象軸），カテゴリをｘとし，カテゴリの係数をｂとすると，背景画像についても，式（１）と同様に式（３）が成立する。但し，画像にカテゴリのいずれか一方が該当する場合には「１」とし，該当しない場合には「０」とする。

ｆ（印象軸）＝Σｂｘ 式（１）

たとえば，サンプル背景画像Ｎｏ．１について，印象軸Ａｘ１での印象値Ｌ３をユーザが主観的に入力すると，背景画像の「枠」が「直線」の場合には「１」，背景画像の「枠」が「曲線」の場合には「０」，背景画像の「色」が「暖色」の場合には「１」，背景画像の「色」が「寒色」の場合には「０」とすると，式（４）が成立する。

Ｌ３＝ｂ１×（直線）＋ｂ×（暖色）・・・＝ｂ１＋ｂ２・・・ 式（４）

印象軸Ａｘ１について，他のサンプル背景画像Ｎｏ．２などの印象値をユーザがあらかじめ主観で入力すると，式（４）に相当する式が多数得られる。さらに，印象軸Ａｘ１以外の印象軸Ａｘ２について，多数のサンプル背景画像についての印象値をユーザがあらかじめ主観で入力しておく。すると，印象軸Ａｘ１以外の印象軸Ａｘ２などについても式（３）に相当する式が多数得られる。式（４）に相当する式が多数得られると，それらの多数の式から係数ｂ（ｂ１，ｂ２など）を一般化でき，印象軸ごとに式（３）についての係数ｂが分かる。すると，背景画像ＦＲ１からＦＲ５について，それらの背景画像ＦＲ１からＦＲ５のそれぞれについてＣＰＵ７によって画像解析が行われ，アイテムごとに対応するカテゴリの有無が検出されることにより，式（３）におけるカテゴリのｘの値が分かり，係数ｂとカテゴリｘ１の値とから，印象軸ごとに背景画像ＦＲ１からＦＲ５の印象値がＣＰＵ７（合成候補画像印象値決定手段）によって算出（決定）される。

このようにして，合成候補画像Ｉ１からＩ５，背景画像ＦＲ１からＦＲ５についての印象値を算出することができるようになる。合成候補画像Ｉ１からＩ５以外の合成候補画像，背景画像ＦＲ１からＦＲ５についての背景画像についても印象値を算出できるのはいうまでもない。

近い印象をもつ合成候補画像と背景画像とを合成して合成画像を得ることができる。

［第２実施例］
図16は，画像合成装置１の表示装置２の表示画面に表示される印象軸指定ウインドウ40の一例である。

上述の実施例では，あらかじめ定められている印象軸Ａｘ１からＡｘ５について印象値が決定されているが，この実施例では，ユーザによって指定された印象軸について印象値が決定される。

印象軸指定ウインドウ40には，「元気な」と「やわらかい」との印象により決定される第１の印象軸Ａｘ１の名称，「エレガントな」と「おとなしい」との印象により決定される第２の印象軸Ａｘ２の名称，「アクティブな」と「丈夫な」との印象により決定される第３の印象軸Ａｘ３の名称，「なつかしい」と「おちついた」との印象により決定される第４の印象軸Ａｘ４の名称，および「フォーマルな」と「ひっそりとした」との印象により決定される第５の印象軸Ａｘ５の名称が，表示制御装置３（第２の印象軸名称表示制御手段）の制御により表示されている。これらの第１の印象軸Ａｘ１の名称，第２の印象軸Ａｘ２の名称，第３の印象軸Ａｘ３の名称，第４の印象軸Ａｘ４の名称および第５の印象軸Ａｘ５の名称のそれぞれに対応して選択ボタン41，42，43，44および45が表示されている。これらの選択ボタン41から45の下には，「クリア」の文字が表示されているクリア・ボタン46，「ＯＫ」の文字が表示されているＯＫボタン47が設けられている。

ユーザは，選択ボタン41から45のうち，第１の印象軸Ａｘ１の名称，第２の印象軸Ａｘ２の名称，第３の印象軸Ａｘ３の名称，第４の印象軸Ａｘ４の名称および第５の印象軸Ａｘ５の名称のうち，指定したい印象軸の名称に対応するいずれかの選択ボタンをマウス９（印象軸名称指定手段，印象軸指定手段）によって指定する。ユーザによってＯＫボタン47がマウス９を用いてクリックされると，指定された選択ボタンに対応する印象軸について印象値が算出されるようになる。クリア・ボタン46がクリックされると，指定された選択ボタンがクリアされる。

このように，印象値を決定する印象軸をユーザが指定できる。図16に示す例では，あらかじめ定められた第１の印象軸Ａｘ１から第５の印象軸Ａｘ５の中から所望の印象軸を指定しているが，あらかじめ定められた印象軸の中から所望の印象軸を指定するのではなく，任意の印象軸をユーザが指定できるようにしてもよい。たとえば，図８に示す印象領域を表示装置２の表示画面に表示し，印象領域に表示されている任意の２つの感性語を指定することにより，所望の印象軸を指定できる。

図17は，合成候補画像Ｉ４と背景画像ＦＲ４との合成画像31の一例である。

ユーザによって，図16に示す印象軸指定ウインドウ40に表示される選択ボタン41から45のうち，選択ボタン42が選択され，「エレガントな」と「おとなしい」とによって規定される第２の印象軸Ａｘ２について，合成候補画像Ｉ１からＩ５および背景画像ＦＲ１からＦＲ５の中から，合成候補画像の印象値と背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せがＣＰＵ７によって決定されたものとする。

表１を参照して，第２の印象軸Ａｘ２についての合成候補画像Ｉ１からＩ５のそれぞれの印象値と背景画像ＦＲ１からＦＲ５のそれぞれの印象値との差異が小さい合成候補画像と背景画像との組合せは，合成候補画像Ｉ２と背景画像ＦＲ４との組合せと，合成候補画像Ｉ４と背景画像ＦＲ４との組合せであったとする。すると，図15に示したように，合成候補画像Ｉ２と背景画像ＦＲ４との合成画像30のほかに，図17に示したように，合成候補画像Ｉ４と背景画像ＦＲ４との合成画像31が得られるようになる。

図16に示す例では，印象軸指定ウインドウ40を表示させ，選択ボタン41から45を選択することにより印象軸を指定しているが，あらかじめ定められている印象軸について，複数の合成候補画像のうちの一の合成候補画像の印象値と複数の背景画像のうちの一の背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せの数がしきい値以上の複数の印象軸をＣＰＵ７（第１の印象軸決定手段）によって決定してもよい。そのようにして決定した複数の印象軸ついて，合成候補画像の印象値と背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せをＣＰＵ７（組合せ決定手段）によって決定するようにしてもよい。

図18は，おすすめ印象軸表示ウインドウの一例である。

おすすめ印象軸表示ウインドウ50は，表示制御装置３の制御により表示装置２の表示画面に表示される。

おすすめ印象軸表示ウインドウ50には，あらかじめ定められている印象軸のうち，複数の合成候補画像のうちの一の合成候補画像の印象値と複数の背景画像のうちの一の背景画像の印象値との差異が小さい，合成候補画像と背景画像との組合せの数がしきい値以上の複数の印象軸を表す印象軸名が，差異の小さい順に表示されている。具体的には，「アクティブな」と「丈夫な」との印象によって規定される第３の印象軸Ａｘ３の名称，「フォーマルな」と「ひっそりとした」との印象によって規定される第５の印象軸Ａｘ５の名称，「エレガントな」と「おとなしい」との印象によって規定される第２の印象軸Ａｘ２の名称，および「なつかしい」と「おちついた」との印象によって規定される第４の印象軸Ａｘ４の名称が，これらの順番にしたがったおすすめ順として，表示制御装置３（第３の印象軸名称表示制御手段）によって，おすすめ印象軸表示ウインドウ50に表示されている。

「アクティブな」と「丈夫な」との印象によって規定される第３の印象軸Ａｘ３の名称に対応した選択ボタン51，「フォーマルな」と「ひっそりとした」との印象によって規定される第５の印象軸Ａｘ５の名称に対応した選択ボタン52，「エレガントな」と「おとなしい」との印象によって規定される第２の印象軸Ａｘ２の名称に対応した選択ボタン53，および「なつかしい」と「おちついた」との印象によって規定される第４の印象軸Ａｘ４の名称に対応した選択ボタン54がおすすめ印象軸表示ウインドウ50に表示されている。

これらの選択ボタン51から54の下には「クリア」の文字が表示されているクリア・ボタン55およびＯＫの文字が表示されているＯＫボタン56が設けられている。

ユーザは，これらのおすすめの印象軸として表示された印象軸の名称のうち，所望の印象軸の名称を選択ボタン51から54をマウス９によって選択する。選択された印象軸について，合成候補画像の印象値と背景画像の印象値との差異が小さい，合成候補画像と背景画像との組合せがＣＰＵ７によって決定される。たとえば，図18に示す例では，選択ボタン51が選択されているから，第１番目のおすすめとされている「アクティブな」と「丈夫な」とで規定される第３の印象軸Ａｘ３が選択され，第３の印象軸Ａｘ３について，合成候補画像の印象値と背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せがＣＰＵ７によって決定されることとなる。

このように，あらかじめ定められた複数の印象軸だけでなく，色々な印象軸を決定でき，決定した複数の印象軸について，合成候補画像の印象値と背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せを決定できる。

［第３実施例］
図19は，あらかじめ定められている２つの基準印象軸によって規定される印象領域の一例である。

図19は，図８に対応しており，横軸は「あたたかい」と「クール」とによって規定される印象軸，縦軸は「ソフト」と「ハード」とによって規定される印象軸である。これらの横軸および縦軸によって規定される印象領域に，横軸および縦軸における，合成候補画像Ｉ１からＩ５および背景画像ＦＲ１からＦＲ５の印象値がプロット（Ｘ印で示す）されている。

図19において，印象値の分布の状態がＣＰＵ７によって検出され，合成候補画像Ｉ１からＩ５の印象値の分布が広がっている方向の印象に対応する印象軸，合成候補画像Ｉ１からＩ５の印象値の分布が狭い方向の印象に対応する印象軸，背景画像ＦＲ１からＦＲ５の印象値の分布が広がっている方向の印象に対応する印象軸，および背景画像ＦＲ１からＦＲ５の印象値の分布が狭い方向の印象に対応する印象軸の少なくともいずれかの印象軸がＣＰＵ７（第２の印象軸決定手段）によって決定される。このようにして決定された印象軸について，合成候補画像の印象値と背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せがＣＰＵ７によって決定される。合成候補画像Ｉ１からＩ５と背景画像ＦＲ１からＦＲ５とを区別せずに，印象値の分布が広がっている方向の印象に対応する印象軸および印象値の分布が狭い方向の印象に対応する印象軸の少なくとも一方を決定するようにしてもよい。図19に示す例では，印象領域は縦軸と横軸とからなる２つの印象軸によって規定される二次元領域であるが，３つ以上の複数の印象軸によって規定される三次元以上の領域であっても同様にして印象軸を決定できるのはいうまでもない。

図19に示すように印象領域に分布させられた印象値の分布が広がっている方向の印象に対応する印象軸を決定することは，これらの印象値の分布にもとづいて回帰直線を求めることに相当する。回帰直線を求めることは公知であるが，具体的には，次の通りである。まず，印象領域の横軸と縦軸の印象軸ごとに複数の合成候補画像の印象値が示す横軸方向についての標準偏差σｘ，縦軸方向についての標準偏差σｙを算出し，各画像の横軸と縦軸のそれぞれにおける共分散を算出する。算出された共分散を横軸と縦軸における印象ごとの標準偏差を掛け合わせた積により除して，複数の合成候補画像の相関係数ｒが算出される。これらの回帰直線は，式（５）のように表される。

（ｘ−ｘ０）／a＝（ｙ−ｙ０）／b 式（５）
但し，ｘ０は横軸の各画像の印象値の平均値であり，ｙ０は縦軸の各画像の印象値の平均値であり，ａおよびｂは未定の係数である。

また，式（６）が成立するため，式（５）と式（６）とからａとｂとを求めることができ，図19における印象軸61を具体的に求めることができる。

σx／a＝ｒ・（σy／b） 式（６）

図19における印象軸61の一方の端点ＰＳ１と他方の端点ＰＥ１とは，印象値の分布のうち印象軸61の方向における印象値の分布の始まりの点と終わりの点とすればよい。

また，印象領域に分布させられた印象値の分布が狭い方向の印象に対応する印象軸62は，印象値の分布が広がっている方向の印象に対応する印象軸61に垂直な軸を考えればよい。この場合も印象軸62の一方の端点ＰＳ２と他方の端点ＰＥ２とは，印象値の分布のうち印象軸62の方向における印象値の分布の始まりの点と終わりの点とすればよい。

このようにして決定した印象軸61および62について，合成候補画像の印象値と背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せが決定される。図19における印象値の分布は，合成候補画像Ｉ１からＩ５と背景画像ＦＲ１からＦＲ５についてのものであるが，好ましくは合成候補画像および背景画像のそれぞれの数を多くする。

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ７のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

上述の実施例においては，画像合成装置１は，専用装置のように記載されているが専用装置でなく，パーソナル・コンピュータによって構成されてもよいし，スマートフォン，タブレット装置のようないわゆるスマートデバイスによって構成されてもよいし，フィーチャーフォンのような携帯電話によって構成されてもよい。

１：画像合成装置，２：表示装置，３：表示制御装置，４：メモリ，５：コンパクト・ディスク，６：ＣＤドライブ，７：ＣＰＵ，８：キーボード，９：マウス，10：通信装置，11：ＨＤドライブ，12：ＨＤ，13：メモリ・カード・インターフェイス，14：メモリ・カード，30：合成画像，31：合成画像，40：印象軸指定ウインドウ，41：選択ボタン，42：選択ボタン，43：選択ボタン，44：選択ボタン，46：クリア・ボタン，47：ＯＫボタン，50：印象軸表示ウインドウ，51：選択ボタン，52：選択ボタン，53：選択ボタン，54：選択ボタン，55：クリア・ボタン，56：ＯＫボタン，61：印象軸，62：印象軸，Ａｘ１：第１の印象軸，Ａｘ２：第２の印象軸，Ａｘ３：第３の印象軸，Ａｘ４：第４の印象軸，Ａｘ５：第５の印象軸，ＦＲ１，ＦＲ２，ＦＲ３，ＦＲ４，ＦＲ５：背景画像，Ｉ１：合成候補画像，Ｉ２：合成候補画像，Ｉ３：合成候補画像，Ｉ４：合成候補画像

Claims (14)

1. 複数の合成候補画像を入力する合成候補画像入力手段，
   複数の背景画像を入力する背景画像入力手段，
   上記合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について決定する合成候補画像印象値決定手段，
   上記背景画像入力手段に入力した複数の背景画像のそれぞれの背景画像の印象値を，上記複数の印象軸について決定する背景画像印象値決定手段，
   上記複数の印象軸のうち，上記合成候補画像印象値決定手段によって決定された合成候補画像の印象値と上記背景画像印象値決定手段によって決定された背景画像の印象値との差異がもっとも小さい印象軸について合成候補画像と背景画像との組合せを決定する組合せ決定手段，および
   上記組合せ決定手段によって決定した組合せの合成候補画像と背景画像とを合成して合成画像を生成する合成画像生成手段，
   を備えた画像合成装置。
2. 上記合成画像生成手段によって生成された合成画像を表示させる表示制御手段，
   をさらに備えた請求項１に記載の画像合成装置。
3. 上記少なくとも１つの印象軸の名称を表示させる第１の印象軸名称表示制御手段，
   をさらに備えた請求項１または２に記載の画像合成装置。
4. 上記合成候補画像印象値決定手段は，
   上記合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，上記複数の印象軸について算出することにより決定し，
   上記背景画像印象値決定手段は，
   上記背景画像入力手段により入力した複数の背景画像のそれぞれの背景画像の印象値を，上記複数の印象軸について算出することにより決定する，
   請求項１から３のうち，いずれか一項に記載の画像合成装置。
5. 上記合成候補画像印象値決定手段は，
   上記合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，上記複数の印象軸について記憶する合成候補画像印象値記憶手段に記憶されている印象値にもとづいて合成候補画像の印象値を決定し，
   上記背景画像印象値決定手段は，
   上記背景画像入力手段に入力した複数の背景画像のそれぞれの背景画像の印象値を，複数の印象軸について記憶する背景画像印象値記憶手段に記憶されている印象値にもとづいて背景画像の印象値を決定する，
   請求項１から３のうち，いずれか一項に記載の画像合成装置。
6. 上記複数の印象軸を指定する印象軸指定手段，
   をさらに備えた請求項１から５のうち，いずれか一項に記載の画像合成装置。
7. 上記複数の印象軸の名称を表示させる第２の印象軸名称表示制御手段，および
   上記第２の印象軸名称表示制御手段の制御により表示される複数の印象軸の名称のうち少なくとも１つの印象軸の名称を指定する印象軸名称指定手段をさらに備え，
   上記組合せ決定手段は，
   上記印象軸名称指定手段によって指定された少なくとも１つの印象軸の名称に対応する印象軸について上記合成候補画像印象値決定手段によって決定された合成候補画像の印象値と上記背景画像印象値決定手段によって決定された背景画像の印象値との差異が小さい合成候補画像と背景画像との組合せを決定する，
   請求項１から６のうち，いずれか一項に記載の画像合成装置。
8. 複数の合成候補画像のうちの一の合成候補画像の印象値と複数の背景画像のうちの一の背景画像の印象値との差異が小さい，合成候補画像と背景画像との組合せの数がしきい値以上の印象軸を，上記複数の印象軸と決定する第１の印象軸決定手段，
   をさらに備えた請求項１から７のうち，いずれか一項に記載の画像合成装置。
9. 上記第１の印象軸決定手段によって決定された印象軸の名称を，上記差異の小さい順に表示させる第３の印象軸名称表示制御手段，
   をさらに備えた請求項８に記載の画像合成装置。
10. ２つの印象軸または３つの印象軸によって規定される領域における複数の合成候補画像の印象値の分布および複数の背景画像の印象値の分布にもとづいて，上記複数の印象軸を決定する第２の印象軸決定手段，
    をさらに備えた請求項１から７のうち，いずれか一項に記載の画像合成装置。
11. 上記第２の印象軸決定手段は，
    複数の合成候補画像の印象値の分布の広がっている方向の印象に対応する印象軸，複数の合成候補画像の印象値の分布が狭い方向の印象に対応する印象軸，複数の背景画像の印象値の分布の広がっている方向の印象に対応する印象軸および複数の背景画像の印象値の分布が狭い方向の印象に対応する印象軸の少なくともいずれかの印象軸を決定する，
    請求項10に記載の画像合成装置。
12. 合成候補画像入力手段が，複数の合成候補画像を入力し，
    背景画像入力手段が，複数の背景画像を入力し，
    合成候補画像印象値決定手段が，上記合成候補画像入力手段に入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について決定し，
    背景画像印象値決定手段が，上記背景画像入力手段に入力した複数の背景画像のそれぞれの背景画像の印象値を，上記複数の印象軸について決定し，
    組合せ決定手段が，上記複数の印象軸のうち，上記合成候補画像印象値決定手段によって決定された合成候補画像の印象値と上記背景画像印象値決定手段によって決定された背景画像の印象値との差異がもっとも小さい印象軸について合成候補画像と背景画像との組合せを決定し，
    合成画像生成手段が，上記組合せ決定手段によって決定した組合せの合成候補画像と背景画像とを合成して合成画像を生成する，
    画像合成方法。
13. 画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    複数の合成候補画像を入力させ，
    複数の背景画像を入力させ，
    入力した複数の合成候補画像のそれぞれの合成候補画像の印象値を，複数の印象軸について決定させ，
    入力した複数の背景画像のそれぞれの背景画像の印象値を，上記複数の印象軸について決定させ，
    上記複数の印象軸のうち，決定された合成候補画像の印象値と決定された背景画像の印象値との差異がもっとも小さい印象軸について合成候補画像と背景画像との組合せを決定させ，
    決定した組合せの合成候補画像と背景画像とを合成して合成画像を生成させるように画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
14. 請求項13に記載のプログラムを格納した記録媒体。

Images