JP2019139718A - フォトブック編集装置及びフォトブック編集方法 - Google Patents

Abstract

【課題】動画からフォトブックに適した画像を自動的に切り出して配置する。【解決手段】フォトブック編集装置１は、ユーザ端末７から動画を受信する受信部１１と、前記動画から複数の静止画を切り出す切り出し部１４と、前記複数の静止画の各々について、ブレ、明るさ及び構図の少なくともいずれか１つを評価してスコアを算出する評価部１５と、前記スコアに基づいて静止画を選択する選択部１７と、選択部１７により選択された静止画を、フォトブック編集画面の画像挿入領域に挿入する編集処理部１２と、を備える。【選択図】図１

Description

本発明は、フォトブック編集装置及びフォトブック編集方法に関する。

デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている（例えば特許文献１参照）。

従来のフォトブック作製サービスでは、ユーザ端末内に保存されている静止画像が利用されていた。しかし、デジタルカメラやスマートフォンの撮影機能の向上に伴い、動画を撮影するユーザが増えている。そのため、動画からフォトブックを簡便に作製できるサービスが求められている。

特開２００５−３３９２１４号公報

本発明は、動画からフォトブックに適した画像を自動的に切り出して配置するフォトブック編集装置及びフォトブック編集方法を提供することを課題とする。

本発明によるフォトブック編集装置は、ユーザ端末から動画を受信する受信部と、前記動画から複数の静止画を切り出す切り出し部と、前記複数の静止画の各々について、ブレ、明るさ及び構図の少なくともいずれか１つを評価してスコアを算出する評価部と、前記スコアに基づいて静止画を選択する選択部と、前記選択部により選択された静止画を、フォトブック編集画面の画像挿入領域に挿入する編集処理部と、を備えるものである。

本発明の一態様では、前記複数の静止画を画像解析装置へ送信し、前記画像解析装置が前記静止画に含まれているものを解析した解析結果を取得する画像解析結果取得部をさらに備え、前記選択部は、前記スコア及び前記解析結果に基づいて静止画を選択する。

本発明の一態様では、前記解析結果は、静止画に写っている人物の笑顔度、感情、又は目の開き度を含む。

本発明の一態様では、前記動画に含まれている音声をテキストに変換し、前記テキストを合成した静止画を前記画像挿入領域に挿入する。

本発明の一態様では、前記ユーザ端末から複数の動画を受信した場合に、各動画の長さに基づいて、各動画に割り当てる静止画の枚数を決定する割当部をさらに備える。

本発明の一態様では、前記切り出し部は、動画の長さと、前記割当部により割り当てられた静止画の枚数とに基づく時間間隔で静止画を切り出す。

本発明によるフォトブック編集方法は、ユーザ端末から動画を受信する工程と、前記動画から複数の静止画を切り出す工程と、前記複数の静止画の各々について、ブレ、明るさ及び構図の少なくともいずれか１つを評価してスコアを算出する工程と、前記スコアに基づいて静止画を選択する工程と、選択した静止画をフォトブック編集画面の画像挿入領域に挿入し、前記フォトブック編集画面を前記ユーザ端末へ送信する工程と、を備えるものである。

本発明によれば、動画からフォトブックに適した画像を自動的に切り出して配置するため、ユーザは手間をかけずに動画からフォトブックを作製することができる。

本発明の実施形態に係るフォトブック作製システムの概略構成図である。 フォトブック編集画面の例を示す図である。 フォトブック編集画面の例を示す図である。 フォトブック編集画面の例を示す図である。 動画から切り出された静止画の例を示す図である。 フォトブック編集画面の例を示す図である。 同実施形態に係るフォトブック編集装置の概略構成図である。 同実施形態に係るフォトブック作製方法を説明するフローチャートである。 吹き出し付き静止画の例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１に示すように、本発明の実施形態に係るフォトブック作製システムは、フォトブック編集装置１及び画像解析装置４を備える。フォトブック編集装置１は、インターネット等の通信ネットワークを介して、画像解析装置４及びユーザ端末７と通信可能となっている。

ユーザ端末７は、ＰＣ、スマートフォン、タブレット端末等である。ユーザ端末７は、例えば、ユーザがデジタルビデオカメラやスマートフォン等で撮影した動画データをフォトブック編集装置１にアップロードし、動画から切り出された画像（静止画）を用いたフォトブックの注文を行う。

フォトブック編集装置１は、ユーザ端末７と通信を行い、編集画面をユーザ端末７へ送信し、編集操作を受け付けたり、フォトブックの注文を受け付けたりするウェブサーバ１Ａ、アップロードされた動画から静止画を切り出し、フォトブックに適した静止画を選択するアプリケーションサーバ１Ｂ、及びアップロードされた動画を保存するデータベースサーバ１Ｃを有する。

例えば、ユーザがフォトブックの商品（装丁、ページ数、レイアウト）を選択すると、フォトブック編集装置１は編集画面を作成し、ユーザ端末７へ送信する。

例えば、図２に示す編集画面のアップロードボタンＢを押すと、ユーザ端末７内の動画がアップロードできるようになる。ユーザ端末７からアップロードされた動画のリストは、動画リスト表示領域Ｃに表示される。

図３に示すように、ユーザは、アップロードした動画の中から、フォトブックにしたい動画を順に選択し、タイムライン領域ＴＬにドラッグする（移動させる）。

選択した動画のドラッグ後、決定ボタンＤを押すと、図４に示すように、フォトブック編集装置１は、動画の長さと、商品ページ数やレイアウト等から、動画毎に割り当てるページ数及び画像枚数を決定する。ユーザは、動画毎に割り当てられたページ数及び画像枚数を増減ボタンＥで変更できる。ある動画の画像枚数を増やすと、他の動画の画像枚数が減る。ユーザが確定ボタンＦを押すと、動画毎に割り当てられるページ数及び画像枚数が確定する。

フォトブック編集装置１は、図５に示すように、動画から複数の静止画（フレーム又はコマとも言う）を切り出す。フォトブック編集装置１は、後述する画像レイティング機能で複数の静止画を評価し、各静止画のスコアを算出する。

また、フォトブック編集装置１は、静止画を画像解析装置４へ送信し、各静止画の解析結果を取得する。例えば、画像解析装置４は、静止画に写っている顔の属性を分析して、笑顔度、感情、目の開き度等を含む解析結果を返す。

フォトブック編集装置１は、画像レイティング機能によるスコアと、画像解析装置４による解析結果とに基づいて、動画から切り出した静止画の中から、割り当てられた枚数分のフォトブックに好適な画像を選択する。フォトブック編集装置１は、図６に示すように、編集画面の画像挿入領域に、選択した画像を配置したフォトブックのプレビューを表示する。

ユーザは編集画面を操作し、自動配置された画像に、好みのフレームやスタンプ等の編集アイテムを合成する編集操作を行う。編集後、ユーザは、発注するフォトブックの冊数を選択し、料金の支払い方法を選択し、注文を完了する。

フォトブック編集装置１は、ユーザ（ユーザ端末７）から注文を受け付けると、プリント用画像データ及び注文内容を含むプリントデータを工場５へ送信する。

工場５に設置されたプリンタ（図示略）は、受信したプリントデータに基づいて印画処理を行い、フォトブック６を作製する。工場５で作製されたフォトブック６は、ユーザへ配送される。

このように、本実施形態によれば、ユーザがアップロードした動画から静止画を切り出し、フォトブックに好適な静止画を自動で選択・配置する。ユーザは、動画をアップロードして、フォトブックに画像を配置する順に動画を選択するだけでよく、手間をかけずに動画からフォトブックを作製することができる。

次に、フォトブック編集装置１の構成について説明する。フォトブック編集装置１は、ユーザ端末７から動画を受信し、編集画面を生成してユーザ端末７へ送信し、動画から複数の静止画を切り出し、切り出した静止画の中からフォトブックに好適な静止画を自動的に選択・配置し、フォトブックのプリント注文を受け付ける。

図７に示すように、フォトブック編集装置１は、制御部１０、記憶部２０、及び通信部３０を備える。制御部１０は、フォトブック編集装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを読み出して実行することにより、各種機能を実現する。

図１には、フォトブック編集装置１が、ウェブサーバ１Ａ、アプリケーションサーバ１Ｂ、データベースサーバ１Ｃ等の複数のサーバを有する構成を示しているが、図７では説明の便宜上、サーバの区分は示さず、フォトブック編集装置１全体としての機能を説明する。

記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラムやデータ等を記憶するための記憶領域であり、ハードディスクや半導体メモリ等が用いられる。記憶部２０は、テンプレートＤＢ（データベース）２１、動画ＤＢ２２、静止画ＤＢ２３、解析結果ＤＢ２４、プリントデータＤＢ２５、及び注文情報ＤＢ２６を有する。

テンプレートＤＢ２１は、テンプレートを記憶する記憶領域である。テンプレートは、フォトブックに使用される静止画と合成される画像であり、静止画の配置位置を指定するボックスや、スタンプ、背景画像等の編集アイテムを含む。

制御部１０は、動画受信部１１、編集処理部１２、割当部１３、静止画切り出し部１４、評価部１５、画像解析結果取得部１６、画像選択部１７、及び注文処理部１８の機能を有する。

動画受信部１１は、通信部３０を用いて、ユーザ端末７から動画データを受信し、動画ＤＢ２２に格納する。

編集処理部１２は、フォトブックに配置する画像の順番に対応するように動画を選択したり、後述する処理により選択・配置された静止画に対しスタンプを配置する等の操作を行ったりする編集画面を生成し、通信部３０を介して編集画面をユーザ端末７へ送信する。

割当部１３は、選択された商品のページ数やレイアウトと、選択された動画の長さから、各動画に対して最適なページ数及び画像枚数を割り当てる。また、割当部１３は、編集画面を介してユーザ端末７から、各動画に対して割り当てたページ数及び画像枚数の変更を受け付ける。

静止画切り出し部１４は、動画から静止画を切り出す。切り出された静止画は静止画ＤＢ２３に格納される。切り出す静止画の数は、動画の長さと、この動画に割り当てられた画像枚数とから決定される。静止画切り出し部１４は、所定の時間間隔で静止画を切り出す。例えば、３０ｆｐｓ（frames per second）で３０秒間撮影された動画には９００（＝３０×３０）枚のフレーム画像が含まれる。例えば、この動画に割り当てられた画像枚数が４枚の場合、静止画切り出し部１４は、０．５秒間隔で静止画を切り出す。また、９０秒の長さの動画に割り当てられた画像枚数が２枚の場合、静止画切り出し部１４は、２秒間隔で静止画を切り出す。

評価部１５は、静止画切り出し部１４により動画から切り出された複数の静止画の各々に対して、画像レイティング機能による評価を行い、スコアを算出する。算出されたスコアは、静止画ＤＢ２３の静止画データに紐付けて記録される。

画像レイティング機能では、静止画のブレ、明るさ、構図等の項目の少なくともいずれか１つを評価する。ブレの少ない画像、明るい画像、バランスの良い構図の画像に対し、より高いスコアがつけられる。また、画像クラスタリングにより連続した（一連の）静止画をグループ化する。

画像解析結果取得部１６は、動画から切り出した静止画を画像解析装置４へ送信し、各静止画の解析結果を取得する。解析結果は、解析結果ＤＢ２４に格納される。画像解析装置４は、ユーザ画像に対して画像コンテンツ解析を実行し、解析結果を返す。解析結果は、静止画中の人物の表情の笑顔度、感情、目の開き等を含むものである。

画像選択部１７は、評価部１５により算出されたスコアと、画像解析装置４による解析結果とに基づいて、動画から切り出された静止画の中から、フォトブックに利用する静止画を選択する。編集処理部１２が、選択された画像を編集画面の画像挿入領域に挿入・配置し、フォトブックのプレビューを表示する。

例えば、ある動画に割り当てられた画像枚数が２枚の場合、画像選択部１７は、この動画から切り出された静止画の中から、まず、目が開いており、笑顔度の高い静止画を１０枚選択する。続いて、画像選択部１７は、選択した１０枚の静止画から、スコアの高い順に２枚の静止画を選択する。

２枚の静止画が連続した静止画としてグループ化されている場合は、スコアの低い静止画の選択を解除し、同じグループにグループ化されていない静止画の中から、最もスコアの高い静止画を選択する。同じグループの静止画は似ている画像であることが多い。異なるグループから静止画を選択することで、同じような画像がフォトブックに使用されることを防止できる。

各動画から静止画を選択し、選択した静止画に対するユーザの編集処理が終了すると、編集処理部１２は、プリント用画像を生成する。生成されたプリント用画像のデータを含む、フォトブック作製用のプリントデータが、プリントデータＤＢ２５に格納される。

注文処理部１８は、ユーザ端末７から、フォトブックの商品（装丁、ページ数、レイアウト）や、プリント冊数等の注文を受け付ける。必要に応じて、決済部（図示略）が決済処理を行い、プリント注文が完了する。

プリント注文が完了すると、注文処理部１８は、プリント注文の注文番号と、プリント注文されたフォトブックに含まれるプリント用画像の画像識別番号とを組み合わせた情報を、注文情報ＤＢ２６に格納する。注文処理部１８は、プリント注文を行ったユーザの連絡先等を含む注文者情報を生成し、注文情報ＤＢ２６に格納してもよい。

次に、本実施形態に係るフォトブック作製方法を図８に示すフローチャートを用いて説明する。

ユーザがフォトブックの仕様を選択し、ユーザ端末７内の動画をアップロードする（ステップＳ１）。また、ユーザは、ユーザ端末７を使用して、編集画面のタイムライン領域ＴＬに動画を順に選択して、動画の順番（フォトブック内での動画から切り出した静止画の順番）を決定する

フォトブック編集装置１が、フォトブックの仕様（ページ数、レイアウト等）と、各動画の長さとに基づいて、各動画から選択すべき画像枚数を割り当てる（ステップＳ２）。各動画の割り当て画像枚数は、ユーザが変更してもよい。

フォトブック編集装置１が、各動画から静止画を切り出す（ステップＳ３）。静止画を切り出す時間間隔は、動画の長さと、動画に割り当てられた画像枚数とから決定される。

フォトブック編集装置１が、各静止画に対して、画像レイティング機能による評価を行い、スコアを算出する（ステップＳ４）。

フォトブック編集装置１が、静止画を画像解析装置４へ送信し、画像毎の解析結果を取得する（ステップＳ５）。

フォトブック編集装置１が、ステップＳ４で算出したスコアと、各画像の解析結果とに基づいて、割り当て枚数分の静止画を選択し、編集画面のプレビュー領域に配置する（ステップＳ６）。

ユーザは、編集画面を操作し、プレビュー領域に配置された画像に編集アイテムを合成する等の編集処理を行う（ステップＳ７）。編集後、フォトブックのプリント冊数を入力し、支払い方法を選択し、決済処理を行う（ステップＳ８）。

フォトブック編集装置１が、フォトブックのプリント用画像を含むプリントデータを工場５へ転送する（ステップＳ９）。工場５では、プリント用画像を用紙にプリントし、製本して、フォトブックを作製する（ステップＳ１０）。

このように、本実施形態によれば、ユーザが動画をアップロードすると、動画から静止画を切り出し、フォトブックに適した静止画を自動選択するため、ユーザは手間をかけずに動画からフォトブックを作製することができる。

自動選択された静止画をユーザが変更できるようにしてもよい。動画から多数の静止画が切り出されているため、例えば、スコアの高い方から２０枚の静止画が選択可能に表示される。

動きの激しい動画の場合、切り出した静止画がぶれることがあるため、複数の静止画を合成してブレを抑えてもよい

図９に示すように、動画データに含まれる音声をテキストに変換し、この音声の時間帯の静止画Ｐ１、Ｐ２にテキストを吹き出しＢＬ１、ＢＬ２として合成してもよい。

画像解析装置４で画像解析にかける静止画は、評価部１５により算出されたスコアが所定値以上の静止画に限定してもよい。

上記実施形態では、評価部１５により算出されたスコアと、画像解析装置４による解析結果とに基づいてフォトブックに使用する静止画を選択する例について説明したが、スコアと解析結果のいずれか一方のみに基づいて静止画を選択してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ フォトブック編集装置
４ 画像解析装置
７ ユーザ端末

Claims (7)

1. ユーザ端末から動画を受信する受信部と、
   前記動画から複数の静止画を切り出す切り出し部と、
   前記複数の静止画の各々について、ブレ、明るさ及び構図の少なくともいずれか１つを評価してスコアを算出する評価部と、
   前記スコアに基づいて静止画を選択する選択部と、
   前記選択部により選択された静止画を、フォトブック編集画面の画像挿入領域に挿入する編集処理部と、
   を備えるフォトブック編集装置。
2. 前記複数の静止画を画像解析装置へ送信し、前記画像解析装置が前記静止画に含まれているものを解析した解析結果を取得する画像解析結果取得部をさらに備え、
   前記選択部は、前記スコア及び前記解析結果に基づいて静止画を選択することを特徴とする請求項１に記載のフォトブック編集装置。
3. 前記解析結果は、静止画に写っている人物の笑顔度、感情、又は目の開き度を含むことを特徴とする請求項２に記載のフォトブック編集装置。
4. 前記動画に含まれている音声をテキストに変換し、前記テキストを合成した静止画を前記画像挿入領域に挿入することを特徴とする請求項１乃至３のいずれか１項に記載のフォトブック編集装置。
5. 前記ユーザ端末から複数の動画を受信した場合に、各動画の長さに基づいて、各動画に割り当てる静止画の枚数を決定する割当部をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載のフォトブック編集装置。
6. 前記切り出し部は、動画の長さと、前記割当部により割り当てられた静止画の枚数とに基づく時間間隔で静止画を切り出すことを特徴とする請求項５に記載のフォトブック編集装置。
7. ユーザ端末から動画を受信する工程と、
   前記動画から複数の静止画を切り出す工程と、
   前記複数の静止画の各々について、ブレ、明るさ及び構図の少なくともいずれか１つを評価してスコアを算出する工程と、
   前記スコアに基づいて静止画を選択する工程と、
   選択した静止画をフォトブック編集画面の画像挿入領域に挿入し、前記フォトブック編集画面を前記ユーザ端末へ送信する工程と、
   を備えるフォトブック編集方法。

Images