[go: up one dir, main page]

JP2006295890A - アルバム作成装置、アルバム作成方法、及びプログラム - Google Patents

アルバム作成装置、アルバム作成方法、及びプログラム Download PDF

Info

Publication number
JP2006295890A
JP2006295890A JP2006021534A JP2006021534A JP2006295890A JP 2006295890 A JP2006295890 A JP 2006295890A JP 2006021534 A JP2006021534 A JP 2006021534A JP 2006021534 A JP2006021534 A JP 2006021534A JP 2006295890 A JP2006295890 A JP 2006295890A
Authority
JP
Japan
Prior art keywords
image
unit
main
album
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006021534A
Other languages
English (en)
Inventor
Ayumi Isomura
歩 磯村
Shuji Ono
修司 小野
Yasuhiko Kaneko
康彦 金子
Kimiko Tachikawa
紀美子 立川
Shinsuke Shita
慎介 舌
Yasuyo Nenoki
靖世 根之木
Masahiro Matsushita
昌弘 松下
Hiroyuki Funakura
浩之 船倉
Hideaki Yoshihara
英昭 吉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2006021534A priority Critical patent/JP2006295890A/ja
Priority to EP06729306.8A priority patent/EP1866868B1/en
Priority to CN200680008610XA priority patent/CN101142595B/zh
Priority to PCT/JP2006/305316 priority patent/WO2006098417A1/en
Publication of JP2006295890A publication Critical patent/JP2006295890A/ja
Priority to US11/898,632 priority patent/US8055080B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00135Scanning of a photographic original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00137Transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00193Image output to a portable storage medium, e.g. a read-writable compact disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00198Creation of a soft photo presentation, e.g. digital slide-show
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

【課題】バランスのとれた画像内容のアルバムを提供すること。
【解決手段】アルバム作成装置は、複数の画像を格納する画像格納部と、画像格納部が格納している複数の画像を、画像の撮像環境に基づくイベント毎に分類する画像分類部と、アルバムにおいて主要な画像となるべき主画像を、画像格納部が格納している複数の画像から、画像分類部が分類したイベント毎に選択する主画像選択部と、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から画像分類部が分類したイベント毎に選択する従画像選択部と、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の内容に基づいて、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の、アルバムにおけるレイアウトを決定するレイアウト決定部とを備える。
【選択図】図3

Description

本発明は、アルバム作成装置、アルバム作成方法、及びプログラムに関する。特に本発明は、アルバムを作成するアルバム作成装置及びアルバム作成方法、並びに、アルバム作成装置用のプログラムに関する。
旅行先で撮影した画像データに付帯された位置情報、撮影時間情報等のタグ情報を元にして、画面の中心に旅行先の地図を配置して、地図の周囲に配置された画像と地図上における撮像位置とを線で結ぶなどして、地図と画像との関連がわかるようにレイアウトされたアルバムを作成するアルバム作成システムが知られている(例えば、特許文献1参照。)。
特開平10−126731号公報
特許文献1の技術によってアルバムを作成すると、例えばアルバムの同一ページに人間が被写体の画像ばかりが集中したり、風景など人間以外の被写体の画像ばかりが集中したりして、バランスに欠けるアルバムが作成されてしまう場合がある。アルバムを作成するときには、例えばアルバムのページ毎に設定されたテーマに相応しい画像を選択して、その画像の内容とバランスのとれた画像が同一ページに収められるのが望ましい。しかし、アルバムの作成者は、撮像された画像の内容を見て、撮像者にとって好ましい画像の組合せを判断して各ページに画像をレイアウトする必要があるので、アルバムの作成に手間がかかってしまうという課題があった。
そこで本発明は、上記の課題を解決することができるアルバム作成装置、アルバム作成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
本発明の第1の形態におけるアルバム作成装置は、複数の画像を格納する画像格納部と、アルバムにおいて主要な画像となるべき主画像を、画像格納部が格納している複数の画像から選択する主画像選択部と、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から選択する従画像選択部と、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の内容に基づいて、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の、アルバムにおけるレイアウトを決定するレイアウト決定部とを備える。
画像格納部が格納している複数の画像を、画像の撮像環境に基づくイベント毎に分類する画像分類部をさらに備え、主画像選択部は、画像分類部が分類したイベント毎に主画像をそれぞれ選択し、従画像選択部は、画像分類部が分類したイベント毎に従画像をそれぞれ選択してよい。
画像分類部は、画像格納部が格納している複数の画像を、画像の撮像時刻に応じて、アルバムにおけるページ毎に分類してよい。画像分類部は、画像格納部が格納している複数の画像を、画像の撮像位置に応じて、アルバムにおけるページ毎に分類してよい。
主画像選択部が選択した主画像と、主画像選択部が選択した主画像と同一のイベントに分類された他の画像のそれぞれとの類似度を算出する類似度算出部をさらに備え、従画像選択部は、画像分類部が分類したイベント毎に、主画像選択部が選択した主画像との類似度が小さい画像を従画像として選択してよい。
従画像選択部は、主画像選択部が選択した主画像の被写体と異なる被写体を含む画像を従画像として選択してよい。従画像選択部は、主画像選択部が選択した主画像の被写体である人物と異なる人物を被写体として含む画像を従画像として選択してよい。従画像選択部は、画像分類部が分類したイベントに属する画像の数がより多い場合により多い数の従画像を選択してよい。
レイアウト決定部は、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の、アルバムにおけるサイズを決定するサイズ決定部を有してよい。サイズ決定部は、主画像選択部が選択した主画像のサイズを、従画像選択部が選択した従画像のサイズより大きく決定してよい。レイアウト決定部は、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の、アルバムにおける配置位置を決定する配置位置決定部を有してよい。
画像格納部が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる主要人物入力部と、主要人物入力部から入力された主要人物を含む画像及び位置から、主要人物の画像を特定する主要人物特定部と、主要人物特定部が特定した主要人物の画像を、画像格納部が格納する複数の画像に含まれる被写体と比較することによって、画像格納部が格納する複数の画像から、主要人物が含まれる画像を選択する主要人物画像選択部とをさらに備え、主画像選択部は、主要人物画像選択部が選択した画像の中から主画像を選択してよい。
主要人物入力部は、第1主要人物を含む画像及び当該画像における第1主要人物の位置並び第2主要人物を含む画像及び当該画像における第2主要人物の位置を入力させ、主要人物特定部は、主要人物入力部から入力された第1主要人物を含む画像及び位置並びに第2主要人物を含む画像及び位置から、第1主要人物及び第2主要人物の画像を特定し、主要人物画像選択部は、主要人物特定部が特定した第1主要人物及び第2主要人物の画像を、画像格納部が格納する複数の画像に含まれる被写体と比較することによって、画像格納部が格納する複数の画像から、第1主要人物が含まれる画像及び第2主要人物が含まれる画像を選択し、主画像選択部は、主要人物画像選択部が選択した第1主要人物が含まれる画像及び第2主要人物が含まれる画像の中から主画像を選択し、従画像選択部は、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から選択し、レイアウト決定部は、同一ページにレイアウトした複数の画像に含まれる第1主要人物及び第2主要人物の数が略同一になるように、主画像及び従画像をレイアウトを決定してよい。
主要人物入力部は、第1主要人物を含む画像及び当該画像における第1主要人物の位置並び第2主要人物を含む画像及び当該画像における第2主要人物の位置を入力させ、主要人物特定部は、主要人物入力部から入力された第1主要人物を含む画像及び位置並びに第2主要人物を含む画像及び位置から、第1主要人物及び第2主要人物の画像を特定し、主要人物画像選択部は、主要人物特定部が特定した第1主要人物及び第2主要人物の画像を、画像格納部が格納する複数の画像に含まれる被写体と比較することによって、画像格納部が格納する複数の画像から、第1主要人物が含まれる画像及び第2主要人物が含まれる画像を選択し、主画像選択部は、主要人物画像選択部が選択した第1主要人物が含まれる画像及び第2主要人物が含まれる画像の中から主画像を選択し、従画像選択部は、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から選択し、レイアウト決定部は、同一ページにレイアウトした複数の画像に含まれる第1主要人物及び第2主要人物の数が略同一になるように、主画像及び従画像をレイアウトを決定し、レイアウト決定部は、第1主要人物及び第2主要人物を含むアルバムのページに含まれる第1の主要人物の面積と第2の主要人物の面積とが略同一になるレイアウトを決定してよい。
複数の画像を含むアルバムのテンプレートを格納するテンプレート格納部と、主画像選択部が選択した主画像に含まれる複数の色から、特徴色を抽出する特徴色抽出部と、特徴色抽出部が抽出した特徴色に基づいて、複数の画像を含むアルバムのテンプレートの配色を決定するテンプレート配色決定部とをさらに備えてよい。
画像格納部が格納している複数の画像を、画像が撮像されたときの撮像条件に応じて、アルバムにおけるページ毎に分類する画像分類部をさらに備え、主画像選択部は、画像分類部が分類した撮像条件毎に主画像をそれぞれ選択し、従画像選択部は、画像分類部が分類した撮像条件毎に従画像をそれぞれ選択してよい。画像分類部は、画像格納部が格納している複数の画像を、画像が撮像されたときのシャッタ速度に応じて、アルバムにおけるページ毎に分類してよい。
画像格納部が格納する複数の画像の画像内容から、画像が撮像されたときの主な光源の種類を特定する光源特定部をさらに備え、画像分類部は、画像格納部が格納している複数の画像を、光源特定部が特定した光源の種類に応じて、アルバムにおけるページ毎に分類してよい。
画像格納部が格納している複数の画像の間の構図の類似性の高さを算出する構図類似性算出部と、構図類似性算出部がより高い類似性を算出した画像を、アルバムにおける同じページに分類する画像分類部とをさらに備え、レイアウト決定部は、画像分類部が同一ページに分類した複数の画像のうち、構図類似性算出部がより低い類似性を算出した画像を用いて当該ページにレイアウトしてよい。
本発明の第2の形態におけるアルバム作成方法は、複数の画像を格納する画像格納段階と、アルバムにおいて主要な画像となるべき主画像を、画像格納段階において格納されている複数の画像から選択する主画像選択段階と、主画像選択段階において選択された主画像の内容に基づいて、主画像選択段階において選択された主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納段階において格納されている複数の画像から選択する従画像選択段階と、主画像選択段階において選択された主画像及び従画像選択段階において選択された従画像の内容に基づいて、主画像選択段階において選択された主画像及び従画像選択段階において選択された従画像の、アルバムにおけるレイアウトを決定するレイアウト決定段階とを備える。
本発明の第3の形態によると、アルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、複数の画像を格納する画像格納部、アルバムにおいて主要な画像となるべき主画像を、画像格納部が格納している複数の画像から選択する主画像選択部、主画像選択部が選択した主画像の内容に基づいて、主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から選択する従画像選択部、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の内容に基づいて、主画像選択部が選択した主画像及び従画像選択部が選択した従画像の、アルバムにおけるレイアウトを決定するレイアウト決定部として機能させる。
本発明の第4の形態におけるアルバム作成装置は、複数の画像を格納する画像格納部と、画像格納部が格納している複数の画像のうちのアルバムにおける主要人物の画像を特定する主要人物特定部と、主要人物特定部が特定した主要人物の画像を画像格納部が格納する複数の画像に含まれる被写体画像と比較することによって、画像格納部が格納する複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する主要人物画像抽出部と、主要人物画像抽出部が抽出した複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択するポスタリゼーション用画像選択部と、ポスタリゼーション用画像選択部が選択した画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成するポスタリゼーション画像生成部と、ポスタリゼーション画像生成部が生成したポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成するアルバム作成部とを備える。
画像格納部が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる主要人物入力部をさらに備え、主要人物特定部は、主要人物入力部から入力された主要人物を含む画像及び位置から、主要人物の画像を特定してよい。
ポスタリゼーションに適した画像を選択する選択条件を格納する選択条件格納部をさらに備え、ポスタリゼーション用画像選択部は、選択条件格納部が格納している選択条件に合致するポスタリゼーション画像を選択してよい。
選択条件格納部は、ポスタリゼーション画像に適する輝度分布の広がりを示す選択条件を格納し、ポスタリゼーション用画像選択部は、選択条件格納部が格納している輝度分布の広がりに適合する輝度分布の広がりを持つ画像を選択してよい。
ポスタリゼーション処理の階調を決定するポスタリゼーション階調決定部をさらに備え、選択条件格納部は、ポスタリゼーションの階調毎に選択条件を格納しており、ポスタリゼーション用画像選択部は、ポスタリゼーション階調決定部が決定したポスタリゼーション画像の階調に対応づけて選択条件格納部が格納する選択条件に合致するポスタリゼーション画像を選択し、ポスタリゼーション画像生成部は、ポスタリゼーション用画像選択部が選択した画像に、ポスタリゼーション階調決定部が決定した階調でポスタリゼーションを施して、アルバムに使用するポスタリゼーション画像を生成してよい。
アルバムの各ページのテンプレートが定める文字に使用する文字色をそれぞれ決定する使用色決定部をさらに備え、ポスタリゼーション階調決定部は、使用色決定部が決定した文字に使用する色の数がより多い場合に、ポスタリゼーション処理の階調をより大きく決定してよい。
アルバムの各ページのテンプレートが定める文字に使用する文字色をそれぞれ決定する使用色決定部をさらに備え、ポスタリゼーション画像生成部は、ポスタリゼーション用画像選択部が選択した画像にポスタリゼーション処理を施して、使用色決定部が決定した文字色のポスタリゼーション画像を生成し、アルバム作成部は、ポスタリゼーション画像生成部が生成したポスタリゼーション画像を、各ページにおいて使用色決定部が決定した文字色が使用される文字に隣接させたレイアウトのページを含むアルバムを作成してよい。
画像格納部が格納する複数の画像の中からアルバムに使用する複数の画像を選択するアルバム使用画像選択部をさらに備え、主要人物画像抽出部は、アルバム使用画像選択部が選択した複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出し、ポスタリゼーション用画像選択部は、主要人物画像抽出部が抽出した複数の主要人物画像の中から、ポスタリゼーションに適した画像を選択してよい。
アルバム作成部は、ポスタリゼーション画像生成部が生成した1つのポスタリゼーション画像を、アルバムの複数のページに配置してよい。
アルバム作成部は、ポスタリゼーション画像生成部が生成した1つのポスタリゼーション画像を、アルバムの表紙及び裏表紙ページ、並びにアルバムを構成するアルバム構成ページの所定の位置に配置してよい。
アルバム作成部が作成したアルバムに用いたポスタリゼーション画像の特徴量を格納する特徴量格納部をさらに備え、ポスタリゼーション画像生成部は、アルバム作成部が新たにアルバムを作成する場合に、特徴量格納部が格納しているポスタリゼーション画像の特徴量のいずれとも異なる特徴量を持つポスタリゼーション画像を生成し、アルバム作成部は、ポスタリゼーション画像生成部が生成したポスタリゼーション画像を用いて新たなアルバムを作成してよい。
本発明の第5の形態におけるアルバム作成方法は、複数の画像を格納する画像格納段階と、画像格納段階において格納されている複数の画像のうちのアルバムにおける主要人物の画像を特定する主要人物特定段階と、主要人物特定段階において特定された主要人物の画像を画像格納段階において格納されている複数の画像に含まれる被写体画像と比較することによって、画像格納段階において格納されている複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する主要人物画像抽出段階と、主要人物画像抽出段階において抽出された複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択するポスタリゼーション用画像選択段階と、ポスタリゼーション用画像選択段階において選択された画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成するポスタリゼーション画像生成段階と、ポスタリゼーション画像生成段階において生成されたポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成するアルバム作成段階とを備える。
本発明の第6の形態によると、アルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、複数の画像を格納する画像格納部、画像格納部が格納している複数の画像のうちのアルバムにおける主要人物の画像を特定する主要人物特定部、主要人物特定部が特定した主要人物の画像を画像格納部が格納する複数の画像に含まれる被写体画像と比較することによって、画像格納部が格納する複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する主要人物画像抽出部、主要人物画像抽出部が抽出した複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択するポスタリゼーション用画像選択部、ポスタリゼーション用画像選択部が選択した画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成するポスタリゼーション画像生成部、ポスタリゼーション画像生成部が生成したポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成するアルバム作成部として機能させる。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
本発明によれば、バランスのとれた画像内容のアルバムを提供することができる。
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係るアルバム作成装置100の利用環境の一例を示す。撮像装置110は、ユーザ180が画像を撮像すべくレリーズボタンを押したときに、撮像された画像に撮像時刻及び撮像位置をタグ情報として付帯させて記録する。そして、アルバム作成装置100は、撮像装置110から半導体メモリ等の記録媒体、インターネット、無線LAN等の通信回線150を介して画像を受け取る。そして、アルバム作成装置100は、受け取った画像の中から画像を選択してレイアウトして、プリンタ、ディスプレイ等にアルバムとして出力させる。
アルバム作成装置100は、互いに近い時刻に撮像された画像若しくは互いに近い位置で撮像された画像がアルバムのページに収められるように、アルバムの各ページに画像を割り振る。このとき、アルバム作成装置100は、画像が撮像された撮像位置の分布に地理的な偏りがある場合には、撮像位置が近い画像がページに収められるよう画像を割り振る。また、地理的な偏りがない場合には、撮像時刻が近い画像がページに収められるよう画像を割り振る。
そしてアルバム作成装置100は、各ページに割り振られた複数の画像の中で、頻繁に登場する被写体が写っている画像を、各ページを代表する主画像として選択する。また、アルバム作成装置100は、各ページに割り振られた複数の画像の中で、より被写体が動きのある画像を、主画像として選択する。そして、アルバム作成装置100は、各ページの主画像に写った人物の友人等、主画像の被写体と関連する被写体が写った画像を、主画像の周囲に配置する従画像として選択する。また、アルバム作成装置100は、各ページにおける主画像に写った人物以外の被写体が写った画像を従画像として選択する。そして、アルバム作成装置100は、アルバムの各ページにおいて、主画像を従画像よりも大きくより中央寄りに配置する等のレイアウトをしてアルバムを出力する。
なお、アルバム作成装置100は、複数の画像を含むアルバムを作成して印刷する装置であってもよいし、複数の画像を同時に画面に表示する装置であってもよい。例えばアルバム作成装置100は、パーソナルコンピュータ、電子アルバム、HDTV、プリンタ等であってよい。
なお、アルバム作成装置100は、撮像装置110によって撮像された画像を、当該画像が記録された半導体メモリ等のメディアから受け取ってよい。また、アルバム作成装置100は、アルバムの各ページに割り振った画像を、CD−ROM等の記録媒体160にページ毎に記録してよい。このとき、アルバム作成装置100は、各画像の各ページにおけるレイアウト情報とともに記録媒体160に記録してよい。記録媒体160は、アルバム作成装置100によって記録媒体160に記録されたデータは、例えばアルバムの注文、印刷、電子アルバムによる鑑賞等に使用される。なお、アルバム作成装置100は、フォトショップ、駅等に設けられたキオスク端末であってよい。
以上説明したアルバム作成装置100によれば、撮像位置又は撮像時刻が近い画像を同じページに割り振るので、閲覧者にとって違和感のないアルバムを作成することができる。また、アルバム作成装置100は、より多くの画像に写っている人物、より大きいアクションをして写っている人物等を被写体として含む画像を主画像としてレイアウトするので、より特徴的な画像が強調されたアルバムを作成することができる。また、各ページにおいて主画像に写った人物と関連の深い人物が写った画像が従画像として自動的に選択されるので、各ページの画像の組合せを適切なものにすることができる。このため、ユーザ180は、手間をかけることなくアルバムを手にすることができる。
図2は、アルバムのページのレイアウト結果300の一例を示す。本実施形態でいう主画像とは、閲覧者に対してページにおいて最も強く印象づけることが意図されている画像をいう。例えば主画像とは、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像に比べてサイズが大きい画像、他の画像に比べて前面に配置される画像、最も中央寄りに配置される画像であってよい。他にも主画像とは、周囲を枠で強調された画像であったり、被写体にエフェクト等の視覚効果が施された画像であってもよい。また、本実施形態でいう従画像とは、主画像よりも小さく、中央より外に配置される画像であってよい。図2の例においては、画像301が主画像の一例であって、画像302、303、及び、304は従画像の一例を示す。なお、アルバム作成装置100は、画像の中から特定の被写体をトリミングして、レイアウトしてもよい。例えば、画像305は、特定の被写体をトリミングしてレイアウトされた画像の一例を示す。
なお、ページには、それぞれテーマがあることが好ましい。テーマは、閲覧者に訴えたい内容であり、例えば、公園の美しさ等の特定の場所の情景であったり、ある場所における人物の心情の動きであったり、犬のかわいらしさ等の特定のオブジェクトの様子であったりする。いずれの場合でも、ページのテーマは主画像によって決定される。そして、主画像が決まると、同一のテーマの従画像を選択することができる。
なお、アルバム作成装置100は、ページ内に画像をはめ込むべき画像枠が定められた複数のテンプレートを有していて、テンプレートで示される画像枠に対して画像をはめ込むことによってアルバムを作成してもよい。この場合、当該テンプレートには、主画像をはめ込むべき主画像用の画像枠が予め決定されてもよい。また、アルバム作成装置100は、主画像をはめ込むべき画像枠の重要度を、画像枠の位置、大きさ、及び深さに基づいて判断し、重要度の高い画像枠に主画像をはめ込んでもよい。具体的には、アルバム作成装置100は、画像枠の位置、大きさ、及び深さを変数として、閲覧者への印象度に応じて各変数に重みを付け、当該変数に基づいて画像枠の重要度を判断してよい。なお、アルバム作成装置100は、画像の形、画像の傾き等をパラメータとして有する画像枠(例えば画像303がはめ込まれている画像枠)が定義されたテンプレートを有してもよい。
なお、本実施形態におけるページとは、アルバムの見開きページのことであってよく、アルバムの見開きの片方のページであってもよい。また、アルバム作成装置100が、ディスプレイ等の表示デバイスにアルバムとして出力する装置である場合においては、ページとは、表示デバイスに複数の画像が同時に表示される表示領域のことであってよい。
図3は、アルバム作成装置100のブロック構成の一例を示す。アルバム作成装置100は、画像格納部202、オブジェクト抽出部206、オブジェクト画像数算出部208、レイアウト決定部210、主画像選択部212、従画像選択部222、トリミング部224、人物認識部230、動作量算出部232、面積輪郭比算出部234、画像分類部240、類似度算出部242、撮像時刻分布算出部252、撮像位置分布算出部254、重要性判断部260、関連性判断部272、距離算出部274、特定被写体情報取得部290、主要人物画像選択部296、特徴色抽出部226、テンプレート配色決定部228、テンプレート格納部214、合成情報格納部216、光源特定部256、構図類似性算出部258、及びアルバム情報記録部270を備える。画像分類部240は、撮像時刻分類部262、撮像位置分類部264、及び主要被写体分類部266を有する。レイアウト決定部210は、配置位置決定部282及びサイズ決定部284を有する。特定被写体情報取得部290は、主要人物入力部292及び主要人物特定部294を有する。
画像格納部202は、複数の画像を格納する。また、画像格納部202は、画像と、当該画像の撮像時刻及び撮像位置とを対応づけて格納する。具体的には、撮像装置110が撮像したタイミングで撮像時刻及び撮像位置を画像のタグ情報として記録する。そして、アルバム作成装置100は、撮像時刻及び撮像位置が記録された画像を撮像装置110から受け取って格納する。なお、撮像画像は、画像の一例である。
撮像位置分布算出部254は、画像格納部202が格納している複数の画像の撮像位置に基づいて、画像格納部202が格納している複数の画像の撮像位置分布を算出する。また、撮像時刻分布算出部252は、画像格納部202が格納している複数の画像の撮像時刻に基づいて、画像格納部202が格納している複数の画像の撮像時刻分布を算出する。
画像分類部240は、画像格納部202が格納している複数の画像を、画像の撮像環境に基づくイベント毎に分類する。イベントとは、例えば、撮像時刻、撮像位置等であってよい。具体的には、画像分類部240は、画像格納部202が格納している複数の画像を、画像の撮像時刻に応じて、アルバムにおけるページ毎に分類する。また、画像分類部240は、画像格納部202が格納している複数の画像を、画像の撮像位置に応じて、アルバムにおけるページ毎に分類する。
具体的には、画像分類部240は、撮像位置分布算出部254が算出した撮像位置分布に基づいて、画像格納部202が格納している複数の画像を、アルバムにおけるページ毎に分類する。また、画像分類部240は、撮像時刻分布算出部252が算出した撮像時刻分布に基づいて、画像格納部202が格納している複数の画像を、アルバムにおけるページ毎に分類する。
このとき、画像分類部240は、撮像時刻分布算出部252が算出した撮像時刻分布に基づいて、画像格納部202が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、画像分類部240は、撮像位置分布算出部254が算出した撮像位置分布に基づいて、画像格納部202が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。そして、レイアウト決定部210は、画像分類部240がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
主画像選択部212は、アルバムにおいて主要な画像となるべき主画像を、画像格納部202が格納している複数の画像から選択する。そして、従画像選択部222は、主画像選択部212が選択した主画像の内容に基づいて、主画像選択部212が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部202が格納している複数の画像から選択する。具体的には、主画像選択部212は、画像分類部240が分類したイベント毎に主画像をそれぞれ選択する。そして、従画像選択部222は、画像分類部240が分類したイベント毎に従画像をそれぞれ選択する。
より具体的には、主画像選択部212は、アルバムの所定のページにおいて主要な画像となるべき主画像を、画像分類部240が所定のページに分類した画像から選択する。そして、従画像選択部222は、主画像選択部212が選択した主画像の内容に基づいて、主画像選択部212が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、画像分類部240が所定のページに分類した画像から選択する。具体的には、レイアウト決定部210は、主画像選択部212が選択した主画像及び従画像選択部222が選択した従画像の内容に基づいて、主画像選択部212が選択した主画像及び従画像選択部222が選択した従画像を、アルバムにおける所定のページにレイアウトする。
より具体的には、レイアウト決定部210は、主画像選択部212が選択した主画像及び従画像選択部222が選択した従画像の内容に基づいて、主画像選択部212が選択した主画像及び従画像選択部222が選択した従画像の、アルバムにおけるレイアウトを決定する。具体的には、配置位置決定部282は、主画像選択部212が選択した主画像及び従画像選択部222が選択した従画像の、アルバムにおける配置位置を決定する。サイズ決定部284は、主画像選択部212が選択した主画像及び従画像選択部222が選択した従画像の、アルバムにおけるサイズを決定する。より具体的には、サイズ決定部284は、主画像選択部212が選択した主画像のサイズを、従画像選択部222が選択した従画像のサイズより大きく決定する。
類似度算出部242は、主画像選択部212が選択した主画像と、主画像選択部212が選択した主画像と同一のイベントに分類された他の画像のそれぞれとの類似度を算出する。そして、従画像選択部222は、画像分類部240が分類したイベント毎に、主画像選択部212が選択した主画像との類似度が小さい画像を従画像として選択する。類似度とは、撮像されたときの合焦距離、撮像時刻、撮像位置、又は撮像された画像の色相等を指標にするものであってよい。このため、同じページに収められる画像が、例えば同じ撮像場所で撮像された画像ばかりになってしまったり、遠方を写した画像ばかりになってしまったりすることを防ぐことができる。
他にも、従画像選択部222は、主画像選択部212が選択した主画像の被写体と異なる被写体を含む画像を従画像として選択する。例えば、従画像選択部222は、主画像の被写体が海であるときには、人物が写った画像を従画像として選択する。このため、主画像と従画像の内容が重複してしまうことを未然に防ぐことができる。また、従画像選択部222は、主画像選択部212が選択した主画像の被写体である人物と異なる人物を被写体として含む画像を従画像として選択する。このため、同じページに同一人物が写った画像ばかりになることを防ぐことができる。また、従画像選択部222は、画像分類部240が分類したイベントに属する画像の数がより多い場合により多い数の従画像を選択する。このため、撮像者が興味を持って沢山撮像するほど、沢山の従画像をレイアウトするので、撮像者にとって望ましいアルバムを提供することができる。
重要性判断部260は、画像格納部202が格納している複数の画像における撮像時刻及び撮像位置の重要性を判断する。具体的には、重要性判断部260は、撮像位置分布算出部254が算出した撮像位置分布の偏りが予め定められた基準値より大きい場合に、撮像位置が撮像時刻よりも重要性が高いと判断する。例えば、観光地を移動しながら撮像した旅行記録と、家庭で撮像した成長記録の場合を比較すると、旅行記録の撮像位置の分布は成長記録の場合に比べて広い分布となり、かつ偏った撮像位置で撮像された分布になる。この場合、重要性判断部260は、撮像位置の偏りを検出した場合に、撮像位置の重要性が撮像時刻の重要性よりも大きいと判断する。なお、アルバム作成装置100は、撮像位置と撮像時刻とのどちらが重要性が高いかをユーザ180に指示させてもよい。
撮像位置分類部264は、重要性判断部260によって撮像位置が撮像時刻よりも重要性が高いと判断された場合に、画像格納部202が格納している撮像位置に基づいて、画像格納部202が格納している複数の画像を、アルバムにおけるページ毎に分類する。撮像時刻分類部262は、重要性判断部260によって撮像時刻が撮像位置よりも重要性が高いと判断された場合に、画像格納部202が格納している撮像時刻に基づいて、画像格納部202が格納している複数の画像を、アルバムにおけるページ毎に分類する。
なお、撮像位置分類部264は、撮像位置分布算出部254が算出した撮像位置分布に基づいて、画像格納部202が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。また、撮像時刻分類部262は、撮像時刻分布算出部252が算出した撮像時刻分布に基づいて、画像格納部202が格納している複数の画像を、アルバムのそれぞれのページに分類される画像の数が略均等になるように分類する。
主画像選択部212は、アルバムの所定のページにおいて主要な画像となるべき主画像を、撮像時刻分類部262又は撮像位置分類部264が所定のページに分類した画像から選択する。また、従画像選択部222は、主画像選択部212が選択した主画像の内容に基づいて、主画像選択部212が選択した主画像に、アルバムの所定のページにおいて従属する画像となるべき従画像を、撮像時刻分類部262又は撮像位置分類部264が所定のページに分類した画像から選択する。そして、レイアウト決定部210は、撮像時刻分類部262又は撮像位置分類部264がページ毎に分類した画像を、アルバムのそれぞれのページにレイアウトする。
オブジェクト抽出部206は、画像格納部202が格納している複数の画像にそれぞれ含まれる複数のオブジェクトを抽出する。具体的には、オブジェクト抽出部206は、画像に対してエッジ抽出等によって被写体の輪郭を抽出して、当該被写体の領域をオブジェクトとして抽出する。そして、オブジェクト画像数算出部208は、画像格納部202が格納している複数の画像のうち、オブジェクト抽出部206が抽出した複数のオブジェクト毎に、オブジェクト抽出部206が抽出したオブジェクトと同一又は類似のオブジェクトが含まれる画像の数を算出する。
そして、レイアウト決定部210は、オブジェクト画像数算出部208が算出した画像の数がより多いオブジェクトを、アルバムにおいてより強調してレイアウトする。具体的には、レイアウト決定部210は、オブジェクト画像数算出部208が算出した画像の数がより多いオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。
より具体的には、主画像選択部212は、オブジェクト画像数算出部208が算出した画像の数が予め定められた基準数より多いオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部202が格納している複数の画像から選択する。そして、レイアウト決定部210は、主画像選択部212が選択した主画像を、従画像選択部222が選択した従画像より強調してレイアウトする。
また、トリミング部224は、オブジェクト画像数算出部208が算出した画像の数が予め定められた基準数より多いオブジェクトの領域画像をトリミングする。そして、レイアウト決定部210は、トリミング部224がトリミングしたオブジェクトの領域画像をアルバムにレイアウトする。
オブジェクト画像数算出部208は、画像格納部202が格納している複数の画像のうち、オブジェクト抽出部206が抽出した複数のオブジェクト毎に、オブジェクト抽出部206が抽出したオブジェクトと同一の種類のオブジェクトが含まれる画像の数を算出する。そして、レイアウト決定部210は、オブジェクト画像数算出部208が算出した画像の数がより多い種類のオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、オブジェクト画像数算出部208は、撮像場所又は撮像時刻が近いと同一種類であると判断してよい。この場合、ユーザ180が同じ場所において連続して撮像した画像同士が同一種類の画像として判断されて、アルバムにおいて強調されてレイアウトされるので、ユーザ180の撮像意図をアルバムに適切に反映することができる。
人物認識部230は、オブジェクト抽出部206が抽出したオブジェクトが人物であるか否かを認識する。人物認識部230は、エッジ抽出等によって抽出されたオブジェクトの輪郭のパターンと、予め定めた人間の体のパターンとのパターンマッチング等によって、オブジェクトが人物であるか否かを判断する。また、人物認識部230は、顔の輪郭形状、或いは、眼、鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、又はそれぞれの部位の間の位置関係等に基づいて人物を識別する。
そして、オブジェクト画像数算出部208は、画像格納部202が格納している複数の画像のうち、オブジェクト抽出部206が抽出した複数の人物毎に、オブジェクト抽出部206が抽出した人物と同一の人物が含まれる画像の数を算出する。そして、レイアウト決定部210は、オブジェクト画像数算出部208が算出した画像の数がより多い人物を、アルバムにおいてより強調してレイアウトする。例えば、主画像選択部212が当該人物を含む画像を主画像として選択して、レイアウト決定部210が、当該画像を主画像として強調してレイアウトする。このため、より多くの画像に被写体として写っている人物を強調してレイアウトさせることができる。
なお、オブジェクト画像数算出部208は、オブジェクトの種類に応じて、同一又は類似のオブジェクトとして判断する判断基準を予め定めておく。例えば、オブジェクトが人物認識部230によって人物と判断された場合には、同一人物を同一のオブジェクトとして扱う。また、オブジェクトが直方体であって、実寸法が大きい等の特徴を持つオブジェクトについては、当該オブジェクトをビル等の建物として判断し、全く同一の建物でなくても類似のオブジェクトとして扱う。このようにして、オブジェクト画像数算出部208は、被写体の人物に対しては人物毎に画像をカウントし、ビル等に対しては建物という分類毎に画像をカウントすることによって、閲覧者にとって望ましい分類で画像をカウントすることができる。
なお、画像格納部202は、画像格納部202が格納している複数の画像のそれぞれに対応づけて、画像格納部202が格納している画像の前又は後に連続して撮像された予備画像をさらに格納している。具体的には、撮像装置110が、ユーザ180によってレリーズボタンが押下される前及び又は後のタイミングで予備画像を撮像しておき、レリーズボタンが押下されたタイミングで撮像された画像に対応づけて当該予備画像を記録する。そして画像格納部202は、撮像装置110から画像及び予備画像を受け取って格納する。オブジェクト抽出部206は、画像格納部202が格納している複数の画像にそれぞれ含まれるオブジェクトを抽出する。
動作量算出部232は、オブジェクト抽出部206が抽出したオブジェクトの動作の大きさを示す動作量を算出する。具体的には、動作量算出部232は、画像格納部202が格納している画像と予備画像とを比較することにより、オブジェクト抽出部206が抽出したオブジェクトの動作量を算出する。面積輪郭比算出部234は、画像におけるオブジェクトの面積に対する、画像におけるオブジェクトの輪郭線の長さを算出する。そして、動作量算出部232は、面積輪郭比算出部234の算出結果がより大きい場合に、オブジェクトの動作量をより大きく算出する。
そして、レイアウト決定部210は、動作量算出部232が算出した動作量がより大きいオブジェクトを、アルバムにおいてより強調してレイアウトする。例えば、レイアウト決定部210は、動作量算出部232が算出した動作量がより大きいオブジェクトを含む画像を、アルバムにおいてより大きくレイアウトする。具体的には、レイアウト決定部210は、動作量算出部232が算出した動作量がより大きいオブジェクトを主画像としてレイアウトする。このため、より大きなアクションをしている人物が強調されたアルバムを作成することができる。
具体的には、主画像選択部212は、動作量算出部232が算出した動作量が予め定められた基準量より大きいオブジェクトを含む画像を、アルバムにおいて主要な画像となるべき主画像として画像格納部202が格納している複数の画像から選択する。そして、従画像選択部222は、主画像選択部212が選択した主画像の内容に基づいて、主画像選択部212が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部202が格納している複数の画像から選択する。そして、レイアウト決定部210は、主画像選択部212が選択した主画像を従画像選択部222が選択した従画像より強調してレイアウトする。なお、トリミング部224は、動作量算出部232が算出した動作量が予め定められた基準量より大きいオブジェクトの領域画像をトリミングしてよい。
距離算出部274は、オブジェクト抽出部206によって抽出された第1のオブジェクトと第2のオブジェクトとが含まれる画像における、第1のオブジェクトと第2のオブジェクトとの距離を算出する。なお、距離算出部274は、第1のオブジェクトと第2のオブジェクトとの実空間における距離を算出してもよい。例えば、距離算出部274は、画像領域毎の合焦距離を画像とともに記録しておき、当該画像領域毎の合焦距離及びオブジェクトの画像上の位置に基づいて、実空間における位置をオブジェクト毎に算出して、実空間におけるオブジェクト同士の距離を算出してよい。
関連性判断部272は、画像格納部202が格納している複数の画像において、オブジェクト抽出部206が抽出した第1のオブジェクトと第2のオブジェクトとが含まれる画像の数が予め定められた基準数より多い場合に、第1のオブジェクトと第2のオブジェクトとの関連性が高いと判断する。また、関連性判断部272は、距離算出部274が算出した距離がより近い場合に、第1のオブジェクトと第2のオブジェクトとの関連性がより高いと判断してよい。なお、関連性判断部272は、人物認識部230が人物であると認識したオブジェクト同士の関連性を、人物認識部230が人物でないと認識したオブジェクト同士の関連性より高く判断してよい。このため、例えば友人同士でグループ旅行に行った場合において、友人同士が同じ画像に写っている画像が沢山あると、関連性判断部272によって当該友人同士の関連性をより高く判断することができる。
そして、従画像選択部222は、関連性判断部272によって主画像選択部212が選択した主画像に含まれる第1のオブジェクトと関連性が高いと判断された第2のオブジェクトを含む画像を、主画像選択部212が選択した主画像に、アルバムにおいて従属する画像となるべき従画像として、画像格納部202が格納している複数の画像から選択する。
なお、撮像装置110は、アルバム作成装置100として機能してもよい。例えば、撮像装置110は、撮像装置110が撮像した複数の画像からアルバムを作成してよい。例えば撮像装置110は、作成したアルバムデータをモニタ画面に表示したり、インターネット等の通信回線150を介して撮像装置110以外の出力デバイスにアルバムデータを出力してもよい。
特定被写体情報取得部290は、アルバムにおける主要人物の画像を取得する。具体的には、主要人物入力部292は、画像格納部202が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる。例えば、主要人物入力部292は、主要人物を含む画像及び当該画像における主要人物の位置をユーザ180に入力させる。そして、主要人物特定部294は、主要人物入力部292から入力された主要人物を含む画像及び位置から、主要人物の画像を特定する。そして、主要人物画像選択部296は、主要人物特定部294が特定した主要人物の画像を、画像格納部202が格納する複数の画像に含まれる被写体と比較することによって、画像格納部202が格納する複数の画像から、主要人物が含まれる画像を選択する。そして、主画像選択部212は、主要人物画像選択部296が選択した画像の中から主画像を選択する。このため、アルバム作成装置100は、ユーザ180によって指定されたアルバムにおける主人公を含む画像を主画像とすることができる。
なお、主要人物入力部292は、第1主要人物を含む画像及び当該画像における第1主要人物の位置並び第2主要人物を含む画像及び当該画像における第2主要人物の位置を入力させてよい。そして、主要人物特定部294は、主要人物入力部292から入力された第1主要人物を含む画像及び位置並びに第2主要人物を含む画像及び位置から、第1主要人物及び第2主要人物の画像を特定する。そして、主要人物画像選択部296は、主要人物特定部294が特定した第1主要人物及び第2主要人物の画像を、画像格納部202が格納する複数の画像に含まれる被写体と比較することによって、画像格納部202が格納する複数の画像から、第1主要人物が含まれる画像及び第2主要人物が含まれる画像を選択する。
そして、主画像選択部212は、主要人物画像選択部296が選択した第1主要人物が含まれる画像及び第2主要人物が含まれる画像の中から主画像を選択する。また、従画像選択部222は、主画像選択部212が選択した主画像の内容に基づいて、主画像選択部212が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、画像格納部202が格納している複数の画像から選択する。
そして、レイアウト決定部210は、同一ページにレイアウトした複数の画像に含まれる第1主要人物及び第2主要人物の数が略同一になる主画像及び従画像のレイアウトを決定する。また、レイアウト決定部210は、第1主要人物及び第2主要人物を含むアルバムのページに含まれる第1の主要人物の面積と第2の主要人物の面積とが略同一になる主画像及び従画像のレイアウトを決定する。このため、アルバム作成装置100は、アルバムにおける主人公として指定された複数の人物の一方がページにおいて強調されてしまうことを未然に防ぐことができる。
テンプレート格納部214は、複数の画像を含むアルバムのテンプレートを格納する。そして、特徴色抽出部226は、主画像選択部212が選択した主画像に含まれる複数の色から、特徴色を抽出する。そして、テンプレート配色決定部228は、特徴色抽出部226が抽出した特徴色に基づいて、複数の画像を含むアルバムのテンプレートの配色を決定する。このため、アルバム作成装置100は、主画像における色と調和のとれた配色のアルバムを生成することができる。
画像分類部240は、画像格納部202が格納している複数の画像を、画像が撮像されたときの撮像条件に応じて、アルバムにおけるページ毎に分類する。具体的には、画像分類部240は、画像格納部202が格納している複数の画像を、画像が撮像されたときのシャッタ速度に応じて、アルバムにおけるページ毎に分類する。そして、主画像選択部212は、画像分類部240が分類した撮像条件毎に主画像をそれぞれ選択する。そして、従画像選択部222は、画像分類部240が分類した撮像条件毎に従画像をそれぞれ選択する。このため、アルバム作成装置100は、各ページにおいて画像の撮像条件を統一することができるので、各ページで統一感のあるアルバムを作成することができる。
光源特定部256は、画像格納部202が格納する複数の画像の画像内容から、画像が撮像されたときの主な光源の種類を特定する。具体的には、光源特定部256は、画像において平均輝度が予め定められた輝度より大きくかつより無彩色である色の領域のカラーバランスに基づいて、画像が撮像されたときの主な光源の種類を特定する。そして、画像分類部240は、画像格納部202が格納している複数の画像を、光源特定部256が特定した光源の種類に応じて、アルバムにおけるページ毎に分類する。このため、画像分類部240は、人工的な照明の下に撮像した画像と、太陽の下で撮像された画像とを区別して各ページに分類することができる。このため、アルバム作成装置100は、各ページにおいて光源に統一感のあるアルバムを作成することができる。
構図類似性算出部258は、画像格納部202が格納している複数の画像の間の構図の類似性の高さを算出する。そして、画像分類部240は、構図類似性算出部258がより高い類似性を算出した画像を、アルバムにおける同じページに分類する。そして、レイアウト決定部210は、画像分類部240が同一ページに分類した複数の画像のうち、構図類似性算出部258がより低い類似性を算出した画像を用いて当該ページにレイアウトする。このため、アルバム作成装置100は、各ページにおいて構図に統一感のあるアルバムを作成することができる。
主要被写体分類部266は、主要被写体に基づいて画像を各ページに分類する。そして、合成情報格納部216は、撮像時刻分布算出部252が算出した撮像時刻分布に基づいて分類された画像をページに配置するか、主要被写体分類部266が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する。そして、レイアウト決定部210は、合成情報格納部216が撮像時刻分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、画像分類部240が分類した画像をレイアウトし、合成情報格納部216が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、主要被写体分類部266が分類した画像をレイアウトする。このため、アルバム作成装置100は、例えば時系列でページに並べられたアルバムにおいて、所々に時系列以外の並びで並べられたページが存在するアルバムを作成することができる。このため、アルバム作成装置100は、ストーリー性のあるアルバムを作成することができるとともに、アクセントのあるアルバムを作成することができる。
なお、合成情報格納部216は、撮像位置分布算出部254が算出した撮像位置分布に基づいて分類された画像をページに配置するか、主要被写体分類部266が主要被写体に基づいて分類された画像をページに配置するかを示す合成情報をページ毎に格納する。そして、レイアウト決定部210は、合成情報格納部216が撮像位置分布に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、画像分類部240が分類した画像をレイアウトし、合成情報格納部216が主要被写体に基づいて分類された画像をページに配置する旨を示す合成情報が格納されているページに、主要被写体分類部266が分類した画像をレイアウトする。このため、アルバム作成装置100は、例えば位置毎にページに分類されたアルバムにおいて、所々に被写体によって分類されたページが存在するアルバムを作成することができる。このため、アルバム作成装置100は、ストーリー性のあるアルバムを作成することができるとともに、アクセントのあるアルバムを作成することができる。
以上説明したアルバム作成装置100によれば、画像を適切に分類して各ページに割り振って、その中から代表的な画像を選択して各ページの主画像としたアルバムを作成することができる。また、アルバム作成装置100は、各ページに収められる主画像と従画像の内容の組合せを、閲覧者にとって望ましい組合せにすることができる。したがって、ユーザ180は、手間をかけることなく望ましいアルバムを得ることができる。
図4は、アルバムを作成する処理フローの一例を示す。画像分類部240は、画像を各ページに分類する(S402)。主画像選択部212は、S402において各ページに分類された画像の中から、主画像を選択する(S404)。そして、従画像選択部222は、S402において各ページに分類された画像の中から、主画像の内容に基づいて従画像を選択する(S406)。そして、レイアウト決定部210は、S404で選択された主画像をレイアウトする(S408)。そして、レイアウト決定部210は、S406で選択された従画像をレイアウトする(S410)。なお、アルバム作成の手順は、図4で示した手順以外にも、主画像のレイアウトを決定してから、当該レイアウトに基づいて収めるべき従画像の枚数を決定してよい。そして、アルバム作成装置100は、当該従画像の枚数に応じて従画像を選択し、従画像をレイアウトしてもよい。
図5は、画像を分類する処理フローの一例を示す。図5は、図4における画像を分類する処理(S402)の詳細を示す。撮像時刻分布算出部252は、複数の画像の撮像位置の分布を算出する(S502)。そして、撮像位置分布算出部254は、複数の画像の撮像位置の分布を算出する(S504)。そして、重要性判断部260は、S502において算出された撮像位置の分布に基づいて、撮像位置の偏りを計算する(S506)。
そして、重要性判断部260は、S506において計算された撮像位置分布の偏りが、予め定められた基準値よりも大きいか否かを判断する(S508)。S508において、撮像位置分布の偏りが予め定められた基準値よりも大きい場合、重要性判断部260は、撮像位置分布に基づいて、各ページに画像を割り振る(S510)。なお、S508において、撮像位置の偏りが予め定められた基準値以下である場合、重要性判断部260は、撮像時刻分布に基づいて各ページに画像を割り振る(S512)。以上説明した画像の分類処理によって、画像が撮像された地域毎のページに画像を割り当てたり、画像を撮像した日毎のページに画像を割り当てることができる。したがって、閲覧者にとって所望の分類でアルバムを作成することができる。
図6は、撮像位置分布によるページ分けが望ましいケースの一例を示す。図6は、長崎、広島、京都、東京を訪れて、それぞれの地域で集中的に撮像した画像を用いてアルバムを撮像するケースを示す。このケースにおいては、訪れた各地で撮像しており、各地における撮像活動の位置的な範囲を十分に超える距離を移動して、次の観光地に移動している。このような場合、重要性判断部260は撮像位置の偏りを大きく判定して、撮像位置が撮像時刻よりも重要であると判断する。このようにして、アルバム作成装置100は、画像の撮像位置に応じて、画像を地域別のページに適切に割り振ることができる。
図7は、撮像時刻によるページ分けが望ましいケースの一例を示す。図6は、例えば子供の成長記録用の画像を撮像した場合等のように、ユーザ180が略同一の地域で撮像しており、撮像した時期が広く分散しているケースを示す。この場合、重要性判断部260は、撮像位置の偏りを小さく判定して、撮像位置の重要性より撮像時刻の重要性が大きいと判断する。このようにして、アルバム作成装置100は、子供の成長記録用に撮像した画像を撮像時期で分類して、各ページが撮像時期の順に並んでいるアルバムを作成することができる。このためユーザ180は、ページをめくる毎に、子供が成長していく様子を見ることができるので、違和感を感じることなく楽しくアルバムを閲覧することができる。なお、アルバム作成装置100は、撮像時刻分布に基づいて画像を分類する場合であっても、同一ページ内に分類された画像を、撮像時刻分布に基づいてレイアウトしなくてもよい。
図8は、重要性判断部260が撮像位置分布の重要性を判断する方法の一例を示す。撮像位置分布算出部254は、画像格納部202に格納されている画像のそれぞれについて、画像が撮像された撮像位置と、当該画像より以前の直近の時刻に撮像された画像の撮像位置との間の距離を、画像を撮像するために移動した移動距離として算出する。そして、撮像位置分布算出部254は、算出した移動距離に対する画像の枚数分布を算出する。
そして、重要性判断部260は、算出した枚数分布に基づいて、移動距離の分散値よりも予め定められた係数を乗じた移動距離以上の移動距離で撮像された画像の枚数を計算して、当該枚数の全体の枚数に占める割合を、撮像位置分布の偏りとして計算する。これにより、重要性判断部260は、例えばユーザ180が欧州各国の首都を訪れた記録アルバムを作成する場合、撮像位置が撮像時刻より重要であると判断することができる。
図9は、撮像時刻分布に基づく画像のページ分けの一例を示す。撮像時刻分類部262は、撮像された画像の枚数をアルバムの総ページ数で割った値を、一ページに割り振るべき画像数として計算する。例えば図9の例では、4.5枚と判断する。そして、撮像時刻分布算出部252は、画像格納部202に格納されている画像を撮像時刻の順に撮像時間の間隔を計算する。
そして、撮像時刻分類部262は、撮像時間の間隔の長い順(Δt901、Δt903、Δt902、・・・)に画像群に分類していく。例えば、撮像間隔Δt901の位置において、画像群Aが他の画像群と分離されて分類される。そして、撮像時刻分類部262は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図9の例では、撮像時刻分類部262は、画像群AとBに含まれる画像、画像群Cに含まれる画像、画像群Dに含まれる画像を、それぞれ同一のページに分類する。このようにして撮像時刻分類部262が撮像時刻の分布に基づいて画像を各ページに分類することによって、近い時刻で撮像された画像が全く離れたページに収められてしまうことを未然に防ぎつつ、適切にページに割り振ることができる。
図10は、撮像位置分布に基づく画像のページ分けの一例を示す。撮像位置分類部264は、画像格納部202に格納されている画像を撮像時刻の順に撮像位置の間隔を計算する。撮像時刻分類部262は、撮像位置の間隔の長い順(D1004、D1002、D1003、・・・)に画像群に分類していく。例えば、撮像間隔D1004の位置において、画像群A、B及びCが、画像群Dと分離されて分類される。そして、撮像時刻分類部262は、分類された画像群の画像数が一ページに割り振るべき画像数と略同一となる分類を決定して、決定した分類における各画像群を同一ページに割り当てる。図10の例では、撮像位置分類部264は、画像群AとBに含まれる画像、画像群Cに含まれる画像、及び画像群Dに含まれる画像を、それぞれ同一のページに分類する。
図11は、主画像を選択する処理フローの一例を示す。図11は、図4における主画像を選択する処理(S404)の詳細を示す。オブジェクト抽出部206は、画像分類部240によって分類された画像の中から一の画像を選択する(S1102)。そしてオブジェクト抽出部206は、選択した画像からエッジ抽出等によって複数の被写体の輪郭を抽出して複数のオブジェクトを検出して、その中の一のオブジェクトを抽出する(S1104)。そして、人物認識部230は、S1104において抽出されたオブジェクトが人物であるか否かを判断する。
S1106において、抽出されたオブジェクトが人物であると判断された場合には、オブジェクト画像数算出部208は、オブジェクトが含まれる画像数を、人物毎にカウントする(S1108)。S1106において、抽出されたオブジェクトが人物でないと判断された場合には、同じ種類のオブジェクトを判断して、オブジェクトが含まれる画像数を種類毎にカウントを加算する。
そして、オブジェクト抽出部206がS1102において選択された一の画像に含まれる全てのオブジェクトについて、オブジェクト画像数算出部208による計数処理が完了したか否かを判断する(S1112)。S1112において、全てのオブジェクトについて計数処理が完了していない場合は、S1104に処理を移して、他のオブジェクトを選択する。S1112において、全てのオブジェクトについて計数処理が完了した場合は、画像分類部240によって分類された全画像からのオブジェクトの抽出処理がなされたか否かを判断する(S1114)。S1114において、全画像からの抽出処理がなされていない場合、S1102に処理を移して、新たに他の画像を選択する。
S1114において、全画像からの抽出処理がなされた場合、主画像選択部212は、S1108又はS1110において算出された人物毎の画像数又はオブジェクトの種類毎の画像数のうち、予め定められた基準画像数よりも多い数がカウントされた人物又はオブジェクトの種類を判断して、選択した人物毎の画像又は選択したオブジェクトの種類に含まれるオブジェクトを含む画像を主画像として選択する(S1116)。以上説明したようにして、アルバム作成装置100は、ユーザ180がより興味を持つ等して数多く撮像した被写体の画像の中から主画像を自動的に選択するので、ユーザ180にとって望ましいアルバムを作成することができる。
図12は、オブジェクトの動作量を算出する方法の一例を示す。撮像装置110は、ユーザ180によってレリーズボタンが押されたタイミングで画像1222を撮像するとともに、当該タイミングの前及び/又は後のタイミングにおいて、予備画像(1221、1223、・・・)を撮像する。そして、動作量算出部232は、例えば予備画像1221と画像1222との差分画像、画像1222と予備画像1223との差分画像に対してエッジ抽出等を施して、画像を撮像する間に移動したオブジェクトの輪郭を抽出する。そして動作量算出部232は、当該オブジェクトが移動した画像上の移動量を、オブジェクトの動作量として算出する。図12の例では、被写体の人物の両腕の動きが差分画像に残るので、その両腕の移動量を判断する。そして、主画像選択部212は、移動量が大きい被写体を含むオブジェクトが含まれる画像を主画像として選択する。このため、より大きい動きをしている被写体を含む画像を、アルバムの主画像として選択することができる。
なお、アルバム作成装置100は、抽出されたオブジェクトのそれぞれについて、他のオブジェクトとの間の相対的な移動量に基づいてオブジェクトの動作量を算出してもよい。例えば、動作量算出部232は、予備画像1221及び画像1222のそれぞれにおいて、被写体の両腕と背景の山との間の相対的な距離の変化量を動作量として算出してもよい。これにより、例えばユーザ180が撮像装置110をパン及び/又はチルトさせながら撮像した場合でも、オブジェクトの動作量を適切に算出することができる。
なお、撮像装置110は、画像及び予備画像を撮像したときの撮像条件を記録しておき、当該撮像条件に基づいてオブジェクトの動作量を算出してもよい。例えば撮像装置110は、画像及び予備画像を撮像したタイミングにおける、撮像装置110の合焦位置の実空間上における移動速度を記録しておく。そして、アルバム作成装置100は、当該合焦位置の実空間上における移動速度と、予備画像及び画像から判断されるオブジェクトの画像上の移動量とに基づいて、オブジェクトの動作量を算出してもよい。
図13は、オブジェクトの重要度を判断する方法の一例を示す。動作量算出部232は、オブジェクト抽出部206によって抽出されたオブジェクトの輪郭線1302の長さを算出して、算出された長さに比例した係数を、動作量算出部232が算出した移動量に乗じる。他にも、動作量算出部232は、オブジェクト抽出部206によって抽出されたオブジェクトに外接する外接矩形1304の辺の合計長を、オブジェクトの輪郭線の長さとして算出してもよい。これによって、動作している被写体のうちより大きい画像領域を占める被写体を含む画像が主画像として優先的に選択されるので、ユーザ180にとって望ましいアルバムを作成することができる。
図14は、従画像を選択する処理フローの一例を示す。図14は、図4における従画像を選択する処理(S406)の詳細を示す。オブジェクト抽出部206がオブジェクトを抽出する(S1402)。そして、距離算出部274は、同一画像に含まれるオブジェクトの各組み合わせについて、オブジェクト同士の画像上又は実空間上の距離Dを算出する(S1404)。なお、S1404において、距離算出部274は、抽出されたオブジェクトの画像上における重心位置間の距離を、オブジェクト同士の画像上の距離Dとして算出してよい。
そして、オブジェクト画像数算出部208は、オブジェクト同士が共に同一画像に含まれている画像数Nを算出する。そして、人物認識部230は、S1402において抽出されたオブジェクト同士が共に人物であるか否かを判断する(S1408)。S1408においてオブジェクト同士が共に人物であると判断された場合には、人物係数αにα1を設定し、S1408においてオジェクト同士の少なくとも一方が人物でないと判断された場合には、人物係数αにはα1よりも小さいα2を設定する。
そして、関連性判断部272は、二つのオブジェクトの組合せのそれぞれについて、S1404において算出された距離D、S1406において算出された画像数N、及びS1410又はS1412において設定された人物係数αの積を関連性として算出する(S1414)。そして、従画像選択部222は、S1414において算出されたオブジェクトの組合せの関連性に基づいて、主画像として選択された画像に含まれるオブジェクトとの組合せの関連性が、予め定められた関連性の基準値よりも大きいオブジェクトを選択する。そして選択したオブジェクトを含む画像を従画像として選択する(S1416)。以上説明したように、アルバム作成装置100によると、主画像に写っている人物と一緒に写っている人物の画像が従画像として自動的に選択される。したがって、ユーザ180は違和感を感じることなくアルバムを閲覧することができる。
図15は、従画像を選択する処理フローの他の一例を示す。図15は、図4における従画像を選択する処理(S406)の詳細の他の例を示す。人物認識部230は、主画像選択部212によって選択された主画像に人物が含まれる否かを判断する(S1502)。S1502において、主画像に人物が含まれると判断された場合、従画像選択部222は、主画像の人物とは異なる人物が含まれる画像または人物認識部230によって人物と判断されたオブジェクトを含まない画像を、従画像として選択する(S1504)。
S1502において、主画像に人物が含まれないと判断された場合、従画像選択部222は、人物が含まれる画像又は異なる種類の被写体が含まれる画像を、従画像として選択する(S1506)。これによって、従画像選択部222は、同一ページに収められる画像が同じ人物が写った画像ばかりになったり、同じ種類の被写体が写った画像ばかりになることを未然に防ぐことができ、各ページに収められる画像の内容がバランスのとれたものにすることができる。
図16は、従画像を選択する処理フローの更なる他の一例を示す。類似度算出部242は、主画像選択部212によって選択された主画像と、他の画像との類似度を算出する(S1602)。具体的には、類似度算出部242は、主画像の撮像時刻との時間差が大きい画像に対して、類似度をより小さく算出する。他にも、類似度算出部242は、主画像の撮像位置との距離がより大きい画像に対して、類似度をより小さく算出してよい。他にも、類似度算出部242は、主画像に含まれる色と異なる色を持つ画像に対して、類似度をより小さく算出してよい。他にも、主画像の合焦距離との差がより大きい画像に対して、類似度をより小さく算出してよい。
そして、従画像選択部222は、S1602において算出された、主画像との類似度がより小さい画像を、従画像として選択する(S1604)。これによって、従画像選択部222は、主画像とは類似していない内容の画像を従画像として選択することができる。例えば、アルバム作成装置100は、合焦距離の遠い風景画像と、合焦距離の近いスナップ写真などの組合せのページを作成する。これにより、アルバムのページが合焦距離の遠い風景画像ばかりになってしまい、面白みのないアルバムになってしまうのを防ぐことができる。
図17は、特定被写体情報取得部290の処理フローの一例を示す。特定被写体情報取得部290は、例えば図4のS402における画像の分類(例えば、主要被写体分類部266による被写体による画像の分類)、S404における主画像の選択、及びS406における従画像の選択、等に使用されることができる被写体情報を取得する。特定被写体情報取得部290は、アルバムに含まれる画像に含まれる人物の役割を示すキャスティング情報をユーザ180に入力させて取得する(S1702)。例えば、特定被写体情報取得部290は、アルバムにおける主人公を表す「Hero」、主人公の父親、母親、兄弟、姉妹であることをそれぞれ示す「Father」、「Mother」、「Brother」、及び「Sister」、並びに主人公の友人関係を示す「Friend」等を、キャスティング情報として入力させる。
そして、特定被写体情報取得部290は、画像格納部202が格納している画像を表示して、ユーザ180に提示する(S1704)。そして、特定被写体情報取得部290は、S1702において入力されたキャスティング情報の役割を持つ人物を含む画像をユーザ180に選択させて取得する(S1706)。このとき特定被写体情報取得部290は、選択された画像のファイル名を記憶しておく。そして、S1706において選択された画像における当該人物の位置を入力させて取得する(S1708)。例えば、特定被写体情報取得部290は、Left、Center、Right等を示すボタンをユーザ180に押下させることによって、人物の位置をユーザ180に入力させてよい。そして、特定被写体情報取得部290は、S1702において入力されたキャスティング情報が「Hero」であるか否かを判断する(S1710)。特定被写体情報取得部290は、S1710においてキャスティング情報が「Hero」であると判断された場合には、当該人物の名前、生年月日をユーザ180から取得する(S1712)。
そして、特定被写体情報取得部290は、S1702において入力されたキャスティング情報、S1706において選択されたファイルのファイル名、及びS1708において入力された位置、並びに、S1710において取得した名前及び生年月日を含む特定被写体情報を生成する(S1714)。なお、特定被写体情報取得部290は、S1710において、キャスティング情報がHeroではないと判断された場合には、S1714に処理を移行し、S1702において入力されたキャスティング情報、S1706において選択されたファイルのファイル名、及びS1708において入力された位置を含む特定被写体情報を生成する。
そして、特定被写体情報取得部290は、他の人物の特定被写体情報を入力するか否かをユーザ180に提示して、ユーザ180からの入力によって、他の人物のキャスティング情報を入力する旨をするか否かを判断する(S1716)。S1716において他の人物のキャスティング情報を入力する旨を判断した場合には、S1702に移行して、他の人物のキャスティング情報を入力させる。S1716において他の人物のキャスティング情報を入力しない旨を判断した場合には、処理を終了する。
以上説明したように、アルバム作成装置100は、ユーザ180からアルバムに登場させるべき人物とそのアルバムにおける役割を指定させることによって、アルバムにおける人物の役割を取得する。このため、アルバム作成装置100は、アルバムにおける人物の役割に応じて、アルバムにおける画像の配置を適切に決定することができる。
図18は、特定被写体情報取得部290が生成した特定被写体情報の内容の一例を示す。特定被写体情報1802、1804、及び1806は、それぞれアルバムにおける主人公、主人公の兄弟、及び主人公の友人を示す特定被写体情報である。特定被写体情報1802、1804、及び1806は、人物の名前を示すNameフィールド、画像のファイル名を示すFileフィールド、画像における位置を示すPositionフィールド、キャスティング情報を示すCastingフィールド、誕生日を示すDate of Birthフィールドを持つ。主人公の特定被写体情報には名前及び生年月日といった個人的な情報が含まれるが、主人公以外の人物の特定被写体情報にはそれらの個人的な情報が含まれない。したがって、ユーザ180は、主人公以外の人物の個人情報を入力する必要がないので、キオスク端末で入力する場合に他人に覗き見られたり、インターネット等を通じて特定被写体情報に含まれる各情報を入力する場合に通信回線上においてデータを盗み見られたとしてもさほど問題にはならない。また、特定被写体情報取得部290は、主人公を示す特定被写体情報については、入力された個人的な情報が暗号化された特定被写体情報を生成してもよい。
図19は、テンプレート格納部214が格納しているテンプレートの一例を示す。テンプレート1901はアルバムの裏表紙及び表紙のテンプレートの一例を示し、テンプレート1902〜1905は見開きページのテンプレートの一例を示す。テンプレートが示すそれぞれの画像枠には、画像枠にはめ込まれる画像に含まれる人物のキャスティング情報が定められている。例えば、テンプレート1901が示す画像枠1911及び1912には、CastingフィールドがHeroの人物を含む画像がはめ込まれる旨が定められている。また、テンプレート1905の画像枠1951〜1953には、それぞれCastingフィールドがFather、Mother、Brotherの人物を含む画像がはめ込まれる旨が定められている。
レイアウト決定部210は、各画像枠にはめ込む画像を選択する場合に、各画像枠に定められているキャスティング情報を持つ特定被写体情報を選択する。そして、レイアウト決定部210は、選択した特定被写体情報に含まれるFileフィールドで示されるファイル名の画像における、Positionフィールドの位置から所定の範囲の画像領域から人物画像を抽出する。そしてレイアウト決定部210は、画像分類部によって当該ページに分類された画像のうち、当該人物画像と所定の一致度以上の一致度で一致した被写体を含む画像を、当該画像枠にはめ込む画像として選択する。
なお、画像枠1932〜1935に定められているrelativesとは、Father、Mother、Brother、及びSisterを含む、家族を示すキャスティング情報の総称である。そして、レイアウト決定部210は、relativesが定められている画像枠に、Father、Mother、Brother、及びSisterのいずれかをキャスティング情報として持つ人物を含む画像がはめ込む。
また、テンプレートには、アルバムタイトル及びページタイトルを示すテキストの配置及び内容が予め定められている。例えば、テンプレート1901には、アルバムタイトルのテキストとして、<Name>'s Storyが定められている。また、テンプレート1903及び1905には、それぞれ<Name>'s Family及びMembersが定められている。
なお、テンプレートで定められたタイトルのテキストには、テキストの少なくとも一部を、被写体特定情報に含まれるフィールドデータで置換すべき旨を示すテキスト置換情報が含まれている。例えば、1901及び1903で定められているタイトルのテキストには、Nameフィールドで置換すべき旨を示すテキスト置換情報<Name>が含まれている。そして、レイアウト決定部210は、CastingフィールドがHeroである特定被写体情報で指定されるNameフィールドのデータで、テキスト置換情報<Name>で示される部分のテキストを置換することによって、各タイトルのテキストを生成する。これにより、アルバム作成装置100は、指定された主人公に相応しいタイトルを用いることができる。以上説明したように、アルバム作成装置100は、ユーザ180から指定された被写体情報に応じた適切なレイアウトで画像が配置されたアルバムを作成することができる。
図20は、レイアウト決定部210によるレイアウト結果2002及び2004の一例を示す。レイアウト決定部210は、テンプレート1903で定められる画像枠1931〜1935に画像をはめ込む。レイアウト結果2002では、画像枠1931に主画像選択部212が主画像として選択した、CastingフィールドがHeroを持つ人物を含む画像が、レイアウト決定部210によってはめ込まれる。そして、レイアウト決定部210は、従画像選択部222が従画像として選択した、CastingフィールドがFamilyに含まれる情報を持つ人物を含む画像を、画像枠1932〜1935にはめ込む。
なお、レイアウト決定部210は、同一ページに含まれる画像枠1931〜1935に含まれる主人公(CastingフィールドがHeroの人物)の面積が、主人公以外の人物(CastingフィールドがHero以外の人物)の面積より大きくなるように、主画像をトリミングしたトリミング画像を拡大して主画像の画像枠1931にはめ込んでよい。また、従画像選択部222は、同一ページに含まれる画像枠1931〜1935に含まれる主人公の数が、主人公以外の人物の数より多くなるように、画像枠1932〜1935にはめ込む従画像を選択してよい。
レイアウト結果2004は、主人公が二人指定された場合のレイアウト結果の一例である。このとき、主画像選択部212は主人公である二人の人物を含む画像が主画像として選択する。そして、レイアウト決定部210は、当該主画像を画像枠1931にはめ込まれる。このとき、複数の主人公の面積が、略同一となるように、主画像又は従画像をトリミングして、画像枠1931〜1935にはめ込んでよい。以上説明したように、特定被写体情報取得部290によって取得された特定被写体情報により、アルバム作成装置100は、被写体の役割に応じた適切なレイアウトで画像を配置することができる。
図21は、合成情報格納部216が格納している画像の合成情報の一例を示す。合成情報はページ毎に定められており、各ページにいずれの分類方法で分類された画像を配置するかが定められている。例えば、第1見開きページ(見開き頁#1)及び第5見開きページ(見開き頁#5)には、主要被写体によって分類された画像を格納する旨が定められている。また、第2〜第4見開きページ(見開き頁#2〜#5)には、時刻で分類された画像を格納する旨が定められている。
例えば、子供の成長を記録したアルバムにおいては、画像が撮像された撮像時刻が重要な指標となるので、合成情報格納部216は、合成情報として時刻による分類を主としたページの分類方法を示す合成情報を定める。例えば、合成情報格納部216は、第2〜第4の見開きページを時刻で分類された画像を配置する旨を示す合成情報を定める。そして、レイアウト決定部210は、撮像時刻分類部262が時間分布によって分類した画像を、各ページに分類された画像の撮像時刻の平均時刻の順で各ページに割り当てる。これにより、アルバム作成装置100は、子供の成長に沿った見開きページのアルバムを作成することができる。
また、合成情報格納部216は、裏表紙・表紙ページの直後に配置される第1見開きページに、主要被写体によって分類された画像を配置する旨を定めている。この場合、アルバムの中身の最初のページには、例えば全登場人物を含む画像が配置される。このため閲覧者は、例えばアルバムの全登場人物をアルバムの第1ページ目で把握することができる。そして、それ以後の3つの見開きページには例えば撮像時刻によって分類された画像が配置されるので、閲覧者はページをめくる度に主人公が成長していく様を楽しむことができる。そして、第5見開きページには、主要被写体で分類された画像、例えば家族の全員を含む複数の画像が配置される。このように、合成情報格納部216は、主として時刻順で分類された画像が見開きページに配置されつつ、所々に主要被写体で分類された見開きページが挿入される合成情報を格納する。これにより、アルバム作成装置100は、単調なアルバムが作成されることを未然に防ぐことができ、ストーリー性を持たせつつ、アクセントのあるアルバムを作成することができる。
なお、合成情報格納部216は、成長記録アルバムの他にも、旅行記録アルバム、イベント記録アルバム等、アルバムの種類毎に適した合成情報を格納してよい。例えば、旅行記録アルバムでは、主として撮像位置分布で見開きページに分類された並びとなる合成情報を格納してよい。以上説明したように、合成情報格納部216は、各見開きページに適切な分類方法を定めているので、アルバム作成装置100は適切な分類方法で分類された画像を、適切な順番で各見開きページに割り振ることができる。
図22は、特徴色抽出部226が特徴色を抽出する方法の一例を示す。特徴色抽出部226は、主画像選択部212が選択した主画像において、所定の色領域に分割された複数の色領域(色領域A、B、C等)のそれぞれに含まれる色の面積である色面積それぞれ算出する。なお、特徴色抽出部226は、主画像選択部212が選択した主画像において、複数の色領域のそれぞれに含まれる画素の数を、面積を示す指標としてそれぞれ算出してよい。
そして、特徴色抽出部226は、算出した色面積の、主画像の面積に対する比率である面積比率を、複数の色領域のそれぞれについて算出する。また、特徴色抽出部226は、複数の色領域のそれぞれについて、画像に表れることが期待される面積比率を示す面積比率の期待値を予め格納している。面積比率の期待値とは、例えば平均的な画像において含まれる色領域毎の期待値である。例えば、特徴色抽出部226は、画像格納部202が格納している画像のそれぞれについて面積比率を算出して、その平均値を面積比率の期待値として格納してよい。
そして、特徴色抽出部226は、面積比率の期待値に対する、算出した面積比率の比である特徴度を色領域毎に算出して、当該比が最大となる色領域を主画像における特徴色として抽出する。本図の例では、特徴色抽出部226は、色領域A、B、及びCの特徴度として、1.25、1.5、及び4を算出する。このように、特徴色抽出部226は、期待値に比べてより大きい面積比率を持つ色領域を特徴色として抽出する。したがって、特徴色抽出部226は、主画像に含まれる特徴的な色を適切に抽出することができる。
なお、テンプレート配色決定部228は、人間にとって視覚的に調和のとれた色の組み合わせを示すカラーパレットを複数格納している。そしてテンプレート配色決定部228は、特徴色抽出部226が抽出した特徴色を含むカラーパレットを選択して、選択したカラーパレットに含まれる色を用いてテンプレートに配色する。例えば、テンプレート配色決定部228は、テンプレート1901、1903、1905に含まれるタイトル文字、各ページの背景の色、テンプレートが定める画像枠の色等に用いる色を決定する。このため、アルバム作成装置100は、主画像の特徴色に近い色を含む調和の取れた適切な配色のページを作成することができる。
図23は、アルバム作成装置100が記録媒体160に記録するアルバム情報ファイルのディレクトリ構成の一例を示す。アルバム情報記録部270は、ルートディレクトリ2300の直下に、インデックスファイル2302、グループ情報が記載されたグループ情報ファイル2311〜2319が格納されたグループ情報ディレクトリ2310、及び画像ディレクトリ2320を格納する。また、アルバム情報記録部270は、画像ディレクトリ2320の直下に、画像分類部240によってページ毎に分類された画像が収められたグループ画像ディレクトリ2330、2340、2350、・・・を格納する。また、アルバム情報記録部270は、グループ画像ディレクトリ2330、2340、及び2350の直下に、グループ情報ファイル2332、2342、及び2352を格納する。
アルバム情報記録部270は、グループ画像ディレクトリ2330及び2340に、それぞれ撮像時刻分類部262が分類した画像2334a〜2334z及びグループインデックスファイル2332、並びに画像2344a〜2344z及びグループ画像情報ファイル2342を格納する。そして、アルバム情報記録部270は、グループ画像ディレクトリ2350の直下に、グループ画像情報ファイル2352及び主要被写体分類部266が分類した画像を格納する。ここで、アルバム情報記録部270は、グループ画像ディレクトリ2350の直下に、画像ファイルそのものを格納するのではなく、他のグループ画像ディレクトリに格納された画像へのリンクを示すリンク情報を格納する。このリンク情報は、グループ画像情報ファイル2352に記載されていてよいし、他のグループ画像ディレクトリに格納された画像へのシンボリックリンク等によって記録されてもよい。このため、異なる分類方法で分類した場合に、画像そのものを重複して記録することがない。したがって、アルバム作成装置100は、画像を記録媒体160に効率的に記憶することができる。
なお、グループ画像情報ファイル2332、2342、及び2352は、同階層のディレクトリに格納された画像のそれぞれが出力されるレイアウト情報が記載されている。例えば、グループ画像情報ファイル2332、2342、及び2352には、アルバムの見開きページに印刷される画像の位置及び大きさ、並びに、印刷するテンプレートの色等の印刷レイアウト情報が記載されている。また、グループ画像情報ファイル2332、2342、及び2352には、電子アルバムにおいて同じ表示領域に表示される画像の位置、大きさ、及び順番、並びにテンプレートの色等の表示レイアウト情報が記載されている。
また、グループ情報ファイル2311、2312、及び2313は、グループ画像情報ファイル2332、2342、及び2352を特定する情報、例えばグループ画像情報ファイル2332、2342、及び2352のファイル名が記載されている。また、インデックスファイル2302には、グループ情報ファイル2311〜2319を特定する情報、例えばグループ情報ファイル2311〜2319のファイル名が記載されている。そして、インデックスファイル2302には、グループ情報ファイル2311、2312、及び2313に対応するグループ画像情報ファイル2332、2342、及び2352によって管理される画像が出力される順番が定められている。例えば、インデックスファイル2302には、グループ画像情報ファイル2332、2342、及び2352によって管理される画像がアルバムにおいて印刷される見開きページを識別するページIDが記載される。また、インデックスファイル2302には、グループ情報ファイル2311、2312、及び2313に対応するグループ画像情報ファイル2332、2342、及び2352によって管理される画像がアルバムにおいて表示される順番を識別するシーケンスIDが記載される。
したがって、アルバム作成装置100は、記録媒体160に記載されたインデックスファイル2302を読み込むことによって、グループ情報ファイル2311〜2319のファイル名を特定する。そして、アルバム作成装置100は、グループ情報ファイル2311〜2319を読み込むことによって、グループ画像情報ファイル2332、2342、2352・・・のファイル名を特定する。そして、アルバム作成装置100は、グループ画像情報ファイル2332、2342、2352・・・を読み込むことによって、画像をアルバムとして出力することができる。
なお、これらインデックスファイル2302、グループ情報ファイル2311〜2319、並びにグループ画像情報ファイル2332、2342、及び2352は、XML形式で記載されてよい。例えば、インデックスファイル2302には、グループ情報ファイル2311〜2319を表すファイル名を、それぞれのグループを識別するタグ名に対するタグデータとして記載する。以上説明したように、アルバム作成装置100は、ルートディレクトリ2300に記録されたインデックスを読み込むことによって、グループ化された画像の表示態様を決定することができる。したがって、アルバム作成装置100は、画像、画像のアルバムにおける表示態様等を、記録媒体160に柔軟なディレクトリ構成で記録することができる。
図24は、アルバム作成装置100の他の実施形態におけるブロック構成の一例を示す。本実施形態のアルバム作成装置100は、統一感のある適切なレイアウトのアルバムを作成するアルバム作成装置を提供する。本実施形態のアルバム作成装置100の利用環境は、図1に関連して説明したアルバム作成装置100の利用環境と同様であるので説明を省略する。具体的には、アルバム作成装置100は、ポスタリゼーション画像をアルバムの各ページに配置したり、関連するシーンの画像を各ページに配置することによって、統一感のあるアルバムをユーザ180に提供する。
アルバム作成装置100は、画像格納部2402、アルバム作成部2408、テンプレート格納部2414、使用色決定部2426、アルバム使用画像選択部2420、ポスタリゼーション用画像選択部2450、ポスタリゼーション画像生成部2452、選択条件格納部2454、特徴量格納部2456、及び特定被写体情報取得部2490を備える。アルバム使用画像選択部2420は、主画像選択部2412、従画像選択部2422、構図類似性算出部2430、色類似性算出部2432、撮像環境類似性算出部2434、時刻類似性算出部2436、撮像場所特定部2438、及び関連性判断部2472を有する。特定被写体情報取得部2490は、主要人物入力部2492及び主要人物特定部2494を有する。
画像格納部2402は、複数の画像を格納する。特定被写体情報取得部2490は、アルバムにおける主要人物の画像を取得する。主要人物入力部2492は、画像格納部2402が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる。主要人物特定部2494は、画像格納部2402が格納している複数の画像のうちのアルバムにおける主要人物の画像を特定する。具体的には、主要人物特定部2494は、主要人物入力部2492から入力された主要人物を含む画像及び位置から、主要人物の画像を特定する。なお、主要人物入力部2492及び主要人物特定部2494の具体的な動作及び機能は、主要人物入力部292及び主要人物特定部294の動作及び機能と略同一であるので、説明を省略する。
主要人物画像抽出部2496は、主要人物特定部2494が特定した主要人物の画像を画像格納部2402が格納する複数の画像に含まれる被写体画像と比較することによって、画像格納部2402が格納する複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する。そして、ポスタリゼーション用画像選択部2450は、主要人物画像抽出部2496が抽出した複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択する。そして、ポスタリゼーション画像生成部2452は、ポスタリゼーション用画像選択部2450が選択した画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成する。そして、アルバム作成部2408は、ポスタリゼーション画像生成部2452が生成したポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成する。
選択条件格納部2454は、ポスタリゼーションに適した画像を選択する選択条件を格納する。具体的には、選択条件格納部2454は、ポスタリゼーション画像に適する輝度分布の広がりを示す選択条件を格納する。そして、ポスタリゼーション用画像選択部2450は、選択条件格納部2454が格納している選択条件に合致するポスタリゼーション画像を選択する。具体的には、ポスタリゼーション用画像選択部2450は、選択条件格納部2454が格納している輝度分布の広がりに適合する輝度分布の広がりを持つ画像を選択する。
ポスタリゼーション階調決定部2440は、ポスタリゼーション処理の階調を決定する。なお、選択条件格納部2454は、ポスタリゼーションの階調毎に選択条件を格納している。そして、ポスタリゼーション用画像選択部2450は、ポスタリゼーション階調決定部2440が決定したポスタリゼーション画像の階調に対応づけて選択条件格納部2454が格納する選択条件に合致するポスタリゼーション画像を選択する。ポスタリゼーション画像生成部2452は、ポスタリゼーション用画像選択部2450が選択した画像に、ポスタリゼーション階調決定部2440が決定した階調でポスタリゼーションを施して、アルバムに使用するポスタリゼーション画像を生成する。
使用色決定部2426は、アルバムの各ページのテンプレートが定める文字に使用する文字色をそれぞれ決定する。そして、ポスタリゼーション画像生成部2452は、ポスタリゼーション用画像選択部2450が選択した画像にポスタリゼーション処理を施して、使用色決定部2426が決定した文字色のポスタリゼーション画像を生成する。なお、ポスタリゼーション階調決定部2440は、使用色決定部2426が決定した文字に使用する色の数がより多い場合に、ポスタリゼーション処理の階調をより大きく決定してよい。なお、アルバム作成部2408は、ポスタリゼーション画像生成部2452が生成したポスタリゼーション画像を、各ページにおいて使用色決定部2426が決定した文字色が使用される文字に隣接させたレイアウトのページを含むアルバムを作成する。このため、各ページのタイトル文字と統一感のあるポスタリゼーション画像を作成することができる。
なお、アルバム使用画像選択部2420は、画像格納部2402が格納する複数の画像の中からアルバムに使用する複数の画像を選択してよい。そして、主要人物画像抽出部2496は、アルバム使用画像選択部2420が選択した複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する。そして、ポスタリゼーション用画像選択部2450は、主要人物画像抽出部2496が抽出した複数の主要人物画像の中から、ポスタリゼーションに適した画像を選択する。
特徴量格納部2456は、アルバム作成部2408が作成したアルバムに用いたポスタリゼーション画像の特徴量を格納するそして、ポスタリゼーション画像生成部2452は、アルバム作成部2408が新たにアルバムを作成する場合に、特徴量格納部2456が格納しているポスタリゼーション画像の特徴量のいずれとも異なる特徴量を持つポスタリゼーション画像を生成する。そして、アルバム作成部2408は、ポスタリゼーション画像生成部2452が生成したポスタリゼーション画像を用いて新たなアルバムを作成する。
なお、アルバム作成部2408は、ポスタリゼーション画像生成部2452が生成した1つのポスタリゼーション画像を、アルバムの複数のページに配置する。具体的には、アルバム作成部2408は、ポスタリゼーション画像生成部2452が生成した1つのポスタリゼーション画像を、アルバムの表紙及び裏表紙ページ、並びにアルバムを構成するアルバム構成ページの所定の位置に配置する。このため、各アルバムに使用されるポスタリゼーション画像は、アルバム毎に独自のものとなる。このため、ポスタリゼーション画像によってアルバムを識別することができるので、ポスタリゼーション画像をアルバムの再注文、アルバムの製造工程における工程管理に用いることができる。
主画像選択部2412は、アルバムにおいて主要な画像となるべき主画像を、画像格納部2402が格納している複数の画像から選択する。関連性判断部2472は、画像格納部2402が格納している複数の画像の画像内容に基づいて、主画像選択部2412が選択した主画像と画像格納部2402が格納している複数の画像との間の関連性を判断する。そして、従画像選択部2422は、関連性判断部2472が、主画像選択部2412が選択した主画像との関連性が高いと判断した画像を、主画像選択部2412が選択した主画像にアルバムにおいて従属する画像となるべき従画像として、画像格納部2402が格納している複数の画像から選択する。そして、レイアウト決定部2410は、主画像選択部2412が選択した主画像及び従画像選択部2422が選択した従画像の内容に基づいて、主画像選択部2412が選択した主画像及び従画像選択部2422が選択した従画像をアルバムにおける同一ページにレイアウトする。
テンプレート格納部2414は、撮像された撮像時刻が主画像が撮像された撮像時刻により近い画像の主画像との関連性をより高く判断する判断条件を格納する。そして、関連性判断部2472は、撮像された撮像時刻が主画像により近い画像の主画像との関連性をより高く判断する。
テンプレート格納部2414は、構図が主画像により類似している画像の関連性をより高く判断する判断条件を格納する。構図類似性算出部2430は、画像格納部2402が格納している複数の画像に含まれる被写体の構図に基づいて、画像同士の構図の類似性の高さを算出する。そして、関連性判断部2472は、構図類似性算出部2430が主画像の構図とより高い類似性を算出した画像の主画像との関連性をより高く判断してよい。
また、テンプレート格納部2414は、画像に含まれる色が主画像とより類似している画像の関連性をより高く判断する判断条件を格納する。色類似性算出部2432は、画像格納部2402が格納している複数の画像に含まれる色の分布に基づいて画像同士の色の類似性の高さを判断する。そして、関連性判断部2472は、色類似性算出部2432が主画像とより高い色の類似性を算出した画像の主画像との関連性をより高く判断する。
また、テンプレート格納部2414は、撮像環境が主画像とより類似している画像の主画像との関連性をより高く判断する判断条件を格納する。撮像環境類似性算出部2434は、画像格納部2402が格納している複数の画像が撮像された撮像環境の類似性を算出する。そして、関連性判断部2472は、撮像環境類似性算出部2434が主画像とより高い撮像環境の類似性を判断した画像の主画像との関連性をより高く判断する。
テンプレート格納部2414は、撮像場所が主画像とより類似している画像の主画像との関連性をより高く判断する判断条件を格納する。撮像場所特定部2438は、画像格納部2402が格納している複数の画像の画像内容に基づいて、画像格納部2402が格納している複数の画像が撮像された場所が屋内であるか屋外であるかを特定する。そして、関連性判断部2472は、撮像場所特定部2438が主画像と同じ場所を特定した画像の主画像との関連性を、撮像場所特定部2438が主画像と異なる場所を特定した画像の主画像との関連性より高く算出する。
テンプレート格納部2414は、撮像時刻が主画像とより類似している画像の主画像との関連性をより高く判断する判断条件を格納する。ここでいう撮像時刻とは、例えば季節、月、一日における時刻等、撮像されたタイミングを表す概念である。時刻類似性算出部2436は、画像格納部2402が格納している複数の画像の撮像時刻の類似性を判断する。そして、関連性判断部2472は、時刻類似性算出部2436が主画像とより高い撮像時刻の類似性を算出した画像の主画像との関連性をより高く判断する。
このように、テンプレート格納部2414は、主画像と従画像の間の関連性の高さを判断する判断条件を格納する。そして、関連性判断部2472は、テンプレート格納部2414が格納している判断条件に基づいて、主画像と画像格納部2402が格納している複数の画像との間の関連性の高さを判断する。このため、アルバム作成装置100は同一のポスタリゼーション画像をアルバムの各ページに配置するので、アルバム全体として統一感のあるアルバムを作成することができる。また、アルバム作成装置100では、主人公の画像がポスタリゼーション処理されて使用されるので、ユーザ180の意図通りの独自のアルバムを作成することができる。また、アルバム作成装置100は、主画像に関連する従画像を選択するので、各ページで内容の統一感を持たせることができる。
図25は、ポスタリゼーション画像の一例を示す。ポスタリゼーション画像生成部2452は、画像2502に含まれる主人公の画像2512にポスタリゼーション処理を施して、ポスタリゼーション画像2514を生成する。ポスタリゼーション画像とは、画像の画素値を離散的な値に限定した画像であってよく、例えば、主人公の領域の画像を2値化した画像、または主人公の領域の画像を3値化した画像であってよい。なお、ポスタリゼーション画像は、主人公の領域の画像を2値化した画像、または3値化した画像には限られず、画像とは異なることが分かる程度までにポスタリゼーション処理された画像であってよい。
図26は、テンプレート格納部2414が定めるポスタリゼーション画像の配置の一例を示す。テンプレート格納部2414は、アルバムを構成する表紙及び裏表紙のアルバムタイトル、及びアルバムを構成するページのテーマをアルバムの閲覧者に印象付けるページタイトルに隣接して、ポスタリゼーション画像を配置する旨を、ポスタリゼーション画像配置情報として記載される。例えば、アルバムのカバーページ2600のポスタリゼーション画像配置情報2610には、表紙と重ねられるカバー表面の上方のアルバムタイトルに隣接する位置に、アルバムタイトルの高さと略同一の高さのポスタリゼーション画像をレイアウトする旨が定められている。同様に、裏表紙・表紙のテンプレート2601のポスタリゼーション画像配置情報2611には、アルバムの表紙となる面の上方のアルバムタイトルに隣接して、アルバムタイトルの高さと略同一の高さでポスタリゼーション画像をレイアウトする旨が定められている。同様に、アルバムの中身を構成する第1ページ及び第2ページのテンプレート2602及び2603のポスタリゼーション画像配置情報2612及び2613には、見開きページとなるページ領域の右上方のページタイトル(Casting、Be ambitious!)に隣接する位置に、アルバムタイトルの高さと略同一の高さのポスタリゼーション画像をレイアウトする旨が定められている。
そして、アルバム作成部2408は、テンプレート格納部2414が定めるポスタリゼーション画像配置情報2610〜2613の位置に応じた位置及び大きさで、ポスタリゼーション画像を配置する。なお、ポスタリゼーション画像配置情報2610〜2613には、隣接するアルバムタイトル、ページタイトル等のテキストの高さと同じ幅のポスタリゼーション画像を配置する旨が定められていてもよい。また、ポスタリゼーション画像配置情報2610〜2613には、使用色決定部2426が決定した各タイトル等のテキストに使用する色と同じ色を使用する旨が定められている。また、ポスタリゼーション画像配置情報2610〜2613には、使用色決定部2426が決定した各タイトル等のテキストの階調に応じた階調のポスタリゼーション画像を使用する旨が定められていてよい。また、ポスタリゼーション画像配置情報2610〜2613には、使用色決定部2426が決定した各タイトル等のテキストの色数に応じた階調のポスタリゼーション画像を使用する旨が定められていてよい。ポスタリゼーション画像生成部2452は、ポスタリゼーション画像配置情報に定められた色及び階調のポスタリゼーション画像を生成してよい。
以上説明したように、アルバム各タイトルに同じポスタリゼーション画像が隣接して配置されるので、全体的に統一感のあるアルバムをユーザ180に提供することができる。なお、ポスタリゼーション画像を作成する主人公の画像は、アルバムに使用される画像の中から選択されることが望ましい。アルバムに使用される画像から選択することによって、閲覧者はアルバム作成装置100によって作成したアルバムを楽しく閲覧することができる。
図27は、画像の輝度分布の一例を示す。ポスタリゼーション用画像選択部2450は、主要人物画像抽出部2496が抽出した主要人物の画像の輝度分布を算出する。輝度分布2701及び2702は、主要人物画像抽出部2496が抽出した異なる主要人物画像からポスタリゼーション用画像選択部2450が算出した輝度分布の一例を示す。
そして、ポスタリゼーション用画像選択部2450は、予め定められた基準輝度α以下の輝度値を持つ画素数の全画素数に対する割合である広がり指数Bαと、予め定められた基準輝度αより基準輝度β以上の輝度値を持つ画素数の全画素数に対する割合である広がり指数Bβを算出する。そして、ポスタリゼーション用画像選択部2450は、広がり指数Bα及びBβが予め定められた基準値より大きい画像を、ポスタリゼーション画像を生成するための画像として選択する。なお、選択条件格納部2454は、基準輝度α及びβ、並びに、当該基準輝度α及びβに対応する広がり指数Bα及びBβの最小値Bαmin及びBβminを格納してよい。そして、ポスタリゼーション用画像選択部2450は、選択条件格納部2454が格納している基準輝度α及びβ及び主要人物画像抽出部2496が選択した主要人物の画像に基づいて広がり指数Bα及びBβを算出する。そして、ポスタリゼーション用画像選択部2450は、算出された広がり指数Bα及びBβが、選択条件格納部2454が格納している広がり指数α及びβの基準値より大きい画像を、ポスタリゼーション画像を生成するのに適した画像として選択する。なお、ポスタリゼーション用画像選択部2450は、主要人物画像抽出部2496が選択した主要人物画像の中で広がり指数Bα及びBβが最も大きく、かつ、広がり指数Bα及びBβが予め定められた基準値Bαmin及びBβminより大きい画像を、ポスタリゼーション画像に適した画像としてより優先的に選択してよい。
以上説明したように、ポスタリゼーション用画像選択部2450は、コントラストがはっきりしている主要人物画像を、ポスタリゼーション処理を施す画像として選択することができる。例えば、本図の例では、ポスタリゼーション用画像選択部2450は、輝度分布2702の画像を、輝度分布2701の画像よりポスタリゼーション画像に適していると判断する。したがって、ポスタリゼーション処理によって生成されるポスタリゼーション画像の大半の領域が白くつぶれてしまったり、逆に大半の領域が黒くつぶれてしまったりすることを未然に防ぐことができる。なお、選択条件格納部2454は、基準輝度α及びβ並びにBαmin及びBβminの組み合わせの他に、人物の顔を含む画像を、人物の顔を含まない画像よりポスタリゼーション画像に適した画像として選択する旨を格納してよい。このとき、選択条件格納部2454は、人物のより正面からの顔を含む画像を、ポスタリゼーション画像により適した画像として選択する旨を格納してよい。このため、ポスタリゼーション画像生成部2452は、閲覧者が主人公の人物とポスタリゼーション画像とを結びつけて認識することができるような、主人公の特徴を模したポスタリゼーション画像を生成することができる。
なお、選択条件格納部2454は、ポスタリゼーション画像生成部2452がポスタリゼーション処理を施す階調に応じた基準輝度、及び広がり指数を格納してよい。上記の例では、選択条件格納部2454は、2値化のポスタリゼーション処理に対して、最小輝度〜基準輝度α及び基準輝度β〜最大輝度の2つの領域に含まれる画素数を基準とする旨を格納していたが、3値化のポスタリゼーション処理に対しては、例えば最小輝度〜基準輝度α、基準輝度γ〜基準輝度η、基準輝度β〜最大輝度の3つの領域に含まれる画素数を基準とする旨を格納する。これにより、選択条件格納部2454は、3値化等様々な階調に応じた適切な選択条件を、ポスタリゼーション用画像選択部2450に提供することができる。
図28は、特徴量格納部2456が格納するポスタリゼーション画像の特徴量の一例を示す。特徴量格納部2456は、ポスタリゼーション画像生成部2452が生成したポスタリゼーション画像を識別するポスタリゼーション画像IDに対応づけて、ポスタリゼーション画像のパターン情報及び色情報を格納する。例えば、特徴量格納部2456は、ポスタリゼーション処理が2値化の場合、輝度が最大輝度(例えば1)又は最小輝度(例えば0)である画素の位置を、パターン情報として格納する。他にも、特徴量格納部2456は、当該最大輝度又は最小輝度の画素の位置を、画素の位置に応じて符号化した情報をパターン情報として格納してよい。また、特徴量格納部2456は、例えば輝度が最大輝度である画素における色情報(例えば、R、G、Bの各成分)の値を格納する。
このように、特徴量格納部2456は、ポスタリゼーション画像生成部2452が既に生成したポスタリゼーション画像の特徴量を格納する。そして、ポスタリゼーション画像生成部2452は、新たにポスタリゼーション画像を生成する場合には、特徴量格納部2456が格納している特徴量と異なる特徴量を持つポスタリゼーション画像を生成する。このため、アルバム作成装置100は、既に生成したポスタリゼーション画像と異なる特徴量のポスタリゼーション画像を新たに生成して、新たに作成するアルバムに使用することができる。したがって、アルバム作成装置100は、ユーザ180に独自のポスタリゼーション画像を提供することができる。さらに、ポスタリゼーション画像は、ユーザ180による再注文に使用することもできる。例えば、ユーザ180がアルバムをフォトショップに持参したり、携帯電話等でポスタリゼーション画像を撮像した画像をフォトショップ等に送信することによって、フォトショップでは再注文すべきアルバムを容易に特定することができる。また、図26で説明したように、アルバムのカバー、裏表紙及び表紙ページ、アルバムの中身のページにポスタリゼーション画像を印刷することによって、ポスタリゼーション画像を各アルバムの識別記号として生産管理に使用することもできる。なお、ポスタリゼーション画像生成部2452は、ポスタリゼーション画像をQRコード等の2次元コードとして生成してよい。
図29は、テンプレート格納部2414が格納する判断条件の一例を示す。一の見開きページについてのテンプレート2900には、ページタイトルの位置、大きさ、及び内容を定めたページタイトル情報2911、ポスタリゼーション画像が配置されるポスタリゼーション画像配置情報2912、主画像がはめ込まれる旨が定められた画像枠2901、並びに、従画像がはめ込まれる旨が定められた画像枠2902〜2906が含まれる。この場合、レイアウト決定部2410は、画像枠2901には、主画像選択部2412が選択した主画像をはめ込む旨を決定する。
また、画像枠2902には、主画像用の画像枠2901にはめ込まれた画像と、撮像場所を判断条件として、同じ撮像場所で撮像された画像がはめ込まれる旨が定められている。また、テンプレートが定める画像枠2903、2904、2905、及び2906には、撮像時刻を判断条件として、主画像用の画像枠2901にはめ込まれた画像と略同一の撮像時刻に撮像された画像がはめ込まれる旨が定められている。このように、テンプレート格納部2414が従画像の画像枠にはめ込まれるべき画像の、主画像との関連性を判断する判断条件を格納している。
このため、従画像選択部2422は、テンプレートに定められている主画像との関連性の判断条件に適合する関連性を持つ従画像を選択することができる。例えば、画像枠2903〜2906には、主画像が撮像された場合と時間的に連続するシーンの画像が配置され、画像枠2902には、場所及び時間的に連続するシーンの画像が配置され得る。このため、アルバム作成装置100は、全く関連性のない画像が配置されることを未然に防ぐことができる。なお、テンプレート格納部2414は、当該関連条件に適合するページタイトル2911を格納している。以上説明したように、アルバム作成装置100は、同一の見開きページに、関連するシーンが撮像された画像を配置することができる。このため、アルバム作成装置100は、画像が配置されるイメージに適合させることができる。
図30は、アルバム作成装置100に係るコンピュータ1500のハードウェア構成の一例を示す。コンピュータ1500は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、コンピュータ1500内のCPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワークを介してアルバム作成装置100と通信し、アルバム作成装置100にプログラム、及びデータを提供する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動時に実行するブート・プログラムや、コンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM1520を介して通信インターフェイス1530に提供されるプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM1520を介して通信インターフェイス1530に提供され、ネットワークを介してアルバム作成装置100に送信される。アルバム作成装置100に送信されたプログラムは、アルバム作成装置100においてインストールされて実行される。
アルバム作成装置100にインストールされて実行されるプログラムは、アルバム作成装置100を、図1から図23にかけて説明した画像格納部202、オブジェクト抽出部206、オブジェクト画像数算出部208、レイアウト決定部210、主画像選択部212、従画像選択部222、トリミング部224、人物認識部230、動作量算出部232、面積輪郭比算出部234、画像分類部240、類似度算出部242、撮像時刻分布算出部252、撮像位置分布算出部254、重要性判断部260、関連性判断部272、距離算出部274、特定被写体情報取得部290、主要人物画像選択部296、特徴色抽出部226、テンプレート配色決定部228、テンプレート格納部214、合成情報格納部216、光源特定部256、構図類似性算出部258、及びアルバム情報記録部270として機能させる。また、アルバム作成装置100にインストールされて実行されるプログラムは、画像分類部240を、撮像時刻分類部262及び撮像位置分類部264として機能させ、レイアウト決定部210を、配置位置決定部282及びサイズ決定部284として機能させる。また、アルバム作成装置100にインストールされて実行されるプログラムは、特定被写体情報取得部290を、主要人物入力部292及び主要人物特定部294として機能させる。また、図22から図29にかけて説明したアルバム作成装置100にインストールされて実行されるプログラムは、当該アルバム作成装置100を、図22から図29にかけて説明した画像格納部2402、アルバム作成部2408、テンプレート格納部2414、使用色決定部2426、アルバム使用画像選択部2420、ポスタリゼーション用画像選択部2450、ポスタリゼーション画像生成部2452、選択条件格納部2454、特徴量格納部2456、及び特定被写体情報取得部2490として機能させる。また、当該プログラムは、アルバム使用画像選択部2420を、図22から図29にかけて説明した主画像選択部2412、従画像選択部2422、構図類似性算出部2430、色類似性算出部2432、撮像環境類似性算出部2434、時刻類似性算出部2436、撮像場所特定部2438、及び関連性判断部2472として機能させ、特定被写体情報取得部2490を、図22から図29にかけて説明した主要人物入力部2492及び主要人物特定部2494として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1500に提供してもよい。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
アルバム作成装置100の利用環境の一例を示す図である。 アルバムのページのレイアウト結果の一例を示す図である。 アルバム作成装置100ブロック構成の一例を示す図である。 アルバムを作成する処理フローの一例を示す図である。 画像を分類する処理フローの一例を示す図である。 撮像位置分布によるページ分けが望ましいケースの一例を示す図である。 撮像時刻分布によるページ分けが望ましいケースの一例を示す図である。 撮像位置の重要性を判断する方法の一例を示す図である。 撮像時刻分布に基づく画像のページ分けの一例を示す図である。 撮像位置分布に基づく画像のページ分けの一例を示す図である。 主画像を選択する処理フローの一例を示す図である。 オブジェクトの動作量を算出する方法の一例を示す図である。 オブジェクトの重要度を判断する方法の一例を示す図である。 従画像を選択する処理フローの一例を示す図である。 従画像を選択する処理フローの他の一例を示す図である。 従画像を選択する処理フローの更なる他の一例を示す図である。 特定被写体情報取得部290の処理フローの一例を示す図である。 特定被写体情報の内容の一例を示す図である。 テンプレートの一例を示す図である。 レイアウト結果2002及び2004の一例を示す図である。 画像の合成情報の一例を示す図である。 特徴色抽出部226が特徴色を抽出する方法の一例を示す図である。 記録媒体160に記録されるアルバム情報ファイルのディレクトリ構成の一例を示す図である。 アルバム作成装置100の他の実施形態におけるブロック構成の一例を示す図である。 ポスタリゼーション画像の一例を示す図である。 ポスタリゼーション画像の配置の一例を示す図である。 画像の輝度分布の一例を示す図である。 ポスタリゼーション画像の特徴量の一例を示す図である。 テンプレート格納部2414が格納する判断条件の一例を示す図である。 アルバム作成装置100に係るコンピュータのハードウェア構成の一例を示す図である。
符号の説明
100 アルバム作成装置
110 撮像装置
150 通信回線
180 ユーザ
202 画像格納部
206 オブジェクト抽出部
208 オブジェクト画像数算出部
210 レイアウト決定部
212 主画像選択部
214 テンプレート格納部
216 合成情報格納部
222 従画像選択部
224 トリミング部
226 特徴色抽出部
228 テンプレート配色決定部
230 人物認識部
232 動作量算出部
234 面積輪郭比算出部
240 画像分類部
242 類似度算出部
252 撮像時刻分布算出部
254 撮像位置分布算出部
256 光源特定部
258 構図類似性算出部
260 重要性判断部
262 撮像時刻分類部
264 撮像位置分類部
266 主要被写体分類部
270 アルバム情報記録部
272 関連性判断部
274 距離算出部
282 配置位置決定部
284 サイズ決定部
290 特定被写体情報取得部
292 主要人物入力部
294 主要人物特定部
296 主要人物画像選択部
2402 画像格納部
2408 アルバム作成部
2410 レイアウト決定部
2412 主画像選択部
2414 テンプレート格納部
2420 アルバム使用画像選択部
2422 従画像選択部
2426 使用色決定部
2430 構図類似性算出部
2432 色類似性算出部
2434 撮像環境類似性算出部
2436 時刻類似性算出部
2438 撮像場所特定部
2450 ポスタリゼーション用画像選択部
2452 ポスタリゼーション画像生成部
2454 選択条件格納部
2456 特徴量格納部
2472 関連性判断部
2490 特定被写体情報取得部
2492 主要人物入力部
2494 主要人物特定部

Claims (34)

  1. 複数の画像を格納する画像格納部と、
    アルバムにおいて主要な画像となるべき主画像を、前記画像格納部が格納している複数の画像から選択する主画像選択部と、
    前記主画像選択部が選択した主画像の内容に基づいて、前記主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、前記画像格納部が格納している複数の画像から選択する従画像選択部と、
    前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像の内容に基づいて、前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像の、アルバムにおけるレイアウトを決定するレイアウト決定部と
    を備えるアルバム作成装置。
  2. 前記画像格納部が格納している複数の画像を、画像の撮像環境に基づくイベント毎に分類する画像分類部
    をさらに備え、
    前記主画像選択部は、前記画像分類部が分類したイベント毎に主画像をそれぞれ選択し、
    前記従画像選択部は、前記画像分類部が分類したイベント毎に従画像をそれぞれ選択する
    請求項1に記載のアルバム作成装置。
  3. 前記画像分類部は、前記画像格納部が格納している複数の画像を、画像の撮像時刻に応じて、アルバムにおけるページ毎に分類する
    請求項2に記載のアルバム作成装置。
  4. 前記画像分類部は、前記画像格納部が格納している複数の画像を、画像の撮像位置に応じて、アルバムにおけるページ毎に分類する
    請求項2に記載のアルバム作成装置。
  5. 前記主画像選択部が選択した主画像と、前記主画像選択部が選択した主画像と同一のイベントに分類された他の画像のそれぞれとの類似度を算出する類似度算出部
    をさらに備え、
    前記従画像選択部は、前記画像分類部が分類したイベント毎に、前記主画像選択部が選択した主画像との類似度が小さい画像を従画像として選択する
    請求項2に記載のアルバム作成装置。
  6. 前記従画像選択部は、前記主画像選択部が選択した主画像の被写体と異なる被写体を含む画像を従画像として選択する
    請求項2に記載のアルバム作成装置。
  7. 前記従画像選択部は、前記主画像選択部が選択した主画像の被写体である人物と異なる人物を被写体として含む画像を従画像として選択する
    請求項2に記載のアルバム作成装置。
  8. 前記従画像選択部は、前記画像分類部が分類したイベントに属する画像の数がより多い場合により多い数の従画像を選択する
    請求項2に記載のアルバム作成装置。
  9. 前記レイアウト決定部は、
    前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像の、アルバムにおけるサイズを決定するサイズ決定部
    を有する請求項1に記載のアルバム作成装置。
  10. 前記サイズ決定部は、前記主画像選択部が選択した主画像のサイズを、前記従画像選択部が選択した従画像のサイズより大きく決定する
    請求項9に記載のアルバム作成装置。
  11. 前記レイアウト決定部は、
    前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像の、アルバムにおける配置位置を決定する配置位置決定部
    を有する請求項1に記載のアルバム作成装置。
  12. 前記画像格納部が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる主要人物入力部と、
    前記主要人物入力部から入力された主要人物を含む画像及び位置から、主要人物の画像を特定する主要人物特定部と、
    前記主要人物特定部が特定した主要人物の画像を、前記画像格納部が格納する複数の画像に含まれる被写体と比較することによって、前記画像格納部が格納する複数の画像から、主要人物が含まれる画像を選択する主要人物画像選択部と
    をさらに備え、
    前記主画像選択部は、前記主要人物画像選択部が選択した画像の中から主画像を選択する
    請求項1に記載のアルバム作成装置。
  13. 前記主要人物入力部は、第1主要人物を含む画像及び当該画像における第1主要人物の位置並び第2主要人物を含む画像及び当該画像における第2主要人物の位置を入力させ、
    前記主要人物特定部は、前記主要人物入力部から入力された第1主要人物を含む画像及び位置並びに第2主要人物を含む画像及び位置から、第1主要人物及び第2主要人物の画像を特定し、
    前記主要人物画像選択部は、前記主要人物特定部が特定した第1主要人物及び第2主要人物の画像を、前記画像格納部が格納する複数の画像に含まれる被写体と比較することによって、前記画像格納部が格納する複数の画像から、第1主要人物が含まれる画像及び第2主要人物が含まれる画像を選択し、
    前記主画像選択部は、前記主要人物画像選択部が選択した第1主要人物が含まれる画像及び第2主要人物が含まれる画像の中から主画像を選択し、
    前記従画像選択部は、前記主画像選択部が選択した主画像の内容に基づいて、前記主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、前記画像格納部が格納している複数の画像から選択し、
    前記レイアウト決定部は、同一ページにレイアウトした複数の画像に含まれる第1主要人物及び第2主要人物の数が略同一になるように、前記主画像及び前記従画像をレイアウトを決定する
    請求項12に記載のアルバム作成装置。
  14. 前記主要人物入力部は、第1主要人物を含む画像及び当該画像における第1主要人物の位置並び第2主要人物を含む画像及び当該画像における第2主要人物の位置を入力させ、
    前記主要人物特定部は、前記主要人物入力部から入力された第1主要人物を含む画像及び位置並びに第2主要人物を含む画像及び位置から、第1主要人物及び第2主要人物の画像を特定し、
    前記主要人物画像選択部は、前記主要人物特定部が特定した第1主要人物及び第2主要人物の画像を、前記画像格納部が格納する複数の画像に含まれる被写体と比較することによって、前記画像格納部が格納する複数の画像から、第1主要人物が含まれる画像及び第2主要人物が含まれる画像を選択し、
    前記主画像選択部は、前記主要人物画像選択部が選択した第1主要人物が含まれる画像及び第2主要人物が含まれる画像の中から主画像を選択し、
    前記従画像選択部は、前記主画像選択部が選択した主画像の内容に基づいて、前記主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、前記画像格納部が格納している複数の画像から選択し、
    前記レイアウト決定部は、同一ページにレイアウトした複数の画像に含まれる第1主要人物及び第2主要人物の数が略同一になるように、前記主画像及び前記従画像をレイアウトを決定し、
    前記レイアウト決定部は、第1主要人物及び第2主要人物を含むアルバムのページに含まれる第1の主要人物の面積と第2の主要人物の面積とが略同一になるレイアウトを決定する
    請求項12に記載のアルバム作成装置。
  15. 前記複数の画像を含むアルバムのテンプレートを格納するテンプレート格納部と、
    前記主画像選択部が選択した主画像に含まれる複数の色から、特徴色を抽出する特徴色抽出部と、
    前記特徴色抽出部が抽出した特徴色に基づいて、前記複数の画像を含むアルバムのテンプレートの配色を決定するテンプレート配色決定部と
    をさらに備える請求項1に記載のアルバム作成装置。
  16. 前記画像格納部が格納している複数の画像を、画像が撮像されたときの撮像条件に応じて、アルバムにおけるページ毎に分類する画像分類部
    をさらに備え、
    前記主画像選択部は、前記画像分類部が分類した撮像条件毎に主画像をそれぞれ選択し、
    前記従画像選択部は、前記画像分類部が分類した撮像条件毎に従画像をそれぞれ選択する
    請求項1に記載のアルバム作成装置。
  17. 前記画像分類部は、前記画像格納部が格納している複数の画像を、画像が撮像されたときのシャッタ速度に応じて、アルバムにおけるページ毎に分類する
    請求項16に記載のアルバム作成装置。
  18. 前記画像格納部が格納する複数の画像の画像内容から、画像が撮像されたときの主な光源の種類を特定する光源特定部
    をさらに備え、
    前記画像分類部は、前記画像格納部が格納している複数の画像を、前記光源特定部が特定した光源の種類に応じて、アルバムにおけるページ毎に分類する
    請求項2に記載のアルバム作成装置。
  19. 前記画像格納部が格納している複数の画像の間の構図の類似性の高さを算出する構図類似性算出部と、
    前記構図類似性算出部がより高い類似性を算出した画像を、アルバムにおける同じページに分類する画像分類部と
    をさらに備え、
    前記レイアウト決定部は、前記画像分類部が同一ページに分類した複数の画像のうち、前記構図類似性算出部がより低い類似性を算出した画像を用いて当該ページにレイアウトする
    請求項1に記載のアルバム作成装置。
  20. 複数の画像を格納する画像格納段階と、
    アルバムにおいて主要な画像となるべき主画像を、前記画像格納段階において格納されている複数の画像から選択する主画像選択段階と、
    前記主画像選択段階において選択された主画像の内容に基づいて、前記主画像選択段階において選択された主画像に、アルバムにおいて従属する画像となるべき従画像を、前記画像格納段階において格納されている複数の画像から選択する従画像選択段階と、
    前記主画像選択段階において選択された主画像及び前記従画像選択段階において選択された従画像の内容に基づいて、前記主画像選択段階において選択された主画像及び前記従画像選択段階において選択された従画像の、アルバムにおけるレイアウトを決定するレイアウト決定段階と
    を備えるアルバム作成方法。
  21. アルバムを作成するアルバム作成装置用のプログラムであって、前記アルバム作成装置を、
    複数の画像を格納する画像格納部、
    アルバムにおいて主要な画像となるべき主画像を、前記画像格納部が格納している複数の画像から選択する主画像選択部、
    前記主画像選択部が選択した主画像の内容に基づいて、前記主画像選択部が選択した主画像に、アルバムにおいて従属する画像となるべき従画像を、前記画像格納部が格納している複数の画像から選択する従画像選択部、
    前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像の内容に基づいて、前記主画像選択部が選択した主画像及び前記従画像選択部が選択した従画像の、アルバムにおけるレイアウトを決定するレイアウト決定部
    として機能させるプログラム。
  22. 複数の画像を格納する画像格納部と、
    前記画像格納部が格納している複数の画像のうちのアルバムにおける主要人物の画像を特定する主要人物特定部と、
    前記主要人物特定部が特定した主要人物の画像を前記画像格納部が格納する複数の画像に含まれる被写体画像と比較することによって、前記画像格納部が格納する複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する主要人物画像抽出部と、
    前記主要人物画像抽出部が抽出した複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択するポスタリゼーション用画像選択部と、
    前記ポスタリゼーション用画像選択部が選択した画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成するポスタリゼーション画像生成部と、
    前記ポスタリゼーション画像生成部が生成したポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成するアルバム作成部と
    を備えるアルバム作成装置。
  23. 前記画像格納部が格納する複数の画像のうちのアルバムにおける主要人物を含む画像及び当該画像における主要人物の位置を入力させる主要人物入力部
    をさらに備え、
    前記主要人物特定部は、前記主要人物入力部から入力された主要人物を含む画像及び位置から、主要人物の画像を特定する
    請求項22に記載のアルバム作成装置。
  24. ポスタリゼーションに適した画像を選択する選択条件を格納する選択条件格納部
    をさらに備え、
    前記ポスタリゼーション用画像選択部は、前記選択条件格納部が格納している選択条件に合致するポスタリゼーション画像を選択する
    請求項22に記載のアルバム作成装置。
  25. 前記選択条件格納部は、ポスタリゼーション画像に適する輝度分布の広がりを示す選択条件を格納し、
    前記ポスタリゼーション用画像選択部は、前記選択条件格納部が格納している輝度分布の広がりに適合する輝度分布の広がりを持つ画像を選択する
    請求項24に記載のアルバム作成装置。
  26. ポスタリゼーション処理の階調を決定するポスタリゼーション階調決定部
    をさらに備え、
    前記選択条件格納部は、ポスタリゼーションの階調毎に選択条件を格納しており、
    前記ポスタリゼーション用画像選択部は、前記ポスタリゼーション階調決定部が決定したポスタリゼーション画像の階調に対応づけて前記選択条件格納部が格納する選択条件に合致するポスタリゼーション画像を選択し、
    前記ポスタリゼーション画像生成部は、前記ポスタリゼーション用画像選択部が選択した画像に、前記ポスタリゼーション階調決定部が決定した階調でポスタリゼーションを施して、アルバムに使用するポスタリゼーション画像を生成する
    請求項25に記載のアルバム作成装置。
  27. アルバムの各ページのテンプレートが定める文字に使用する文字色をそれぞれ決定する使用色決定部
    をさらに備え、
    前記ポスタリゼーション階調決定部は、前記使用色決定部が決定した文字に使用する色の数がより多い場合に、ポスタリゼーション処理の階調をより大きく決定する
    請求項26に記載のアルバム作成装置。
  28. アルバムの各ページのテンプレートが定める文字に使用する文字色をそれぞれ決定する使用色決定部
    をさらに備え、
    前記ポスタリゼーション画像生成部は、前記ポスタリゼーション用画像選択部が選択した画像にポスタリゼーション処理を施して、前記使用色決定部が決定した文字色のポスタリゼーション画像を生成し、
    前記アルバム作成部は、前記ポスタリゼーション画像生成部が生成したポスタリゼーション画像を、各ページにおいて前記使用色決定部が決定した文字色が使用される文字に隣接させたレイアウトのページを含むアルバムを作成する
    請求項22に記載のアルバム作成装置。
  29. 前記画像格納部が格納する複数の画像の中からアルバムに使用する複数の画像を選択するアルバム使用画像選択部
    をさらに備え、
    前記主要人物画像抽出部は、前記アルバム使用画像選択部が選択した複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出し、
    前記ポスタリゼーション用画像選択部は、前記主要人物画像抽出部が抽出した複数の主要人物画像の中から、ポスタリゼーションに適した画像を選択する
    請求項22に記載のアルバム作成装置。
  30. 前記アルバム作成部は、前記ポスタリゼーション画像生成部が生成した1つのポスタリゼーション画像を、アルバムの複数のページに配置する
    請求項22に記載のアルバム作成装置。
  31. 前記アルバム作成部は、前記ポスタリゼーション画像生成部が生成した1つのポスタリゼーション画像を、アルバムの表紙及び裏表紙ページ、並びにアルバムを構成するアルバム構成ページの所定の位置に配置する
    請求項30に記載のアルバム作成装置。
  32. 前記アルバム作成部が作成したアルバムに用いたポスタリゼーション画像の特徴量を格納する特徴量格納部
    をさらに備え、
    前記ポスタリゼーション画像生成部は、前記アルバム作成部が新たにアルバムを作成する場合に、前記特徴量格納部が格納しているポスタリゼーション画像の特徴量のいずれとも異なる特徴量を持つポスタリゼーション画像を生成し、
    前記アルバム作成部は、前記ポスタリゼーション画像生成部が生成したポスタリゼーション画像を用いて新たなアルバムを作成する
    請求項22に記載のアルバム作成装置。
  33. 複数の画像を格納する画像格納段階と、
    前記画像格納段階において格納されている複数の画像のうちのアルバムにおける主要人物の画像を特定する主要人物特定段階と、
    前記主要人物特定段階において特定された主要人物の画像を前記画像格納段階において格納されている複数の画像に含まれる被写体画像と比較することによって、前記画像格納段階において格納されている複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する主要人物画像抽出段階と、
    前記主要人物画像抽出段階において抽出された複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択するポスタリゼーション用画像選択段階と、
    前記ポスタリゼーション用画像選択段階において選択された画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成するポスタリゼーション画像生成段階と、
    前記ポスタリゼーション画像生成段階において生成されたポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成するアルバム作成段階と
    を備えるアルバム作成方法。
  34. アルバムを作成するアルバム作成装置用のプログラムであって、前記アルバム作成装置を、
    複数の画像を格納する画像格納部、
    前記画像格納部が格納している複数の画像のうちのアルバムにおける主要人物の画像を特定する主要人物特定部、
    前記主要人物特定部が特定した主要人物の画像を前記画像格納部が格納する複数の画像に含まれる被写体画像と比較することによって、前記画像格納部が格納する複数の画像に含まれる被写体画像から、主要人物の被写体画像である主要人物画像を複数抽出する主要人物画像抽出部、
    前記主要人物画像抽出部が抽出した複数の主要人物画像の中から、ポスタリゼーション処理に適した画像を選択するポスタリゼーション用画像選択部、
    前記ポスタリゼーション用画像選択部が選択した画像にポスタリゼーション処理を施して、アルバムに使用するポスタリゼーション画像を生成するポスタリゼーション画像生成部、
    前記ポスタリゼーション画像生成部が生成したポスタリゼーション画像を用いて、主要人物の画像を含むアルバムを作成するアルバム作成部
    として機能させるプログラム。
JP2006021534A 2005-03-15 2006-01-30 アルバム作成装置、アルバム作成方法、及びプログラム Pending JP2006295890A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006021534A JP2006295890A (ja) 2005-03-15 2006-01-30 アルバム作成装置、アルバム作成方法、及びプログラム
EP06729306.8A EP1866868B1 (en) 2005-03-15 2006-03-13 Album generating apparatus, album generating method and program
CN200680008610XA CN101142595B (zh) 2005-03-15 2006-03-13 影集产生设备、影集产生方法及程序
PCT/JP2006/305316 WO2006098417A1 (en) 2005-03-15 2006-03-13 Album generating apparatus, album generating method and program
US11/898,632 US8055080B2 (en) 2005-03-15 2007-09-13 Album generating apparatus, album generating method and computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005074088 2005-03-15
JP2006021534A JP2006295890A (ja) 2005-03-15 2006-01-30 アルバム作成装置、アルバム作成方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2006295890A true JP2006295890A (ja) 2006-10-26

Family

ID=36991760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006021534A Pending JP2006295890A (ja) 2005-03-15 2006-01-30 アルバム作成装置、アルバム作成方法、及びプログラム

Country Status (5)

Country Link
US (1) US8055080B2 (ja)
EP (1) EP1866868B1 (ja)
JP (1) JP2006295890A (ja)
CN (1) CN101142595B (ja)
WO (1) WO2006098417A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008053906A1 (en) 2006-10-31 2008-05-08 Canon Kabushiki Kaisha Electrophotographic photosensitive body, method for producing electrophotographic photosensitive body, process cartridge, and electrophotographic device
WO2008120630A1 (ja) * 2007-03-29 2008-10-09 Fujifilm Corporation アルバム作成装置、方法およびプログラム
JP2009223509A (ja) * 2008-03-14 2009-10-01 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
JP2010134216A (ja) * 2008-12-05 2010-06-17 Nikon Systems Inc 画像表示装置及び画像表示装置を有するデジタルカメラ
JP2010153936A (ja) * 2008-12-23 2010-07-08 Nikon Systems Inc 画像評価装置及び画像評価プログラム
JP2012004748A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器及び動画像再生方法
WO2012017620A1 (ja) * 2010-08-04 2012-02-09 パナソニック株式会社 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP2012507189A (ja) * 2008-10-26 2012-03-22 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. コンテンツベース・フィルタリング及びテーマベース・クラスタリングを用いたページ内へのイメージの配置
KR20150066952A (ko) * 2013-12-09 2015-06-17 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP2016058937A (ja) * 2014-09-11 2016-04-21 辰巳電子工業株式会社 遊戯用画像編集装置、遊戯用画像編集方法およびコンピュータ・プログラム
JP2017501467A (ja) * 2013-10-22 2017-01-12 ノキア テクノロジーズ オサケユイチア 関連性に基づく視覚メディアアイテムの変更
JP2017527058A (ja) * 2015-07-28 2017-09-14 シャオミ・インコーポレイテッド 画像表示方法、装置、プログラムおよび記録媒体
US9972113B2 (en) 2014-01-15 2018-05-15 Fujitsu Limited Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images
JP2018097484A (ja) * 2016-12-09 2018-06-21 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
JP2019009798A (ja) * 2018-08-28 2019-01-17 キヤノン株式会社 プログラム
JP2019045961A (ja) * 2017-08-30 2019-03-22 大日本印刷株式会社 撮影編集プログラム及び撮影編集方法
EP3495996A3 (en) * 2017-11-21 2019-10-09 Guangdong OPPO Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, and electronic device

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006081020A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2008035328A (ja) * 2006-07-31 2008-02-14 Fujifilm Corp テンプレート生成装置、画像配置装置、変更テンプレート生成装置およびそのプログラム
US8456691B2 (en) * 2008-11-21 2013-06-04 Xerox Corporation Dynamic imposition based on perceived page value
US10916043B2 (en) * 2007-11-26 2021-02-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for generating a template for arranging at least one object at at least one place
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
JP5043767B2 (ja) 2008-07-08 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP5183384B2 (ja) * 2008-09-18 2013-04-17 キヤノン株式会社 レイアウト処理方法、レイアウト処理装置、レイアウト制御プログラム
JP5388683B2 (ja) * 2009-05-12 2014-01-15 キヤノン株式会社 画像配置装置、画像配置方法、プログラム及び記憶媒体
WO2011014168A1 (en) * 2009-07-29 2011-02-03 Hewlett-Packard Development Company, L.P. System and method for producing a media compilation
US8854395B2 (en) * 2009-07-30 2014-10-07 Intellectual Ventures Fund 83 Llc Method for producing artistic image template designs
US8849853B2 (en) * 2009-07-30 2014-09-30 Intellectual Ventures Fund 83 Llc Method for matching artistic attributes of a template and secondary images to a primary image
US20110029562A1 (en) * 2009-07-30 2011-02-03 Whitby Laura R Coordinating user images in an artistic design
US20110029914A1 (en) * 2009-07-30 2011-02-03 Whitby Laura R Apparatus for generating artistic image template designs
US20110029635A1 (en) * 2009-07-30 2011-02-03 Shkurko Eugene I Image capture device with artistic template design
US8422794B2 (en) 2009-07-30 2013-04-16 Intellectual Ventures Fund 83 Llc System for matching artistic attributes of secondary image and template to a primary image
US8078623B2 (en) * 2009-10-14 2011-12-13 Cyberlink Corp. Systems and methods for summarizing photos based on photo information and user preference
JP2011107997A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9152318B2 (en) 2009-11-25 2015-10-06 Yahoo! Inc. Gallery application for content viewing
US9253447B2 (en) * 2009-12-29 2016-02-02 Kodak Alaris Inc. Method for group interactivity
US20110157218A1 (en) * 2009-12-29 2011-06-30 Ptucha Raymond W Method for interactive display
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US20120082401A1 (en) * 2010-05-13 2012-04-05 Kelly Berger System and method for automatic discovering and creating photo stories
WO2012102015A1 (ja) * 2011-01-28 2012-08-02 パナソニック株式会社 画像データ処理装置、方法、プログラム及び集積回路
JP5506864B2 (ja) * 2011-06-20 2014-05-28 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8634660B2 (en) * 2011-09-07 2014-01-21 Intellectual Ventures Fund 83 Llc Event classification method using lit candle detection
US8634661B2 (en) * 2011-09-07 2014-01-21 Intellectual Ventures Fund 83 Llc Event classification method using light source detection
US20130058577A1 (en) * 2011-09-07 2013-03-07 Peter O. Stubler Event classification method for related digital images
JP5993642B2 (ja) * 2012-07-09 2016-09-14 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP6012309B2 (ja) * 2012-07-09 2016-10-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US20140098991A1 (en) * 2012-10-10 2014-04-10 PixArt Imaging Incorporation, R.O.C. Game doll recognition system, recognition method and game system using the same
US9092697B2 (en) * 2013-02-07 2015-07-28 Raytheon Company Image recognition system and method for identifying similarities in different images
JP5936658B2 (ja) * 2013-09-24 2016-06-22 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5788455B2 (ja) * 2013-09-30 2015-09-30 富士フイルム株式会社 画像割当装置および画像割当方法
CN104133917B (zh) * 2014-08-15 2018-08-10 百度在线网络技术(北京)有限公司 照片的分类存储方法及装置
KR102193567B1 (ko) * 2015-06-17 2020-12-22 삼성전자주식회사 복수의 이미지를 디스플레이하는 전자 장치 및 이의 이미지 처리 방법
JP6533481B2 (ja) * 2016-03-16 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10366144B2 (en) * 2016-04-01 2019-07-30 Ebay Inc. Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
JP6942464B2 (ja) * 2016-12-09 2021-09-29 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106899829B (zh) * 2017-02-07 2018-06-29 深圳云天励飞技术有限公司 一种视频处理方法及装置
JP6769554B2 (ja) * 2017-07-07 2020-10-14 日本電気株式会社 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
JP6712614B2 (ja) * 2018-04-17 2020-06-24 楽天株式会社 ページ生成システム、ページ生成方法、及びプログラム
JP7250567B2 (ja) * 2019-02-28 2023-04-03 キヤノン株式会社 装置、方法、及びプログラム
JP7311319B2 (ja) * 2019-06-19 2023-07-19 ファナック株式会社 時系列データ表示装置
US11468869B2 (en) * 2020-08-18 2022-10-11 Micron Technology, Inc. Image location based on perceived interest and display position
CN113160181B (zh) * 2021-04-25 2021-12-03 湖南九九智能环保股份有限公司 一种基于图像识别的成堆型材计数方法
US12159483B2 (en) 2022-04-08 2024-12-03 Bank Of America Corporation System for frequency filtering in image analysis for identity verification

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7290365B1 (en) 2002-12-18 2007-11-06 Pioneer Photo Albums, Inc. 12×12 photograph insert page
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JP3528214B2 (ja) * 1993-10-21 2004-05-17 株式会社日立製作所 画像表示方法及び装置
US5600768A (en) * 1995-06-06 1997-02-04 Apple Computer, Inc. Image generation with dynamically consolidated list of image data
JPH10126731A (ja) 1996-10-17 1998-05-15 Toppan Printing Co Ltd 旅行アルバム作成システム
JP3731952B2 (ja) 1996-10-18 2006-01-05 シャープ株式会社 動画像検索用情報生成装置
JPH10293856A (ja) 1997-02-19 1998-11-04 Canon Inc 画像編集装置及び方法並びにプログラムを記録した記録媒体
US6123362A (en) 1998-10-26 2000-09-26 Eastman Kodak Company System and method of constructing a photo collage
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6636648B2 (en) * 1999-07-02 2003-10-21 Eastman Kodak Company Albuming method with automatic page layout
JP4017804B2 (ja) 2000-02-18 2007-12-05 富士フイルム株式会社 画像撮影装置、画像処理装置、及び画像管理方法
US6748097B1 (en) * 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
US6766332B2 (en) * 2000-10-19 2004-07-20 Fuji Photo Film Co., Ltd. Electronic image display device and printing system therefor
AU2002230449A1 (en) 2000-11-15 2002-05-27 Mark Frigon Method and apparatus for processing objects in online images
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
US6964025B2 (en) * 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
US6915011B2 (en) * 2001-03-28 2005-07-05 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US20020154147A1 (en) * 2001-04-20 2002-10-24 Battles Amy E. Photo ranking system for creating digital album pages
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US20020167538A1 (en) * 2001-05-11 2002-11-14 Bhetanabhotla Murthy N. Flexible organization of information using multiple hierarchical categories
US6996782B2 (en) 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US6810146B2 (en) * 2001-06-01 2004-10-26 Eastman Kodak Company Method and system for segmenting and identifying events in images using spoken annotations
US6832006B2 (en) 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
JP4749628B2 (ja) * 2001-09-07 2011-08-17 パナソニック株式会社 アルバム作成装置、アルバム作成方法およびアルバム作成プログラム
US7203380B2 (en) * 2001-11-16 2007-04-10 Fuji Xerox Co., Ltd. Video production and compaction with collage picture frame user interface
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
US6850247B1 (en) * 2002-01-06 2005-02-01 Apple Computer, Inc. Method and apparatus for image acquisition, organization, manipulation, and publication
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
JP2003259285A (ja) * 2002-02-27 2003-09-12 Konica Corp 画像処理システム
US20040004663A1 (en) 2002-07-02 2004-01-08 Lightsurf Technologies, Inc. Imaging system providing automatic organization and processing of images based on location
US7148990B2 (en) * 2002-08-15 2006-12-12 Hewlett-Packard Development Company, L.P. System and method for producing a photobook
JP4048907B2 (ja) 2002-10-15 2008-02-20 セイコーエプソン株式会社 複数の画像データのパノラマ合成
US7362919B2 (en) 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
US7634138B2 (en) 2002-12-20 2009-12-15 Eastman Kodak Company Method for generating an image of a detected subject
US7027513B2 (en) 2003-01-15 2006-04-11 Microsoft Corporation Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy
US7369164B2 (en) 2003-04-11 2008-05-06 Eastman Kodak Company Using favorite digital images to organize and identify electronic albums
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
US6865297B2 (en) * 2003-04-15 2005-03-08 Eastman Kodak Company Method for automatically classifying images into events in a multimedia authoring application
KR20060034249A (ko) 2003-06-30 2006-04-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 이미지들의 강화된 조직화 및 검색
US7747625B2 (en) 2003-07-31 2010-06-29 Hewlett-Packard Development Company, L.P. Organizing a collection of objects
US7573486B2 (en) 2003-08-18 2009-08-11 LumaPix Inc. Method and system for automatic generation of image distributions
JP4168980B2 (ja) 2003-08-22 2008-10-22 セイコーエプソン株式会社 要素レイアウト装置および要素レイアウトプログラム、並びに要素レイアウト方法
US8522268B2 (en) 2003-10-10 2013-08-27 Concurrent Computer Corporation Method and apparatus for creating a targeted integrated image
JP2005128785A (ja) 2003-10-23 2005-05-19 Sony Corp 記録媒体及び電子アルバム作成装置
US7822233B2 (en) * 2003-11-14 2010-10-26 Fujifilm Corporation Method and apparatus for organizing digital media based on face recognition
WO2005050986A1 (ja) 2003-11-19 2005-06-02 National Institute Of Information And Communications Technology, Independent Administrative Agency 映像内容の提示方法及び装置
JP4333360B2 (ja) * 2003-12-26 2009-09-16 セイコーエプソン株式会社 顔画像レイアウトシステム及び顔画像レイアウトプログラム
US20050278371A1 (en) 2004-06-15 2005-12-15 Karsten Funk Method and system for georeferential blogging, bookmarking a location, and advanced off-board data processing for mobile systems
JP4547214B2 (ja) * 2004-09-10 2010-09-22 富士フイルム株式会社 電子アルバム表示システム、電子アルバム表示方法、及びプログラム
KR100601997B1 (ko) * 2004-10-12 2006-07-18 삼성전자주식회사 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
US20060092771A1 (en) 2004-10-29 2006-05-04 Eastman Kodak Company Automated method and system for creating an image storage device for playback on a playback mechanism
US7653261B2 (en) * 2004-11-12 2010-01-26 Microsoft Corporation Image tapestry
JP2006190259A (ja) * 2004-12-06 2006-07-20 Canon Inc 手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラム
US8311733B2 (en) 2005-02-15 2012-11-13 The Invention Science Fund I, Llc Interactive key frame image mapping system and method
JP4881034B2 (ja) * 2005-02-28 2012-02-22 富士フイルム株式会社 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム
US8161377B2 (en) * 2005-03-01 2012-04-17 Hewlett-Packard Development Company, L.P. Arranging images on pages of an album
US7796785B2 (en) * 2005-03-03 2010-09-14 Fujifilm Corporation Image extracting apparatus, image extracting method, and image extracting program
JP4504322B2 (ja) * 2005-03-03 2010-07-14 富士フイルム株式会社 画像抽出装置、画像抽出方法、及び画像抽出プログラム
JP4704224B2 (ja) * 2005-03-04 2011-06-15 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006287917A (ja) * 2005-03-08 2006-10-19 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4704253B2 (ja) * 2005-04-13 2011-06-15 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006331393A (ja) * 2005-04-28 2006-12-07 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
EP1899920B1 (en) * 2005-05-12 2020-04-01 FUJIFILM Corporation Album creating apparatus, album creating method and program
US20070008321A1 (en) 2005-07-11 2007-01-11 Eastman Kodak Company Identifying collection images with special events
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
US8067762B2 (en) 2006-11-16 2011-11-29 Macronix International Co., Ltd. Resistance random access memory structure for enhanced retention
US8222947B2 (en) 2010-01-20 2012-07-17 Rafael Microelectronics, Inc. Low distortion active balun circuit and method thereof

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2397908A1 (en) 2006-10-31 2011-12-21 Canon Kabushiki Kaisha Electrophotographic photosensitive member, method of manufacturing electrophotographic photosensitive member, process cartridge, and electrophotographic apparatus
WO2008053906A1 (en) 2006-10-31 2008-05-08 Canon Kabushiki Kaisha Electrophotographic photosensitive body, method for producing electrophotographic photosensitive body, process cartridge, and electrophotographic device
WO2008120630A1 (ja) * 2007-03-29 2008-10-09 Fujifilm Corporation アルバム作成装置、方法およびプログラム
JP2008250555A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp アルバム作成装置、方法およびプログラム
JP2009223509A (ja) * 2008-03-14 2009-10-01 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
JP2012507189A (ja) * 2008-10-26 2012-03-22 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. コンテンツベース・フィルタリング及びテーマベース・クラスタリングを用いたページ内へのイメージの配置
JP2010134216A (ja) * 2008-12-05 2010-06-17 Nikon Systems Inc 画像表示装置及び画像表示装置を有するデジタルカメラ
JP2010153936A (ja) * 2008-12-23 2010-07-08 Nikon Systems Inc 画像評価装置及び画像評価プログラム
JP2012004748A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 電子機器及び動画像再生方法
US8494347B2 (en) 2010-06-15 2013-07-23 Kabushiki Kaisha Toshiba Electronic apparatus and movie playback method
WO2012017620A1 (ja) * 2010-08-04 2012-02-09 パナソニック株式会社 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US9058342B2 (en) 2010-08-04 2015-06-16 Panasonic Intellectual Property Corporation Of America Image classification device, method, program, recording media with program thereon, and integrated circuit
JP5739428B2 (ja) * 2010-08-04 2015-06-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP2017501467A (ja) * 2013-10-22 2017-01-12 ノキア テクノロジーズ オサケユイチア 関連性に基づく視覚メディアアイテムの変更
JP2019003661A (ja) * 2013-10-22 2019-01-10 ノキア テクノロジーズ オサケユイチア 関連性に基づく視覚メディアアイテムの変更
KR20150066952A (ko) * 2013-12-09 2015-06-17 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR102135260B1 (ko) * 2013-12-09 2020-07-17 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9972113B2 (en) 2014-01-15 2018-05-15 Fujitsu Limited Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images
JP2016058937A (ja) * 2014-09-11 2016-04-21 辰巳電子工業株式会社 遊戯用画像編集装置、遊戯用画像編集方法およびコンピュータ・プログラム
JP2017527058A (ja) * 2015-07-28 2017-09-14 シャオミ・インコーポレイテッド 画像表示方法、装置、プログラムおよび記録媒体
US10032076B2 (en) 2015-07-28 2018-07-24 Xiaomi Inc. Method and device for displaying image
JP2018097484A (ja) * 2016-12-09 2018-06-21 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
JP2019045961A (ja) * 2017-08-30 2019-03-22 大日本印刷株式会社 撮影編集プログラム及び撮影編集方法
EP3495996A3 (en) * 2017-11-21 2019-10-09 Guangdong OPPO Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, and electronic device
US10796133B2 (en) 2017-11-21 2020-10-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, and electronic device
JP2019009798A (ja) * 2018-08-28 2019-01-17 キヤノン株式会社 プログラム

Also Published As

Publication number Publication date
CN101142595A (zh) 2008-03-12
US8055080B2 (en) 2011-11-08
US20080089590A1 (en) 2008-04-17
CN101142595B (zh) 2012-07-04
WO2006098417A1 (en) 2006-09-21
EP1866868B1 (en) 2019-01-09
EP1866868A4 (en) 2017-08-09
EP1866868A1 (en) 2007-12-19

Similar Documents

Publication Publication Date Title
JP4588642B2 (ja) アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293986A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
US8411968B2 (en) Album creating apparatus, method and program that classify, store, and arrange images
JP7224774B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102859985B (zh) 图像评价装置、图像评价方法及集成电路
US8237819B2 (en) Image capture method with artistic template design
US20110029635A1 (en) Image capture device with artistic template design
JP4945687B2 (ja) アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
US20130182963A1 (en) Selecting images using relationship weights
CN103403765B (zh) 内容加工装置及其集成电路、方法
JP2021144618A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007249434A (ja) アルバム作成システム、アルバム作成方法、及びプログラム
JP2006259932A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
JP2006261863A (ja) アルバム作成装置、アルバム作成方法、及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211