[go: up one dir, main page]

JP2011170690A - 情報処理装置、情報処理方法、およびプログラム。 - Google Patents

情報処理装置、情報処理方法、およびプログラム。 Download PDF

Info

Publication number
JP2011170690A
JP2011170690A JP2010034915A JP2010034915A JP2011170690A JP 2011170690 A JP2011170690 A JP 2011170690A JP 2010034915 A JP2010034915 A JP 2010034915A JP 2010034915 A JP2010034915 A JP 2010034915A JP 2011170690 A JP2011170690 A JP 2011170690A
Authority
JP
Japan
Prior art keywords
image data
theme
data group
template
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010034915A
Other languages
English (en)
Inventor
Koji Kajima
浩司 鹿島
Tatsumi Sakaguchi
竜己 坂口
Masayuki Ejima
公志 江島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010034915A priority Critical patent/JP2011170690A/ja
Priority to US12/931,778 priority patent/US8548249B2/en
Priority to CN201110037083.8A priority patent/CN102163339B/zh
Publication of JP2011170690A publication Critical patent/JP2011170690A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ショートムービーの作成に用いる素材としての画像データと、テンプレートとの組合せを適切に効率よく選択することのできる情報処理装置、情報処理方法、およびプログラムを提供する。
【解決手段】情報処理装置100は、画像データから抽出される画像情報に基づいて、上記画像データを複数含む画像データ群毎のテーマ性を解析する解析部110と、上記テーマ性と関連付けて記憶された所定の処理と、上記画像データ群との組合せを、上記テーマ性に基づいて選択する選択部120とを有する。
【選択図】図1

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、画像データからショートムービーを作成する情報処理装置が提供されている。このような情報処理装置の中には、予めショートムービーにおける演出方法(例えば、画像データを切替えるタイミング、切替方法、視覚効果、BGMなど)が決められたテンプレートを複数保持しており、ユーザが選択したテンプレートを用いてショートムービーを作成する機能を有するものがある。
このテンプレートの選択方法については、ユーザが、テンプレートに付けられた名称(例えば、「旅行−リゾート」、「キッズ−誕生日」など)からそのイメージを想像して選択する、または、テンプレートのサンプルムービーを視聴して選択する、などの方法が一般的である。
また一方、ショートムービーの作成に用いるテンプレートを、装置が自動的に選択するための技術も提案されている。例えば、非特許文献1には、写真の撮影日時情報を用いてテンプレートを選択する方法が開示されている。かかる方法においては、例えば、その写真の撮影日時が4月であれば、桜のテンプレートが自動的に選択される。また、例えば、特許文献1には、画像の代表色を決定し、この代表色に基づいてテンプレートを選択する方法が開示されている。
特開2005−25715号公報
[平成22年2月3日検索]、インターネットhttp://www.sony.jp/taiken/xsb_online/details.html
ところが、ショートムービーの作成に用いる素材としての画像データと、テンプレートとの組合せを適切に効率よく選択することは困難であるという問題があった。
例えば、テンプレートに付けられた名称からテンプレートを選択する場合には、具体的な演出方法を見ないでテンプレートを選択するため、画像データの内容に適したテンプレートを選択することが困難である。もし、作成されたショートムービーを再生してその出来に違和感や不満がある場合には、ユーザは、再び別のテンプレートをその名称から選択してショートムービーを作成し、さらに再生してみる必要があり、時間と手間がかかるものであった。
一方、サンプルムービーを視聴する機能を利用することで、実際にショートムービーを作成することなく、具体的な演出方法を確認することができる。ところが、この場合にも、ショートムービーを作成する時間を省くことはできるが、サンプルムービーを視聴する時間と手間がかかる。特に、テンプレートが大量に用意されている場合には、その作業時間が増大してしまっていた。また、サンプルムービーは、所定のサンプルコンテンツで作成されており、自身のコンテンツに置き換えた場合の結果は想像するしかない。
さらに、上記の自動的にテンプレートを選択する装置においては、ユーザが所望するテンプレートが選択されない可能性があり、その場合には、結局ユーザが手動にてテンプレートを選択しなければならなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ショートムービーの作成に用いる素材としての画像データと、テンプレートとの組合せを適切に効率よく選択することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像データの画像情報を抽出し、抽出された上記画像情報に基づいて、複数の上記画像データを含む画像データ群毎のテーマ性を解析する解析部と、上記テーマ性と関連付けて記憶された所定の処理と、上記画像データ群との組合せを、上記テーマ性に基づいて選択する選択部とを有する情報処理装置が提供される。
ここでいうテーマ性とは、視聴したときに感じられる、対象物(ここでは画像データ群)の持つ雰囲気や印象を指す。上記の構成によれば、情報処理装置は、画像データ群と所定の処理とのテーマ性を同じ基準により把握することができる。このため、画像データ群と所定の処理(例えば、ショートムービーを作成するためのテンプレート)との組合せをテーマ性に基づいて選択することができるようになる。このため、画像データのあるまとまりとしての特徴をとらえることができるようになる。
また、上記解析部は、所定の評価基準に基づいて、上記画像情報の特徴を解析して複数の特徴量を算出し、該複数の特徴量に基づいて上記テーマ性を決定してもよい。
また、上記解析部は、画像データ群に含まれる画像データのうち、上記画像情報が所定の特徴を有する画像データの割合に基づいて上記特徴量を算出してもよい。
また、上記テーマ性は、上記評価基準を示す複数の特徴軸に基づいた特徴量空間上の特徴点で示され、上記選択部は、上記画像データ群の特徴点と上記所定の処理に関連付けられたテーマ性の特徴点との距離に基づいて上記組合せを選択してもよい。
また、複数の画像データ群から上記所定の処理を施す画像データ群を取得し、取得した上記画像データ群のテーマ性を解析するように上記解析部を制御する制御部をさらに有し、上記選択部は、上記テーマ性と関連付けて記憶された所定の処理の中から、上記取得された画像データ群の上記テーマ性に基づいて上記所定の処理を選択してもよい。
また、上記テーマ性と関連付けられて記憶された上記所定の処理から、実行させる所定の処理を取得し、取得した所定の処理に基づいて画像データ群を選択するように上記選択部を制御する制御部をさらに有し、上記選択部は、上記画像データ群の中から、上記取得された所定の処理のテーマ性に基づいて画像データ群を選択してもよい。
また、上記所定の処理は、上記画像データ群からショートムービーを作成するための処理であってもよい。
また、上記所定の処理に対応づけられたテーマ性の特徴点と、上記画像データ群のテーマ性の特徴点との上記特徴量空間上の位置を示し、上記所定の処理を選択するための画面を表示させる制御部をさらに有するものであってもよい。
また、上記画像データ群は、所定の基準に基づいて予め一連のイベントとしてまとめられた複数の画像データであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置の演算処理手段に所定の処理手段を実行させることにより実現される情報処理方法の、上記所定の処理が、画像データの画像情報を抽出するステップと、抽出された上記画像情報に基づいて、複数の上記画像データを含む画像データ群毎のテーマ性を解析する解析ステップと、上記テーマ性と関連付けて記憶された所定の処理と上記画像データ群との組合せを、上記テーマ性に基づいて選択する選択ステップとを含む、情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像データの画像情報を抽出し、抽出された上記画像情報に基づいて、複数の上記画像データを含む画像データ群毎のテーマ性を解析する解析部と、上記テーマ性と関連付けて記憶された所定の処理と、上記画像データ群との組合せを、上記テーマ性に基づいて選択する選択部として機能させるための、プログラムが提供される。
以上説明したように本発明によれば、ショートムービーの作成に用いる素材としての画像データと、テンプレートとの組合せを適切に効率よく選択することができる。
本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。 被写体情報解析部の処理についての説明図である。 オブジェクト識別による物体認識の例を示す説明図である。 オブジェクト識別による人型認識の例を示す説明図である。 オブジェクト識別による姿勢認識の例を示す説明図である。 オブジェクト識別による顔認識の例を示す説明図である。 シーン識別の例を示す説明図である。 テーマ性解析の説明図である。 テーマ性の例を示す説明図である。 画像情報とテーマ性との関係を示す表である。 テンプレートのテーマ性の一例を示す表である。 テーマ性によるテンプレート選択画面の表示例を示す図である。 画像データ群選択からショートムービーの作成を開始する動作例を示すフローチャートである。 テンプレートの選択からショートムービーの作成を開始する動作例を示すフローチャートである。 音楽の選択からショートムービーの作成を開始する動作例を示すフローチャートである。 作業の自動化の例を示すフローチャートである。 作業の自動化の他の例を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.機能構成
2.動作例
2−1.画像データ群からテンプレートを自動選択する例
2−2.テンプレートから画像データ群を自動選択する例
2−3.音楽からテンプレートを自動選択する例
2−4.作業の自動化(画像データ群から選択される例)
2−5.作業の自動化2(テンプレートから選択される例)
3.効果の例
<1.機能構成>
まず、図1を参照して、本発明の一実施形態に係る情報処理装置の機能構成について説明する。図1は、本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。
なお、以下の説明中において、素材とは写真、映像、音声、音楽などの各種メディアデータ全般を指し、これらに付加されたラベルなどのタグ情報も含む。写真は、単一の画像からなり、映像は時系列のつながりを持った複数の画像と音声からなる。このため、単に画像と述べた場合には写真と映像との両画像を指すものとする。また、音楽はBGMとしてショートムービーの素材として用いられるものを対象とする。例えばリズムやメロディを持つものである。ただし、効果音なども音楽に含むものとする。これに対し、映像中で録音されたものは音声と表記することとする。
本発明の一実施形態に係る情報処理装置100は、写真・映像素材記憶部102と、音楽素材記憶部104と、解析部110と、解析結果記憶部106と、テンプレート記憶部108と、選択部120と、テンプレート生成部132と、ショートムービー作成処理部134と、制御部140と、表示部150とを主に有する。
また、選択部120は、さらにテンプレート選択部122、画像選択部124、および音楽選択部126を有する。
写真・映像素材記憶部102、音楽素材記憶部104、解析結果記憶部106、およびテンプレート記憶部108は、データ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。写真・映像素材記憶部102、音楽素材記憶部104、解析結果記憶部106、およびテンプレート記憶部108は、それぞれ個別の記憶媒体により実現されてもよいし、一の記憶媒体により実現されてもよい。記憶媒体としては、例えばHDD(Hard Disk Drive)などの磁気記録媒体や、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。
写真・映像素材記憶部102は、写真や映像などの画像および音声素材を記憶し、音楽素材記憶部104は、音楽素材を記憶し、解析結果記憶部106は、解析部110の各部における解析結果を記憶し、テンプレート記憶部108は、ショートムービー作成のためのテンプレートをテーマ性と関連付けて記憶する。
解析部110は、さらに被写体情報解析部112、音声情報解析部113、撮影情報解析部114、音楽解析部116、およびテーマ性解析部118を有する。被写体情報解析部112、音声情報解析部113、および撮影情報解析部114は、写真や映像などの画像および音声素材を解析して画像情報を抽出する解析部であり、音楽解析部116は、音楽素材を解析して音楽データ情報を抽出する解析部である。そして、テーマ性解析部118は、被写体情報解析部112、音声情報解析部113、撮影情報解析部114、および音楽解析部116における解析結果である画像情報および音楽データ情報から、画像データ群毎のテーマ性を解析する機能を有する。
被写体情報解析部112は、制御部140の制御に応じて入力された写真や映像の画像中に写った被写体の特徴を解析して画像情報を抽出する機能を有する。被写体情報解析部112は、例えば、画像解析・認識技術により被写体の特徴を解析してもよいし、画像に付加されたラベル(タグ)情報を用いて被写体の特徴を解析してもよい。或いは、映像の解析により被写体を追跡することで得られる動作、移動、変化に関する時系列情報なども抽出することができる。
以下に、図2〜図7を用いて、画像解析・認識技術により被写体の特徴を解析する場合の、被写体情報解析部112の機能について具体的に説明をする。図2は、被写体情報解析部112の処理について説明するための説明図である。図3は、オブジェクト識別による物体認識の例を示す説明図である。図4は、オブジェクト識別による人型認識の例を示す説明図である。図5は、オブジェクト識別による姿勢認識の例を示す説明図である。図6は、オブジェクト識別による顔認識の例を示す説明図である。図7は、シーン識別の例を示す説明図である。
図2に示したように、被写体情報解析部112は、入力された画像を人や物を中心とした画像と風景を中心とした画像に分ける。そして、被写体情報解析部112は、人や物を中心とした画像についてオブジェクト識別処理をし、風景を中心とした画像についてはシーン識別処理をする。さらに、人や物を中心とした画像について、オブジェクトを取り除いて残った背景部分の画像の面積が十分ある場合には、その背景部分に対してシーン識別処理を行ってもよい。
このオブジェクト識別処理は、例えば対象とする画像から特徴量を抽出し、機械学習により構築されたモデルを用いて、識別対象とするオブジェクトが含まれるか否かを識別する。例えば、このオブジェクト識別処理によって、図3に示す画像からは、ウエディングドレスおよびケーキが含まれることを識別することができる。
そして、対象とする画像に人が含まれる場合には、さらに画像解析することによって、人型認識、顔認識、姿勢認識を行ってもよい。例えば、図4に示す写真から人型を認識することによって、写っている人数やその構図を識別することができる。あるいは、図5に示す写真から、姿勢を認識することによって、人物のポーズを識別することができる。また、図6に示す写真から顔認識などの技術を用いることによって、人物の人数、表情、さらに個人の認識をすることもできる。
このように、被写体情報解析部112は、被写体が物である写真からは、例えばそのものが「看板、食べ物、植物、動物、乗り物、スポーツ用品、楽器」などのいずれかであることを識別し、画像情報として抽出することができる。あるいは、被写体情報解析部112は、被写体が人物である写真からは、例えば「個人識別、顔、人型、性別、年齢、表情、姿勢、服装、人数、整列」などに関する情報を、画像情報として抽出することができる。
一方、シーン識別処理は、予め学習用画像から機械学習したモデルに従って、画像から抽出した特徴量に基づいて入力画像のシーンを識別する。このとき、例えばSVM(Support Vector Machines)などの機械学習を用いることができる。このシーン識別処理によって、被写体情報解析部112は、入力された画像に写るシーンが、例えば「街、屋内、野外、海岸、水中、夜景、夕焼け、雪景色、混雑」のいずれであるかを識別することができる。例えば、図7の上図は野外シーンであり、中図は水中シーンであり、下図は夕焼けシーンであるという画像情報が抽出される。
被写体情報解析部112は、その他、画像解析によって「被写体の有無、構図、良し悪し、失敗(ピンボケ、ブレ)、印象、ユーザの個人嗜好」などの情報を画像情報として抽出することもできる。
次に、音声情報解析部113は、映像素材に含まれる音声データを解析して画像情報を抽出する機能を有する。ここで、音声を解析して得られた情報も、映像という画像に付随した情報であるため、画像情報とよぶことにする。音声情報解析部113は、例えば、音声解析技術、および認識技術によって、「話者、声の高低、話し声の内容、声色による感情、周囲の環境音、反響による空間の拡がり具合」の情報を抽出することができる。
撮影情報解析部114は、写真データおよび映像データの撮影情報を解析して画像情報を抽出する機能を有する。ここで撮影情報は、例えばデジタルスチルカメラで撮影された写真であれば、EXIF(EXchangeable Image File Format)情報であり、ビデオカメラで撮影された映像であればメタデータおよびユーザプライベートデータとして保持された情報である。具体的には、例えば、撮影情報としては、「撮影日時、撮影機種、カメラ設定、縦撮り/横撮り、フラッシュ有無、GPS(Global Positioning System)情報」などが挙げられる。また、画像解析および認識技術により得られる被写体との距離、手ブレの状態、および撮影機器の動き情報なども撮影情報に含まれる。あるいは、GPS情報に基づいて地図情報から得られる住所などの情報も撮影情報に含まれる。
例えば、撮影情報解析部114は、上記の撮影情報を解析することにより、その画像の撮影された時間帯を画像情報として抽出する。或いは、GPS情報から得られる撮影位置情報に基づいて画像情報を抽出してもよい。
テーマ性解析部118は、上記の被写体情報解析部112、音声情報解析部113、および撮影情報解析部114における解析の結果、抽出された画像情報に基づいて、画像データ群毎のテーマ性を解析する。ここでいうテーマ性は、上述の通り、視聴したときに感じ取られる、対象物(ここでは画像データ群)の持つ雰囲気や印象のことを指す。本実施形態においては、テーマ性は、複数の特徴軸により定義される特徴量空間上の点で表現される。上述の通り、ショートムービー作成のためのテンプレートは、予めテーマ性と関連付けて記憶されている。そこで、テンプレートのテーマ性と画像データ群のテーマ性とが同じ特徴軸により定義される特徴量空間上の点で表現されることにより、テンプレートと画像データとを同じテーマ性という基準で比較することができるようになる。また、ここで特徴軸を例えば「可愛い−格好いい」といった形容詞で表すことにより、よりユーザにとって直感的に画像データ群やテンプレートの特徴を把握することができるようになる。
テーマ性解析部118は、解析対象である画像データ群に含まれる個々の画像から抽出された画像情報の分布を解析する。ここで画像情報の分布とは、例えば、画像情報に基づいて、画像データ群のうち、所定の特徴を有する画像の割合である。例えば、図8に示したように、テーマ性解析部118は、ある画像データ群の中で、「ヒト、モノ、シーン」の割合、さらに、ヒトの写った画像の中で、個人識別を行い、「息子、母親、父親、その他の人物」の割合、その人の姿勢それぞれの割合を解析する。または、シーンの画像の中で、シーン識別により「海岸、草原、街、混雑、水中、その他」それぞれの割合を解析する。或いは、テーマ性解析部118は、音声情報解析部113により抽出された画像情報に基づいて、笑い声の含まれる割合、ペットの鳴き声が含まれる割合、などを解析する。また、テーマ性解析部118は、撮影情報解析部114により抽出された画像情報に基づいて、ソフトフォーカスを狙った割合、カメラの設定をデフォルト設定から変化させて撮った割合などを解析する。
ここで、画像データ群は、何らかのルールに基づいて、一連のイベントとしてまとめられた写真・映像群のことをいう。例えば、ここで用いられるルールとしては、「撮影された日、週、月、年などに基づいたもの」、「ユーザ自身、またはアプリケーションによって分けられたフォルダ毎」、「ユーザ自身が同じイベントであると認識して、区別するために付与したタグに基づいたもの」、「撮影時間の粗密に基づいて、自動的にイベント認識されたもの」、などが挙げられる。
そして、テーマ性解析部118は、上記の画像情報の分布に応じて所定の特徴軸上の特徴値を算出する。ここで、所定の特徴軸は、例えば図9に示されるように複数の特徴軸であってもよい。図9の例においては、特徴軸は、「静的−動的」、「可愛い−格好いい」、「理性的−感情的」の3つの軸が挙げられている。これらの特徴軸は、相反する指標を持つことが好ましい。例えば、特徴軸の他の例としては、「洗練−粗野」、「派手−地味」、「古典−革新」、および「重厚−軽薄」などが挙げられる。特徴軸は、選択対象となるテンプレートの数および特徴に応じて、軸数を増減してもよいし、異なる軸が導入されてもよい。これら複数の特徴軸から構成される特徴量空間を以って、テーマ性は数値的に表現される。
画像情報から特徴量を算出する方法としては、例えば、図10のように、画像情報がある特徴を有していた場合の、各特徴量の値の増減値を予め決めておき、この評価基準に基づいて特徴量を増減することによって算出する方法が挙げられる。図10の評価基準に従うと、例えば、画像情報に基づいて、笑顔の人が写っている割合が50%以上である場合には、感情的−理性的軸の特徴量を0.5増加させる。このとき、特徴量の初期値を0とし、感情的な特徴を有する場合にはプラスの値、理性的な特徴を有する場合にはマイナスの値となるように特徴量を調整する。同様に、画像中に写っている被写体の中で、ヒト・モノ・シーンのうちシーンを中心とする画像の割合が一番多い場合には、動的−静的軸の特徴量を0.25減少させ、格好いい−可愛い軸の特徴量を0.25増加させ、さらに感情的−理性的軸の値を0.5減少させる。
ここで、参考のために図11に、テンプレートと対応づけて記憶されるテーマ性の具体例について示す。図11は、テンプレートのテーマ性の一例を示す表である。ここで、テーマ性の各特徴量の値は、正規化により−1から+1の間の値となっている。なお、ここで行われる正規化は、例えば各特徴量の絶対値の最大値が「1」又は「−1」となるよう、各特徴量の値を、特徴量の絶対値の最大値で除算されることにより行われてもよい。または、正規化は、単純に「+1」以上の値は全て+1、「−1」以下の値は全て−1とするクリッピング処理であってもよい。
例えば、図11の例において「ウェディング」というジャンルのテンプレートは、いずれも「感情的」の値が高い。しかし、同じ「ウェディング」というジャンルのテンプレートの中でも、「モダン」及び「キュート」と名づけられたテンプレートは、「動的」の値が高いのに対し、「和風」と名づけられたテンプレートは、「静的」の値が高い。このように、テンプレートと画像データ群とを同じ基準の値で評価することにより、テンプレートと画像データ群とをテーマ性に基づいて比較し、自動的にテンプレートと画像データ群との組合せを選択することができるようになる。また、人手を介してテンプレート又は画像データ群を選択する場合にも、直感的な指標により比較することができるという効果がある。
また、テーマ性解析部118は、図示していないが、音声情報解析部113における解析の結果出力された画像情報をさらに用いて、所定の評価基準に従った特徴量を算出してもよい。例えば、音声の解析結果から「声援の割合が多ければ動的」、「ペットの鳴き声が多ければ可愛さ」、「笑い声が多ければ感情的」といった関係性が挙げられる。テーマ性解析部118は、上述した関係性を特徴量の数値に反映させる。
また、音楽解析部116は、制御部140からの指示に応じて、音楽素材記憶部104に記憶された音楽素材を解析する。ここで音楽の解析手法については、既存の手法を様々組み合わせて用いることができる。例えば、解析手法としては、曲調解析、歌詞解析などが挙げられる。
選択部120は、さらにテンプレート選択部122と画像選択部124と音楽選択部126とを有する。選択部120は、テンプレート選択部122と画像選択部124とにより、テンプレートと画像データとの組合せをテーマ性に基づいて選択する機能を有する。テンプレート選択部122は、ショートムービーの作成に用いるテンプレートを選択する。テンプレート選択部122は、制御部140からの指示に応じた方法でテンプレートを選択する。例えば、テンプレート選択部122は、ユーザが入力部(図示せず)を用いて入力した操作情報に基づいてテンプレートを選択する機能を有する。また、テンプレート選択部122は、画像選択部124により選択された画像データ群のテーマ性に基づいてテンプレートを選択する機能を有する。或いは、テンプレート選択部122は、音楽素材や、ショートムービー作成開始のトリガとなる何らかのイベントの検知情報に基づいてテンプレートを選択してもよい。テーマ性に基づいてテンプレートを選択する場合には、例えば、テーマ性(複数の特徴軸により定義される特徴量空間上の点)が最も近いものが選択されてもよいし、例えば、テーマ性がある所定の距離以内のものの中から、別の基準に従って選択されてもよい。
画像選択部124は、ショートムービーの作成に用いる画像データを選択する。画像選択部124は、制御部140からの指示に応じた方法で画像データを選択する。例えば、画像選択部124は、ユーザが入力部(図示せず)を用いて入力した操作情報に基づいて画像を選択する機能を有する。また、画像選択部124は、テンプレート選択部122により選択されたテンプレートのテーマ性に基づいて画像データを選択する機能を有する。画像選択部124は、画像データを個別に選択してもよいし、画像データ群として選択してもよい。
音楽選択部126は、ショートムービーの作成に用いる音楽を選択する。音楽選択部126は、制御部140からの指示に応じた方法で音楽を選択する。例えば、音楽選択部126は、ユーザが入力部(図示せず)を用いて入力した入力情報に基づいて音楽を選択する機能を有する。また、音楽選択部126は、画像データ群やテンプレートのテーマ性に基づいて音楽を選択する機能を有する。あるいは、テンプレートに予め用いる音楽が設定されている場合には、設定された音楽を選択してもよい。
テンプレート生成部132は、制御部140の制御に応じて、ショートムービーの作成のために用いるテンプレートを生成する機能を有する。例えば、テンプレート生成部132は、画像選択部124により選択された画像データ群のテーマ性に基づいて、テンプレートを生成する。例えば、選択された画像データ群のテーマ性から、動的の特徴量が高い場合には画面の切替を早く行ったり、可愛さの特徴量が高い場合には可愛らしいイラストを付加したり、理性的の特徴値が高い場合には淡々とリズム良く画面を切替えたりといった要素を含むテンプレートを生成する。
ショートムービー作成処理部134は、制御部140の制御に従い、テンプレート選択部122が選択したテンプレートと、画像選択部124が選択した画像データとを用いてショートムービーの作成処理を実行する。具体的には、ショートムービーの作成処理には、選択された素材群の中から、実際にショートムービーの作成に用いる素材の選択処理や、素材を用いる順番の決定処理などを含む。例えば、ショートムービー作成処理部134は、テンプレートの各特徴軸の特徴量に比例した割合に基づいて素材を選択してもよい。例えば、ショートムービー作成処理部134は、選択されたテンプレートが動的−静的軸における特徴量が+0.5であった場合には、動的な素材が75%、静的な素材が25%含まれるように素材を選択する。或いは、ショートムービー作成処理部134は、テンプレートの各軸の方向性を強調するように、片方の指標に偏った素材のみを選択するようにしてもよい。例えば、動的−静的軸における特徴量がプラスの値であれば、動的な素材のみを選択するようにしてもよい。また、ショートムービー作成処理部134は、内容の似た類似写真を複数選択しないようにしてもよい。例えば、旅行先においては、同じ場所、同じ被写体の写真をカメラ設定や構図を少しだけ変化させて複数撮影する場合がある。ショートムービー中にこのような写真が複数続けて使用されると、単調で変化に乏しいショートムービーになってしまう場合がある。このため、類似する写真が複数存在する場合には、そのうち最も撮影状態のよいもの(ピントや構図など写真としての良し悪しにより判定)だけを選択してもよい。
また、ショートムービー作成処理部134は、選択された画像データ群の中から、素材を用いる順番を決定する。例えば、ショートムービーにおいて、最初と最後に用いられる画像が視聴者に与える印象は特に大きい。このため、最初と最後の画像は、画像データ群のうち代表となる画像が使用されることが好ましい。代表となる画像の選択方法としては、テンプレートのテーマ性に合った画像であるか否かによって判定する方法、被写体を個人認識してその登場頻度から主役となる被写体を特定し、主役がメインで写っている画像を選択する方法、または、ピントや構図など写真としての良し悪しから選択する方法、などが挙げられる。ただし、時間の流れを重視するテンプレートの場合には、画像の順序を入れ替えることが好ましくない場合もあるため留意が必要である。
なお、ショートムービー作成処理部134は、作成したショートムービーを記憶装置に記憶してもよいし、表示部150に表示させてもよい。
表示部150は、制御部140の制御に従ってユーザに画像を表示する表示装置である。例えば、表示部150は、図12に示すようなテンプレート選択画面を表示させてもよい。図12に示すテンプレート選択画面は、3つの特徴軸により形成される特徴空間上の位置を示したものである。ここでテンプレート選択画面は、3次元空間とするとユーザにとってその関係性がわかりにくいため、ここでは「動的−静的」、「格好いい−可愛い」の2つの軸により形成される二次元の平面上に、「感情的−理性的」の値がその点の模様の違いにより表される。例えば、画像データ群のテーマ性は星型の特徴点202によって表され、画像データ群のテーマ性に基づいてテンプレート選択部122により自動的に選択されたテンプレートが特徴点204により表される。ユーザは、このテンプレート選択画面を参照しながら他のテンプレートを選択してもよい。例えば、現在選択されている特徴点204により表されるテンプレートよりも動的で、可愛いイメージを求める場合には、特徴点206により示されるテンプレートを選択してもよい。
制御部140は、情報処理装置100の全体の動作を制御する機能を有する。例えば制御部140は、解析部110に解析対象となる素材を指示することによって、画像、音声、撮影情報、および音楽を解析させる。また、制御部140は、選択部120に選択の基準を指示することによって、ショートムービーの作成に用いる画像またはテンプレートを選択させる。或いは、制御部140は、予め準備されたテンプレートがない場合や、ユーザが予め準備されたテンプレートを用いずに生成することを選択する入力を行った場合などには、テンプレート生成部にテンプレート生成のための条件を入力することによってテンプレートを生成させる。その他、制御部140は、各機能部を制御することによってショーとムービー作成にかかる様々な動作を制御する。制御部140による具体的な動作の例については、次の動作例において詳述される。
<2.動作例>
次に、本発明の一実施形態に係る情報処理装置100のショートムービー作成処理について、図13〜図17の5つの例を用いて説明する。図13〜図17は、主にショートムービー作成の開始トリガとショートムービー作成に用いる素材とテンプレートとの選択方法が異なるものである。
〔2−1.画像データ群からテンプレートを自動選択する例(動作例1)〕
まず、図13は、情報処理装置100において、ユーザが画像データ群を選択入力した場合のショートムービー作成動作を示す説明図である。
まず、ユーザが、ショートムービーの作成に用いる写真や映像などの画像データ群を選択する操作を行うと、制御部140は、その操作情報を取得して画像選択部124に、操作情報により示される写真及び映像をショートムービーの作成に用いる画像データ群として選択させる(S102)。そして、制御部140は、解析部110に、画像選択部124が選択した画像データ群に含まれる画像データ及び音声を解析させる(S104)。そして、制御部140は、解析部110に、画像・音声解析の結果からテーマ性を解析させる(S105)。ここで、制御部140は、既存のテンプレートを使用するか否かを判断し(S106)、既存のテンプレートを使用しない場合には、テンプレート生成部132に、ステップS104における解析の結果である画像データ群のテーマ性に基づいてテンプレートを生成させる(S108)。ステップS106における判断は、例えば予め環境設定などにより設定された設定値を制御部140が確認することにより行われてもよいし、ユーザに対して表示部150を用いて既存のテンプレートを使用するか否かを選択させ、この選択操作による入力情報に基づいて判断されてもよい。
一方、ステップS106の判断において既存のテンプレートを使用する場合には、次にテンプレートを自動選択するか否かの判断がなされる(S110)。かかる判断もステップS106の場合と同様に、予め環境設定などにより設定された設定値を制御部140が確認することにより行われても良いし、ユーザに対して表示部150を用いてテンプレートを自動選択するか否かを選択させ、この選択操作による入力情報に基づいて判断されてもよい。
ここで、テンプレートを自動選択する場合には、制御部140はテンプレート選択部122に、ステップS104による解析結果である画像データ群のテーマ性を入力し、このテーマ性に基づいてテンプレートを選択させる。一方、テンプレートを自動選択しない場合には、制御部140は、テーマ性に基づいた選択画面を生成し、表示部150に表示させる(S114)。制御部140が生成する選択画面は、例えば図12に示したような画面である。そして、制御部140は、テンプレート選択部122により選択画面に対するユーザの選択入力を受付け、この入力情報に基づいてテンプレートを選択させる。
以上のように、ショートムービーの作成に用いる画像データとテンプレートとが決定すると、次に、制御部140は、音楽選択部126によりショートムービーの作成に用いる音楽を選択させる(S116)。ここで、音楽選択部126は、ユーザの選択入力に基づいて音楽を選択してもよいし、例えば画像およびテンプレートのテーマ性に基づいて音楽を選択してもよい。
次に、制御部140は、ショートムービー作成処理部134に、ステップS102において選択された画像データ群の中から、実際にショートムービーの作成に用いる画像データを選択させ、その使用順序を決定させる(S118)。ステップS102において選択された画像データ群は、その全てをショートムービーの作成に用いられてもよいし、画像データ群の中からさらにショートムービーに採用する画像データが選択されてもよい。
そして次に、制御部140は、ショートムービー作成部134にショートムービーの作成処理を実行させる(S120)。そして、制御部140は、作成したショートムービーを再生させる。ユーザは、再生されたショートムービーを見て、所望の仕上がりとなっていれば処理を終了し、もしユーザが仕上がりに満足できなかった場合には、テンプレートの変更を選択することもできる(S122)。テンプレートの変更が選択された場合には、ステップS106に戻る。例えば、制御部140は、テンプレートの自動選択が実行された場合には、このテンプレートの変更が選択されると、ステップS110においては必ずステップS114に進むように制御してもよい。この場合、図12に示す選択画面が表示される。
このように、情報処理装置100によれば、ユーザが手動で選択した画像データ群を用いて、ショートムービーを作成することができる。このとき、テンプレートは自動的に選択されるように設定することができるため、最短で画像データ群を選択するという1ステップでショートムービーを作成することができる。ここで、自動的に選択されたテンプレートによるショートムービーの仕上がりに、ユーザが満足することができなかった場合であっても、情報処理装置100は、例えば図12に示されるような直感的な選択画面により、「もう少し動的なイメージに」や、「もう少し感情的に」といった感覚的なテンプレートの選択方法を提供することができる。
〔2−2.テンプレートから画像データ群を自動選択する例(動作例2)〕
次に、図14は、情報処理装置100において、ユーザがテンプレートを選択入力した場合のショートムービー作成動作を示す説明図である。
まず制御部140は、予めテンプレート記憶部108にテンプレートとともに記憶されたテーマ性を用いて選択画面を生成し、表示部150に表示させる。ユーザが選択画面を見てその特徴軸上の値を参照しながら選択した入力情報を取得すると、制御部140は、テンプレート選択部122により、入力情報が示すテンプレートを取得させる(S202)。そして、制御部140は、全ての画像データ群の画像および音声を解析部110により解析させると(S204)、この解析結果からさらにテーマ性を解析させる(S205)。そして制御部140は、ステップS202において取得されたテンプレートのテーマ性に基づいて、画像選択部124により画像データ群を自動的に選択させる(S206)。なお、画像データ群の解析は、予め実行されて解析結果記憶部106に記憶されている場合には、ここでは省略されてもよい。
そして、制御部140は、音楽選択部126によりショートムービーの作成に用いる音楽を選択させる(S208)。ここでは、選択されたテンプレートに予め設定されている音楽を選択させることとするが、必要に応じて候補となる音楽を解析し、テンプレートまたは画像データ群の解析結果と、音楽の解析結果とを用いて音楽を選択させてもよい。
そして、制御部140は、ショートムービー作成処理部134に、ステップS206において選択された画像データ群の中から、実際にショートムービーの作成に用いる画像データを選択させ、その使用順序を決定させる(S210)。ステップS206において選択された画像データ群は、その全てをショートムービーの作成に用いられてもよいし、画像データ群の中からさらにショートムービーに採用する画像データが選択されてもよい。さらに、制御部140は、ショートムービー作成部134にショートムービーの作成処理を実行させる(S212)。
〔2−3.音楽からテンプレートを自動選択する例(動作例3)〕
次に、図15は、情報処理装置100において、ユーザが音楽を選択入力した場合のショートムービー作成動作を示す説明図である。
まず、ユーザが音楽を選択すると、制御部140は音楽選択部126に入力情報から特定される音楽を選択させ、音楽解析部116に選択された音楽を解析させる(S302)。そして、制御部140はテンプレート選択部122に、ステップS302における音楽の解析結果からテンプレートを選択させる(S304)。ここで音楽の解析結果からテンプレートを選択する方法としては、例えば、音楽に「誕生日」というタグが付与されている場合には、「誕生日」に関連したテンプレートを選択する方法、音楽解析部116による解析結果からテーマ性解析部118においてその音楽のテーマ性を解析し、音楽のテーマ性と最も近いテーマ性を有するテンプレートを選択する方法などが挙げられる。
そして、制御部140は、解析部110に全ての画像および映像群に対して画像・音声解析を実行させ(S306)、さらにこの解析結果から画像データ群のテーマ性を解析させる(S307)。そして、制御部140は、画像選択部124に、ステップS304において選択されたテンプレートのテーマ性に基づいて、ショートムービーの作成に用いる画像データ群を選択させる(S308)。
そして、制御部140は、ショートムービー作成処理部134に、ステップS308において選択された画像データ群の中から、実際にショートムービーの作成に用いる画像データを選択させ、その使用順序を決定させる(S310)。ステップS308において選択された画像データ群は、その全てをショートムービーの作成に用いられてもよいし、画像データ群の中からさらにショートムービーに採用する画像データが選択されてもよい。さらに、制御部140は、ショートムービー作成部134にショートムービーの作成処理を実行させる(S312)。
以上、図13〜図15を用いて説明した動作例1〜動作例3においては、ユーザの操作をきっかけにショートムービーの作成が開始される。例えば動作例1においては、まず画像データ群がユーザによって選択され、例えば動作例2においては、まずテンプレートがユーザによって選択され、動作例3においては、まず音楽がユーザによって選択された。この場合には、ショートムービー作成の開始のトリガとなる選択操作の1ステップのみがユーザにより行われると、その他の処理は自動的になされる。しかし、本発明の一実施形態に係る情報処理装置100は、ユーザによる選択操作が一切必要のないショートムービー作成処理をも実現することができる。以下に、ユーザ操作の不要なショートムービー作成処理の動作例について、図16および図17を用いて説明する。
〔2−4.作業の自動化(動作例4)〕
まず、図16は、ユーザ操作の不要なショートムービー作成処理の動作例のうち、開始トリガからまず画像データ群が選択される例を説明するための説明図である。
まず、制御部140が開始トリガを検知することによって、ショートムービー作成処理が開始される(S402)。開始トリガは、情報処理装置100内で検知される何らかのイベントである。例えば、開始トリガは、登録されたユーザの誕生日の到来であってもよい。或いは、開始トリガは、インターネット上の天気情報から、その日の天気(または明日の天気など)が雪であることを検知したことであってもよい。以下、明日の天気が雪であることを検知した場合について説明する。
開始トリガを検知すると、制御部は、画像選択部124に画像データ群を選択させる(S404)。ここで、画像選択部124は、解析結果記憶部106に記憶された解析結果からシーン識別の結果、雪景色であると判定された画像データを自動的に選択する。そして、制御部140は、ステップS404において取得された複数の画像データを画像データ群として、解析部110にテーマ性を解析させる(S406)。
そして、既存のテンプレートを使用してショートムービーの作成を行うか否かの判定が行われる(S408)。ここで、既存のテンプレートを使用するか否かは、環境設定における設定値を制御部140が参照することにより行われる。
ステップS408の判定において、既存のテンプレートを使用する場合には、予めテンプレート記憶部108に記憶されたテンプレートのテーマ性の中から、ステップS406において解析の結果得られた画像データ群のテーマ性に基づいてテンプレートが選択される(S410)。一方、ステップS408の判定において既存のテンプレートを使用しない場合には、制御部140は、ステップS406の解析の結果得られた画像データ群のテーマ性に基づいて、テンプレート生成部132においてテンプレートを自動生成させる(S412)。
そして、制御部140は音楽選択部126にショートムービーの作成に用いる音楽を選択させ(S414)、ショートムービー作成処理部134にテーマ性に基づいた画像の選択および使用順の決定を実行させ(S416)、ショートムービーの作成を実行させる(S418)。ステップS414〜ステップS418の処理については、ステップS208〜ステップS212と同様であるため、詳しい説明は省略する。
〔2−5.作業の自動化(動作例5)〕
次に、ユーザ操作の不要なショートムービー作成動作の他の例について図17を用いて説明する。図17は、ユーザ操作の不要なショートムービー作成処理の動作例のうち、開始トリガからまずテンプレートが選択される例を説明するための説明図である。
まず、制御部140が開始トリガを検知することによって、ショートムービー作成処理が開始される(S502)。開始トリガは、情報処理装置100において検知される何らかのイベントである。ここでは、例えば開始トリガが、登録されたユーザの誕生日の到来である場合について説明する。
まず、制御部140が開始トリガを検知することによって、ショートムービー作成処理が開始される(S502)。開始トリガが検知されると、制御部140は、環境設定における設定値を参照することによって既存のテンプレートを使用するか否かを判定する(S504)。ステップS504の判定において既存のテンプレートを使用すると判定された場合には、制御部140は、テンプレート選択部122に使用するテンプレートを選択させる(S506)。このとき、テンプレート選択部122は、例えば、開始トリガが誕生日の到来であることから、「誕生日」に関連するキーワードを有するテンプレートを選択する。
一方、ステップS504の判定において既存のテンプレートを使用しないと判定された場合には、制御部140は、テンプレート生成部132にテンプレートを自動生成させる(S508)。このときテンプレート生成部132は、例えば「誕生日」というキーワードに基づいてテンプレートを生成する。
以上のように、用いるテンプレートが決定すると、次に制御部140は、解析部110により全ての画像データ群の画像・音声解析を実行させ(S510)、この解析結果からさらにテーマ性を解析させる(S511)。そして、制御部140は、解析部110による解析結果であるテーマ性に基づいて、画像選択部124に画像データ群を選択させる(S512)。
そして、制御部140は音楽選択部126にショートムービーの作成に用いる音楽を選択させ(S514)、ショートムービー作成処理部134にテーマ性に基づいた画像の選択および使用順の決定を実行させ(S516)、ショートムービーの作成を実行させる(S518)。ステップS514〜ステップS518の処理については、ステップS208〜ステップS212と同様であるため、詳しい説明は省略する。
<3.効果の例>
以上説明してきたように、本実施形態に係る情報処理装置100は、ショートムービーの作成に用いる画像データ群とテンプレートとを同じ特徴軸上の特徴量で表されるテーマ性で評価することによって、テーマ性に基づいて自動的に画像データ群とテンプレートとの組合せを選択することができる。このとき、特徴軸は、ユーザが感覚的にわかりやすい指標を用いることによって、図12に示すような感覚的なテンプレート選択画面を提供することが可能になった。
このとき、画像を「群」としての特徴で捉えることにより、画像1つ1つの細かな特徴に囚われず、より全体を正しく把握することが可能となる。例えば、従来は、画像1枚1枚に、誰が写っているか、どこで撮影された写真か、といった情報を把握する技術はあっても、1つのイベントとしてまとめられた「画像データ群」としては把握されていなかった。例えば、ユーザがショートムービーを作成する場合には、「修学旅行」、「誕生日」、「結婚式」、「2010年」など、あるイベント毎のデータを用いて作成したい場合がほとんどである。この場合には、ひとつのイベントとしてまとめられた画像データ群としての特徴を捉える必要があり、本発明は好適である。情報処理装置100は、このイベント毎の雰囲気を捉え、画像データ群とテンプレートとの適切な組み合わせを選択することができる。
なお、上記実施形態において説明した情報処理装置100の各部の機能は、実際には、図示しないCPU(Central Processing Unit)などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したROM(Read Only Memory)やRAM(Random Access Memory)などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより達成される。例えば、上記実施形態に係る情報処理装置100においては、解析部110、選択部120、テンプレート生成部132、ショートムービー作成処理部134、および制御部140の各機能は、実際には、CPUがこれらの機能を実現する処理手順を記述したプログラムを実行することにより達成される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、1つの情報処理装置内において画像の解析からテーマ性解析、ショートムービーの作成まで行うこととしたが、本発明はかかる例に限定されない。例えば、サーバ上において解析を行い、ユーザ端末がその解析結果を取得してショートムービーの作成を行うこととしてもよい。或いは、画像解析、音声解析などの結果を取得したサーバ上でテーマ性解析およびテーマ性に基づいたテンプレートと画像データ群との組合せの選択が実行され、その処理結果を出力してもよい。
なお、情報処理装置100は、たとえばPC(Personal Computer)、家庭用映像処理装置(DVDレコーダ、ビデオデッキなど)、家庭用ゲーム機器、家電機器(デジタルカメラ、ビデオカメラ、テレビ、フォトフレーム)、およびカーナビゲーション装置などの情報処理装置であってもよい。或いは、携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistants)、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの携帯型情報処理装置であってもよい。
また、上記実施形態では、画像情報は、図10に示したような対応表に基づいて評価されることによりテーマ性に反映されたが、本発明はかかる例に限定されない。例えば、機械学習により、画像情報からテーマ性が評価されてもよい。
なお、上記実施形態において、画像データの解析を実行するステップは、必ずしもショートムービーの作成時に行われるものとは限らない。予め写真・映像素材記憶部102などの記憶部に記憶される素材の解析結果が解析結果記憶部106に記憶されている場合には、解析処理は省略することもできる。
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
100 情報処理装置
110 解析部
120 選択部
140 制御部
150 表示部

Claims (10)

  1. 画像データから抽出される画像情報に基づいて、前記画像データを複数含む画像データ群毎にテーマ性を解析する解析部と、
    前記テーマ性と関連付けて記憶された所定の処理と、前記画像データ群との組合せを、前記テーマ性に基づいて選択する選択部と、
    を備える、情報処理装置。
  2. 前記解析部は、画像データ群に含まれる画像データのうち、前記画像情報が所定の特徴を有する画像データの割合に基づいて前記特徴量を算出する、請求項1に記載の情報処理装置。
  3. 前記テーマ性は、所定の評価基準を示す複数の特徴軸に基づいた特徴量空間上で示され、
    前記選択部は、前記画像データ群の特徴点と前記所定の処理に関連付けられたテーマ性の特徴点との距離に基づいて前記組合せを選択する、
    請求項2に記載の情報処理装置。
  4. 複数の画像データ群から前記所定の処理を施す画像データ群を取得し、取得した前記画像データ群のテーマ性を解析するように前記解析部を制御する制御部、
    をさらに備え、
    前記選択部は、前記テーマ性と関連付けて記憶された所定の処理の中から、前記取得された画像データ群の前記テーマ性に基づいて前記所定の処理を選択する、
    請求項1に記載の情報処理装置。
  5. 前記所定の処理は、前記画像データ群からショートムービーを作成するための処理である、請求項1に記載の情報処理装置。
  6. 前記所定の処理に対応づけられたテーマ性の特徴点と、前記画像データ群のテーマ性の特徴点との前記特徴量空間上の位置を示し、前記所定の処理を選択するための画面を表示させる制御部、
    をさらに備える、請求項4に記載の情報処理装置。
  7. 前記画像データ群は、所定の基準に基づいて予め一連のイベントとしてまとめられた複数の画像データである、請求項1に記載の情報処理装置。
  8. 画像データから抽出される画像情報に基づいて、前記画像データを複数含む画像データ群毎にテーマ性を解析する解析部と、
    選択された所定の処理のテーマ性に基づいて、前記画像データ群を選択する選択部と、
    を備える、情報処理装置。
  9. 情報処理装置の演算処理手段に所定の処理手段を実行させることにより実現される情報処理方法の、前記所定の処理が、
    画像データから抽出される画像情報に基づいて、前記画像データを複数含む画像データ群毎にテーマ性を解析する解析ステップと、
    前記テーマ性と関連付けて記憶された所定の処理と前記画像データ群との組合せを、前記テーマ性に基づいて選択する選択ステップと、
    を含む、情報処理方法。
  10. コンピュータを、
    画像データから抽出される画像情報に基づいて、前記画像データを複数含む画像データ群毎にテーマ性を解析する解析部と、
    前記テーマ性と関連付けて記憶された所定の処理と、前記画像データ群との組合せを、前記テーマ性に基づいて選択する選択部と、
    して機能させるための、プログラム。
JP2010034915A 2010-02-19 2010-02-19 情報処理装置、情報処理方法、およびプログラム。 Withdrawn JP2011170690A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010034915A JP2011170690A (ja) 2010-02-19 2010-02-19 情報処理装置、情報処理方法、およびプログラム。
US12/931,778 US8548249B2 (en) 2010-02-19 2011-02-10 Information processing apparatus, information processing method, and program
CN201110037083.8A CN102163339B (zh) 2010-02-19 2011-02-12 信息处理装置、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010034915A JP2011170690A (ja) 2010-02-19 2010-02-19 情報処理装置、情報処理方法、およびプログラム。

Publications (1)

Publication Number Publication Date
JP2011170690A true JP2011170690A (ja) 2011-09-01

Family

ID=44464549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010034915A Withdrawn JP2011170690A (ja) 2010-02-19 2010-02-19 情報処理装置、情報処理方法、およびプログラム。

Country Status (3)

Country Link
US (1) US8548249B2 (ja)
JP (1) JP2011170690A (ja)
CN (1) CN102163339B (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027489A (ja) * 2015-07-27 2017-02-02 富士ゼロックス株式会社 情報処理装置及びプログラム
US9639753B2 (en) 2013-09-24 2017-05-02 Fujifilm Corporation Image processing apparatus, image processing method and recording medium
JP2018055534A (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 画像抽出システム,画像抽出方法およびそのプログラム
WO2021193136A1 (ja) * 2020-03-26 2021-09-30 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
JP2021157431A (ja) * 2020-03-26 2021-10-07 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
US11210829B2 (en) 2018-09-27 2021-12-28 Fujifilm Corporation Image processing device, image processing method, program, and recording medium
US11341714B2 (en) 2018-07-31 2022-05-24 Information System Engineering Inc. Information service system and information service method
US11379094B2 (en) 2019-06-06 2022-07-05 Panasonic Intellectual Property Management Co., Ltd. Emotion-based content selection method, content selection device, and non-transitory computer-readable recording medium storing content selection program
US11520823B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11520822B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11651023B2 (en) 2019-03-29 2023-05-16 Information System Engineering Inc. Information providing system
JP2023077236A (ja) * 2021-11-24 2023-06-05 ヤンマーホールディングス株式会社 圃場管理方法、圃場管理システムおよび圃場管理プログラム
JP2023531693A (ja) * 2020-06-23 2023-07-25 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、機器及びコンピュータ可読記憶媒体
JP7406757B1 (ja) 2022-10-21 2023-12-28 株式会社エグゼック 方法、およびプログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498477B2 (en) * 2006-01-31 2013-07-30 Timothy Getsch Bulk image gathering system and method
US9111146B2 (en) * 2008-02-15 2015-08-18 Tivo Inc. Systems and methods for semantically classifying and normalizing shots in video
JP2011170690A (ja) * 2010-02-19 2011-09-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム。
US20130272679A1 (en) * 2012-04-12 2013-10-17 Mario Luis Gomes Cavalcanti Video Generator System
JP5924114B2 (ja) * 2012-05-15 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法、コンピュータプログラムおよび画像表示装置
US10282075B2 (en) 2013-06-24 2019-05-07 Microsoft Technology Licensing, Llc Automatic presentation of slide design suggestions
CN104038693B (zh) * 2014-05-23 2017-12-29 小米科技有限责任公司 拍照方法和装置
US9992443B2 (en) 2014-05-30 2018-06-05 Apple Inc. System and methods for time lapse video acquisition and compression
CN104268150A (zh) * 2014-08-28 2015-01-07 小米科技有限责任公司 一种基于图片内容播放音乐的方法及装置
US9426409B2 (en) 2014-09-30 2016-08-23 Apple Inc. Time-lapse video capture with optimal image stabilization
US9324376B2 (en) * 2014-09-30 2016-04-26 Apple Inc. Time-lapse video capture with temporal points of interest
US9824291B2 (en) 2015-11-13 2017-11-21 Microsoft Technology Licensing, Llc Image analysis based color suggestions
US10528547B2 (en) 2015-11-13 2020-01-07 Microsoft Technology Licensing, Llc Transferring files
US10534748B2 (en) 2015-11-13 2020-01-14 Microsoft Technology Licensing, Llc Content file suggestions
US10127945B2 (en) 2016-03-15 2018-11-13 Google Llc Visualization of image themes based on image content
EP3475848B1 (en) * 2016-09-05 2019-11-27 Google LLC Generating theme-based videos
CN108882023B (zh) * 2018-07-11 2021-04-16 Oppo广东移动通信有限公司 视频处理方法及相关产品
JP7107172B2 (ja) * 2018-10-31 2022-07-27 富士通株式会社 判断条件生成支援プログラム、判断条件生成支援方法および情報処理装置
JP6707621B1 (ja) * 2018-12-28 2020-06-10 株式会社ラムダシステムズ 情報処理装置、情報処理方法および情報処理プログラム
WO2021029497A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Immersive display system and method thereof
CN111553244B (zh) * 2020-04-24 2023-05-26 中国电建集团成都勘测设计研究院有限公司 基于自动定位定向技术的水土保持监测方法
CN112862927B (zh) * 2021-01-07 2023-07-25 北京字跳网络技术有限公司 用于发布视频的方法、装置、设备和介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
JP2003271749A (ja) * 2002-03-18 2003-09-26 Fuji Photo Film Co Ltd 手術支援システム
EP1422668B1 (en) * 2002-11-25 2017-07-26 Panasonic Intellectual Property Management Co., Ltd. Short film generation/reproduction apparatus and method thereof
JP4261317B2 (ja) 2002-11-25 2009-04-30 パナソニック株式会社 ショートフィルム生成再生装置およびその方法
JP4427291B2 (ja) * 2003-09-03 2010-03-03 東亞合成株式会社 機能性膜の連続製造方法
JP2006041886A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4410732B2 (ja) * 2005-07-27 2010-02-03 グローリー株式会社 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
US20070162857A1 (en) * 2006-01-06 2007-07-12 Ralf Weber Automated multimedia authoring
CN101584001B (zh) * 2006-12-20 2012-06-13 伊斯曼柯达公司 多输出产品的自动产生
CN101226595B (zh) * 2007-01-15 2012-05-23 夏普株式会社 文档图像处理装置以及文档图像处理方法
JP4424389B2 (ja) * 2007-08-24 2010-03-03 ソニー株式会社 動画作成装置、動画作成方法、およびプログラム
KR101382501B1 (ko) * 2007-12-04 2014-04-10 삼성전자주식회사 동영상 촬영 편집 장치 및 방법
JP2011170690A (ja) * 2010-02-19 2011-09-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム。

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639753B2 (en) 2013-09-24 2017-05-02 Fujifilm Corporation Image processing apparatus, image processing method and recording medium
JP2017027489A (ja) * 2015-07-27 2017-02-02 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018055534A (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 画像抽出システム,画像抽出方法およびそのプログラム
US11341714B2 (en) 2018-07-31 2022-05-24 Information System Engineering Inc. Information service system and information service method
US11210829B2 (en) 2018-09-27 2021-12-28 Fujifilm Corporation Image processing device, image processing method, program, and recording medium
US11520823B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11934446B2 (en) 2019-03-29 2024-03-19 Information System Engineering Inc. Information providing system
US11651023B2 (en) 2019-03-29 2023-05-16 Information System Engineering Inc. Information providing system
US11520822B2 (en) 2019-03-29 2022-12-06 Information System Engineering Inc. Information providing system and information providing method
US11379094B2 (en) 2019-06-06 2022-07-05 Panasonic Intellectual Property Management Co., Ltd. Emotion-based content selection method, content selection device, and non-transitory computer-readable recording medium storing content selection program
JP2021157431A (ja) * 2020-03-26 2021-10-07 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
CN113728328A (zh) * 2020-03-26 2021-11-30 艾思益信息应用技术股份公司 信息处理装置和信息处理方法
JP2021157759A (ja) * 2020-03-26 2021-10-07 株式会社 情報システムエンジニアリング 情報処理プログラム
WO2021193136A1 (ja) * 2020-03-26 2021-09-30 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
CN113728328B (zh) * 2020-03-26 2024-04-12 艾思益信息应用技术股份公司 信息处理装置和信息处理方法
US12450900B2 (en) 2020-03-26 2025-10-21 Information System Engineering Inc. Information processing device and method for scene estimation and chunk estimation
JP2023531693A (ja) * 2020-06-23 2023-07-25 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、機器及びコンピュータ可読記憶媒体
US11967344B2 (en) 2020-06-23 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Video processing method and apparatus, device and computer readable storage medium
JP7566937B2 (ja) 2020-06-23 2024-10-15 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、機器及びコンピュータ可読記憶媒体
JP2023077236A (ja) * 2021-11-24 2023-06-05 ヤンマーホールディングス株式会社 圃場管理方法、圃場管理システムおよび圃場管理プログラム
JP7406757B1 (ja) 2022-10-21 2023-12-28 株式会社エグゼック 方法、およびプログラム
JP2024061060A (ja) * 2022-10-21 2024-05-07 株式会社エグゼック 方法、およびプログラム

Also Published As

Publication number Publication date
CN102163339A (zh) 2011-08-24
US20110243453A1 (en) 2011-10-06
CN102163339B (zh) 2016-06-08
US8548249B2 (en) 2013-10-01

Similar Documents

Publication Publication Date Title
CN102163339B (zh) 信息处理装置、信息处理方法和程序
TWI579838B (zh) 編譯視訊的自動產生
KR101535579B1 (ko) 증강 현실 인터액션 구현 방법 및 시스템
JP4902499B2 (ja) 画像表示装置、画像表示方法、および画像表示システム
CN108369633B (zh) 相册的视觉表示
TW201545120A (zh) 自動產生編譯視訊
TW200945895A (en) Image processor, animation reproduction apparatus, and processing method and program for the processor and apparatus
CN102640149A (zh) 乐曲推荐系统、信息处理装置及信息处理方法
JP2011215963A (ja) 電子機器、画像処理方法及びプログラム
CN112422804B (zh) 视频特效生成方法及终端
JP2010093713A (ja) 表示制御装置、表示制御方法及びプログラム
CN103403765B (zh) 内容加工装置及其集成电路、方法
KR101268987B1 (ko) 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
JP2010259064A (ja) 表示装置及び撮像装置
JP4973188B2 (ja) 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
JP2010246050A (ja) データ管理装置、その制御方法及びプログラム
JP2009004999A (ja) 映像データ管理装置
TW201606538A (zh) 依日期組織影像
CN101924847B (zh) 多媒体播放装置及其播放方法
EP2711853B1 (en) Methods and systems for media file management
JP6166070B2 (ja) 再生装置および再生方法
JP2012137559A (ja) カラオケ装置、カラオケ装置の制御方法及び制御プログラム
JP2014110469A (ja) 電子機器、画像処理方法、及びプログラム
JP4692336B2 (ja) 画像表示システム、画像表示装置及び画像表示方法
US20240170024A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130507