[go: up one dir, main page]

JP2004048648A - Method of forming special effect image, camera and image server - Google Patents

Method of forming special effect image, camera and image server Download PDF

Info

Publication number
JP2004048648A
JP2004048648A JP2003017781A JP2003017781A JP2004048648A JP 2004048648 A JP2004048648 A JP 2004048648A JP 2003017781 A JP2003017781 A JP 2003017781A JP 2003017781 A JP2003017781 A JP 2003017781A JP 2004048648 A JP2004048648 A JP 2004048648A
Authority
JP
Japan
Prior art keywords
image
data
special effect
camera
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003017781A
Other languages
Japanese (ja)
Inventor
Naoto Kaneshiro
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003017781A priority Critical patent/JP2004048648A/en
Publication of JP2004048648A publication Critical patent/JP2004048648A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily form a special effect image such as a stereoscopic photograph or a panoramic photograph. <P>SOLUTION: A plurality of digital cameras 9 each having a communication function are used. One of the digital cameras 9 specifies group cameras, and camera identifying data specified together with identifying data for forming special effect image are transmitted to an image server 10. The server 10 transmits photographing instruction data to each of the group cameras on the basis of the identifying data for forming special effect image. With the start of photographing by a leader camera, the group cameras start photographing at a prescribed timing. Picked-up image data are transmitted to the server 10 together with the identifying data for forming special effect image. The server 10 composes the image data picked up by the plurality of cameras 9 to form a special effect image such as a stereoscopic photograph or a panoramic photograph. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は画像データが転送可能な通信機能付きカメラを用いた特殊効果画像の作成方法及びカメラ並びに画像サーバに関するものである。
【0002】
【従来の技術】
近年、電子カメラや、カメラを搭載した携帯電話などが急速に普及してきている(特許文献1,2参照)。
【0003】
【特許文献1】
特開2001−128113号公報(第3,4頁)
【特許文献2】
特開2001−320454号公報(第2,3頁)
【0004】
【発明が解決しようとする課題】
このような電子カメラや、カメラ搭載の携帯電話では、単に被写体を撮影するだけであり、パノラマ撮影やステレオ撮影、スローモーション撮影などの特殊な撮影を行おうとすると、これらのための付帯装置が必要になり、装置構成が複雑になる外に、カメラや携帯電話が大型化してしまうなどの問題がある。
【0005】
本発明は上記課題を解決するためのものであり、装置構成を複雑にすることなく、パノラマ撮影、ステレオ撮影、スローモーション撮影などによる各種特殊効果画像が簡単に得られるようにした特殊効果画像作成方法及びカメラ並びに画像サーバを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、本発明では、撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部とを備えた通信機能付きカメラを用いて撮影を行い、前記データ通信部により前記画像データ及び識別データを画像サーバへ転送し、前記画像サーバで、前記識別データを用いて複数の画像データを関連付けて、これら画像データによる画像を合成して特殊効果画像を作成している。なお、前記通信機能付きカメラを複数台用いて、これら複数台のカメラによる撮影を同期または所定時間ずらしたタイミングにて行い、特殊効果画像を作成することが好ましい。また、前記通信機能付きカメラはストロボまたはライトを備えており、撮影の際に他のカメラに同期または所定時間ずらしたタイミングにてストロボまたはライト光を発光させることが好ましい。
【0007】
また、本発明では、撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部と、ストロボまたはライトとを備えた複数の通信機能付きカメラを用いてストロボまたはライト発光撮影を行い、前記データ通信部により前記画像データ及び識別データを画像サーバへ転送し、前記画像サーバで、前記識別データを用いて複数のカメラからの画像データを関連付けて、これら画像データを選択または合成して一つの特殊効果画像を作成することを特徴とする。なお、前記特殊効果画像は、複数の前記カメラによる画像のうち照明条件のよい画像、または赤目でない画像であることが好ましい。
【0008】
本発明の通信機能付きカメラでは、撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部とを備えた通信機能付きカメラにおいて、特殊効果画像撮影モードに切り替えるモード切り替え手段と、前記モード切り替え手段で特殊効果画像撮影モードに切り替えられたときに、予め設定された撮影手順により撮影し、撮影した画像に特殊効果画像作成用識別データを付してデータ転送する制御部とを備えたことを特徴とする。
【0009】
また、本発明では、撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部とを備えた通信機能付きカメラを用いて撮影された前記画像データ及び識別データを受信して記憶する画像サーバにおいて、前記識別データに基づき複数の画像データによる画像を並べるように合成して特殊効果画像を作成することを特徴とする。また、ストロボまたはライトを備えた複数の通信機能付きカメラを用いて撮影された前記画像データ及び識別データを受信して記憶する画像サーバでは、前記識別データに基づき関連付けられた複数の画像データから、照明条件のよい画像、または赤目でない画像を選択し特殊効果画像を作成することが好ましい。
【0010】
なお、前記特殊効果画像は、複数の前記カメラによる画像を並べるように合成した集合画像、隣接する複数画像を並べるように合成したパノラマ画像、被写体の周囲に配置した複数の前記カメラにより被写体の撮影方向を変えた複数画像を並べるように合成した周回画像、二つの前記カメラによる右目画像と左目画像とを並べるように合成したステレオ画像、複数の前記カメラによる撮影時刻を変えた複数画像を並べるように合成したスローモーション画像、撮影倍率または撮影距離を変更した複数の画像を並べるように合成したズームアップ画像、複数の前記カメラによる画像を選択して合成した合成画像のいずれかであることが好ましい。
【0011】
【発明の実施の形態】
図1は、本発明の特殊効果画像の作成システムを示す概略図である。この特殊効果画像の作成システムは、通信機能付きのデジタルスチルカメラ(カメラ付き携帯電話)9と、画像サーバ10とから構成されている。これらデジタルスチルカメラ9と画像サーバ10とは、携帯電話回線11により接続されるようになっている。デジタルスチルカメラ9は、スチルカメラ本体12と通信部13とこれらを制御するコントローラ14とから構成されている。
【0012】
スチルカメラ本体12は、撮影部15,画像処理部16,バッファメモリ17から構成されている。撮影部15はカラーイメージエリアセンサから構成されており、被写体を撮影する。画像処理部16は、ガンマ変換や周知の画像処理を行った後にA/D変換し、これをバッファメモリ17に記憶する。バッファメモリ17は、2個のフレームメモリ17a,17bから構成されており、一方のフレームメモリ17aでデータ圧縮処理等を行っているときに、他方のフレームメモリ17bに画像処理部16からの画像データが書き込めるようになっている。なお、メモリ構成は上記のものに限定されるものではなく、適宜変更してよい。
【0013】
通信部13は、データ圧縮部18、識別・指示データ発生部19、携帯電話部20から構成されている。データ圧縮部18は、フレームメモリ17a,17bの一方から1フレーム分のデジタル画像データを読みだして、画像データを1/10〜1/20程度の圧縮率で、JPEG(Joint Photgraphic Experts  Group)圧縮する。圧縮された画像データは携帯電話部20に送られる。なお、データ圧縮方式はJPEGに限定されることなく、他の周知の圧縮方式を用いてもよい。
【0014】
識別・指示データ発生部19は、カメラ使用者を特定する識別番号データ(IDデータ)や、テンキー21から入力される各種特殊効果画像作成指令に対応する画像作成指示データを発生する。これら識別・指示データは、携帯電話部20に送られる。
【0015】
携帯電話部20は、圧縮された画像データと識別・指示データとを対応させて、これを周知の携帯電話回線11を用いて画像サーバ10に転送する機能の他に、通常の通話機能やメール機能などを備えている。データ転送は、撮影、画像処理、画像記録、データ圧縮等の各処理が終了した後に自動的にまたはキー入力により行われ、これにより予め登録されている画像サーバ11に画像データと識別・指示データとがデータ転送される。なお、各撮影コマを識別するために、各画像データにはコマ識別番号が付される。このコマ識別番号は、撮影コマ数を単にカウントアップしたものを用いる他に、撮影日時データを用いてもよい。また、特殊効果画像作成用画像データの場合には、これを識別するための特殊効果画像作成用識別データも付される。
【0016】
コントローラ14はテンキー21及びディスプレイ22を備えており、各部を制御する。そして、テンキー21の操作により、通常の携帯電話モードやEメールなどの各種サービスモード、通常撮影モード、画像データ転送モード、特殊効果画像作成モードなどが選択され、これら各モードの処理が実行される。携帯電話モード、各種サービスモード、通常撮影モード、画像データ転送モードなどは通常のカメラ付き携帯電話と同様に行なわれものであり、詳しい説明は省略する。テンキー21には、0〜9の数字キーの他に各種ファンクションキーなどが設けられており、各種モードの設定データや指令などが入力される。
【0017】
画像サーバ10は、データ通信部30、画像合成部31、画像記憶ファイル32、デジタルプリンタ33、システムコントローラ34から構成されており、各カメラ9から転送された画像データ及び識別データに基づき、画像合成したり、プリントしたりする。
【0018】
データ通信部30は電話回線に接続されたモデム35と、このモデム35からのデータを画像データ及び識別・指示データにデコードするデータ変換部36とから構成されている。データ変換部36からの画像データ及び識別・指示データは、システムコントローラ34によって、識別データを検索用データとして、画像記憶ファイル32に記憶される。なお、データ通信部30の構成は上記のモデム35及びデータ変換部36によるもの以外に、他のデータ通信方式によるものなどを採用してよい。
【0019】
システムコントローラ34は特殊効果画像作成用識別データやプリント指示データに基づき画像合成部31やデジタルプリンタ33を制御して、特殊効果画像の作成のための各カメラ9への指示データの作成や、この指示データに基づき撮影された画像データに基づく画像合成、プリント等を制御する。
【0020】
以下、本発明の特徴である特殊効果画像の作成方法について説明する。画像サーバ10のシステムコントローラ34及びデジタルスチルカメラ9のコントローラ14には、特殊効果画像を作成するための処理プログラムが予め記憶されている。この処理プラグラムの処理手順の要部を図2に示す。
【0021】
まず、カメラ所持者(ユーザー)が特殊効果画像を作成しようとする場合に、キー入力によりモード選択が行なわれ、特殊効果画像の作成モードが選択される。この特殊効果画像の作成モードでは、特殊効果画像の種別の選択や、グループカメラの識別データの入力が行なわれる。本実施形態では、特殊効果画像としては、集合画像、パノラマ画像、周回画像、ステレオ画像、スローモーション画像、ズームアップ画像が用意されている。
【0022】
図3に示すように、集合画像P1は、例えば5台のカメラC1〜C5による画像SP1〜SP5が並べて合成されたものである。この集合画像が選択されると、指定されたグループカメラC1〜C5による撮影画像が集合画像作成用識別データとともに各グループカメラC1〜C5から画像サーバ10に送られる。画像サーバ10では、各グループカメラC1〜C5からの画像データと識別データとに基づき、予め設定されている集合画像フォーマットに基づき画像合成し、集合画像P1を作成する。このフォーマットの一例を図3(B)に示す。なお、符号T1はタイトル画像であり、S1は説明文の文字画像である。
【0023】
図4に示すように、パノラマ画像P2は、例えば3台のカメラC1〜C3による隣接する画像SP21〜SP23が繋げられて並べて合成されたものである。(C) には3個の画像SP21〜SP23を連結したものを図示したが、このパノラマ画像P2は、2個以上を連結したものであればよい。図4(A)は、3台のカメラC1〜C3を用いた180°の半周パノラマ画像P2の撮影形態の一例であり、図4(B)のものは、6台のカメラC1〜C6を用いた360°の全周パノラマ画像の撮影形態の一例である。なお、このパノラマ画像P2では、隣接する画像の合成に際してパターン認識が行なわれ、このパターン認識結果に基づき画像が一致するように連結している。これにより、画像の接続部分が不自然に連結されることがなくなる。この際に、画像の拡大縮小補正を行なうと、より一体感のあるパノラマ画像が得られるようになる。なお、上記パノラマ画像では、横方向または縦方向に隣接する画像を連続させているが、これに代えて、横及び縦方向に隣接する画像を連続させてもよく、この場合には、より高解像な画像が得られるようになる。例えば、少なくとも4台以上のカメラを用いて二次元的にエリア分割して撮影を行い、この撮影した画像データを用いて合成を行なう。
【0024】
図5に示すように、周回画像P3は、被写体D1の周囲に配置した複数のカメラC1〜C4により被写体D1の撮影方向を変えた複数画像SP31〜SP34が並べて合成されたものである。並べる画像数は2以上であればよい。また、レイアウトパターンは図5(B)に限定されるものではなく、適宜変更してよい。また、予め複数のパターンを記憶しておき、この中から好みのレイアウトパターンを選ぶようにしてもよい。
【0025】
図6に示すように、ステレオ画像P4は、二台のカメラC1,C2による右目画像SP41と左目画像SP42とが並べて合成されたものであり、裸眼実体視などにより、立体視することができる。
【0026】
スローモーション画像は、図7に示すように、複数のカメラC1〜C5による撮影時刻をΔtだけ変えた複数画像SP51〜SP55を並べて合成したものであり、撮影時刻間隔を短くすることで、スローモーション画像P5が得られる。各カメラにて静止画撮影を行う場合は、撮影したい時間長T、カメラ台数Mより、Δt=T/Mと設定する。例えば、ゴルフのフォームチェックを目的とする場合、時間長Tとしてスィングの開始から終了までの5〜6秒を設定しておく。スィング開始のタイミングで1台目がシャッタオンとすれば、全動作を時間的にM分割した連続画像を得る。
【0027】
また、カメラ単体で1秒あたりNコマの動画撮影機能を有する場合に、複数台(M台)のカメラを用いて、撮影開始タイミングを所定時間Δt(Δt=1/(N×M))ずつ各カメラでずらして撮影することにより、擬似的に1秒当たりのコマ数が(N×M)に増えた動画を得ることができる。例えば、図7のカメラにおいて、N=10とすると、カメラ台数M=5により、1秒当たり50コマの動画を得ることができる。なお、リーダーとなるカメラにおいて、カメラ台数Mをマニュアル入力してもよいし、カメラ間の交信により、連係可能な台数を自動認識して、この認識したカメラ(グループカメラ)の数に応じて、リーダーカメラでΔtを自動で演算し、このΔtをグループ内の他のカメラに伝送してもよい。
【0028】
なお、図示は省略したが、ズームアップ画像は、撮影倍率や撮影距離を変更した複数のカメラを用いて、順次ズームアップした画像を並べるように合成したものである。この場合にズーム機能を有するカメラでは撮影倍率を変更し、ズーム機能を持たないカメラでは撮影距離を変えることでズームアップしたものと同様の画像が得られる。また、同様に図示は省略したが、多重露出画像は、各カメラで異なる露出値で撮影を行い、これら多重露出画像を1枚の画像として合成したものである。この他に、シャッタスピードを複数段階に分けて各カメラで分担して撮影し、これらシャッタスピードが異なる複数の画像を1枚の画像として合成してもよい。
【0029】
図2に示すように、特殊効果画像P1〜P5などの種類が選択されると、この選択に応じてグループカメラの識別データの入力が促される。例えば、図3に示すように、集合画像P1では5個のカメラC1〜C5がグループカメラとして登録され、その内の1台がリーダーカメラとなって撮影開始信号などが発せられ、グループ内の他のカメラがこの撮影開始信号に基づき撮影を行なう。グループカメラの特定は各カメラ固有の携帯電話番号を入力することで行なわれる他に、予め登録した特殊効果画像作成用の識別番号を用いてもよい。
【0030】
次に、必要に応じて予め登録されている中から希望の画像合成フォーマットを選び出し、これの識別データを入力する。これらの入力が終了すると、入力した内容がカメラ9のディスプレイ22に表示される。カメラユーザーはこのディスプレイ22の内容を確認して、内容が希望通りである場合にはテンキー21の該当するキーを操作して、この特殊効果画像作成用データを画像サーバ10に送信する。
【0031】
画像サーバ10では送られてきた特殊効果画像作成用データに基づき、例えば集合画像P1が選択された場合には、図3(B)に示すように、リンクするグループカメラC1〜C5を特定し、これらグループカメラC1〜C5に特殊効果画像作成用指示データを転送する。各グループカメラC1〜C5では、リーダーカメラC1の撮影開始信号を受けて予め設定された所定のタイミングで他のカメラC2〜C5も撮影を行い、この画像データを画像サーバー10に、特殊効果画像作成用識別データとともに転送する。
【0032】
各カメラ9における撮影タイミングの制御信号としては、撮影時刻指定信号を用いる。撮影時刻指定信号としては、一定時間を指定し、この時間を経過した後に撮影開始させる信号や、設定した時刻に達したときに撮影を開始させる信号がある。
【0033】
画像サーバ10では、特殊効果画像作成用識別データ及び画像データに基づき、所定の画像合成を行い、例えば集合画像が選択されたときには、図3に示すような集合画像P1を作成する。この作成済みの特殊効果画像P1は、各グループカメラC1〜C5に転送される。各グループカメラC1〜C5では転送された合成画像データに基づき特殊効果画像P1をディスプレイ22に表示する。
【0034】
カメラユーザーはこの特殊効果画像P1を観察して気に入れば、テンキー21を操作して登録指令を画像サーバ10に送る。画像サーバ10では、登録指令を受け取ると、この合成画像データを特殊効果画像作成用識別データとともに記憶し、登録する。この登録した画像データは予め決められた期間例えば1カ月程度保存され、この間に画像閲覧サービスなどが選択された場合に、各カメラや他の通常の携帯電話などに転送される。なお、グループカメラC1〜C5以外に画像を閲覧可能にするか否かが登録の際に確認され、閲覧可能にした場合には第3者にもこの特殊効果画像が有償または無償でデータ転送される。また、閲覧不能であっても、後にパスワードの入力などによってこの設定を変えることが可能であり、この場合にも第3者は特殊効果画像を観察することができる。
【0035】
なお、上記実施形態では、特殊効果画像としての集合画像P1の画像合成の作成について説明したが、他の特殊効果画像P2〜P5も同様にして作成することができる。また、作成した特殊効果画像P1〜P5をプリントサービスに供してもよい。この場合には、予め、プリントの転送先などを登録しておき、この登録先へプリントを送る。プリントの受渡し方法としては、郵送,宅配や店頭渡し等があり、これらの中から選択される。
【0036】
上記実施形態では、カメラ機能付き携帯電話としての通信機能付きカメラ9を用いて本発明を説明したが、特に携帯電話である必要はなく、通信部を有するカメラであればよい。例えば、カメラ及び通信部を有する携帯情報端末(PDA)や、カメラと携帯電話とを接続したものなどであってもよい。なお、通信部はカメラと一体的または分離可能に設けられていてよい。
【0037】
上記実施形態では、図2に示すように、画像サーバ10によりグループカメラに対して撮影制御データを転送しているが、これに代えて、各種の特殊効果画像を作成する際にリーダーとなるリーダーカメラC1により、グループ内の残りのカメラC2〜C5に対して撮影制御データを転送してよい。この場合には、ブルーツースなどの近距離無線通信方式などを採用して、グループ内の他のカメラに特殊効果画像作成用の各種データを転送する。また、グループ内の各カメラで撮影した画像データを携帯電話回線を介して画像サーバに送るようにしたが、これに代えて上記の近距離無線通信方式を用いて画像データをリーダーカメラC1に転送し、リーダーカメラC1でまとめてグループ内の各カメラC2〜C4の画像データを画像サーバ10へ各種通信方式を用いて転送してもよい。また、各カメラで撮影した複数の画像データとこれの識別データとを関連付けて記憶しておき、画像サーバ10に各コマの画像データをまとめて送るようにしてもよい。この場合には、特殊効果画像作成用識別データに基づき各カメラからの画像データを抽出して、関連する複数の画像を合成する。
【0038】
また、各種の特殊効果画像を作成する際に、各画像の識別データの他に、必要に応じて、撮影日時データ、撮影位置データなどを付加して、これを画像サーバーに入力してもよい。撮影日時データは、各カメラに電波時計機能を付加しておくことで、各カメラ間の時刻誤差を少なくすることができる。また、各グループカメラの撮影位置データは、グローバルポジショニングシステム(GPS)による位置特定機能をカメラに付加しておき、このGPS情報を用いる。さらには、カメラに姿勢検出機能や方位検出機能を付加することで、特殊効果画像を精度よく作成することができる。また、撮影日時、撮影位置、カメラ姿勢、撮影方位などの各種データを合成画像に貼り付けてもよい。また、その他の撮影レンズ焦点距離、被写体距離、被写体照射光源の種別、天気、気温などの各種データも画像データとともに画像サーバに送って、これらの情報に基づき画像品質を向上させてもよい。なお、上記各種データは自動的に各装置にて検出する他に、カメラユーザーがキー操作などにより入力したものであってもよい。
【0039】
また、特殊効果画像P1〜P5を作成する際に、各コマ毎に主要被写体を抽出し、コマ間の位置ずれ補正や、被写体サイズのずれ補正(拡大縮小補正)、濃度や色のずれ補正、目瞑り補正、赤目補正を自動で行なうようにしてもよい。目瞑り補正は、時間軸を僅かにずらしながら、複数のカメラで同一被写体を撮影した場合に、自動的に選択されるもので、パターン認識により目の位置を特定し、この目が開いているか瞑っているかを自動判定し、瞑っている場合に、この瞑っている目の部分画像を、他の画像における対応する部位の目の部分画像に置き換える部分合成処理を行う。この場合に、まばたきに要する時間(目を閉じ始めてから全開に戻るまでの時間)が標準的にLミリ秒である場合に、撮影時にずらす時間間隔を(L+α)ミリ秒程度に設定する。なお、αは個人差を考慮した余裕値であり、加算される。例えば、カメラ2台で撮影する場合に(L+α)ミリ秒だけ撮影時刻がずらされることにより、どちらかの撮影画像が目瞑り状態でも、他方の撮影画像では、目が全開状態であることが期待できる。同様にして、赤目の場合にも一般的な色に置き換える補正が行われる。この置き換えデータは、顔画像において対応する部分の色を抽出しておき、この色データを用いて補正する他に、予め設定してある標準的な色データを用いて補正してもよい。
【0040】
なお、これらの補正を自動的に行う代わりに、仕上がり画像を確認した時などに、目瞑りや赤目に気づいた時にこれら補正を選択し、補正処理を行うようにしてもよい。このような目瞑り補正や赤目補正を行うと、被写体人物の全員が納得のいく集合写真などを得ることができる。これら目瞑り補正や赤目補正は、問題のある部分の嵌め込み合成に代えて、他の画像における対応する人物画像全体をそのまま置き換えるようにしてもよい。また、画像の置き換えに代えて、赤目や目瞑りが発生していない画像を選択して用いてもよい。
【0041】
上記実施形態ではスチルカメラ本体12とデータ通信部13とからデジタルスチルカメラ9を構成したが、この他に、ICカード等の各種メモリ媒体を装着可能に構成して、このメモリ媒体に画像データや特殊効果画像作成用識別データを記憶するようにしてもよい。この場合には、携帯電話回線を用いることなく、メモリ媒体を画像サーバに引き渡すことで、特殊効果画像が得られる。また、ブルーツース等の簡易無線によるデータ通信方式を用いて、画像データや特殊効果画像作成用識別データなどをデータ転送してもよい。
【0042】
上記実施形態では撮影毎に画像データとともに識別データ及び指示データを画像サーバに転送するようにしたが、この他に、大容量メモリを有するカメラの場合には、複数コマ分の画像データを記憶しておき、後にまとめて画像サーバ10へデータ転送してもよい。また、画像サーバ10をカメラ9のメモリに予め複数個登録しておき、それぞれの画像サーバ10に特有の特殊効果画像の作成処理を選択してもよい。
【0043】
上記実施形態では撮影した画像データをデータ圧縮して転送するようにしたが、この他に、転送効率は低下するものの、データ圧縮することなく画像データをそのまま転送してもよい。また、撮影した画像データをカメラ9のディスプレイ22で確認した後にデータ転送を行なってもよい。この場合に、手振れなどによる撮影失敗が発生した場合には、キャンセル操作がなされて、このカメラ9からのデータ転送は行なわれない。画像サーバ10は、撮影失敗などにより特殊効果画像を作成する際に必要な画像数が満たされない場合、例えば図6に示すようなステレオ画像P4を作成する際に1個の画像しか得られない場合には、キャンセルデータを各グループカメラに転送し、再撮影が行なわれる。
【0044】
上記実施形態では、複数の通信機能付きカメラ9を用いて特殊効果画像P1〜P5を作成しているが、この他に、1台の通信機能付きカメラ9を用いて特殊効果画像P1〜P5を作成してもよい。この場合には、撮影タイミングがほぼ同じ時刻になるスローモーション画像のような特殊効果画像の作成は困難であるものの、他の集合画像、パノラマ画像、周回画像、ステレオ画像、ズームアップ画像、多重露出画像などは同一カメラで撮影位置などを変えることで必要な画像を得ることができ、上記と同様な画像合成処理をすることにより、これらの特殊効果画像を作成することができる。
【0045】
また、上記実施形態では、複数画像を空間的な配置で並べて特殊効果画像P1〜P5などを作成しているが、これに代えて、複数画像をコマ送り風に時系列に並べた特殊効果画像ファイルを作成してもよく、この場合には、これをカメラやその他の情報端末に転送して複数画像を動画的に再生させる。
【0046】
また、ストロボ内蔵カメラでは、特定の1台がストロボ撮影モードに入ると、予め関連付けられた他のカメラもストロボ撮影モードになり、ストロボ撮影またはストロボ発光のみを行うようにしてもよい。この場合には、複数のカメラのストロボ光により多方向からの照明が得られ、影の発生が抑えられる他に、光量増加による画質向上効果が得られる。なお、影防止を目的とする場合に、ストロボ発光タイミングを、撮像するカメラ(リーダーカメラ)と、他のグループカメラとで、同時になるように設定する。
【0047】
また、ストロボ光が撮影光軸と異なる方向から得られることにより、さらにはプレ発光の効果により、赤目の発生を防止することができる。赤目防止を目的とする場合には、グループ内の全カメラが撮像と同期して発光する。あるいは、プレ発光モードとして、撮影するカメラ(リーダーカメラ)にてシャッタオンとなった直後からグループ内の残りのカメラが連続して発光し、その2〜3秒後にリーダーカメラで撮像するように制御してもよい。このようなストロボ光のほぼ同時発光による擬似シンクロ撮影は、このようなモードを予め設定しておき、このモードを選択して行う他に、他のモードによる撮影のときに、この擬似シンクロ撮影モードを組み合わせて撮影するようにしてもよい。なお、照明光として、ストロボの代わりに、長時間点灯するライトを用いてもよく、この場合には、例えば、1台当たり1〜2秒程度または数秒程度点灯させる。また、光量はストロボ光より弱くても、赤目防止や近接ストロボ撮影にありがちな顔の白飛び現象の低減の効果を期待することができる。
【0048】
なお、照明条件のよい画像としては、自動処理で、主要被写体(特に顔エリア)を抽出し、適正な濃度レベルとなっている画像を選択することが望ましい。適正な濃度レベルの設定例として、(R、G、B)=(R0±αr、G0±αg、B0±αb)の範囲内とする。この数値としては、ラボが設定するデフォルトの他に、カメラ使用者の好みに応じて調整することが望ましい。
【0049】
また、異なる位置から撮影した複数の画像を用いて、主要被写体や背景エリアで影になったエリアを、ストロボ/ライト光が適正に当たった画像の該当エリアを利用して補正(濃度補正、または局所的な画像合成)を行ってもよい。なお、複数画像間で同一の被写体を判定する方法として、公知の局所エリア間パターンマッチング手法を用いればよい。また、カメラ間の位置関係を利用すれば、影の自動検出精度の向上につなげることもできる。例えば、画面上で被写体の右側に暗いエリアがあった場合、撮影時に右側にいたカメラの撮影画像と比較し、濃度差が所定以上大きくなるエリアを影とみなすことができる。
【0050】
また、グループ内のリーダーカメラは固定である必要はなく、グループカメラ内で順次にリーダー権が移るように構成してもよい。例えば、シャッタオンまたは撮影準備などの特定ボタンを押した順に、リーダー権が移るようにする。この場合に、A機が撮影する時に他のグループ内カメラは発光のみの補助的役割を行う。そして、A機が撮影を終了した後にB機に撮影する順番が移り、B機以外は同様にその補助的役割を行う。
【0051】
【発明の効果】
本発明によれば、通信機能付きカメラを用い、画像データ及び識別データを画像サーバへ転送し、画像サーバで前記識別データを用いて複数の画像データを関連付けて、これら画像データによる画像を合成して特殊効果画像を作成するから、特殊効果画像を得るための特別な装置がカメラ側に不要になり、カメラをコンパクトにまとめることができ、カメラの携帯性が損なわれることがなくなる。
【0052】
通信機能付きカメラを複数台用いて、これら複数台のカメラによる撮影を同期または所定時間ずらしたタイミングにて行い、特殊効果画像を作成することにより、集合画像、パノラマ画像、周回画像、ステレオ画像、スローモーション画像、ズームアップ画像などの特殊効果画像が簡単な構成で得られるようになる。
【図面の簡単な説明】
【図1】本発明の特殊効果画像の作成システムを示す概略図である。
【図2】特殊効果画像の作成手順を示すフローチャートである。
【図3】(A)は集合画像を作成するためのカメラ使用例であり、(B)は集合画像の一例を示す正面図である。
【図4】(A),(B)はパノラマ画像を作成するためのカメラ使用例であり、(C)はパノラマ画像の一例を示す正面図である。
【図5】(A)は周回画像を作成するためのカメラ使用例であり、(B)は周回画像の一例を示す正面図である。
【図6】(A)はステレオ画像を作成するためのカメラ使用例であり、(B)はステレオ画像の一例を示す正面図である。
【図7】(A)はスローモーション画像を作成するためのカメラ使用例であり、(B)はスローモーション画像の一例を示す正面図である。
【符号の説明】
9,C1〜C6 カメラ
10  画像サーバ
11  携帯電話回線
12  スチルカメラ本体
13  通信部
20  携帯電話部
30  データ通信部
31 画像合成部
32  画像記憶ファイル
33  デジタルプリンタ
34  システムコントローラ
P1 集合画像
P2 パノラマ画像
P3 周回画像
P4 ステレオ画像
P5 スローモーション画像
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for creating a special effect image using a camera with a communication function capable of transferring image data, a camera, and an image server.
[0002]
[Prior art]
In recent years, electronic cameras, mobile phones equipped with cameras, and the like are rapidly spreading (see Patent Documents 1 and 2).
[0003]
[Patent Document 1]
JP 2001-128113 A (pages 3 and 4)
[Patent Document 2]
JP 2001-320454 A (pages 2 and 3)
[0004]
[Problems to be solved by the invention]
Such an electronic camera or camera-equipped mobile phone simply shoots the subject, and if you want to take special shots such as panorama shooting, stereo shooting, and slow motion shooting, you need an accessory device for these In addition to the complexity of the device configuration, there are problems such as an increase in the size of cameras and mobile phones.
[0005]
The present invention is for solving the above-mentioned problems, and special effect image creation is made so that various special effect images can be easily obtained by panoramic photography, stereo photography, slow motion photography, etc. without complicating the apparatus configuration. It is an object to provide a method, a camera, and an image server.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, in the present invention, photographing is performed using a camera with a communication function including a photographing unit and a data communication unit that transfers image data photographed by the photographing unit and identification data of the image data. And transferring the image data and identification data to the image server by the data communication unit, associating a plurality of image data using the identification data in the image server, and synthesizing the images based on these image data to produce special effects. Creating an image. In addition, it is preferable to use a plurality of cameras with the communication function, and perform shooting with the plurality of cameras at a timing synchronized or shifted by a predetermined time to create a special effect image. The camera with a communication function includes a strobe or a light, and it is preferable that the strobe or the light is emitted at a timing synchronized with or shifted from another camera at the time of photographing.
[0007]
Further, in the present invention, a strobe using a photographing unit, a data communication unit for transferring image data photographed by the photographing unit and identification data of the image data, and a plurality of cameras with communication functions. Alternatively, light emission photography is performed, the image data and identification data are transferred to the image server by the data communication unit, and the image server associates image data from a plurality of cameras using the identification data, and the image data Is selected or synthesized to create one special effect image. In addition, it is preferable that the special effect image is an image with good illumination conditions or an image that is not red-eye among images from the plurality of cameras.
[0008]
In the camera with a communication function of the present invention, in the camera with a communication function including the imaging unit, and the data communication unit that transfers the image data captured by the imaging unit and the identification data of the image data, the special effect image capturing mode is set. Mode switching means for switching, and when the mode switching means switches to the special effect image shooting mode, the image is shot by a preset shooting procedure, and the shot image is attached with identification data for creating a special effect image and transferred. And a control unit.
[0009]
Further, in the present invention, the image data and identification taken using a camera with a communication function including a photographing unit, image data photographed by the photographing unit, and a data communication unit that transfers identification data of the image data. In the image server that receives and stores data, a special effect image is created by combining images based on a plurality of image data based on the identification data. Further, in the image server that receives and stores the image data and the identification data captured using a plurality of cameras with a communication function including a strobe or a light, from the plurality of image data associated based on the identification data, It is preferable to create a special effect image by selecting an image with good lighting conditions or an image that is not red-eye.
[0010]
The special effect image is a group image obtained by combining images from a plurality of the cameras, a panoramic image combined by arranging a plurality of adjacent images, and a subject photographed by a plurality of cameras arranged around the subject. A circular image synthesized so that a plurality of images with different directions are arranged, a stereo image synthesized so that a right-eye image and a left-eye image obtained by two cameras are arranged, and a plurality of images obtained by changing the shooting times by a plurality of cameras are arranged. It is preferable that the image is a slow-motion image combined with a zoom-in image combined with a plurality of images with different shooting magnifications or shooting distances, or a combined image selected and combined with a plurality of images from the cameras. .
[0011]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a schematic diagram showing a special effect image creation system of the present invention. This special effect image creation system includes a digital still camera (camera mobile phone) 9 with a communication function and an image server 10. The digital still camera 9 and the image server 10 are connected by a mobile phone line 11. The digital still camera 9 includes a still camera body 12, a communication unit 13, and a controller 14 that controls them.
[0012]
The still camera body 12 includes a photographing unit 15, an image processing unit 16, and a buffer memory 17. The photographing unit 15 is composed of a color image area sensor and photographs a subject. The image processing section 16 performs A / D conversion after performing gamma conversion and well-known image processing, and stores this in the buffer memory 17. The buffer memory 17 is composed of two frame memories 17a and 17b. When data compression processing or the like is performed in one frame memory 17a, the image data from the image processing unit 16 is stored in the other frame memory 17b. Can be written. The memory configuration is not limited to the above, and may be changed as appropriate.
[0013]
The communication unit 13 includes a data compression unit 18, an identification / instruction data generation unit 19, and a mobile phone unit 20. The data compression unit 18 reads digital image data for one frame from one of the frame memories 17a and 17b, and compresses the image data at a compression rate of about 1/10 to 1/20, and JPEG (Joint Photographic Experts Group) compression. To do. The compressed image data is sent to the mobile phone unit 20. The data compression method is not limited to JPEG, and other known compression methods may be used.
[0014]
The identification / instruction data generation unit 19 generates identification number data (ID data) for specifying a camera user and image creation instruction data corresponding to various special effect image creation commands input from the numeric keypad 21. These identification / instruction data are sent to the mobile phone unit 20.
[0015]
The mobile phone unit 20 associates the compressed image data with the identification / instruction data and transfers the image data to the image server 10 using the well-known mobile phone line 11. It has functions. The data transfer is performed automatically or by key input after each processing such as photographing, image processing, image recording, data compression, and the like, whereby image data and identification / instruction data are registered in the image server 11 registered in advance. Are transferred. Note that a frame identification number is assigned to each image data in order to identify each shooting frame. As the frame identification number, shooting date / time data may be used in addition to a simple count of the number of shooting frames. In the case of image data for special effect image creation, identification data for special effect image creation for identifying this is also attached.
[0016]
The controller 14 includes a numeric keypad 21 and a display 22 and controls each part. Then, by operating the numeric keypad 21, various service modes such as a normal mobile phone mode and e-mail, a normal shooting mode, an image data transfer mode, a special effect image creation mode, and the like are selected, and processing in these modes is executed. . The cellular phone mode, various service modes, the normal shooting mode, the image data transfer mode, and the like are performed in the same manner as an ordinary camera-equipped cellular phone, and will not be described in detail. The numeric keypad 21 is provided with various function keys in addition to the numeric keys 0 to 9, and is used to input setting data and commands for various modes.
[0017]
The image server 10 includes a data communication unit 30, an image composition unit 31, an image storage file 32, a digital printer 33, and a system controller 34. Based on the image data and identification data transferred from each camera 9, the image composition is performed. Or print.
[0018]
The data communication unit 30 includes a modem 35 connected to a telephone line, and a data conversion unit 36 that decodes data from the modem 35 into image data and identification / instruction data. Image data and identification / instruction data from the data converter 36 are stored in the image storage file 32 by the system controller 34 using the identification data as search data. Note that the configuration of the data communication unit 30 may employ another data communication method in addition to the modem 35 and the data conversion unit 36 described above.
[0019]
The system controller 34 controls the image synthesizing unit 31 and the digital printer 33 based on the special effect image creation identification data and the print instruction data to create instruction data for each camera 9 for creating a special effect image. Controls image composition, printing, and the like based on image data photographed based on instruction data.
[0020]
Hereinafter, a method for creating a special effect image which is a feature of the present invention will be described. A processing program for creating a special effect image is stored in advance in the system controller 34 of the image server 10 and the controller 14 of the digital still camera 9. The main part of the processing procedure of this processing program is shown in FIG.
[0021]
First, when a camera owner (user) intends to create a special effect image, a mode is selected by key input, and a special effect image creation mode is selected. In this special effect image creation mode, selection of the type of special effect image and input of identification data of the group camera are performed. In the present embodiment, as the special effect image, a collective image, a panoramic image, a circular image, a stereo image, a slow motion image, and a zoom-up image are prepared.
[0022]
As shown in FIG. 3, the collective image P <b> 1 is a combination of images SP <b> 1 to SP <b> 5 by, for example, five cameras C <b> 1 to C <b> 5 arranged side by side. When this group image is selected, the images taken by the designated group cameras C1 to C5 are sent from the group cameras C1 to C5 to the image server 10 together with the group image creation identification data. In the image server 10, based on the image data and identification data from each of the group cameras C1 to C5, the images are synthesized based on a preset collective image format to create a collective image P1. An example of this format is shown in FIG. Reference numeral T1 is a title image, and S1 is a text image of an explanatory text.
[0023]
As shown in FIG. 4, the panoramic image P <b> 2 is a combination of adjacent images SP <b> 21 to SP <b> 23 connected by, for example, three cameras C <b> 1 to C <b> 3. Although (C) illustrates the connection of three images SP21 to SP23, this panoramic image P2 only needs to be a combination of two or more. FIG. 4A is an example of a shooting form of a 180 ° half-round panoramic image P2 using three cameras C1 to C3, and FIG. 4B uses six cameras C1 to C6. It is an example of the imaging | photography form of a 360 degree panoramic image. In this panoramic image P2, pattern recognition is performed when adjacent images are combined, and the images are connected so that the images match based on the pattern recognition result. Thereby, the connection part of an image is not unnaturally connected. At this time, if the image enlargement / reduction correction is performed, a more unified panoramic image can be obtained. In the panoramic image, images adjacent in the horizontal direction or the vertical direction are continuous, but instead, images adjacent in the horizontal and vertical directions may be continuous. A resolution image can be obtained. For example, two-dimensional area division is performed using at least four or more cameras, and the resultant image data is combined.
[0024]
As shown in FIG. 5, the circular image P3 is a combination of a plurality of images SP31 to SP34 in which the shooting direction of the subject D1 is changed by a plurality of cameras C1 to C4 arranged around the subject D1. The number of images arranged may be two or more. The layout pattern is not limited to that shown in FIG. 5B, and may be changed as appropriate. Also, a plurality of patterns may be stored in advance, and a favorite layout pattern may be selected from these.
[0025]
As shown in FIG. 6, the stereo image P4 is a combination of the right-eye image SP41 and the left-eye image SP42 obtained by the two cameras C1 and C2, and can be stereoscopically viewed by autostereoscopic vision or the like.
[0026]
As shown in FIG. 7, the slow motion image is a combination of a plurality of images SP51 to SP55 in which the shooting times of the plurality of cameras C1 to C5 are changed by Δt, and the slow motion image is reduced by shortening the shooting time interval. An image P5 is obtained. When taking a still image with each camera, Δt = T / M is set from the time length T to be taken and the number of cameras M. For example, when the purpose is to check a golf form, the time length T is set to 5 to 6 seconds from the start to the end of swing. If the first unit turns on the shutter at the timing of the start of swing, a continuous image in which all operations are divided into M in terms of time is obtained.
[0027]
In addition, when a single camera has a video shooting function of N frames per second, a plurality of (M) cameras are used and the shooting start timing is set to a predetermined time Δt (Δt = 1 / (N × M)). By moving images with different cameras, it is possible to obtain a moving image in which the number of frames per second is increased to (N × M) in a pseudo manner. For example, in the camera of FIG. 7, if N = 10, 50 frames of video can be obtained per second when the number of cameras M = 5. In addition, in the camera as a reader, the number of cameras M may be manually input, or the number of cameras that can be linked is automatically recognized by communication between cameras, and according to the number of recognized cameras (group cameras), It is also possible to automatically calculate Δt with a leader camera and transmit this Δt to other cameras in the group.
[0028]
Although illustration is omitted, the zoomed-up image is a composite of sequentially zoomed-up images using a plurality of cameras with different shooting magnifications and shooting distances. In this case, an image similar to that obtained by zooming in can be obtained by changing the shooting magnification with a camera having a zoom function and changing the shooting distance with a camera without a zoom function. Similarly, although not shown in the figure, the multiple exposure image is obtained by photographing each camera with different exposure values and combining these multiple exposure images as one image. In addition to this, the shutter speed may be divided into a plurality of stages and shared by each camera, and a plurality of images having different shutter speeds may be combined as one image.
[0029]
As shown in FIG. 2, when a type such as special effect images P1 to P5 is selected, input of group camera identification data is prompted in accordance with this selection. For example, as shown in FIG. 3, in the collective image P1, five cameras C1 to C5 are registered as group cameras, and one of them is a leader camera, and a shooting start signal is issued, and the other in the group. The camera performs shooting based on the shooting start signal. Identification of the group camera is performed by inputting a mobile phone number unique to each camera, or an identification number for creating a special effect image registered in advance may be used.
[0030]
Next, a desired image composition format is selected from pre-registered as necessary, and identification data thereof is input. When these inputs are completed, the input content is displayed on the display 22 of the camera 9. The camera user confirms the content of the display 22 and, if the content is as desired, operates the corresponding key of the numeric keypad 21 to transmit the special effect image creation data to the image server 10.
[0031]
Based on the special effect image creation data sent in the image server 10, for example, when the collective image P1 is selected, the group cameras C1 to C5 to be linked are specified as shown in FIG. The special effect image creation instruction data is transferred to the group cameras C1 to C5. Each of the group cameras C1 to C5 receives other camera C2 to C5 at a predetermined timing in response to a shooting start signal from the leader camera C1, and creates a special effect image on the image server 10 with this image data. Transfer with identification data.
[0032]
A shooting time designation signal is used as a shooting timing control signal in each camera 9. The shooting time designation signal includes a signal for designating a certain time and starting shooting after the elapse of this time, and a signal for starting shooting when the set time is reached.
[0033]
The image server 10 performs predetermined image composition based on the special effect image creation identification data and the image data. For example, when a group image is selected, a group image P1 as shown in FIG. 3 is created. The created special effect image P1 is transferred to each of the group cameras C1 to C5. Each of the group cameras C1 to C5 displays the special effect image P1 on the display 22 based on the transferred composite image data.
[0034]
If the camera user observes the special effect image P1 and likes it, the camera user operates the numeric keypad 21 to send a registration command to the image server 10. When receiving the registration command, the image server 10 stores and registers the composite image data together with the special effect image creation identification data. The registered image data is stored for a predetermined period, for example, about one month. When an image browsing service or the like is selected during this period, the registered image data is transferred to each camera or another ordinary mobile phone. Whether or not images can be viewed other than the group cameras C1 to C5 is confirmed at the time of registration, and when the viewing is enabled, the special effect image is transferred to a third party for a fee or free of charge. The Even if browsing is impossible, it is possible to change this setting later by inputting a password or the like. In this case as well, the third party can observe the special effect image.
[0035]
In the embodiment described above, the creation of the image composition of the collective image P1 as a special effect image has been described. However, other special effect images P2 to P5 can be created in the same manner. Further, the created special effect images P1 to P5 may be used for a print service. In this case, a print transfer destination is registered in advance, and the print is sent to this registration destination. Print delivery methods include postal mail, home delivery, and over-the-counter delivery, and are selected from these.
[0036]
In the above embodiment, the present invention has been described using the camera 9 with a communication function as a mobile phone with a camera function. However, the present invention is not particularly required to be a mobile phone, and any camera having a communication unit may be used. For example, it may be a personal digital assistant (PDA) having a camera and a communication unit, or a camera connected to a mobile phone. Note that the communication unit may be provided integrally or separable with the camera.
[0037]
In the above embodiment, as shown in FIG. 2, the image control data is transferred to the group camera by the image server 10, but instead of this, a leader that becomes a leader when creating various special effect images The camera C1 may transfer the shooting control data to the remaining cameras C2 to C5 in the group. In this case, various data for creating special effect images are transferred to other cameras in the group using a short-range wireless communication method such as Bluetooth. In addition, the image data taken by each camera in the group is sent to the image server via the mobile phone line. Instead, the image data is transferred to the reader camera C1 using the short-range wireless communication method. The image data of the cameras C2 to C4 in the group may be transferred to the image server 10 using various communication methods by the leader camera C1. Alternatively, a plurality of image data captured by each camera and their identification data may be stored in association with each other, and the image data of each frame may be sent to the image server 10 collectively. In this case, image data from each camera is extracted based on the special effect image creation identification data, and a plurality of related images are synthesized.
[0038]
Further, when creating various special effect images, in addition to the identification data of each image, shooting date / time data, shooting position data, and the like may be added as necessary and input to the image server. . The shooting date and time data can reduce time errors between the cameras by adding a radio clock function to each camera. Further, the shooting position data of each group camera uses this GPS information by adding a position specifying function by a global positioning system (GPS) to the camera. Furthermore, a special effect image can be created with high accuracy by adding a posture detection function and a direction detection function to the camera. In addition, various data such as a shooting date / time, a shooting position, a camera posture, and a shooting direction may be pasted on the composite image. In addition, other data such as the focal length of the photographing lens, the subject distance, the type of the subject irradiation light source, the weather, and the temperature may be sent to the image server together with the image data, and the image quality may be improved based on the information. In addition to the automatic detection by each device, the various data may be input by a camera user through a key operation or the like.
[0039]
Further, when creating the special effect images P1 to P5, a main subject is extracted for each frame, position displacement correction between frames, subject size shift correction (enlargement / reduction correction), density and color shift correction, Eye meditation correction and red eye correction may be automatically performed. Eye meditation correction is automatically selected when the same subject is shot with multiple cameras while slightly shifting the time axis. The eye position is identified by pattern recognition, and the eye is open. Whether or not the patient is meditating is automatically determined, and when the patient is meditating, the partial image of the meditating eye is replaced with a partial image of the corresponding part of the eye in another image. In this case, when the time required for blinking (the time from when the eyes start to close to when the eyes are fully opened) is typically L milliseconds, the time interval shifted at the time of shooting is set to about (L + α) milliseconds. Α is a margin value considering individual differences and is added. For example, when photographing with two cameras, the photographing time is shifted by (L + α) milliseconds, so that even if one of the photographed images is in the eye-closed state, the other photographed image is expected to have the eyes fully open. it can. Similarly, in the case of red eyes, correction for replacing with a general color is performed. The replacement data may be corrected using standard color data set in advance, in addition to extracting the color of the corresponding part in the face image and correcting it using the color data.
[0040]
Instead of automatically performing these corrections, the correction processing may be performed by selecting these corrections when the eyes are closed or when red eyes are noticed when the finished image is confirmed. By performing such eye meditation correction and red eye correction, it is possible to obtain a group photo and the like that all of the subject persons are satisfied with. These eye-meditation correction and red-eye correction may replace the entire corresponding person image in another image as it is instead of fitting and combining the problematic part. Further, instead of replacing an image, an image in which red eyes or eye meditation has not occurred may be selected and used.
[0041]
In the above embodiment, the digital still camera 9 is composed of the still camera body 12 and the data communication unit 13, but in addition to this, various memory media such as an IC card can be mounted, and image data or Special effect image creation identification data may be stored. In this case, a special effect image can be obtained by handing over the memory medium to the image server without using a mobile phone line. In addition, image data, identification data for special effect image creation, and the like may be transferred using a data communication method using simple wireless communication such as Bluetooth.
[0042]
In the above embodiment, the identification data and the instruction data are transferred to the image server together with the image data for each shooting. However, in the case of a camera having a large-capacity memory, image data for a plurality of frames is stored. The data may be transferred to the image server 10 later. Alternatively, a plurality of image servers 10 may be registered in the memory of the camera 9 in advance, and special effect image creation processing unique to each image server 10 may be selected.
[0043]
In the above-described embodiment, the captured image data is transferred after being compressed, but in addition to this, the image data may be transferred as it is without being compressed, although the transfer efficiency is reduced. Data transfer may be performed after the photographed image data is confirmed on the display 22 of the camera 9. In this case, if a shooting failure occurs due to camera shake or the like, a cancel operation is performed and data transfer from the camera 9 is not performed. When the image server 10 does not satisfy the number of images required when creating a special effect image due to shooting failure or the like, for example, when only one image is obtained when creating a stereo image P4 as shown in FIG. In this case, cancel data is transferred to each group camera, and re-shooting is performed.
[0044]
In the above embodiment, the special effect images P1 to P5 are created by using a plurality of cameras 9 with communication functions. In addition, the special effect images P1 to P5 are obtained by using one camera 9 with communication functions. You may create it. In this case, although it is difficult to create a special effect image such as a slow motion image whose shooting timing is almost the same time, other collective images, panoramic images, loop images, stereo images, zoom-up images, multiple exposures Necessary images can be obtained by changing the shooting position and the like with the same camera, and these special effect images can be created by performing image synthesis processing similar to the above.
[0045]
In the above embodiment, the special effect images P1 to P5 and the like are created by arranging a plurality of images in a spatial arrangement, but instead, a special effect image in which a plurality of images are arranged in time series in a frame-by-frame manner. A file may be created. In this case, the file is transferred to a camera or other information terminal to reproduce a plurality of images in a moving image.
[0046]
In addition, in a camera with a built-in strobe, when one specific camera enters the strobe shooting mode, the other cameras associated in advance may enter the strobe shooting mode, and only the strobe shooting or the strobe light emission may be performed. In this case, illumination from multiple directions can be obtained by strobe light from a plurality of cameras, and generation of shadows can be suppressed, and an image quality improvement effect can be obtained by increasing the amount of light. For the purpose of preventing shadows, the strobe emission timing is set so that the shooting camera (leader camera) and the other group cameras are at the same time.
[0047]
Further, since the strobe light is obtained from a direction different from the photographing optical axis, the occurrence of red eyes can be prevented by the effect of pre-emission. For the purpose of preventing red-eye, all cameras in the group emit light in synchronization with imaging. Alternatively, as a pre-flash mode, control is performed so that the remaining cameras in the group emit light continuously immediately after the shutter is turned on by the camera to be photographed (leader camera), and the image is taken by the leader camera 2-3 seconds later May be. This type of pseudo-synchronous shooting with almost simultaneous flash firing is performed by setting this mode in advance and selecting this mode. You may make it image | photograph combining. In addition, instead of the strobe, a light that can be lit for a long time may be used as the illumination light. In this case, for example, the light is lit for about 1 to 2 seconds or for several seconds. Even if the amount of light is weaker than that of the strobe light, it is possible to expect the effect of preventing red-eye and reducing the whiteout phenomenon of the face that is often used for close-up flash photography.
[0048]
As an image with good lighting conditions, it is desirable to extract the main subject (particularly the face area) by automatic processing and select an image having an appropriate density level. As an example of setting an appropriate density level, (R, G, B) = (R0 ± αr, G0 ± αg, B0 ± αb). It is desirable to adjust this value according to the preference of the camera user in addition to the default set by the laboratory.
[0049]
Also, using multiple images taken from different positions, the shadow area of the main subject or background area is corrected using the corresponding area of the image where the strobe / light is properly applied (density correction, or Local image synthesis) may be performed. A known local area pattern matching method may be used as a method for determining the same subject among a plurality of images. In addition, if the positional relationship between the cameras is used, it is possible to improve the automatic detection accuracy of shadows. For example, when there is a dark area on the right side of the subject on the screen, an area where the density difference is larger than a predetermined value can be regarded as a shadow as compared with a captured image of the camera on the right side at the time of shooting.
[0050]
Further, the leader camera in the group does not need to be fixed, and the reader right may be sequentially transferred within the group camera. For example, the reader right is shifted in the order in which a specific button such as shutter-on or shooting preparation is pressed. In this case, when the Aircraft A takes a picture, the other cameras in the group perform an auxiliary role of only light emission. Then, after the Aircraft A has finished photographing, the order of photographing to the Aircraft B shifts, and the Aircraft other than the Aircraft B performs the auxiliary role in the same manner.
[0051]
【The invention's effect】
According to the present invention, using a camera with a communication function, image data and identification data are transferred to an image server, the image server uses the identification data to associate a plurality of image data, and an image based on these image data is synthesized. Thus, since a special effect image is created, a special device for obtaining a special effect image is not necessary on the camera side, the camera can be made compact, and the portability of the camera is not impaired.
[0052]
Using multiple cameras with communication functions, shooting with these multiple cameras is performed at a timing synchronized or shifted by a predetermined time, and by creating special effect images, collective images, panoramic images, round images, stereo images, Special effect images such as slow motion images and zoom-up images can be obtained with a simple configuration.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a special effect image creation system of the present invention.
FIG. 2 is a flowchart showing a procedure for creating a special effect image.
FIG. 3A is a camera use example for creating a collective image, and FIG. 3B is a front view showing an example of a collective image.
4A and 4B are camera use examples for creating a panoramic image, and FIG. 4C is a front view illustrating an example of a panoramic image.
FIG. 5A is an example of using a camera for creating a circular image, and FIG. 5B is a front view showing an example of a circular image.
FIG. 6A is a camera use example for creating a stereo image, and FIG. 6B is a front view showing an example of a stereo image.
7A is an example of using a camera for creating a slow motion image, and FIG. 7B is a front view illustrating an example of a slow motion image.
[Explanation of symbols]
9, C1-C6 camera
10 Image server
11 Mobile phone line
12 Still camera body
13 Communication Department
20 Mobile phone
30 Data communication department
31 Image composition unit
32 Image storage file
33 Digital printer
34 System Controller
P1 group image
P2 panoramic image
P3 circle image
P4 stereo image
P5 Slow motion image

Claims (9)

撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部とを備えた通信機能付きカメラを用いて撮影を行い、
前記データ通信部により前記画像データ及び識別データを画像サーバへ転送し、
前記画像サーバで、前記識別データを用いて複数の画像データを関連付けて、これら画像データによる画像を合成して特殊効果画像を作成することを特徴とする特殊効果画像の作成方法。
Shooting is performed using a camera with a communication function including a shooting unit and a data communication unit that transfers image data shot by the shooting unit and identification data of the image data,
Transferring the image data and identification data to the image server by the data communication unit;
A method of creating a special effect image, wherein the image server associates a plurality of pieces of image data using the identification data, and creates a special effect image by synthesizing images based on the image data.
前記通信機能付きカメラを複数台用いて、これら複数台のカメラによる撮影を同期または所定時間ずらしたタイミングにて行い、特殊効果画像を作成することを特徴とする請求項1記載の特殊効果画像の作成方法。2. The special effect image according to claim 1, wherein a plurality of the cameras with communication functions are used, and the special effect image is created by performing shooting by the plurality of cameras at a timing synchronized or shifted by a predetermined time. How to make. 前記特殊効果画像は、複数の前記カメラによる画像を並べるように合成した集合画像、隣接する複数画像を並べるように合成したパノラマ画像、被写体の周囲に配置した複数の前記カメラにより被写体の撮影方向を変えた複数画像を並べるように合成した周回画像、二つの前記カメラによる右目画像と左目画像とを並べるように合成したステレオ画像、複数の前記カメラによる撮影時刻を変えた複数画像を並べるように合成したスローモーション画像、撮影倍率または撮影距離を変更した複数の画像を並べるように合成したズームアップ画像、複数の前記カメラによる画像を選択して合成した合成画像のいずれかであることを特徴とする請求項1または2記載の特殊効果画像の作成方法。The special effect image includes a collective image synthesized by arranging images from a plurality of cameras, a panoramic image synthesized by arranging a plurality of adjacent images, and a shooting direction of a subject by a plurality of cameras arranged around the subject. A circular image synthesized to arrange a plurality of changed images, a stereo image synthesized to arrange a right-eye image and a left-eye image obtained by two cameras, and a plurality of images changed in shooting time by a plurality of cameras are arranged. Or a zoomed-up image synthesized by arranging a plurality of images with different shooting magnifications or shooting distances, or a synthesized image obtained by selecting and synthesizing images from a plurality of the cameras. The method for creating a special effect image according to claim 1 or 2. 前記通信機能付きカメラはストロボまたはライトを備えており、撮影の際に他のカメラに同期または所定時間ずらしたタイミングにてストロボまたはライト光を発光させることを特徴とする請求項1ないし3いずれか一つ記載の特殊効果画像の作成方法。4. The camera according to claim 1, wherein the camera with a communication function includes a strobe or a light, and emits the strobe or the light at a timing synchronized with another camera or shifted by a predetermined time during photographing. A method for creating one special effect image. 撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部と、ストロボまたはライトとを備えた複数の通信機能付きカメラを用いてストロボまたはライト発光撮影を行い、
前記データ通信部により前記画像データ及び識別データを画像サーバへ転送し、
前記画像サーバで、前記識別データを用いて複数のカメラからの画像データを関連付けて、これら画像データを選択または合成して一つの特殊効果画像を作成することを特徴とする特殊効果画像の作成方法。
A strobe or light emission photographing is performed using a camera with a plurality of communication functions including a photographing unit, a data communication unit for transferring image data photographed by the photographing unit and identification data of the image data, and a strobe or a light. ,
Transferring the image data and identification data to the image server by the data communication unit;
A special effect image creating method characterized in that the image server associates image data from a plurality of cameras using the identification data, and selects or synthesizes these image data to create one special effect image. .
前記特殊効果画像は、複数の前記カメラによる画像のうち照明条件のよい画像、または赤目でない画像であることを特徴とする請求項5記載の特殊効果画像の作成方法。6. The method of creating a special effect image according to claim 5, wherein the special effect image is an image with good lighting conditions or an image that is not red-eye among images from the plurality of cameras. 撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部とを備えた通信機能付きカメラにおいて、
特殊効果画像撮影モードに切り替えるモード切り替え手段と、
前記モード切り替え手段で特殊効果画像撮影モードに切り替えられたときに、予め設定された撮影手順により撮影し、撮影した画像に特殊効果画像作成用識別データを付してデータ転送する制御部とを備えたことを特徴とする通信機能付きカメラ。
In a camera with a communication function including an imaging unit and a data communication unit that transfers image data captured by the imaging unit and identification data of the image data,
Mode switching means for switching to a special effect image shooting mode;
A control unit that, when switched to the special effect image capturing mode by the mode switching unit, captures images in accordance with a predetermined capturing procedure, and attaches special effect image creation identification data to the captured images and transfers the data. A camera with a communication function.
撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部とを備えた通信機能付きカメラを用いて撮影された前記画像データ及び識別データを受信して記憶する画像サーバにおいて、
前記識別データに基づき複数の画像データによる画像を並べるように合成して特殊効果画像を作成することを特徴とする画像サーバ。
Receiving and storing the image data and identification data photographed using a camera with a communication function comprising a photographing unit and image data photographed by the photographing unit and a data communication unit for transferring identification data of the image data In the image server that
An image server that creates a special effect image by combining images based on a plurality of image data based on the identification data.
撮影部と、この撮影部で撮影した画像データ及びこの画像データの識別データを転送するデータ通信部と、ストロボまたはライトとを備えた複数の通信機能付きカメラを用いて撮影された前記画像データ及び識別データを受信して記憶する画像サーバにおいて、
前記識別データに基づき関連付けられた複数の画像データから、照明条件のよい画像、または赤目でない画像を選択し特殊効果画像を作成することを特徴とする画像サーバ。
The image data captured using a plurality of cameras with a communication function including an image capturing unit, a data communication unit that transfers image data captured by the image capturing unit and identification data of the image data, and a strobe or a light. In an image server that receives and stores identification data,
An image server that creates a special effect image by selecting an image with good illumination conditions or an image that is not red-eye from a plurality of image data associated based on the identification data.
JP2003017781A 2002-05-13 2003-01-27 Method of forming special effect image, camera and image server Pending JP2004048648A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003017781A JP2004048648A (en) 2002-05-13 2003-01-27 Method of forming special effect image, camera and image server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002137669 2002-05-13
JP2003017781A JP2004048648A (en) 2002-05-13 2003-01-27 Method of forming special effect image, camera and image server

Publications (1)

Publication Number Publication Date
JP2004048648A true JP2004048648A (en) 2004-02-12

Family

ID=31719288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003017781A Pending JP2004048648A (en) 2002-05-13 2003-01-27 Method of forming special effect image, camera and image server

Country Status (1)

Country Link
JP (1) JP2004048648A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130030A (en) * 2003-10-21 2005-05-19 Olympus Corp Mobile phone
WO2007063236A1 (en) * 2005-12-02 2007-06-07 France Telecom System for composing multi-view photographs
US7480450B2 (en) 2005-02-17 2009-01-20 Eastman Kodak Company Camera system and cameras connectable to radio network, which are used in the camera system
JP2010049313A (en) * 2008-08-19 2010-03-04 Sony Corp Image processor, image processing method, program
US20130083158A1 (en) * 2011-09-29 2013-04-04 Casio Computer Co., Ltd. Image processing device, image processing method and recording medium capable of generating a wide-range image
JP2013161443A (en) * 2012-02-08 2013-08-19 Dainippon Printing Co Ltd Computer device, information processing system, program, and sketch sheet
JP2013161445A (en) * 2012-02-08 2013-08-19 Dainippon Printing Co Ltd Computer device, information processing system, and program
JP2013161442A (en) * 2012-02-08 2013-08-19 Dainippon Printing Co Ltd Computer device, information processing system, and program
KR101341862B1 (en) * 2007-04-10 2013-12-20 삼성전자주식회사 Method and system for filming flow motion
JP2014090373A (en) * 2012-10-31 2014-05-15 Nikon Corp Auxiliary imaging apparatus and imaging apparatus
JP2014103630A (en) * 2012-11-22 2014-06-05 Olympus Imaging Corp Imaging apparatus and image communication method
WO2015029113A1 (en) * 2013-08-26 2015-03-05 株式会社 東芝 Electronic apparatus, image processing method, and program
KR20150109919A (en) * 2014-03-21 2015-10-02 한국전자통신연구원 Method and apparatus for generating panorama image
JP2016154366A (en) * 2011-03-14 2016-08-25 株式会社ニコン Electronic apparatus and program
EP2563008A3 (en) * 2011-08-23 2017-04-12 Samsung Electronics Co., Ltd. Method and apparatus for performing video communication in a mobile terminal
JP2017153092A (en) * 2017-03-13 2017-08-31 株式会社Tbwa Hakuhodo Photographing system and program
WO2017146224A1 (en) * 2016-02-24 2017-08-31 株式会社Tbwa Hakuhodo Photographing system and data generation method
WO2022190823A1 (en) 2021-03-10 2022-09-15 東芝テック株式会社 Reading device and reading method

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130030A (en) * 2003-10-21 2005-05-19 Olympus Corp Mobile phone
US7480450B2 (en) 2005-02-17 2009-01-20 Eastman Kodak Company Camera system and cameras connectable to radio network, which are used in the camera system
WO2007063236A1 (en) * 2005-12-02 2007-06-07 France Telecom System for composing multi-view photographs
EP1955525A1 (en) * 2005-12-02 2008-08-13 France Télécom System for composing multi-view photographs
KR101341862B1 (en) * 2007-04-10 2013-12-20 삼성전자주식회사 Method and system for filming flow motion
JP2010049313A (en) * 2008-08-19 2010-03-04 Sony Corp Image processor, image processing method, program
US8452079B2 (en) 2008-08-19 2013-05-28 Sony Corporation Apparatus, method, and program for processing image
US10275643B2 (en) 2011-03-14 2019-04-30 Nikon Corporation Electronic device, electronic device control method, and computer-readable recording medium having stored thereon electronic device control program
JP2016154366A (en) * 2011-03-14 2016-08-25 株式会社ニコン Electronic apparatus and program
EP2563008A3 (en) * 2011-08-23 2017-04-12 Samsung Electronics Co., Ltd. Method and apparatus for performing video communication in a mobile terminal
JP2013074572A (en) * 2011-09-29 2013-04-22 Casio Comput Co Ltd Image processing apparatus, image processing method, and program
US20130083158A1 (en) * 2011-09-29 2013-04-04 Casio Computer Co., Ltd. Image processing device, image processing method and recording medium capable of generating a wide-range image
US9270881B2 (en) 2011-09-29 2016-02-23 Casio Computer Co., Ltd. Image processing device, image processing method and recording medium capable of generating a wide-range image
JP2013161443A (en) * 2012-02-08 2013-08-19 Dainippon Printing Co Ltd Computer device, information processing system, program, and sketch sheet
JP2013161442A (en) * 2012-02-08 2013-08-19 Dainippon Printing Co Ltd Computer device, information processing system, and program
JP2013161445A (en) * 2012-02-08 2013-08-19 Dainippon Printing Co Ltd Computer device, information processing system, and program
JP2014090373A (en) * 2012-10-31 2014-05-15 Nikon Corp Auxiliary imaging apparatus and imaging apparatus
JP2014103630A (en) * 2012-11-22 2014-06-05 Olympus Imaging Corp Imaging apparatus and image communication method
WO2015029113A1 (en) * 2013-08-26 2015-03-05 株式会社 東芝 Electronic apparatus, image processing method, and program
KR20150109919A (en) * 2014-03-21 2015-10-02 한국전자통신연구원 Method and apparatus for generating panorama image
KR102189298B1 (en) * 2014-03-21 2020-12-09 한국전자통신연구원 Method and apparatus for generating panorama image
WO2017146224A1 (en) * 2016-02-24 2017-08-31 株式会社Tbwa Hakuhodo Photographing system and data generation method
JP2017153092A (en) * 2017-03-13 2017-08-31 株式会社Tbwa Hakuhodo Photographing system and program
WO2022190823A1 (en) 2021-03-10 2022-09-15 東芝テック株式会社 Reading device and reading method
KR20230104237A (en) 2021-03-10 2023-07-07 도시바 테크 가부시키가이샤 Reading device and reading method
US12182650B2 (en) 2021-03-10 2024-12-31 Toshiba Tec Kabushiki Kaisha Reading apparatus and reading method

Similar Documents

Publication Publication Date Title
JP2004048648A (en) Method of forming special effect image, camera and image server
CN101616261B (en) Image recording apparatus, image recording method, image processing apparatus, and image processing method
JP4931845B2 (en) Imaging apparatus and captured image display control method
JP4783465B1 (en) Imaging device and display device
JP5182352B2 (en) Imaging apparatus, image composition method, and program
JP4135100B2 (en) Imaging device
US20160028955A1 (en) Camera and camera control method
JP2005094741A (en) Image pickup device and image synthesizing method
TWI229548B (en) Image pickup apparatus, photographing method, and storage medium recording photographing method
JP4799501B2 (en) Image capturing apparatus, image capturing apparatus control method, and program
JP4865648B2 (en) Imaging device
JP4635477B2 (en) Image photographing apparatus, pseudo three-dimensional image generation method, and program
JP2005217874A (en) File management method
US7580066B2 (en) Digital camera and template data structure
JP6351260B2 (en) Imaging apparatus and control method thereof
JP2022137136A (en) Display device
JP4049291B2 (en) Digital still camera
JP4748442B2 (en) Imaging apparatus and program thereof
JP2006020105A (en) IMAGING DEVICE, SLOT PHOTOGRAPHING METHOD, AND PROGRAM
JP2006238326A (en) Camera device system and shooting moving image reproduction method
JP2016019092A (en) Information processing apparatus, information processing method, information processing system, and program
JP3867369B2 (en) Digital still image shooting system
KR20070058263A (en) How to shoot panoramic images using multiple cameras
JP2008042746A (en) Camera, photographing control method and program
JP6238735B2 (en) Imaging apparatus and control method thereof