[go: up one dir, main page]

JP2005005960A - Apparatus, system, and method for image processing - Google Patents

Apparatus, system, and method for image processing Download PDF

Info

Publication number
JP2005005960A
JP2005005960A JP2003166236A JP2003166236A JP2005005960A JP 2005005960 A JP2005005960 A JP 2005005960A JP 2003166236 A JP2003166236 A JP 2003166236A JP 2003166236 A JP2003166236 A JP 2003166236A JP 2005005960 A JP2005005960 A JP 2005005960A
Authority
JP
Japan
Prior art keywords
image
image data
frame image
frame
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003166236A
Other languages
Japanese (ja)
Inventor
Akio Nishiyama
明雄 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003166236A priority Critical patent/JP2005005960A/en
Publication of JP2005005960A publication Critical patent/JP2005005960A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus, an image processing system, and an image processing method, which are capable of easily forming a frame image from an illustration image, a photographed image or the like. <P>SOLUTION: A figure region 202 and a background region 204 are automatically extracted from subject image data 200. The background region 204 is set out of a target region and subjected to processes of turning itself unicolor and turning colors transparent, whereby a transparent GIF image 208 is formed. The extension of the transparent GIF image 208 is converted to imf, and a frame image 210 is formed. In a frame image forming service which forms a frame image through a service server on a network when the subject image data 200 of a frame image are uploaded to the service server, the service server forms the frame image 210 from the subject image data 200. The frame image 210 formed through the service server can be delivered to users that can be connected to the service server through a network. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は画像処理装置および画像処理システム並びに画像処理方法に係り、特に画像の中の領域を抽出し加工する画像処理技術に関する。
【0002】
【従来の技術】
撮像機能を有する携帯電話等のモバイル機器において、撮影された画像とフレーム画像とを合成できる機能を備えているものがあり、ユーザは該モバイル機器に予め準備されたフレーム画像の中から所望のフレーム画像を選択できるようになっている。また、ユーザがオリジナルのフレーム画像を作成し、モバイル機器に記録できるものもある。
【0003】
特許文献1に開示された人物画像背景合成装置は、人物領域、背景領域、境界領域に対象画像を分割し、人物領域には入力された人物画像を出力し、背景領域には入力された背景画像を出力し、境界領域には該境界領域内画素の濃淡値および背景からの距離に基づいて人物領域と背景領域との合成を行う。
【0004】
【特許文献1】
特開平7−274067号公報
【0005】
【発明が解決しようとする課題】
しかしながら、1つの画像の中で人物領域と背景領域とを分割するには、ユーザがマウスなどの操作部を用いて手動により両者の境界を設定し、分割処理を行っており、手動で境界を設定することは非常に困難で多大な手間と時間を要することである。
【0006】
同様に、ユーザがオリジナルのフレーム画像を作成する場合には、手動で透過部分を設定しなければならないために、多大な手間を要していた。境界が複雑であれば、この手間はさらに増えることになる。
【0007】
特許文献1に開示された人物画像背景合成装置では、入力された画像を、人物領域、背景領域、境界領域の3領域に分けるられるので、処理が煩雑になってしまう。また、境界領域が画質劣化の要因となる等の問題があった。
【0008】
本発明はこのような事情を鑑みてなされたもので、イラスト画像、撮影画像などからフレーム画像を容易に生成可能な画像処理装置および画像処理システム並びに画像処理方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理装置は、画像データを入力する画像データ入力手段と、前記画像データ入力手段により入力された画像データから自動的に対象物外領域を抽出する抽出手段と、前記抽出手段により抽出された対象物外領域を透過領域に設定する透過領域設定手段と、前記透過領域設定手段により設定された透過領域に色を透過させる透過化処理を施す透過化処理手段と、前記透過化処理手段により透過化処理を施された画像データのデータ形式を変換しフレーム画像を生成するデータ形式変換手段と、前記データ形式変換手段によりデータ形式が変換され生成されたフレーム画像を出力するフレーム画像出力手段と、を備えたことを特徴としている。
【0010】
本発明によれば、画像データ入力手段によって入力された画像データから、抽出手段によって自動的に対象物外領域を抽出し、透過領域設定手段によって該対象物外領域を透過領域設定し、設定された透過領域に色を透過させる透過処理を施し、データ形式を変換してフレーム画像を生成するように構成したので、従来はマウスなどの操作手段を介してユーザが操作を行いながら生成されていたフレーム画像を自動生成することが可能になる。
【0011】
画像データにはデジタルカメラによって撮影された画像データ、スキャナによって取り込まれた画像データや電子描画装置を用いて描かれたイラスト画などがある。電子データの圧縮形式はJPEG形式でもよいし、ビットマップ(BMP )形式などを他の圧縮形式でもよい。
【0012】
対象物外領域とは、画像中、あるものを対象物としたときに、対象物以外の領域を示している。例えば、人物(領域)と背景(領域)とから構成される画像では、人物を対象物とすると、背景が対象物外領域になり、背景を対象物とすると、人物が対象物領域となる。3つ以上の領域で構成されている画像では、対象物領域をおよび対象物外領域は2つ以上の領域から構成されてもよい。
【0013】
透過化処理は、例えば、透過GIF のように画像に使われている色のうち指定された色を透過させる処理である。透過化処理を施す色は1色でもよいし、複数の色でもよい。
【0014】
データ形式の変換には、ファイル形式の変換やデータ圧縮形式の変換だけでなく、ファイル形式の変換やデータ圧縮形式の変換を行わず単に拡張子の変更を行うことを含んでいる。拡張子とプログラムとを関連付けしておき、同じ拡張子が付加されたデータでは共通のプログラムを使用するように構成することができる。また、拡張子を用いると同種類データの検索性が向上したり、同じファイル形式のデータを統一管理することができたりする利点がある。
【0015】
フレーム画像は、合成画像生成時に被合成画像に付加する画像であり、例えば被合成画像の背景を他の背景と置き換える際の他の背景の画像や、被合成画像に装飾枠を付加する際の装飾枠の画像などである。フレーム画像には透過部分があり、合成画像上ではこの透過部分は被合成画像が表示されることになる。
【0016】
また、前記目的を達成するために本発明に係る画像処理システムは、画像データをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムであって、前記画像処理サーバは、前記通信端末から前記ネットワーク経由で画像データを受け入れる画像データ入力手段と、前記画像データ入力手段により受け入れた画像データから自動的に対象物外領域を抽出する抽出手段と、前記抽出手段により抽出された対象物外領域を透過領域に設定する透過領域設定手段と、透過領域設定手段によって設定された透過領域に色を透過させる透過化処理を施す透過化処理手段と、前記透過化処理手段により透過化処理を施された画像データのデータ形式を変換しフレーム画像を生成するデータ形式変換手段と、前記データ形式変換手段によりデータ形式が変換され生成されたフレーム画像を前記ネットワーク経由で提供する提供手段と、を備えたことを特徴としている。
【0017】
本発明によれば、ネットワークに接続可能な通信端末からサーバへフレーム画像を生成するための画像データが送出されると、該サーバでは、該画像データから自動的に対象物外領域を抽出し、該対象物外領域には透過処理が施されフレーム画像が生成される。また、該フレーム画像は該ネットワークを経由して提供可能である。
【0018】
また、本発明を利用することにより、フレーム画像を容易に生成することができるため、該サーバによってオリジナルのフレーム画像を生成するサービスを提供することが可能になる。
【0019】
ネットワークには、インターネット、LAN等を含んだ、複数の機器間で情報通信が行えるように接続することを示している。ネットワークの通信形態には有線、無線および赤外線などがあり、通信プロトコルにはTCP/IPやUDP/IPなどがある。なお、他のネットワーク形態や他の通信プロトコルを適用してもよい。
【0020】
サーバは単一のコンピュータで構成されていてもよいし、複数のコンピュータで構成されていてもよい。
【0021】
本発明の一態様によれば、前記画像処理サーバは、前記フレーム画像を記録する画像データ記録手段と、前記記録手段に記録されているフレーム画像を、前記ネットワークに接続される端末機器から送られるフレーム画像要求に応じて所望のフレーム画像を配信するフレーム画像配信手段と、を備えたことを特徴としている。
【0022】
かかる態様によれば、フレーム画像を記録する画像データ記録手段を備え、ネットワークに接続される端末機器からのフレーム画像要求に応じて所望のフレーム画像を配信するように構成したので、前記サーバによって生成されたフレーム画像は再利用可能であり、また、該ネットワークに接続可能な端末機器を使用するユーザは、該画像データ記録手段に記録されているフレーム画像を利用することができる。
【0023】
本発明の他の態様によれば、前記通信端末は、前記画像処理サーバで生成されたフレーム画像を取得する画像データ取得手段と、前記画像データ取得手段によって取得されたフレーム画像を表示する表示手段を備えたことを特徴としている。
【0024】
取得されたフレーム画像を表示装置の表示能力に合わせて拡大縮小できるように構成することが好ましい。また、大きさだけでなく解像度や容量サイズを変更できるとさらによい。
【0025】
本発明の他の態様によれば、前記通信端末は、被写体像を撮像し画像データを生成する撮像手段と、前記撮像手段により生成された画像データと前記フレーム画像とを合成する合成手段と、
を備えたことを特徴としている。
【0026】
前記表示手段にフレーム画像と被写体像とを表示させ、フレーム画像に画角を合わせながら撮像できるように構成すると便利である。
【0027】
通信端末に合成画像を記録する記録手段を備えると、該通信端末内で該フレーム画像の再利用ができ便利である。
【0028】
また、前記目的を達成するために本発明に係る画像処理方法は、画像データをネットワーク経由で送出し取得する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムにおける画像処理方法であって、前記通信端末から前記ネットワークを介して前記サーバへ画像データを送出する工程と、前記サーバが前記通信端末から送出された画像データを受け取る受取工程と、前記受取工程にて受け取った画像データから自動的に対象物外領域を抽出する抽出工程と、前記抽出工程により抽出された対象物外領域を透過領域に設定する透過領域設定工程と、前記透過領域設定工程において設定された透過領域に色を透過させる透過化処理を施す信号処理工程と、前記透過化処理工程において透過化処理された画像データの圧縮形式を変換しフレーム画像を生成する画像形式変換工程と、前記画像形式変換工程により圧縮形式が変換され生成されたフレーム画像を前記ネットワーク経由で提供する提供工程と、から成ることを特徴としている。
【0029】
生成されたフレーム画像を記録手段に記録する記録工程を備え、該ネットワーク接続される通信端末からのフレーム画像要求に応じて前記記録手段に記録されているフレーム画像を配信するように構成してもよい。
【0030】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像処理装置および画像処理システム並びに画像処理方法の好ましい実施の形態について説明する。
【0031】
図1は本発明の実施形態に係る画像処理装置10のブロック図である。
【0032】
この画像処理装置10は、例えば、パーソナルコンピュータ等によって構成することができ、制御部12により統括制御され、制御部12にはバス14を介して、実行プログラムや各種データが記録されているROM16、データを一時記憶するRAM18が接続されている。
【0033】
また、外部および内蔵機器との入出力インターフェイスを備えている。入出力インターフェイスにはUSBインターフェイス20、PCカードインターフェイス22、パラレルインターフェイス24、および通信インターフェイス26が備えられている。
【0034】
USBインターフェイス20は、USB接続可能な周辺機器を接続するインターフェイスである。USB接続では、画像処理装置10の電源を切らずに接続した周辺機器を認識できるホットプラグ機能を備えている。また、プリンタやスキャナ、CD−ROMドライブ等の周辺機器だけでなくデジタルスチルカメラ(DSC)やMDプレーヤー等を接続することができるので、USBインターフェイス20は複数備えると便利である。USBインターフェイスの他に、RS232C、IEEE1394等、他の規格のシリアルインターフェイスを備えてもよい。
【0035】
PCカードインターフェイス22を介してPCカードスロット28が設けられており、PCカード等の記録媒体に記録されているデータを画像処理装置10に取り込むことができる。
【0036】
記録媒体には、xD‐Picture Card、スマートメディア(商標)、コンパクトフラッシュ(商標)等に代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど種々の媒体を用いることができる。
【0037】
PCカードインターフェイス22は異なる規格に対応したものを備えると便利である。また、同じ規格のメディアインターフェイスを複数備えてもよい。
【0038】
パラレルインターフェイス24はパラレル通信によりデータの送受信が行われる周辺機器を接続するインターフェイスである。パラレルインターフェイスにはセントロニクスインターフェイス、SCSIインターフェイス、IDEインターフェイス等がある。
【0039】
セントロニクスインターフェイスには主にプリンタが接続され、SCSIインターフェイスおよびIDEインターフェイスにはハードディスク、MOドライブ、CD−ROMドライブなどを接続可能である。
【0040】
本実施形態では、画像処理装置10はIDEインターフェイスを介して内蔵型ハードディスク30を備えている。もちろんSCSIインターフェイスを介して内蔵型および外部接続型ハードディスクを備えてもよい。
【0041】
ハードディスク30にはデータ保存領域が備えられており、該保存領域に各種データを保存することができる。ハードディスク30にはプログラム領域を備えており、各種プログラムをインストールすることができる。
【0042】
通信インターフェイス26は、既存のLANやインターネットへ接続するためのインターフェイスである。通信インターフェイス26には無線通信インターフェイスやイーサネットインターフェイス等を適用可能であり、既存のLANやインターネットを経由して画像データ等のデータ通信を行うことができる。
【0043】
これらの入出力インターフェイスを介して画像処理装置10に入力されたフレーム画像の元となる原画像データは、圧縮伸張部32によって伸張処理を施された後に、画像処理部34に送られ、フレーム画像生成のための画像処理が施される。
【0044】
画像処理部34は、画像処理機能を強化したマイクロコンピュータ(DSP)、画像処理専用LSI、メモリ、等を含んだ構成になっている。もちろん、DSPは制御部12と兼用可能であり、また、前記メモリはROM16やRAM18と兼用可能である。なお、フレーム画像生成における画像処理の詳細は後述する。
【0045】
また、画像処理装置10は、入力された原画像データや生成されたフレーム画像を表示装置36に表示するために表示装置36に表示可能な形式(例えばNTSC方式のカラー複合映像信号)に変換する表示回路38を備えている。
【0046】
表示装置36は画像処理装置10に内蔵されていてもよいし画像処理装置10の外部にあってもよい。表示装置36にはCRTモニタ、LCDモニタに代えて、有機LEなど、他の方式の表示装置を用いてもよい。
【0047】
ユーザは、操作部(ユーザインターフェイス)40を介して画像処理装置10に文字や記号を入力することができる。さらに操作部40を介して画像処理プログラムの実行指示やプロクラム変更、中止等の指示を画像処理装置10に与えることができる。
【0048】
操作部40には、キーボード、マウス、ジョイスティック等の操作手段の他に、音声認識型入力手段や表示装置36と一体化したタッチパネル式表示装置などが含まれる。
【0049】
次に、図2および図3を用いてフレーム画像の生成について説明する。
【0050】
図2はフレーム画像生成に係るブロック図であり、図3は画像処理装置10に入力された、人物などの対象物を含む原画像がフレーム画像になるまでの遷移を示している。
【0051】
フレーム画像は合成画像を生成する際に被合成画像に付加する(貼り付ける)画像であり、例えば、ある画像の背景を他の背景に置き換える画像合成での他の背景画像や、ある画像の枠部分に装飾枠を付加する合成画像の装飾枠の画像などがある。
【0052】
画像データ入力部100(図1の入出力インターフェイスに相当)を介して画像処理装置10に入力された図3に示した原画像データ200は、図2の対象物外領域抽出部102に送られ、ここで図3に示した人物領域202と背景領域204とが区別され、対象物領域である人物領域202および対象物外領域である背景領域204が自動抽出される(図3参照)。
【0053】
本実施形態では原画像データ200にはJPEG形式(.jpg)が適用される。ただし、原画像データ200はJPEG形式に限定されず、ビットマップ形式(.bmp)や他の形式を適用してもよい。
【0054】
原画像データ200からの人物領域の自動抽出方法としては、次のような方法がある。まず顔パーツ抽出手段において顔パーツ抽出工程が実行される。
【0055】
原画像データ200内の目、鼻、口等の顔パーツを抽出するために特徴抽出処理を行う。特徴抽出処理では、ウェーブレット変換を行い適切な位置と周波数のウェーブレット係数を取り出して量子化する。予め多数のサンプル画像から同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データとの間でマッチング処理が行われ、顔パーツが抽出される。
【0056】
次に、人物領域抽出手段によって人物領域抽出工程が実行される。人物領域抽出工程では、前記顔パーツ抽出手段において顔パーツが抽出された位置を顔と判定し、色、テクスチャによる分割処理が施される。これは、似た色やテクスチャの領域をまとめて分割する処理を行い、例えば、目の座標を含む肌色領域を顔領域としたり、目の座標のやや上にあり黒、茶色の領域を髪領域としたりして人物領域を抽出する。
【0057】
また、目の位置および人物と背景の境界線の平均的な位置関係を示す人物領域辞書データと、原画像データ200から得られた人物領域202と背景領域204との境界線206とのマッチング処理を行い、人物領域202と背景領域204との境界線206を求める境界線検出工程が境界線検出手段によって実行される。
【0058】
上述した人物領域自動抽出方法の他に、原画像データ200内の高周波成分から人物と背景の境界線206を抽出するフィルタ処理手段を有し、原画像データ200から人物領域202を抽出する方法や、原画像データ200内の肌色を抽出し(肌色抽出工程)、その肌色の領域のある点から同一領域に属すると思われる連結領域に対して順次領域拡張を行い、このようにして抽出された領域の形状が顔の形状か否かによって顔領域を抽出し(顔抽出工程)、同様にして顔領域の上部の髪領域を抽出し(髪領域抽出工程)、顔の下部の首及び胸部領域等を抽出することで(首領域抽出工程、胸部領域抽出工程)、人物領域202を抽出する方法等がある。なお、原画像データ200から人物領域202を自動抽出する方法は、種々の方法が考えられ、上記の方法に限定されない。
【0059】
その後、図2の対象外領域透過化部104において、図3に示した対象物外領域である背景領域204は一色化処理が施される。さらに背景領域204を透過色とする透過化処理が施され、透過GIF 形式のGIF 画像208が生成される。なお、透過GIF 形式のGIF 画像208のファイル名はframe1.gifと変更される。
【0060】
画像208は、図2の透過対応画像形式変換部106において拡張子.gifが.ifmに置き換えられ、フレーム画像210が生成される。
【0061】
拡張子を.gifから.ifmに置き換えると、透過GIF 形式の画像208とフレーム画像210とを区別して管理することができる。また、フレーム画像210を取り扱うことができるプログラムとを関連付けすることができ、フレーム画像210ファイルを開く操作を行うと、フレーム画像210と関連付けされたプログラムが自動的に起動され、該プログラム上でフレーム画像210ファイルが開くように構成することができる。
【0062】
フレーム画像210の拡張子は.ifmに限定されず、画像圧縮形式を示す拡張子を適用してもよいし、ファイル管理の都合やフレーム画像210を使用するプログラム等に合わせて他の拡張子を適用可能である。
【0063】
生成されたフレーム画像210はプリント、データ転送、データ表示など、図1の操作部40を介して行われるユーザの指示に従って、図3の画像データ出力部108から出力される。なお、フレーム画像210を図1のハードディスク30に記録してもよい。
【0064】
本実施形態では、背景領域204を対象物外領域として透過化処理を施したが、対象物領域である人物領域202を対象物外領域として透過化処理を施し、対象物領域とした背景領域204が示されたフレーム画像を生成することも可能である。
【0065】
例えば、フレーム画像に他の人物が撮影された画像を合成して2人の人物が並んで撮影された写真(ツーショット写真)を生成する場合や、名刺や社員証などのシグネチャー(署名)としてフレーム画像を用いる場合には、人物領域が示された(背景領域が透過化処理された)フレーム画像を生成し、観光地の景色などをフレーム画像として用いる場合には、背景領域が示された(人物領域が透過化処理された)フレーム画像を生成するように、用途に応じたフレーム画像を生成できるように構成することが好ましい。
【0066】
フレーム画像生成の態様は、フレーム画像の用途(シグネチャー用、背景合成用)を設定し、この設定に合わせて自動的に対象物領域および対象物外領域が決められ、該対象物外領域に透過化処理を施す態様でもよいし、ユーザが対象物領域および対象物外領域を選択する態様でもよい。
【0067】
3つ以上の領域で設定されている画像では、2つ以上の領域を対象物領域および対象物外領域に設定することができる。
【0068】
また、フレーム画像生成時に、サイズ(大きさ)、解像度などをユーザが設定できるように構成すると、ユーザの使用する端末機器に備えられた表示装置の表示能力に適した画像を表示することができる。
【0069】
図2において画像データ入力部100および画像データ出力部108は図1のUSBインターフェイス20や通信インターフェイス26などの入出力手段に相当し、図2の対象物外領域抽出部102や対象物外領域透過化部104は画像処理部34に相当する。また、図2の透過対象画像形式変換部106は圧縮伸張部32および画像処理部34に相当する。
【0070】
上記の如く構成された画像処理装置10では、入力された原画像データ200から人物領域202および背景領域204が自動抽出され、抽出された背景領域204は対象物外領域として一色化処理、透過化処理が施され、拡張子がifm に置き換えられたフレーム画像210が生成される。したがって、面倒な操作をすることなくオリジナルのフレーム画像を生成することができる。
【0071】
上述した画像処理装置10は、パーソナルコンピュータ(PC)等で実現できるが、これに限らず、ネットワーク上の画像加工用のサービスサーバ等によって実現してもよい。
【0072】
図4は本発明に係る画像処理方法が適用された画像処理システムの構成図である。図4中図3と同一または類似する部分には同一の符号を付し、その説明は省略する。
【0073】
図4において、300および302はインターネット等のネットワーク310に接続可能なカメラ付き携帯電話である。以下、カメラ付き携帯電話は単に携帯電話と記載する。また、携帯電話300はユーザAが使用し、携帯電話302はユーザBが使用する。携帯電話300および携帯電話302にはそれぞれディスプレイ304およびディスプレイ306が備えられており、着信表示などを表示する表示装置やカメラ機能使用時のファインダーとして機能する。なお、ディスプレイ304、306にはLCDモニタを適用してもよいし、有機ELや他の表示装置を適用してもよい。
【0074】
ネットワーク310には、前述した画像処理装置10での画像加工と同様な画像処理を行うサービスサーバ320が接続されている。サービスサーバ320は、フレーム画像生成サーバ322、フレーム画像保存サーバ324およびフレーム画像配信サーバ326が含まれている。
【0075】
フレーム画像生成サーバ322はネットワーク310を介してサーバへ送られる原画像データ200からフレーム画像210を生成し、フレーム画像保存サーバ324はフレーム画像生成サーバ322で生成されたフレーム画像210をデータベース化して保存し、また、ユーザID、メールアドレス等のユーザ情報を管理する。フレーム画像配信サーバ326はネットワーク310を介してサービスサーバ320へ送られてくるフレーム画像要求に応じてフレーム画像保存サーバ324に保存されているフレーム画像210の配信を行う。
【0076】
携帯電話300および携帯電話302にて、サービスサーバ320が提供するフレーム画像生成サービスを利用する場合には、サービスサーバ320のホームページにアクセスし、フレーム画像生成を依頼する原画像データ200をサービスサーバ320にアップロードする。また、サービスサーバ320は、フレーム画像生成の際に透過化処理を施す領域を利用者に提示し、利用者に透過化処理を施す領域を選択させることができる。
【0077】
サービスサーバ320は、ユーザAからアップロードされた原画像データ200から背景部分に透過化処理を施すフレーム画像生成の依頼を受け付けると、原画像データ200から人物領域202と背景領域204とを抽出し、背景領域204を対象物外領域として透過化処理を行い、データ形式の変換(拡張子の変更)を行ってフレーム画像210が生成される。そして、このようにして生成されたフレーム画像210をフレーム画像保存サーバ324内のフレーム画像データベースに登録し、フレーム画像210を保存する。
【0078】
上述したように生成されたフレーム画像210は、フレーム画像保存サーバ324へ保存すると同時にフレーム画像生成依頼者(本実施形態ではユーザA)へメールに添付して配信してもよいし、画像ダウンロード(画像閲覧)用URLを添付したメールをユーザAへ送出してもよい。ユーザAはフレーム画像保存サーバ324からフレーム画像210をダウンロードして使用することができる。
【0079】
また、本画像処理サービスでは、ユーザBが携帯電話302を用いて、サービスサーバ320のホームページにアクセスし、フレーム画像保存サーバ324内に保存されているフレーム画像を閲覧し、所望のフレーム画像をダウンロードすることができる。
【0080】
例えば、ユーザBがフレーム画像保存サーバ324に保存されているフレーム画像の中から、フレーム画像210のダウンロードを所望すると(フレーム画像要求)、フレーム画像配信サーバ326を介して携帯電話302へフレーム画像210が送出される。携帯電話302ではフレーム画像210を所定のメモリ(記録手段)に記録し、また、ディスプレイ306に表示する。携帯電話302のディスプレイ306の表示能力に合わせてフレーム画像の大きさ、解像度を変更できるように構成するとよい。
【0081】
このようにサービスサーバ320からダウンロードされたフレーム画像210は、携帯電話302のカメラ機能を用いて撮影された画像340と合成された合成画像342として楽しむことができる。
【0082】
画像340を撮像する際に、フレーム画像210をディスプレイ306に表示させ、画像340との位置関係を確認できるように構成することが好ましい。
【0083】
合成画像はJPEG形式やBMP 形式などの画像データとして圧縮処理される。合成画像342はネットワーク上のプリント装置(不図示)やユーザBが使用可能なプリント装置(不図示)を用いてプリントすることも可能であり、また、合成画像342には他の画像処理を施すことも可能である。
【0084】
図5は、上述した画像処理システムの制御の流れを示したフローチャートである。まず、ユーザAが使用する携帯電話300からフレーム画像を生成するための原画像データ200がサービスサーバ320へ送られる(ステップS10)。
【0085】
原画像データ200を受け取ったサービスサーバ320は、原画像データ200からフレーム画像210生成し(ステップS12)、フレーム画像保存サーバ322内のフレーム画像データベースにフレーム画像210を登録し、フレーム画像保存サーバ324内の画像保存領域にフレーム画像210を保存する(ステップS14)。
【0086】
一方、ユーザBが使用する携帯電話302からのフレーム画像要求があると(ステップS16)、サービスサーバ320は、該フレーム画像要求に応じてフレーム画像保存サーバ324からフレーム画像配信サーバ326を介してユーザBが所望するフレーム画像210を送出する(ステップS18)。
【0087】
サービスサーバ320から送出されたフレーム画像210を携帯電話302が受け取ると(ステップS20)、携帯電話302内のメモリにフレーム画像210を記録し、また、ディスプレイ306にフレーム画像210を表示させる。
【0088】
携帯電話302では、カメラ機能を用いて画像340が撮影され(ステップS22)、撮影画像340とフレーム画像210とを合成し(ステップS24)、合成画像342を楽しむことができる。
【0089】
図6は、図5のステップS12に示したフレーム画像生成の制御の流れを示したフローチャートである。ステップS12に示した、原画像データ200からフレーム画像210を生成する処理が開始されると(図6のステップS100)、まず、フレーム画像生成サーバ322が送られる(ステップS102)。
【0090】
次に、原画像データ200から対象物領域である人物領域202および対象物外領域である背景領域204が自動抽出され(ステップS104)、対象物外領域である背景領域204には一色化処理および透過化処理が施され、対象物外領域が透過化される(ステップS106)。
【0091】
さらに、透過対応画像の拡張子がifm に置き換えられ(ステップS108)、フレーム画像210が生成され(ステップS110)、フレーム画像生成処理が終了される(ステップS112)。
【0092】
サービスサーバ320は、ユーザBから合成画像342のプリント注文を受け付けた場合には、合成画像342をプリントサーバ(不図示)に転送する。プリントサーバは、サーバコンピュータと、プリント装置とを備えており、サービスサーバ320から受信した合成画像342に基づいてプリント装置により合成画像342をプリント出力する。なお、プリント出力された写真プリントは、利用者が指定したコンビニエンス・ストアや写真店などの受取先に配送されたり、直接利用者の自宅に配送されたりする。
【0093】
また、サービスサーバ320におけるフレーム画像生成はソフトウエアプログラム(アプリケーションソフト)に各工程の処理を置き換え可能である。該プログラムは、ネットワークを介してダウンロード可能であり、該プログラムをダウンロードしてPC等の機器にインストールすると、該機器において上述したフレーム画像生成が可能になる。また、該プログラムはCD−ROMやPCカードなどの記録媒体にコピーして配布することも可能である。
【0094】
【発明の効果】
本発明によれば、画像データ入力手段を介して入力された画像データから抽出手段によって対象物外領域が自動的に抽出され、該対象物外領域を透過部分とした透過画像としてフレーム画像が生成される。したがって、容易にフレーム画像を生成することができ、大変便利である。
【0095】
該画像処理装置をサーバとして適用したネットワークシステム(画像処理システム)では、該ネットワークに接続される端末機器から該サーバに送られた画像データを用いて、容易にフレーム画像を生成することができ、該サーバはオリジナルのフレーム画像を生成するサービスを提供することができる。さらに該サーバに記録手段を備えると、該サーバによって生成されたフレーム画像を、該ネットワークに接続可能な端末機器を使用するユーザが利用することができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像処理装置のブロック図
【図2】フレーム画像生成に係る画像処理部のブロック図
【図3】原画像がフレーム画像になるまでの遷移を示す図
【図4】本発明に係る画像処理方法が適用された画像処理システムの構成図
【図5】図4の画像処理システムの制御の流れを示したフローチャート
【図6】図5のフレーム画像生成に係る制御の流れを示したフローチャート
【符号の説明】
10…画像処理装置、12…制御部、32…圧縮伸張部、34…画像処理部、100…画像データ入力部、102…対象物外領域抽出部、104…対象物領域透過化部、106…透過対応画像形式変換部、108…画像データ出力部、200…原画像データ、202…人物領域、204…背景領域、210…フレーム画像、300,302…携帯電話、322…フレーム画像生成サーバ、326…フレーム画像配信サーバ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing system, and an image processing method, and more particularly to an image processing technique for extracting and processing a region in an image.
[0002]
[Prior art]
Some mobile devices such as a mobile phone having an imaging function have a function of combining a captured image and a frame image, and the user can select a desired frame from frame images prepared in advance in the mobile device. The image can be selected. Some users can create original frame images and record them on mobile devices.
[0003]
A human image background composition device disclosed in Patent Document 1 divides a target image into a human region, a background region, and a boundary region, outputs an input human image to the human region, and inputs an input background to the background region. An image is output, and the person area and the background area are synthesized in the boundary area based on the gray value of the pixels in the boundary area and the distance from the background.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 7-274067
[0005]
[Problems to be solved by the invention]
However, in order to divide the person area and the background area in one image, the user manually sets the boundary between the two using an operation unit such as a mouse and performs the dividing process. Setting is very difficult and requires a lot of time and effort.
[0006]
Similarly, when a user creates an original frame image, it has been necessary to set a transparent portion manually, which requires a lot of trouble. If the boundaries are complex, this effort is further increased.
[0007]
In the human image background synthesizing apparatus disclosed in Patent Document 1, the input image is divided into three areas, a human area, a background area, and a boundary area, so that the processing becomes complicated. In addition, there is a problem that the boundary region causes image quality degradation.
[0008]
SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus, an image processing system, and an image processing method that can easily generate a frame image from an illustration image, a captured image, and the like.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus according to the present invention includes image data input means for inputting image data, and extraction for automatically extracting a region outside the object from the image data input by the image data input means. Means, a transmissive area setting means for setting a non-object area extracted by the extracting means as a transmissive area, and a transmissive process for performing a transmissive process for transmitting a color to the transmissive area set by the transmissive area setting means. Means, data format conversion means for generating a frame image by converting the data format of the image data subjected to the transparency processing by the transparency processing means, and a frame generated by converting the data format by the data format conversion means And a frame image output means for outputting an image.
[0010]
According to the present invention, a region outside the object is automatically extracted from the image data input by the image data input unit by the extraction unit, and the region outside the object is set as a transmission region by the transmission region setting unit. Since a frame image is generated by performing a transparency process for transmitting colors to the transparent area and converting the data format, it was conventionally generated while the user operated through an operation means such as a mouse. A frame image can be automatically generated.
[0011]
Image data includes image data captured by a digital camera, image data captured by a scanner, and illustrations drawn using an electronic drawing device. The compression format of the electronic data may be a JPEG format, or a bitmap (BMP) format or the like may be another compression format.
[0012]
The non-object area indicates an area other than the object when a certain object is used as an object in the image. For example, in an image composed of a person (area) and a background (area), if the person is the object, the background is the non-object area, and if the background is the object, the person is the object area. In an image composed of three or more areas, the object area and the non-object area may be composed of two or more areas.
[0013]
The transparency process is a process for transmitting a specified color among colors used in an image, such as a transparent GIF. The color to be subjected to the permeabilization process may be one color or a plurality of colors.
[0014]
The conversion of the data format includes not only the conversion of the file format and the conversion of the data compression format, but also the simple change of the extension without performing the conversion of the file format or the conversion of the data compression format. An extension can be associated with a program, and a common program can be used for data with the same extension added. In addition, the use of an extension has the advantage that the searchability of the same type of data can be improved and the data of the same file format can be managed in a unified manner.
[0015]
The frame image is an image that is added to the composite image when the composite image is generated. For example, when the background of the composite image is replaced with another background image or when a decoration frame is added to the composite image An image of a decorative frame. The frame image has a transmissive portion, and the synthesized image is displayed on the transmissive portion on the synthesized image.
[0016]
In order to achieve the above object, an image processing system according to the present invention includes a communication terminal including a communication unit that transmits image data via a network, and image data sent from the communication terminal via the network. An image processing system comprising: an image processing server for processing, wherein the image processing server accepts image data from the communication terminal via the network and image data input means and the image data input means Extraction means for automatically extracting a non-object area from image data, transmissive area setting means for setting the non-object area extracted by the extraction means as a transmissive area, and a transmissive area set by the transmissive area setting means A permeation processing means for performing a permeation process for transmitting the color to the surface, and a permeation process is performed by the permeation processing means. Data format converting means for converting the data format of the image data to generate a frame image, and providing means for providing the frame image generated by converting the data format by the data format converting means via the network. It is characterized by that.
[0017]
According to the present invention, when image data for generating a frame image is transmitted from a communication terminal connectable to a network to a server, the server automatically extracts a non-object area from the image data, The region outside the object is subjected to a transmission process to generate a frame image. The frame image can be provided via the network.
[0018]
In addition, since the frame image can be easily generated by using the present invention, it is possible to provide a service for generating an original frame image by the server.
[0019]
It indicates that the network is connected so that information communication can be performed between a plurality of devices including the Internet and a LAN. Network communication forms include wired, wireless, and infrared, and communication protocols include TCP / IP and UDP / IP. Other network forms and other communication protocols may be applied.
[0020]
The server may be composed of a single computer or a plurality of computers.
[0021]
According to an aspect of the present invention, the image processing server sends image data recording means for recording the frame image and a frame image recorded in the recording means from a terminal device connected to the network. Frame image distribution means for distributing a desired frame image in response to a frame image request.
[0022]
According to this aspect, the image data recording means for recording the frame image is provided, and a desired frame image is distributed in response to a frame image request from a terminal device connected to the network. The frame image thus made can be reused, and the user who uses the terminal device connectable to the network can use the frame image recorded in the image data recording means.
[0023]
According to another aspect of the present invention, the communication terminal includes an image data acquisition unit that acquires a frame image generated by the image processing server, and a display unit that displays the frame image acquired by the image data acquisition unit. It is characterized by having.
[0024]
It is preferable that the acquired frame image can be enlarged or reduced in accordance with the display capability of the display device. Furthermore, it is better if not only the size but also the resolution and capacity size can be changed.
[0025]
According to another aspect of the present invention, the communication terminal includes an imaging unit that captures a subject image and generates image data, a combining unit that combines the image data generated by the imaging unit and the frame image,
It is characterized by having.
[0026]
It is convenient to display the frame image and the subject image on the display means so that the image can be taken while matching the angle of view with the frame image.
[0027]
If the communication terminal is provided with recording means for recording the composite image, the frame image can be reused in the communication terminal, which is convenient.
[0028]
In order to achieve the above object, an image processing method according to the present invention includes a communication terminal having communication means for transmitting and acquiring image data via a network, and an image sent from the communication terminal via the network. An image processing method in an image processing system comprising an image processing server for processing data, the step of sending image data from the communication terminal to the server via the network, and the server in the communication terminal A receiving step for receiving the image data sent from the receiving step, an extracting step for automatically extracting a region outside the object from the image data received in the receiving step, and a region outside the object extracted by the extracting step as a transmission region A transmissive area setting step for setting the transmissive area, and a transmissive process for transmitting the color to the transmissive area set in the transmissive area setting step. A signal processing step, an image format conversion step of generating a frame image by converting a compression format of the image data subjected to the transparency processing in the transparency processing step, and a frame generated by converting the compression format by the image format conversion step. A providing step of providing an image via the network.
[0029]
A recording step of recording the generated frame image in the recording unit, and the frame image recorded in the recording unit may be distributed in response to a frame image request from the communication terminal connected to the network Good.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of an image processing apparatus, an image processing system, and an image processing method according to the present invention will be described below with reference to the accompanying drawings.
[0031]
FIG. 1 is a block diagram of an image processing apparatus 10 according to an embodiment of the present invention.
[0032]
The image processing apparatus 10 can be configured by, for example, a personal computer, and is controlled by the control unit 12. The control unit 12 has a ROM 16 in which execution programs and various data are recorded via the bus 14. A RAM 18 for temporarily storing data is connected.
[0033]
It also has input / output interfaces with external and internal devices. The input / output interface includes a USB interface 20, a PC card interface 22, a parallel interface 24, and a communication interface 26.
[0034]
The USB interface 20 is an interface for connecting peripheral devices capable of USB connection. The USB connection has a hot plug function that can recognize connected peripheral devices without turning off the power of the image processing apparatus 10. In addition to peripheral devices such as printers, scanners, and CD-ROM drives, a digital still camera (DSC), MD player, and the like can be connected. Therefore, it is convenient to provide a plurality of USB interfaces 20. In addition to the USB interface, a serial interface of another standard such as RS232C or IEEE1394 may be provided.
[0035]
A PC card slot 28 is provided via the PC card interface 22, and data recorded on a recording medium such as a PC card can be taken into the image processing apparatus 10.
[0036]
Various media such as a semiconductor memory card represented by xD-Picture Card, SmartMedia (trademark), CompactFlash (trademark), a magnetic disk, an optical disk, and a magneto-optical disk can be used as the recording medium.
[0037]
It is convenient to provide the PC card interface 22 corresponding to different standards. A plurality of media interfaces of the same standard may be provided.
[0038]
The parallel interface 24 is an interface for connecting peripheral devices that transmit and receive data by parallel communication. The parallel interface includes a Centronics interface, a SCSI interface, an IDE interface, and the like.
[0039]
A printer is mainly connected to the Centronics interface, and a hard disk, an MO drive, a CD-ROM drive, and the like can be connected to the SCSI interface and the IDE interface.
[0040]
In the present embodiment, the image processing apparatus 10 includes a built-in hard disk 30 via an IDE interface. Of course, an internal hard disk and an externally connected hard disk may be provided via a SCSI interface.
[0041]
The hard disk 30 is provided with a data storage area, and various data can be stored in the storage area. The hard disk 30 has a program area, and various programs can be installed.
[0042]
The communication interface 26 is an interface for connecting to an existing LAN or the Internet. A wireless communication interface, an Ethernet interface, or the like can be applied to the communication interface 26, and data communication such as image data can be performed via an existing LAN or the Internet.
[0043]
Original image data that is the basis of a frame image input to the image processing apparatus 10 via these input / output interfaces is subjected to decompression processing by the compression / decompression unit 32, and then sent to the image processing unit 34, where the frame image Image processing for generation is performed.
[0044]
The image processing unit 34 includes a microcomputer (DSP) with an enhanced image processing function, an image processing dedicated LSI, a memory, and the like. Of course, the DSP can be used also as the control unit 12, and the memory can be used as the ROM 16 and the RAM 18. Details of image processing in frame image generation will be described later.
[0045]
Further, the image processing apparatus 10 converts the input original image data and the generated frame image into a format (for example, NTSC color composite video signal) that can be displayed on the display device 36 in order to display it on the display device 36. A display circuit 38 is provided.
[0046]
The display device 36 may be built in the image processing apparatus 10 or may be outside the image processing apparatus 10. Instead of the CRT monitor and LCD monitor, other types of display devices such as organic LE may be used for the display device 36.
[0047]
A user can input characters and symbols to the image processing apparatus 10 via the operation unit (user interface) 40. Furthermore, an instruction to execute an image processing program, change a program, or cancel can be given to the image processing apparatus 10 via the operation unit 40.
[0048]
The operation unit 40 includes a touch panel type display device integrated with voice recognition type input means and the display device 36 in addition to operation means such as a keyboard, a mouse, and a joystick.
[0049]
Next, generation of a frame image will be described with reference to FIGS.
[0050]
FIG. 2 is a block diagram related to frame image generation, and FIG. 3 shows a transition until an original image including an object such as a person input to the image processing apparatus 10 becomes a frame image.
[0051]
A frame image is an image that is added (pasted) to a composite image when generating a composite image. For example, another background image in image composition in which the background of a certain image is replaced with another background, or a frame of a certain image There is an image of a decorative frame of a composite image in which a decorative frame is added to a part.
[0052]
The original image data 200 shown in FIG. 3 input to the image processing apparatus 10 via the image data input unit 100 (corresponding to the input / output interface shown in FIG. 1) is sent to the non-object region extraction unit 102 shown in FIG. Here, the person area 202 and the background area 204 shown in FIG. 3 are distinguished, and the person area 202 as the object area and the background area 204 as the non-object area are automatically extracted (see FIG. 3).
[0053]
In the present embodiment, the JPEG format (.jpg) is applied to the original image data 200. However, the original image data 200 is not limited to the JPEG format, and a bitmap format (.bmp) or another format may be applied.
[0054]
As a method for automatically extracting a person area from the original image data 200, there are the following methods. First, a facial part extracting step is executed in the facial part extracting means.
[0055]
A feature extraction process is performed in order to extract facial parts such as eyes, nose and mouth in the original image data 200. In the feature extraction process, wavelet transformation is performed to extract and quantize wavelet coefficients having appropriate positions and frequencies. A matching process is performed with face part dictionary data created by performing a similar feature extraction process from a large number of sample images in advance, and a facial part is extracted.
[0056]
Next, a person area extracting step is executed by the person area extracting means. In the person area extracting step, the position where the face part is extracted by the face part extracting means is determined as a face, and division processing by color and texture is performed. This is a process of dividing similar color and texture areas together.For example, a skin color area including eye coordinates is used as a face area, and black and brown areas that are slightly above eye coordinates are used as hair areas. To extract a person area.
[0057]
Also, a matching process between the human area dictionary data indicating the average positional relationship between the eye position and the boundary line between the person and the background, and the boundary line 206 between the person area 202 and the background area 204 obtained from the original image data 200 is performed. And a boundary line detecting step for obtaining a boundary line 206 between the person area 202 and the background area 204 is executed by the boundary line detecting means.
[0058]
In addition to the person area automatic extraction method described above, a filter processing unit that extracts a boundary line 206 between a person and a background from high-frequency components in the original image data 200 and a method for extracting the person area 202 from the original image data 200, Then, the skin color in the original image data 200 is extracted (skin color extraction step), and the region extension is sequentially performed on the connected regions that are considered to belong to the same region from a certain point of the skin color region. The face area is extracted depending on whether the shape of the area is the face shape (face extraction process), and the hair area at the top of the face area is similarly extracted (hair area extraction process), and the neck and chest areas at the bottom of the face are extracted. Etc. (neck region extraction step, chest region extraction step) and the like, there is a method of extracting the person region 202, and the like. Various methods can be considered as a method for automatically extracting the person region 202 from the original image data 200, and the method is not limited to the above method.
[0059]
Thereafter, in the non-target region permeation unit 104 of FIG. 2, the background region 204 which is the non-target region shown in FIG. Further, a transparency process for making the background region 204 a transparent color is performed, and a GIF image 208 in a transparent GIF format is generated. Note that the file name of the GIF image 208 in the transparent GIF format is frame1. changed to gif.
[0060]
The image 208 has an extension. gif is. The frame image 210 is generated by replacing with ifm.
[0061]
Extension. from gif. If replaced with ifm, the transparent GIF format image 208 and the frame image 210 can be distinguished and managed. In addition, a program that can handle the frame image 210 can be associated. When an operation for opening the frame image 210 file is performed, the program associated with the frame image 210 is automatically started, and the frame is displayed on the program. An image 210 file can be configured to open.
[0062]
The extension of the frame image 210 is. The extension indicating the image compression format may be applied without being limited to ifm, and other extensions can be applied according to the convenience of file management, the program using the frame image 210, or the like.
[0063]
The generated frame image 210 is output from the image data output unit 108 in FIG. 3 in accordance with a user instruction such as printing, data transfer, data display, and the like performed via the operation unit 40 in FIG. The frame image 210 may be recorded on the hard disk 30 in FIG.
[0064]
In the present embodiment, the permeation process is performed using the background area 204 as the non-target area. However, the permeation process is performed using the person area 202 that is the target area as the non-target area, and the background area 204 is defined as the target area. It is also possible to generate a frame image in which is shown.
[0065]
For example, when a frame image is combined with an image of another person to create a photo (two-shot photo) in which two people are photographed side by side, or as a signature such as a business card or employee ID card When an image is used, a frame image in which a person area is shown (background area is transparentized) is generated. When a scenery of a sightseeing spot is used as a frame image, the background area is indicated ( It is preferable that a frame image corresponding to the application can be generated so as to generate a frame image in which a person region is transparentized.
[0066]
The frame image generation mode is set for the purpose of the frame image (for signature and background synthesis), and the target area and the non-target area are automatically determined according to this setting and transmitted to the non-target area. The aspect which performs a conversion process may be sufficient, and the aspect which a user selects a target object area | region and a non-target object area | region may be sufficient.
[0067]
In an image set with three or more areas, two or more areas can be set as the object area and the non-object area.
[0068]
Further, when the frame image is generated, if the user can set the size (size), resolution, and the like, an image suitable for the display capability of the display device provided in the terminal device used by the user can be displayed. .
[0069]
In FIG. 2, an image data input unit 100 and an image data output unit 108 correspond to input / output means such as the USB interface 20 and the communication interface 26 in FIG. 1, and the non-target region extraction unit 102 and the non-target region transmission in FIG. The conversion unit 104 corresponds to the image processing unit 34. 2 corresponds to the compression / decompression unit 32 and the image processing unit 34.
[0070]
In the image processing apparatus 10 configured as described above, the person area 202 and the background area 204 are automatically extracted from the input original image data 200, and the extracted background area 204 is subjected to a colorization process and a transparency as an area outside the object. Processing is performed to generate a frame image 210 in which the extension is replaced with ifm. Therefore, an original frame image can be generated without troublesome operations.
[0071]
The image processing apparatus 10 described above can be realized by a personal computer (PC) or the like, but is not limited thereto, and may be realized by a service server for image processing on a network.
[0072]
FIG. 4 is a block diagram of an image processing system to which the image processing method according to the present invention is applied. 4, parts that are the same as or similar to those in FIG. 3 are given the same reference numerals, and descriptions thereof are omitted.
[0073]
In FIG. 4, reference numerals 300 and 302 denote camera-equipped mobile phones that can be connected to a network 310 such as the Internet. Hereinafter, the camera-equipped mobile phone is simply referred to as a mobile phone. The mobile phone 300 is used by the user A, and the mobile phone 302 is used by the user B. The mobile phone 300 and the mobile phone 302 are provided with a display 304 and a display 306, respectively, and function as a display device that displays an incoming call display or a finder when the camera function is used. An LCD monitor may be applied to the displays 304 and 306, or an organic EL or other display device may be applied.
[0074]
Connected to the network 310 is a service server 320 that performs image processing similar to the image processing in the image processing apparatus 10 described above. The service server 320 includes a frame image generation server 322, a frame image storage server 324, and a frame image distribution server 326.
[0075]
The frame image generation server 322 generates a frame image 210 from the original image data 200 sent to the server via the network 310, and the frame image storage server 324 stores the frame image 210 generated by the frame image generation server 322 in a database. In addition, it manages user information such as user IDs and e-mail addresses. The frame image distribution server 326 distributes the frame image 210 stored in the frame image storage server 324 in response to a frame image request sent to the service server 320 via the network 310.
[0076]
When the mobile phone 300 and the mobile phone 302 use the frame image generation service provided by the service server 320, the home image of the service server 320 is accessed and the original image data 200 requested to generate the frame image is stored in the service server 320. Upload to. In addition, the service server 320 can present the user with an area to be transparentized when generating a frame image and allow the user to select an area to be transparentized.
[0077]
When the service server 320 receives a request for generating a frame image for performing transparency processing on the background portion from the original image data 200 uploaded from the user A, the service server 320 extracts the person area 202 and the background area 204 from the original image data 200, A permeation process is performed using the background area 204 as a non-object area, and the frame image 210 is generated by converting the data format (changing the extension). The frame image 210 generated in this way is registered in the frame image database in the frame image storage server 324, and the frame image 210 is stored.
[0078]
The frame image 210 generated as described above may be stored in the frame image storage server 324 and delivered to the frame image generation requester (user A in the present embodiment) attached to an e-mail or image download ( A mail attached with a URL for (image browsing) may be sent to the user A. User A can download and use the frame image 210 from the frame image storage server 324.
[0079]
In this image processing service, user B uses the mobile phone 302 to access the home page of the service server 320, browse the frame image stored in the frame image storage server 324, and download the desired frame image. can do.
[0080]
For example, when the user B desires to download the frame image 210 from the frame images stored in the frame image storage server 324 (frame image request), the frame image 210 is sent to the mobile phone 302 via the frame image distribution server 326. Is sent out. In the mobile phone 302, the frame image 210 is recorded in a predetermined memory (recording means) and displayed on the display 306. It may be configured such that the size and resolution of the frame image can be changed in accordance with the display capability of the display 306 of the mobile phone 302.
[0081]
Thus, the frame image 210 downloaded from the service server 320 can be enjoyed as a composite image 342 combined with the image 340 taken using the camera function of the mobile phone 302.
[0082]
It is preferable that the frame image 210 is displayed on the display 306 and the positional relationship with the image 340 can be confirmed when the image 340 is captured.
[0083]
The composite image is compressed as image data in JPEG format or BMP format. The composite image 342 can be printed using a printing device (not shown) on the network or a printing device (not shown) that can be used by the user B, and the composite image 342 is subjected to other image processing. It is also possible.
[0084]
FIG. 5 is a flowchart showing a control flow of the above-described image processing system. First, original image data 200 for generating a frame image is transmitted from the mobile phone 300 used by the user A to the service server 320 (step S10).
[0085]
Upon receiving the original image data 200, the service server 320 generates a frame image 210 from the original image data 200 (step S12), registers the frame image 210 in the frame image database in the frame image storage server 322, and the frame image storage server 324. The frame image 210 is stored in the image storage area (step S14).
[0086]
On the other hand, when there is a frame image request from the mobile phone 302 used by the user B (step S16), the service server 320 responds to the frame image request from the frame image storage server 324 via the frame image distribution server 326 to the user. B sends out the desired frame image 210 (step S18).
[0087]
When the cellular phone 302 receives the frame image 210 transmitted from the service server 320 (step S20), the frame image 210 is recorded in the memory in the cellular phone 302, and the frame image 210 is displayed on the display 306.
[0088]
In the mobile phone 302, an image 340 is captured using the camera function (step S22), the captured image 340 and the frame image 210 are combined (step S24), and the combined image 342 can be enjoyed.
[0089]
FIG. 6 is a flowchart showing a flow of control of frame image generation shown in step S12 of FIG. When the process of generating the frame image 210 from the original image data 200 shown in step S12 is started (step S100 in FIG. 6), first, the frame image generation server 322 is sent (step S102).
[0090]
Next, a person area 202 that is a target area and a background area 204 that is a non-target area are automatically extracted from the original image data 200 (step S104). A permeabilization process is performed, and the region outside the object is permeabilized (step S106).
[0091]
Further, the extension of the transparent image is replaced with ifm (step S108), the frame image 210 is generated (step S110), and the frame image generation process is ended (step S112).
[0092]
When the service server 320 receives a print order for the composite image 342 from the user B, the service server 320 transfers the composite image 342 to a print server (not shown). The print server includes a server computer and a printing device, and prints out the composite image 342 by the printing device based on the composite image 342 received from the service server 320. The printed photo print is delivered to a receiver such as a convenience store or photo shop designated by the user, or directly to the user's home.
[0093]
In addition, the frame image generation in the service server 320 can replace the process of each process with a software program (application software). The program can be downloaded via a network, and when the program is downloaded and installed in a device such as a PC, the above-described frame image generation can be performed in the device. The program can also be distributed by copying it to a recording medium such as a CD-ROM or a PC card.
[0094]
【The invention's effect】
According to the present invention, a region outside the object is automatically extracted from the image data input via the image data input unit by the extraction unit, and a frame image is generated as a transmission image using the region outside the object as a transmission part. Is done. Therefore, a frame image can be easily generated, which is very convenient.
[0095]
In a network system (image processing system) in which the image processing apparatus is applied as a server, a frame image can be easily generated using image data sent from the terminal device connected to the network to the server, The server can provide a service for generating an original frame image. Further, when the server is provided with a recording unit, a frame image generated by the server can be used by a user who uses a terminal device that can be connected to the network.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram of an image processing unit related to frame image generation.
FIG. 3 is a diagram showing a transition until an original image becomes a frame image.
FIG. 4 is a configuration diagram of an image processing system to which an image processing method according to the present invention is applied.
FIG. 5 is a flowchart showing a control flow of the image processing system in FIG. 4;
6 is a flowchart showing a flow of control related to frame image generation in FIG. 5;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus, 12 ... Control part, 32 ... Compression / decompression part, 34 ... Image processing part, 100 ... Image data input part, 102 ... Outside-object area | region extraction part, 104 ... Object area | region permeation | transmission part, 106 ... Transparency-compatible image format conversion unit, 108 ... image data output unit, 200 ... original image data, 202 ... person area, 204 ... background area, 210 ... frame image, 300, 302 ... mobile phone, 322 ... frame image generation server, 326 ... Frame image distribution server

Claims (6)

画像データを入力する画像データ入力手段と、
前記画像データ入力手段により入力された画像データから自動的に対象物外領域を抽出する抽出手段と、
前記抽出手段により抽出された対象物外領域を透過領域に設定する透過領域設定手段と、
前記透過領域設定手段により設定された透過領域に色を透過させる透過化処理を施す透過化処理手段と、
前記透過化処理手段により透過化処理を施された画像データのデータ形式を変換しフレーム画像を生成するデータ形式変換手段と、
前記データ形式変換手段によりデータ形式が変換され生成されたフレーム画像を出力するフレーム画像出力手段と、
を備えたことを特徴とする画像処理装置。
Image data input means for inputting image data;
Extraction means for automatically extracting a region outside the object from the image data input by the image data input means;
Transmissive region setting means for setting the non-object region extracted by the extracting means as a transmissive region;
A permeabilization processing means for performing a permeabilization process for transmitting a color to the transmissive area set by the transmissive area setting means;
Data format conversion means for converting the data format of the image data subjected to the transparency processing by the transparency processing means and generating a frame image;
Frame image output means for outputting a frame image generated by converting the data format by the data format conversion means;
An image processing apparatus comprising:
画像データをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムであって、
前記画像処理サーバは、前記通信端末から前記ネットワーク経由で画像データを受け入れる画像データ入力手段と、
前記画像データ入力手段により受け入れた画像データから自動的に対象物外領域を抽出する抽出手段と、
前記抽出手段により抽出された対象物外領域を透過領域に設定する透過領域設定手段と、
透過領域設定手段によって設定された透過領域に色を透過させる透過化処理を施す透過化処理手段と、
前記透過化処理手段により透過化処理を施された画像データのデータ形式を変換しフレーム画像を生成するデータ形式変換手段と、
前記データ形式変換手段によりデータ形式が変換され生成されたフレーム画像を前記ネットワーク経由で提供する提供手段と、
を備えたことを特徴とする画像処理システム。
An image processing system comprising a communication terminal having communication means for sending image data via a network, and an image processing server for processing image data sent from the communication terminal via the network,
The image processing server includes image data input means for receiving image data from the communication terminal via the network;
Extraction means for automatically extracting a region outside the object from the image data received by the image data input means;
Transmissive region setting means for setting the non-object region extracted by the extracting means as a transmissive region;
A permeabilization processing means for performing a permeabilization process for transmitting a color to the transmissive area set by the transmissive area setting means;
Data format conversion means for converting the data format of the image data subjected to the transparency processing by the transparency processing means and generating a frame image;
Providing means for providing a frame image generated by converting the data format by the data format converting means via the network;
An image processing system comprising:
前記画像処理サーバは、前記フレーム画像を記録する画像データ記録手段と、
前記記録手段に記録されているフレーム画像を、前記ネットワークに接続される端末機器から送られるフレーム画像要求に応じて、前記端末機器のユーザが所望するフレーム画像を配信するフレーム画像配信手段と、
を備えたことを特徴とする請求項2記載の画像処理システム。
The image processing server includes image data recording means for recording the frame image;
A frame image distribution unit that distributes a frame image desired by a user of the terminal device in response to a frame image request sent from the terminal device connected to the network, the frame image recorded in the recording unit;
The image processing system according to claim 2, further comprising:
前記通信端末は、前記画像処理サーバで生成されたフレーム画像を取得する画像データ取得手段と、
前記画像データ取得手段によって取得されたフレーム画像を表示する表示手段を備えたことを特徴とする請求項2または3記載の画像処理システム。
The communication terminal includes image data acquisition means for acquiring a frame image generated by the image processing server;
4. The image processing system according to claim 2, further comprising display means for displaying the frame image acquired by the image data acquisition means.
前記通信端末は、被写体像を撮像し画像データを生成する撮像手段と、
前記撮像手段により生成された画像データと前記フレーム画像とを合成する合成手段と、
を備えたことを特徴とする請求項2、3または4記載の画像処理システム。
The communication terminal captures an image of a subject and generates image data;
Combining means for combining the image data generated by the image pickup means and the frame image;
The image processing system according to claim 2, 3, or 4.
画像データをネットワーク経由で送出し取得する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する画像処理サーバと、から構成される画像処理システムにおける画像処理方法であって、
前記通信端末から前記ネットワークを介して前記サーバへ画像データを送出する工程と、
前記サーバが前記通信端末から送出された画像データを受け取る受取工程と、
前記受取工程にて受け取った画像データから自動的に対象物外領域を抽出する抽出工程と、
前記抽出工程により抽出された対象物外領域を透過領域に設定する透過領域設定工程と、
前記透過領域設定工程において設定された透過領域に色を透過させる透過化処理を施す信号処理工程と、
前記透過化処理工程において透過化処理された画像データの圧縮形式を変換しフレーム画像を生成する画像形式変換工程と、
前記画像形式変換工程により圧縮形式が変換され生成されたフレーム画像を前記ネットワーク経由で提供する提供工程と、
から成ることを特徴とする画像処理方法。
An image in an image processing system comprising a communication terminal having communication means for sending and acquiring image data via a network, and an image processing server for processing image data sent from the communication terminal via the network A processing method,
Sending image data from the communication terminal to the server via the network;
A receiving step in which the server receives image data sent from the communication terminal;
An extraction step of automatically extracting a region outside the object from the image data received in the reception step;
A transmission region setting step of setting the region outside the object extracted by the extraction step as a transmission region;
A signal processing step of performing a permeabilization process for transmitting a color to the transmission region set in the transmission region setting step;
An image format conversion step of generating a frame image by converting a compression format of the image data subjected to the transparency processing in the transparency processing step;
Providing a frame image generated by converting a compression format by the image format conversion step via the network;
An image processing method comprising:
JP2003166236A 2003-06-11 2003-06-11 Apparatus, system, and method for image processing Pending JP2005005960A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003166236A JP2005005960A (en) 2003-06-11 2003-06-11 Apparatus, system, and method for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003166236A JP2005005960A (en) 2003-06-11 2003-06-11 Apparatus, system, and method for image processing

Publications (1)

Publication Number Publication Date
JP2005005960A true JP2005005960A (en) 2005-01-06

Family

ID=34092451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003166236A Pending JP2005005960A (en) 2003-06-11 2003-06-11 Apparatus, system, and method for image processing

Country Status (1)

Country Link
JP (1) JP2005005960A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813936B1 (en) 2006-04-14 2008-03-14 텔미정보통신 주식회사 Method for extracting subject and image synthesizing in moving picture
WO2008134065A3 (en) * 2007-04-26 2008-12-18 Searete Llc Implementing group content substitution in media works
US7860342B2 (en) 2005-07-01 2010-12-28 The Invention Science Fund I, Llc Modifying restricted images
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US8126938B2 (en) 2005-07-01 2012-02-28 The Invention Science Fund I, Llc Group content substitution in media works
US8203609B2 (en) 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US8732087B2 (en) 2005-07-01 2014-05-20 The Invention Science Fund I, Llc Authorization for media content alteration
KR101441585B1 (en) * 2008-04-30 2014-09-25 삼성전자 주식회사 How to combine camera and shot image
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US9092928B2 (en) 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8910033B2 (en) 2005-07-01 2014-12-09 The Invention Science Fund I, Llc Implementing group content substitution in media works
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US7860342B2 (en) 2005-07-01 2010-12-28 The Invention Science Fund I, Llc Modifying restricted images
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US8126938B2 (en) 2005-07-01 2012-02-28 The Invention Science Fund I, Llc Group content substitution in media works
US8792673B2 (en) 2005-07-01 2014-07-29 The Invention Science Fund I, Llc Modifying restricted images
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US9092928B2 (en) 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US8732087B2 (en) 2005-07-01 2014-05-20 The Invention Science Fund I, Llc Authorization for media content alteration
US9426387B2 (en) 2005-07-01 2016-08-23 Invention Science Fund I, Llc Image anonymization
KR100813936B1 (en) 2006-04-14 2008-03-14 텔미정보통신 주식회사 Method for extracting subject and image synthesizing in moving picture
US8203609B2 (en) 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
WO2008134065A3 (en) * 2007-04-26 2008-12-18 Searete Llc Implementing group content substitution in media works
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
KR101441585B1 (en) * 2008-04-30 2014-09-25 삼성전자 주식회사 How to combine camera and shot image

Similar Documents

Publication Publication Date Title
TW522721B (en) Image information obtaining method, image information transmitting apparatus and image information transmitting system
JP5440573B2 (en) Image processing system, server, image processing method, and image processing program
JP4565015B2 (en) Image processing apparatus, image forming apparatus, image processing system, image processing program, and recording medium thereof
US8130404B2 (en) Image processing system and image processing apparatus
JP2005005960A (en) Apparatus, system, and method for image processing
CN101459751A (en) Control device, image forming apparatus, method of controlling image forming apparatus, and recording medium
CN108269100A (en) A kind of self-service product fidelity based on block chain technology and device of tracing to the source
JP4183536B2 (en) Person image processing method, apparatus and system
JP4104055B2 (en) Image data management device
JP4343057B2 (en) Image forming system
JP2011233138A (en) Image display device, picture tone conversion service system, terminal, server and image display method
JP4055126B2 (en) Human image processing method and apparatus
JP3960210B2 (en) Image processing device
JP2004246673A (en) Face image processing device and system
CN101084670A (en) Information processing device, method and program
JP2003304407A (en) Server device
JP5794476B2 (en) Image processing system, image processing apparatus, image processing method, image processing program, and printed matter
JP6115208B2 (en) Image output system, image output server, and image output method
JP2004254294A (en) Active digital image capturing device
JP4164809B2 (en) Image composition processing method, apparatus and program
JP2003244627A (en) Image processing method, image processing program, recording medium for recording the image processing program, image processing apparatus, and image recording apparatus
JP2008172815A (en) Image data management apparatus and image service system
JP2007251386A (en) Image forming apparatus
JP2004179827A (en) Processed image distribution method
JP2002369069A (en) Method for acquiring picture data and electronic camera