JP2014068107A

JP2014068107A - Image processing apparatus, image processing system, image processing method, and computer program

Info

Publication number: JP2014068107A
Application number: JP2012210609A
Authority: JP
Inventors: Mitsuaki Koseki; 光昭小関
Original assignee: Zenrin Datacom Co Ltd
Current assignee: Zenrin Datacom Co Ltd
Priority date: 2012-09-25
Filing date: 2012-09-25
Publication date: 2014-04-17

Abstract

PROBLEM TO BE SOLVED: To obtain an image which appears as if a person was present when he/she was not present at the place the image was acquired.SOLUTION: An image processing apparatus comprises: a first storage unit that stores identification information for identifying a first person whose consent was obtained in advance; a second storage unit that stores an image of a second person; an image acquiring unit for acquiring a captured image; an image analysis unit; and a replacing unit. The image analysis unit analyzes whether the acquired image includes the first person on the basis of the identification information, and the replacing unit replaces the first person included in the acquired image with the second person by using the image of the second person.

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラムに関する。 The present invention relates to an image processing apparatus, an image processing system, an image processing method, and a computer program.

近年、撮像した画像に異なる画像を付加して、好みの画像に合成する画像処理技術が発達している。例えば、特許文献１には、現在撮影されている動画像に、メモリ等から読み出した画像を撮影現場で手軽に合成する技術が記載されている。 In recent years, an image processing technique has been developed in which a different image is added to a captured image and is combined with a favorite image. For example, Patent Document 1 describes a technique for easily combining an image read from a memory or the like with a moving image that is currently shot at a shooting site.

特開２００４−８０４１７号公報JP 2004-80417 A

しかし、特許文献１に記載された技術では、実際の動画像にメモリ等から読み出した画像を単純に重ね合わせている。そのため、例えば、運動会やキャンプ、行楽などのイベントで撮像した画像に、参加できなかった人物の画像を重ね合わせた場合には、重ね合わせた人物の画像が、イベントの雰囲気や、撮像した画像に含まれる他の人物の雰囲気とそぐわなくなる場合があった。そのほか、従来の画像処理装置においては、その使い勝手の向上や処理負担の軽減が望まれていた。 However, in the technique described in Patent Document 1, an image read from a memory or the like is simply superimposed on an actual moving image. Therefore, for example, when an image of a person who could not participate is superimposed on an image captured at an event such as an athletic meet, camping, or vacation, the superimposed image of the person is added to the atmosphere of the event or the captured image. In some cases, it was not compatible with the atmosphere of other people included. In addition, in conventional image processing apparatuses, it has been desired to improve the usability and reduce the processing load.

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms.

（１）本発明の一形態によれば、画像処理装置が提供される。この画像処理装置は、あらかじめ承諾が得られた第１の人物を識別するための識別情報が記憶された第１記憶部と；第２の人物の画像が記憶された第２記憶部と；撮像された画像を取得する画像取得部と；前記識別情報に基づいて、前記取得された画像に前記第１の人物が含まれるか否かを解析する画像解析部と；前記取得された画像のうち前記第１の人物を、前記第２の人物の画像を用いて前記第２の人物に置換する置換部と、を備える。この形態の画像処理装置によれば、撮影して取得された画像に単純に第２の人物を重ね合わせるのではなく、取得された画像に含まれる第１の人物が第２の人物に置換される。そのため、画像が取得された場に、第２の人物が存在していたかのような画像を得ることができる。よって、イベントの雰囲気や撮像した画像に含まれる他の人物の雰囲気を損ねないで、第２の人物が存在する画像を得ることができる。さらに、第１の人物には、第２の人物に置換することに対してあらかじめ承諾が得られているので、取得された画像を置換することによって、第１の人物の肖像権を考慮しなくてもよいため、ユーザは安心して置換を行うことができる。 (1) According to an aspect of the present invention, an image processing apparatus is provided. The image processing apparatus includes: a first storage unit storing identification information for identifying a first person who has obtained consent; a second storage unit storing an image of the second person; An image acquisition unit that acquires the acquired image; an image analysis unit that analyzes whether or not the acquired image includes the first person based on the identification information; and among the acquired images A replacement unit that replaces the first person with the second person using an image of the second person. According to this form of the image processing apparatus, the first person included in the acquired image is replaced with the second person instead of simply superimposing the second person on the image acquired by capturing. The Therefore, it is possible to obtain an image as if the second person existed when the image was acquired. Therefore, an image in which the second person exists can be obtained without impairing the atmosphere of the event or the atmosphere of another person included in the captured image. Further, since the first person has obtained consent in advance for the replacement with the second person, it is possible to replace the acquired image without considering the portrait right of the first person. Therefore, the user can perform replacement with peace of mind.

（２）上記形態の画像処理装置において、前記画像解析部は、前記取得された画像に前記第１の人物が含まれる場合には、前記第１の人物の表情、顔の向き、顔のサイズのうち少なくとも一つを解析し；前記置換部は、前記取得された画像のうち前記第１の人物を、解析結果に基づいて前記第２の人物の画像を加工して前記第２の人物に置換してもよい。この形態の画像処理装置によれば、取得された画像に第１の人物が含まれる場合には、第１の人物の表情、顔の向き、顔のサイズのうち少なくとも一つの解析結果に基づいて、第２の人物の画像が加工されて、置換が行われる。そのため、もとの撮像画像の雰囲気をより保ったまま、画像が取得された場に第２の人物が存在していたかのような画像を得ることができる。 (2) In the image processing apparatus according to the above aspect, when the first person is included in the acquired image, the image analysis unit includes the facial expression, face orientation, and face size of the first person. The replacement unit converts the first person in the acquired image to the second person by processing the second person image based on the analysis result. It may be replaced. According to the image processing apparatus of this aspect, when the first person is included in the acquired image, based on the analysis result of at least one of the facial expression, face orientation, and face size of the first person. The image of the second person is processed and replaced. Therefore, it is possible to obtain an image as if the second person existed in the place where the image was acquired while maintaining the atmosphere of the original captured image.

（３）上記形態の画像処理装置において、前記画像解析部は、更に前記取得された画像に第３の人物が含まれるか否かを解析し；前記取得された画像のうち前記第１の人物と前記第３の人物とを入れ替える入替部を更に備えてもよい。この形態の画像処理装置によれば、取得された画像に第１の人物と第３の人物とが同時に含まれる場合には、第１の人物と第３の人物とが入れ替えられる。そのため、取得された画像における第１の人物の立場と、第３の人物の立場とが入れ替わった画像を得ることができる。 (3) In the image processing apparatus of the above aspect, the image analysis unit further analyzes whether or not a third person is included in the acquired image; among the acquired images, the first person And a replacement unit for replacing the third person. According to the image processing apparatus of this aspect, when the first person and the third person are simultaneously included in the acquired image, the first person and the third person are switched. Therefore, an image in which the position of the first person and the position of the third person in the acquired image are interchanged can be obtained.

（４）上記形態の画像処理装置において、前記画像解析部は、前記取得された画像のうち前記第１の人物と前記第３の人物のうち少なくとも一方の表情、顔の向き、顔のサイズのうち少なくとも一つを解析し；前記入替部は、解析結果に基づいて前記取得された画像のうち前記第１の人物と前記第３の人物とを入れ替えてもよい。この形態の画像処理装置によれば、第１の人物と第３の人物のうち少なくとも一方の表情、顔の向き、顔のサイズのうち少なくとも一つが解析され、解析結果に基づいて、第１の人物と第３の人物とが加工されて入れ替えられる。そのため、もとの撮像画像の雰囲気をより保ったまま、第１の人物の立場と第３の人物の立場とが入れ変わった画像を得ることができる。 (4) In the image processing apparatus according to the above aspect, the image analysis unit is configured to determine at least one facial expression, face orientation, and face size of the first person and the third person among the acquired images. Analyzing at least one of them; the replacement unit may replace the first person and the third person in the acquired image based on an analysis result. According to the image processing apparatus of this aspect, at least one of the facial expression, the facial orientation, and the facial size of at least one of the first person and the third person is analyzed, and the first person is analyzed based on the analysis result. The person and the third person are processed and replaced. Therefore, it is possible to obtain an image in which the position of the first person and the position of the third person are interchanged while maintaining the atmosphere of the original captured image.

（５）上記形態の画像処理装置において、前記画像取得部は、動画像に含まれる複数の画像を取得し；前記画像解析部は、前記識別情報に基づいて、前記取得されたそれぞれの画像に前記第１の人物が含まれるか否かを解析してもよい。この形態の画像処理装置によれば、画像取得部が動画像を取得しても、画像解析部はそれぞれの画像に第１の人物が含まれるか否かを解析するので、第１の人物が第２の人物に置換された動画像や、第１の人物と第３の人物とが入れ替えられた動画像を得ることができる。 (5) In the image processing apparatus according to the above aspect, the image acquisition unit acquires a plurality of images included in a moving image; the image analysis unit applies each of the acquired images based on the identification information. It may be analyzed whether or not the first person is included. According to the image processing apparatus of this aspect, even if the image acquisition unit acquires a moving image, the image analysis unit analyzes whether or not the first person is included in each image. A moving image replaced with the second person or a moving image in which the first person and the third person are exchanged can be obtained.

（６）上記形態の画像処理装置において、警告を発する警告部を更に備え；前記画像取得部は、前記警告部が警告を発した後に、画像を取得してもよい。この形態の画像処理装置によれば、画像取得部が画像を取得する前に、警告部が警告を発するので、例えば、画像処理装置の周辺に存在する画像に写りこむことを望まない人物に、撮影が行われることを周知することができる。よって、個人のプライバシーを守ることのできる画像を得ることが可能となる。 (6) The image processing apparatus according to the above aspect may further include a warning unit that issues a warning; the image acquisition unit may acquire an image after the warning unit issues a warning. According to this form of the image processing device, the warning unit issues a warning before the image acquisition unit acquires an image.For example, for a person who does not want to be reflected in an image existing around the image processing device, It can be known that shooting is performed. Therefore, it is possible to obtain an image that can protect personal privacy.

（７）本発明の他の形態によれば、画像処理システムが提供される。画像処理システムは、画像を撮像可能な端末と、該端末と通信可能なサーバを備え；前記端末は；撮像された画像を取得する画像取得部と；前記取得された画像を前記サーバに送信する送信部と、を備え；前記サーバは；前記取得された画像を前記端末から受信する受信部と；あらかじめ承諾が得られた第１の人物を識別するための識別情報が記憶された第１記憶部と；第２の人物の画像が記憶された第２記憶部と；前記識別情報に基づいて、前記取得された画像に前記第１の人物が含まれるか否かを解析する画像解析部と；前記取得された画像のうち前記第１の人物を、前記第２の人物の画像を用いて前記第２の人物に置換する置換部と、を備える。この画像処理システムによれば、サーバにおいて、取得された画像の解析と置換とが行われるので、端末における処理負担を軽減することができる。また、サーバに第１記憶部と第２記憶部が設けられているため、端末の記憶領域を有効に活用することができる。よって、端末の他の動作が遅延することを防ぐことができるので、ユーザの便宜を図りつつ、画像が取得された場に、第２の人物が存在していたかのような画像を得ることができる。 (7) According to another aspect of the present invention, an image processing system is provided. The image processing system includes a terminal that can capture an image and a server that can communicate with the terminal; the terminal; an image acquisition unit that acquires the captured image; and the acquired image transmitted to the server A transmission unit; the server; a reception unit that receives the acquired image from the terminal; and a first storage in which identification information for identifying a first person who has obtained consent in advance is stored. A second storage unit that stores an image of a second person; an image analysis unit that analyzes whether or not the acquired person includes the first person based on the identification information; A replacement unit that replaces the first person in the acquired image with the second person using the image of the second person. According to this image processing system, since the server analyzes and replaces the acquired image, the processing burden on the terminal can be reduced. Further, since the server is provided with the first storage unit and the second storage unit, the storage area of the terminal can be effectively used. Therefore, it is possible to prevent other operations of the terminal from being delayed, so that it is possible to obtain an image as if the second person was present when the image was acquired, for the convenience of the user. .

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部又は全部を上述した本発明の他の形態に含まれる技術的特徴の一部又は全部と組み合わせて、本発明の独立した一形態とすることも可能である。 A plurality of constituent elements of each aspect of the present invention described above are not indispensable, and some or all of the effects described in the present specification are to be solved to solve part or all of the above-described problems. In order to achieve the above, it is possible to appropriately change, delete, replace with another new component, and partially delete the limited contents of some of the plurality of components. In order to solve part or all of the above-described problems or to achieve part or all of the effects described in this specification, technical features included in one embodiment of the present invention described above. A part or all of the technical features included in the other aspects of the present invention described above may be combined to form an independent form of the present invention.

本発明は、画像処理装置以外の種々の形態で実現することも可能である。例えば、画像処理方法や画像処理を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。 The present invention can also be realized in various forms other than the image processing apparatus. For example, the present invention can be realized in the form of an image processing method, a computer program for realizing image processing, a non-temporary recording medium on which the computer program is recorded, and the like.

本発明の一実施形態としての画像処理装置の構成を説明するための図である。It is a figure for demonstrating the structure of the image processing apparatus as one Embodiment of this invention. イベントに参加する人物Ａの画像２３１とイベントに不参加の人物Ｂの画像２３２の一例を示す図である。It is a figure which shows an example of the image 231 of the person A who participates in an event, and the image 232 of the person B who does not participate in an event. 相互に入れ替えられる人物Ｃの画像２３３と人物Ｄの画像２３４を示す図である。It is a figure which shows the image 233 of the person C and the image 234 of the person D interchanged mutually. 表示部２０５に表示される画像処理の選択画面を示す図である。6 is a diagram showing a selection screen for image processing displayed on a display unit 205. FIG. 置換モードが選択された場合に実行される撮影処理のフローチャートである。It is a flowchart of the imaging | photography process performed when replacement mode is selected. 撮像画像の一例を示す図である。It is a figure which shows an example of a captured image. 人物Ａの顔を人物Ｂの画像２３２を用いて置換する様子について示す図である。It is a figure showing signs that the face of person A is replaced using image 232 of person B. 図６に示した撮像画像３１０に置換処理を施した画像３１０ｃを示す図である。It is a figure which shows the image 310c which performed the substitution process to the captured image 310 shown in FIG. 入替モードが選択された場合に実行される撮影処理のフローチャートである。It is a flowchart of the imaging | photography process performed when replacement mode is selected. 撮像画像の一例を示す図である。It is a figure which shows an example of a captured image. 撮像画像に含まれる人物３１３，３１４の顔をそれぞれ入れ替える様子について示す図である。It is a figure shown about a mode that each person's 313,314 face included in a captured image is replaced. 図１０に示した撮像画像３２０に入替処理を施した画像３２０ｃを示す図である。It is a figure which shows the image 320c which performed the replacement process to the captured image 320 shown in FIG. 本発明の一実施形態としての画像処理システム１０の構成を説明するための図である。It is a figure for demonstrating the structure of the image processing system 10 as one Embodiment of this invention. 置換モードが選択された場合に実行される撮影処理のフローチャートである。It is a flowchart of the imaging | photography process performed when replacement mode is selected.

Ａ．第１実施形態：
Ａ１．装置構成：
図１は、本発明の一実施形態としての画像処理装置の構成を説明するための図である。本実施形態では、画像処理装置として、スマートフォン２０を用いている。スマートフォン２０は、カメラ２０１と、警告部２０２と、ＧＰＳ受信機２０３と、タッチパネル２０４と、表示部２０５と、無線ＬＡＮ通信部２０６と、移動体通信網通信部２０７と、音声通信部２０８と、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２２５と、フラッシュメモリ２３０と、を備えている。 A. First embodiment:
A1. Device configuration:
FIG. 1 is a diagram for explaining the configuration of an image processing apparatus as an embodiment of the present invention. In the present embodiment, the smartphone 20 is used as the image processing apparatus. The smartphone 20 includes a camera 201, a warning unit 202, a GPS receiver 203, a touch panel 204, a display unit 205, a wireless LAN communication unit 206, a mobile communication network communication unit 207, a voice communication unit 208, A CPU 210, a RAM 220, a ROM 225, and a flash memory 230 are provided.

カメラ２０１は、スマートフォン２０の裏面に設けられており、静止画像や、動画像を撮像して取得する。以下、撮像された静止画像や動画像を、「撮像画像」ともいう。カメラ２０１は、表示部２０５に表示されたシャッタボタンがタッチパネル２０４を介して押された場合に、静止画像や動画像を撮影する。カメラ２０１は、本願の「画像取得部」に相当する。 The camera 201 is provided on the back surface of the smartphone 20, and captures and acquires a still image or a moving image. Hereinafter, a captured still image or moving image is also referred to as a “captured image”. The camera 201 captures a still image or a moving image when a shutter button displayed on the display unit 205 is pressed via the touch panel 204. The camera 201 corresponds to the “image acquisition unit” of the present application.

警告部２０２は、音声を出力するためのスピーカやＬＥＤライト（不図示）、これらを駆動する回路などから構成される。警告部２０２は、スマートフォン２０の備えるカメラ２０１により画像が撮影される前に、音声やライトの点滅によって、これから画像が撮影されることを周囲に警告する。 The warning unit 202 includes a speaker for outputting sound, an LED light (not shown), a circuit for driving these, and the like. The warning unit 202 warns the surroundings that an image is to be taken by flashing sound or light before the image is taken by the camera 201 included in the smartphone 20.

ＧＰＳ受信機２０３は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ／全地球測位システム）を構成する人工衛星から受信した電波に基づいて、スマートフォン２０（ユーザ）の現在位置（経度・緯度）を測位する。撮像画像（カメラ２０１によって撮影された画像）には、画像を撮影した際にＧＰＳ受信機２０３により測位された現在位置に関する位置情報が、ＥＸＩＦ規格に基づきデータとして埋め込まれる。 The GPS receiver 203 measures the current position (longitude / latitude) of the smartphone 20 (user) based on radio waves received from artificial satellites constituting a GPS (Global Positioning System / Global Positioning System). In the captured image (image captured by the camera 201), position information related to the current position measured by the GPS receiver 203 when the image is captured is embedded as data based on the EXIF standard.

表示部２０５は、種々の画像やテキスト等を表示する装置である。タッチパネル２０４は、表示部２０５に重畳して設けられており、指やペンによるユーザからのタッチ操作を受け付ける。 The display unit 205 is a device that displays various images, texts, and the like. The touch panel 204 is provided so as to be superimposed on the display unit 205 and accepts a touch operation from the user with a finger or a pen.

無線ＬＡＮ通信部２０６は、無線ＬＡＮ規格（ＩＥＥＥ８０２．１１シリーズ）に基づいて、インフラストラクチャやアドホックモードによって外部機器と無線通信を行うための回路である。 The wireless LAN communication unit 206 is a circuit for performing wireless communication with an external device using an infrastructure or an ad hoc mode based on the wireless LAN standard (IEEE802.11 series).

移動体通信網通信部２０７は、例えば３Ｇ／ＨＳＰＡに準拠した移動体通信方式により、通信キャリア（不図示）との間で、データ通信や音声通信を行うための回路である。 The mobile communication network communication unit 207 is a circuit for performing data communication and voice communication with a communication carrier (not shown) using, for example, a mobile communication system compliant with 3G / HSPA.

音声通信部２０８は、音声を出力するためのスピーカや音声を入力するためのマイクや、これらを駆動する回路などから構成される。音声通信部２０８の備えるスピーカは、警告部２０２が警告を発する際にも使用される。スマートフォン２０は、移動体通信網通信部２０７と音声通信部２０８とを備えることにより電話としても動作する。 The audio communication unit 208 includes a speaker for outputting sound, a microphone for inputting sound, a circuit for driving these, and the like. The speaker included in the voice communication unit 208 is also used when the warning unit 202 issues a warning. The smartphone 20 operates as a telephone by including the mobile communication network communication unit 207 and the voice communication unit 208.

フラッシュメモリ２３０は、不揮発的にデータを記憶可能な記憶装置である。フラッシュメモリ２３０には、運動会やキャンプや行楽などのイベント（以下、単にイベントという）に参加する人物（以下、人物Ａ）の画像２３１と、イベントに不参加の人物（以下、人物Ｂ）の画像２３２とが記憶されている。また、フラッシュメモリ２３０には、イベントに参加する人物であって相互に入れ替えられる人物（以下、人物Ｃ、人物Ｄ）の画像２３３、２３４があわせて記憶されている。 The flash memory 230 is a storage device capable of storing data in a nonvolatile manner. In the flash memory 230, an image 231 of a person (hereinafter referred to as a person A) who participates in an event such as an athletic meet, camping or vacation (hereinafter simply referred to as an event) and an image 232 of a person who does not participate in the event (hereinafter referred to as person B). Is stored. The flash memory 230 also stores images 233 and 234 of persons who participate in the event and can be interchanged with each other (hereinafter, persons C and D).

図２は、フラッシュメモリ２３０に記憶されているイベントに参加する人物Ａの画像２３１と、イベントに不参加の人物Ｂの画像２３２の一例を示す図である。人物Ａは、画像が撮影された場合に、自分（人物Ａ）の撮影されている部分が他人（人物Ｂ）に置換されることに対してあらかじめ承諾が得られている人物である。イベントに参加する人物Ａは、イベントに不参加の人物Ｂと人種、性別が同じであり、年齢、体格が近似している人物であることが好ましい。人物Ａの画像２３１と人物Ｂの画像２３２は、後述の置換処理において用いられる。 FIG. 2 is a diagram illustrating an example of the image 231 of the person A who participates in the event stored in the flash memory 230 and the image 232 of the person B who does not participate in the event. The person A is a person who has obtained in advance consent to replace the part where the person (person A) is photographed with another person (person B) when the image is photographed. The person A who participates in the event is preferably a person who has the same race and gender as the person B who does not participate in the event, and whose age and physique are similar. The image 231 of the person A and the image 232 of the person B are used in a replacement process described later.

図３は、フラッシュメモリ２３０に記憶されている、相互に入れ替えられる人物Ｃの画像２３３と、人物Ｄの画像２３４の一例を示す図である。人物Ｃは、画像が撮影された場合に、自分（人物Ｃ）の撮影されている部分が他人（人物Ｄ）に入れ替えられることに対してあらかじめ承諾が得られている人物である。人物Ｃは、人物Ｄと人種、性別が同じであり、年齢、体格が近似している人物であることが好ましい。人物Ｃの画像２３３と人物Ｄの画像２３４は、後述の入替処理において用いられる。 FIG. 3 is a diagram showing an example of the person C image 233 and the person D image 234 stored in the flash memory 230 and exchanged with each other. The person C is a person who has been given consent in advance when the image of the person (person C) is replaced with another person (person D) when the image is taken. The person C is preferably a person who has the same race and gender as the person D, and is similar in age and physique. The image 233 of the person C and the image 234 of the person D are used in a replacement process described later.

本実施形態の人物Ａ〜Ｄの画像２３１〜２３４は、カメラ２０１によって撮影され、フラッシュメモリ２３０に記憶されている。これらの画像は、インターネットを介してダウンロードしてもよく、また、メモリーカード等外部記憶媒体から取得することともできる。なお、フラッシュメモリ２３０は、人物Ａの画像２３１にかえて、目や、鼻や、口の相対的な位置や大きさなどを数値化した人物Ａを識別するための情報を記憶するものとしてもよい。フラッシュメモリ２３０は、本願の「第１記憶部」および「第２記憶部」に相当する。また、人物Ａの画像２３１は、本願の「第１の人物の識別情報」に相当し、人物Ｂの画像２３２は、本願の「第２の人物の画像」に相当する。さらにフラッシュメモリ２３０は、人物Ｃの画像２３３にかえて、目や、鼻や、口の相対的な位置や大きさなどを数値化した人物Ｃを識別するための情報を記憶するものとしてもよい。人物Ｃの画像２３３もまた、本願の「第１の人物の識別情報」に相当する。人物Ｄの画像２３４は本願の「第３の人物の画像」に相当する。 The images 231 to 234 of the persons A to D of the present embodiment are taken by the camera 201 and stored in the flash memory 230. These images may be downloaded via the Internet or acquired from an external storage medium such as a memory card. Note that the flash memory 230 may store information for identifying the person A in which the relative positions and sizes of the eyes, the nose, the mouth, and the like are digitized instead of the image 231 of the person A. Good. The flash memory 230 corresponds to the “first storage unit” and the “second storage unit” of the present application. The image 231 of the person A corresponds to “first person identification information” of the present application, and the image 232 of the person B corresponds to “image of the second person” of the present application. Further, the flash memory 230 may store information for identifying the person C in which the relative position and size of the eyes, nose, mouth, and the like are digitized instead of the image 233 of the person C. . The image 233 of the person C also corresponds to the “first person identification information” in the present application. The image 234 of the person D corresponds to the “third person image” of the present application.

ＣＰＵ２１０は、ＲＯＭ２２５に記憶された制御プログラムをＲＡＭ２２０に展開して実行することで、スマートフォン２０の各部を制御するとともに、画像解析部２１１、置換部２１２および入替部２１３として機能する。 The CPU 210 develops and executes the control program stored in the ROM 225 in the RAM 220, thereby controlling each unit of the smartphone 20, and functions as the image analysis unit 211, the replacement unit 212, and the replacement unit 213.

画像解析部２１１は、標準的な顔の特徴（形、顔の色、目や鼻などの特徴）をフラッシュメモリ２３０に記憶しておき、撮像画像にその特徴と合致する部分が含まれている場合、公知の顔検出技術を用いて、その部分を顔として検出する。画像解析部２１１は、例えば公知の顔識別技術により、撮像画像に含まれる人物の顔と、フラッシュメモリ２３０に記憶されている人物Ａとが一致するか否かを解析する。また、画像解析部２１１は、撮像画像に二人の人物が含まれている場合、その人物の顔と、フラッシュメモリ２３０に記憶されている人物Ｃと人物Ｄとがそれぞれ一致するか否かを解析する。画像解析部２１１は、撮像画像に含まれる人物と、フラッシュメモリ２３０に記憶されている人物とが一致する場合には、その人物の顔の向きやサイズを解析するとともに、公知の顔属性推定技術を用い、その人物の表情を解析する。 The image analysis unit 211 stores standard facial features (shapes, facial colors, eyes, nose, and other features) in the flash memory 230, and the captured image includes a portion that matches the features. In this case, the face is detected as a face using a known face detection technique. The image analysis unit 211 analyzes whether or not the person's face included in the captured image matches the person A stored in the flash memory 230 using, for example, a known face identification technique. Further, when two persons are included in the captured image, the image analysis unit 211 determines whether the faces of the persons and the persons C and D stored in the flash memory 230 match each other. To analyze. When the person included in the captured image matches the person stored in the flash memory 230, the image analysis unit 211 analyzes the orientation and size of the person's face and uses a known face attribute estimation technique. Is used to analyze the person's facial expression.

置換部２１２は、画像解析部２１１の解析した人物Ａの表情や顔の向きや、サイズに基づいて、フラッシュメモリ２３０に記憶された人物Ｂの画像２３２を加工して、撮像画像に含まれる人物Ａの顔を、加工した人物Ｂの顔に置換する。本明細書において置換部２１２が行う「置換」とは、撮像画像に含まれる人物Ａの顔を削除して、例えば加工した人物Ｂの顔に置換することや、撮影された画像に含まれる人物Ａの顔を、加工した人物Ｂの顔によって上書きすることをいう。 The replacement unit 212 processes the image 232 of the person B stored in the flash memory 230 based on the facial expression, face direction, and size of the person A analyzed by the image analysis unit 211, and includes the person included in the captured image. The face of A is replaced with the face of the processed person B. In the present specification, “replacement” performed by the replacement unit 212 refers to deleting the face of the person A included in the captured image and replacing it with the face of the processed person B, for example, or the person included in the photographed image Overwriting the face of A with the face of the processed person B.

入替部２１３は、フラッシュメモリ２３０に記憶された人物Ｃと人物Ｄとが同時に撮像画像に含まれる場合に、人物Ｃの顔を人物Ｄの顔に、人物Ｄの顔を人物Ｃの顔に相互に入れ替える。具体的には、入替部２１３は、画像解析部２１１の解析した撮像画像中の人物Ｃの表情、顔の向き、顔のサイズに基づいて、フラッシュメモリ２３０に記憶された人物Ｄの画像２３４を加工して撮像画像中の人物Ｃと入れ替える。同様に、入替部２１３は、画像解析部２１１の解析した撮像画像中の人物Ｄの表情、顔の向き、顔のサイズに基づいて、フラッシュメモリ２３０に記憶された人物Ｃの画像２３３を加工して、撮像画像中の人物Ｄと入れ替える。本明細書において入替部２１３が行う「入替」とは、撮像画像に含まれる人物の顔を削除して、加工した他の人物の顔にそれぞれ入れ替えることや、撮像画像に含まれる人物の顔を、加工した他の人物の顔によって上書きすることをいう。 When the person C and the person D stored in the flash memory 230 are simultaneously included in the captured image, the replacement unit 213 mutually replaces the face of the person C as the face of the person D and the face of the person D as the face of the person C. Replace with. Specifically, the replacement unit 213 stores the image 234 of the person D stored in the flash memory 230 based on the facial expression, face orientation, and face size of the person C in the captured image analyzed by the image analysis unit 211. The processed person is replaced with the person C in the captured image. Similarly, the replacement unit 213 processes the image 233 of the person C stored in the flash memory 230 based on the facial expression, face orientation, and face size of the person D in the captured image analyzed by the image analysis unit 211. Thus, the person D in the captured image is replaced. In this specification, “replacement” performed by the replacement unit 213 refers to deleting a person's face included in the captured image and replacing the face with another processed person, or replacing a person's face included in the captured image. , Overwriting with the face of another person who has processed.

図４は、表示部２０５に表示される撮影モードの選択画面を示す図である。ＣＰＵ２１０は、画像処理に際して、図４に示すような撮影モード選択画面５０１を表示部２０５に表示させる。スマートフォン２０のユーザにより、置換モードボタン５０２が押下された後に決定ボタン５０６が押下されると、スマートフォン２０のＣＰＵ２１０は、撮影後の画像処理として、イベントに参加する人物をイベントに不参加の人物に置きかえる置換処理を行う。また、ユーザにより入れ替えモードボタン５０３が押下された後に決定ボタン５０６が押下されると、スマートフォン２０のＣＰＵ２１０は、撮影後の画像処理として、イベントに参加する二人の人物の顔を相互に入れ替える入替処理を行う。なお、スマートフォン２０のＣＰＵ２１０は、自動判別モードボタン５０４が押下された後に決定ボタン５０６が押下された場合には、撮像画像の解析結果から、置換処理、入替処理のいずれかを自動で判別して行う。 FIG. 4 is a diagram illustrating a shooting mode selection screen displayed on the display unit 205. The CPU 210 causes the display unit 205 to display a shooting mode selection screen 501 as shown in FIG. When the user of the smartphone 20 presses the enter button 506 after the replacement mode button 502 is pressed, the CPU 210 of the smartphone 20 replaces a person who participates in the event with a person who does not participate in the event as image processing after shooting. Perform replacement processing. When the user presses the replacement mode button 503 and then presses the enter button 506, the CPU 210 of the smartphone 20 replaces the faces of two persons participating in the event as image processing after shooting. Process. In addition, when the determination button 506 is pressed after the automatic determination mode button 504 is pressed, the CPU 210 of the smartphone 20 automatically determines either the replacement process or the replacement process from the analysis result of the captured image. Do.

Ａ２．置換モードによる撮影処理：
図５は、図４に示した置換モードが選択された場合に実行される撮影処理のフローチャートである。この処理は、イベントに参加する人物（人物Ａ）をイベントに不参加の人物（人物Ｂ）に置換することにより、イベントに不参加の人物がイベントに参加していたかのような画像を取得するための処理である。 A2. Shooting process in replace mode:
FIG. 5 is a flowchart of the photographing process executed when the replacement mode shown in FIG. 4 is selected. In this process, the person who participates in the event (person A) is replaced with a person who does not participate in the event (person B), thereby acquiring an image as if a person who did not participate in the event participated in the event. It is.

撮影処理が開始されると、スマートフォン２０のＣＰＵ２１０は、警告部２０２に、これから画像が撮影されることを警告させる（ステップＳ１００）。具体的には、ＣＰＵ２１０は、警告部２０２の備えるスピーカ（不図示）から、「撮影を行います」等の音声を出力させて、スマートフォン２０の周辺に存在する人物に、撮影が行われることを周知する。警告が行われると、スマートフォン２０のＣＰＵ２１０は、カメラ２０１により、撮影を行う（ステップＳ１０２）。ＣＰＵ２１０は、カメラ２０１により撮影された画像を、フラッシュメモリ２３０に記憶する。 When the shooting process is started, the CPU 210 of the smartphone 20 causes the warning unit 202 to warn that an image is to be shot (step S100). Specifically, the CPU 210 outputs a sound such as “I will shoot” from a speaker (not shown) provided in the warning unit 202, so that a person existing around the smartphone 20 can shoot. Make it known. When the warning is performed, the CPU 210 of the smartphone 20 performs shooting with the camera 201 (step S102). The CPU 210 stores an image captured by the camera 201 in the flash memory 230.

撮影が行われると、画像解析部２１１は、撮像画像に人物Ａが含まれているか否かを解析する（ステップＳ１０４）。具体的には、画像解析部２１１は、公知の顔検出技術を用いて、撮像画像に人物の顔が含まれているか否かを解析する。人物の顔が含まれている場合には、画像解析部２１１は、撮像画像に含まれる人物の顔と、フラッシュメモリ２３０に記憶されている人物Ａの顔との一致度合いから、撮像画像に含まれる人物と、フラッシュメモリ２３０に記憶されている人物Ａとが同一か否かを解析する（ステップＳ１０４）。撮像画像の中に人物Ａの顔が含まれない場合には（ステップＳ１０４：ＮＯ）、ＣＰＵ２１０は置換モードによる撮影処理を終了する。 When shooting is performed, the image analysis unit 211 analyzes whether or not the person A is included in the captured image (step S104). Specifically, the image analysis unit 211 uses a known face detection technique to analyze whether or not a human face is included in the captured image. When a person's face is included, the image analysis unit 211 includes the person's face included in the captured image from the degree of matching between the person's face included in the captured image and the face of the person A stored in the flash memory 230. It is analyzed whether the person to be stored is the same as the person A stored in the flash memory 230 (step S104). When the face of person A is not included in the captured image (step S104: NO), the CPU 210 ends the photographing process in the replacement mode.

撮像画像に含まれる人物と、フラッシュメモリ２３０に記憶されている人物Ａとが同一である場合には（ステップＳ１０４：ＹＥＳ）、画像解析部２１１は、撮像画像に含まれる人物Ａの表情、顔の向き、顔のサイズを解析する（ステップＳ１０６）。 When the person included in the captured image is the same as the person A stored in the flash memory 230 (step S104: YES), the image analysis unit 211 displays the facial expression and face of the person A included in the captured image. And the size of the face are analyzed (step S106).

画像解析部２１１により人物Ａの表情、顔の向き、顔のサイズが解析されると、置換部２１２は、解析された表情、顔の向き、顔のサイズに合わせてフラッシュメモリ２３０に記憶された人物Ｂの画像２３２を加工して、撮像画像に含まれる人物Ａの顔を、人物Ｂの顔に置換する（ステップＳ１０８）。 When the image analysis unit 211 analyzes the facial expression, face orientation, and face size of the person A, the replacement unit 212 stores them in the flash memory 230 according to the analyzed facial expression, face orientation, and face size. The person B image 232 is processed, and the face of the person A included in the captured image is replaced with the face of the person B (step S108).

人物Ａの顔を、加工した人物Ｂの画像２３２を用いて置換すると、スマートフォン２０のＣＰＵ２１０は、フラッシュメモリ２３０に記憶されている撮像画像を、置換を行った画像によって上書きして保存する（ステップＳ１１０）。以上のようにして、一連の置換モードによる撮影処理が終了する。 When the face of the person A is replaced using the processed image 232 of the person B, the CPU 210 of the smartphone 20 overwrites the captured image stored in the flash memory 230 with the replaced image and saves it (step) S110). As described above, the photographing process in a series of replacement modes is completed.

次に、図６から図８に基づき、撮影後に行われる置換処理の具体例について説明する。図６は、撮像画像の一例を示す図である。図６に示す撮像画像３１０には、４人の人物の顔（人物３１１、３１２、３１３、３１４の顔）が含まれているが、このうち、人物３１１は、図２（ａ）に示した人物Ａと同一である（図５、ステップＳ１０４：ＹＥＳ）。よって、画像解析部２１１は、撮像画像３１０に含まれる人物３１１の表情、顔の向き、顔のサイズを解析する（図５、ステップＳ１０６）。 Next, a specific example of replacement processing performed after shooting will be described with reference to FIGS. FIG. 6 is a diagram illustrating an example of a captured image. The captured image 310 illustrated in FIG. 6 includes the faces of four persons (the faces of persons 311, 312, 313, and 314). Of these, the person 311 is illustrated in FIG. It is the same as the person A (FIG. 5, step S104: YES). Therefore, the image analysis unit 211 analyzes the facial expression, face orientation, and face size of the person 311 included in the captured image 310 (FIG. 5, step S106).

図７は、人物３１１（人物Ａ）の顔を、イベントに不参加の人物Ｂの画像２３２を用いて置換する様子について示す図である。撮像画像３１０に含まれる人物３１１は人物Ａと一致するので（図５、ステップＳ１０４：ＹＥＳ）、画像解析部２１１は、人物３１１の表情、顔の向き、サイズを解析し（図５、ステップＳ１０６）、置換部２１２は、人物Ｂの画像２３２を、人物３１１の表情、顔の向き、顔のサイズにあわせて加工する。そして、人物３１１の顔を、加工した人物Ｂの画像２３２を用いて置換する（図５、ステップＳ１０８）。こうすることで、人物３１１の顔は、人物３１１の表情、顔の向き、顔のサイズを保ったまま人物Ｂの顔に置換される。 FIG. 7 is a diagram illustrating a state in which the face of the person 311 (person A) is replaced using the image 232 of the person B who does not participate in the event. Since the person 311 included in the captured image 310 matches the person A (FIG. 5, step S104: YES), the image analysis unit 211 analyzes the facial expression, face direction, and size of the person 311 (FIG. 5, step S106). ), The replacement unit 212 processes the image 232 of the person B according to the facial expression, face direction, and face size of the person 311. Then, the face of the person 311 is replaced with the processed image 232 of the person B (FIG. 5, step S108). In this way, the face of the person 311 is replaced with the face of the person B while maintaining the expression, face direction, and face size of the person 311.

図８は、図６に示した撮像画像３１０に置換処理を施した画像３１０ｃを示す図である。図６に示した撮像画像３１０のうち、人物３１１（人物Ａ）の顔は、人物Ｂの顔に置換されている。また、人物３１２、３１３、３１４は、フラッシュメモリ２３０に記憶された人物Ａと同一でないため、置換が行われない。置換は、人物３１１の表情と、顔の向きと、顔のサイズとが解析されて行われているため、図８に示すように、置換後の撮像画像３１０ｃは、もとの撮像画像３１０の雰囲気を損ねていない。 FIG. 8 is a diagram illustrating an image 310c obtained by performing a replacement process on the captured image 310 illustrated in FIG. In the captured image 310 shown in FIG. 6, the face of the person 311 (person A) is replaced with the face of the person B. Further, since the persons 312, 313, and 314 are not the same as the person A stored in the flash memory 230, the replacement is not performed. Since the replacement is performed by analyzing the facial expression, face orientation, and face size of the person 311, the replaced captured image 310 c is an image of the original captured image 310 as shown in FIG. The atmosphere is not impaired.

以上のような置換モードによる撮影処理を行えば、撮像画像にイベントに参加する人物Ａが含まれる場合には、人物Ａの顔とイベントに不参加の人物Ｂの顔のみが置き換わる。そのため、実際にイベントに参加していた人物Ａの顔以外の部分はそのまま撮像画像に残るため、人物Ｂが撮像画像の雰囲気にそぐわないポーズや、色合いで追加されることはない。よって、イベントに不参加の人物Ｂが、イベントに参加していたかのような画像を得ることができる。また、置換に際しては、人物Ａの表情、顔の向き、顔のサイズが解析される。そして、解析された人物Ａの表情と顔の向きと顔のサイズに基づいて、人物Ｂの画像２３２が加工される。そのため、人物Ｂの画像２３２が、人物Ａの表情とそぐわない表情に加工されることがないため、撮像画像の雰囲気を損なうことなく、人物Ａの顔を人物Ｂの顔に置換することができる。 If the shooting process in the replacement mode as described above is performed, when the person A participating in the event is included in the captured image, only the face of the person A and the face of the person B not participating in the event are replaced. For this reason, portions other than the face of the person A who actually participated in the event remain in the captured image as they are, so that the person B is not added in a pose or hue that does not match the atmosphere of the captured image. Therefore, it is possible to obtain an image as if person B who did not participate in the event participated in the event. In the replacement, the facial expression, face direction, and face size of the person A are analyzed. Then, the image 232 of the person B is processed based on the analyzed facial expression, face direction, and face size of the person A. Therefore, since the image 232 of the person B is not processed into an expression that does not match the expression of the person A, the face of the person A can be replaced with the face of the person B without impairing the atmosphere of the captured image.

また、イベントに参加する人物Ａの画像２３１は、人物Ｂに置換されることに対して、あらかじめ承諾が得られてフラッシュメモリ２３０に記憶されている。そのため、スマートフォン２０のユーザは、置換処理に際し、人物Ａの肖像権等を考慮しなくともよい。また、これらの処理を、置きかえモードを選択して、撮影をするだけで自動的に行うことができるので、ユーザの利便性が向上する。さらに、撮影をする際には、警告部２０２により警告が発せられるので、スマートフォン２０の周辺に存在する、写真に写り込むことを望まない人物に、これから撮像が行われることを周知することができる。よって、周辺の人物のプライバシーにも配慮しつつ、イベントに不参加の人物Ｂがイベントに参加していたかのような画像を得ることができる。 In addition, the image 231 of the person A participating in the event is stored in the flash memory 230 with prior consent to be replaced with the person B. Therefore, the user of the smartphone 20 does not need to consider the portrait right of the person A in the replacement process. In addition, since these processes can be automatically performed simply by selecting a replacement mode and taking a picture, convenience for the user is improved. Furthermore, since a warning is issued by the warning unit 202 when taking a picture, it is possible to make it known to a person who is present in the vicinity of the smartphone 20 and does not want to be photographed in a photograph that imaging will be performed from now on. . Therefore, it is possible to obtain an image as if a person B who did not participate in the event participated in the event while considering the privacy of surrounding persons.

Ａ３．入替モードによる撮影処理：
図９は、図４に示した入替モードが選択された場合に実行される撮影処理のフローチャートである。この処理は、イベントに参加する二人の人物の顔を撮像画像において相互に入れ替えて、撮像画像におけるそれぞれの立場が交換された画像を取得するための処理である。 A3. Shooting process in the replacement mode:
FIG. 9 is a flowchart of a photographing process executed when the replacement mode shown in FIG. 4 is selected. This process is a process for acquiring images in which the positions of two persons participating in the event are interchanged in the captured image and the respective positions in the captured image are exchanged.

入替モードによる撮影処理が開始されると、スマートフォン２０のＣＰＵ２１０は、置換モードが選択された場合に実行される撮影処理が開始されたときと同様に、警告部２０２に、これから画像が撮影されることを警告させ（ステップＳ２００）、スマートフォン２０のＣＰＵ２１０は、カメラ２０１により、撮影を行う（ステップＳ２０２）。ＣＰＵ２１０は、カメラ２０１により撮影された画像を、フラッシュメモリ２３０に記憶する。 When the image capturing process in the replacement mode is started, the CPU 210 of the smartphone 20 will capture an image from the warning unit 202 in the same manner as when the image capturing process executed when the replacement mode is selected. This is warned (step S200), and the CPU 210 of the smartphone 20 performs photographing with the camera 201 (step S202). The CPU 210 stores an image captured by the camera 201 in the flash memory 230.

撮影が行われると、画像解析部２１１は、撮像画像に相互に入れ替えられる人物Ｃと人物Ｄの顔がともに含まれているか否かを解析する（ステップＳ２０４）。画像解析部２１１は、撮像画像に含まれる人物の顔と、フラッシュメモリ２３０に記憶された人物Ｃ、Ｄの顔との一致度合いから、撮像画像に含まれる人物と、人物Ｃ、Ｄとが同一か否かを解析する。撮像画像の中に人物Ｃと人物Ｄがともに含まれない場合には（ステップＳ２０４：ＮＯ）、ＣＰＵ２１０は入替モードによる撮影処理を終了する。 When shooting is performed, the image analysis unit 211 analyzes whether the captured images include both faces of the person C and the person D that are interchanged (step S204). The image analysis unit 211 determines that the person included in the captured image is the same as the person C or D based on the degree of matching between the person's face included in the captured image and the faces of the persons C and D stored in the flash memory 230. Analyzes whether or not. When the person C and the person D are not included in the captured image (step S204: NO), the CPU 210 ends the photographing process in the replacement mode.

撮像画像に人物Ｃ、Ｄがともに含まれる場合には（ステップＳ２０４：ＹＥＳ）、画像解析部２１１は、撮像画像に含まれる人物Ｃ、人物Ｄそれぞれの表情と、顔の向きと、顔のサイズを解析する（ステップＳ２０６）。 When the captured images include both persons C and D (step S204: YES), the image analysis unit 211 displays the facial expressions, face orientations, and face sizes of the persons C and D included in the captured image. Is analyzed (step S206).

画像解析部２１１により撮像画像に含まれる人物Ｃ、Ｄの表情、顔の向き、顔のサイズが解析されると、入替部２１３は、解析された人物Ｃの表情、顔の向き、顔のサイズに合わせてフラッシュメモリ２３０に記憶された人物Ｄの画像２３４を加工して、撮像画像に含まれる人物Ｃの顔を、加工した人物Ｄの顔に入れ替える。同様に、入替部２１３は、解析された人物Ｄの表情、顔の向き、顔のサイズに合わせてフラッシュメモリ２３０に記憶された人物Ｃの画像２３３を加工して、撮像画像に含まれる人物Ｄの顔を、加工した人物Ｃの顔に入れ替える（ステップＳ２０８）。 When the image analysis unit 211 analyzes the facial expressions, face orientations, and face sizes of the persons C and D included in the captured image, the replacement unit 213 analyzes the facial expressions, face orientations, and face sizes of the analyzed person C. Accordingly, the image 234 of the person D stored in the flash memory 230 is processed, and the face of the person C included in the captured image is replaced with the face of the processed person D. Similarly, the replacement unit 213 processes the image 233 of the person C stored in the flash memory 230 in accordance with the analyzed facial expression, face orientation, and face size of the person D, and the person D included in the captured image. Is replaced with the face of the processed person C (step S208).

撮像画像に含まれる人物Ｃ、Ｄの顔をそれぞれ入れ替えると、スマートフォン２０のＣＰＵ２１０は、フラッシュメモリ２３０に記憶されている撮像画像を、入替を行った画像によって上書きして保存する（ステップＳ２１０）。以上のようにして、一連の入替モードによる撮影処理が終了する。 When the faces of the persons C and D included in the captured image are replaced, the CPU 210 of the smartphone 20 overwrites and stores the captured image stored in the flash memory 230 with the replaced image (step S210). As described above, the photographing process in a series of replacement modes is completed.

次に、図１０から図１２に基づき、撮影後に行われる入替処理の具体例について説明する。図１０は、撮像画像の一例を示す図である。図１０に示す撮像画像３２０には、徒競走において先頭でゴールした人物３１３と、先頭でゴールできなかった人物３１４とが示されている。このうち、人物３１３は、図３（ａ）に示した人物Ｃと同一であり、人物３１４は、図３（ｂ）に示した人物Ｄと同一であるため、撮像画像には、相互に入れ替えられる人物Ｃ、Ｄがともに含まれている（図９、ステップＳ２０４：ＹＥＳ）。よって、画像解析部２１１は、撮像画像３２０に含まれる人物３１３と人物３１４の表情と、顔の向きと、顔のサイズを解析する（図９、ステップＳ２０６）。 Next, a specific example of replacement processing performed after shooting will be described with reference to FIGS. FIG. 10 is a diagram illustrating an example of a captured image. The captured image 320 shown in FIG. 10 shows a person 313 who scored at the head in the race and a person 314 who could not finish at the head. Among them, the person 313 is the same as the person C shown in FIG. 3A and the person 314 is the same as the person D shown in FIG. The included persons C and D are included (FIG. 9, step S204: YES). Therefore, the image analysis unit 211 analyzes the facial expressions, face orientations, and face sizes of the persons 313 and 314 included in the captured image 320 (step S206 in FIG. 9).

図１１は、撮像画像に含まれる人物３１３，３１４の顔をそれぞれ入れ替える様子について示す図である。画像解析部２１１が、撮像画像３２０に含まれる人物３１３、すなわち人物Ｃの表情、顔の向き、サイズを解析し（図９、ステップＳ２０６）、入替部２１３は、フラッシュメモリ２３０に記憶されている人物Ｄの顔を、解析された人物３１３の表情、顔の向き、顔のサイズにあわせて加工する。そして、人物３１３の顔を、加工した人物Ｄの画像２３３を用いて入れ替える（図９、ステップＳ２０８）。同様に、撮像画像３２０に含まれる人物３１４、すなわち人物Ｄに対して、画像解析部２１１が、表情、顔の向き、顔のサイズを解析し（図９、ステップＳ２０６）、入替部２１３は、フラッシュメモリ２３０に記憶されている人物Ｃの顔を、人物３１４の表情、顔の向き、顔のサイズに合わせて加工する。そして、入替部２１３は、人物３１４の顔を、加工した人物Ｃの画像２３３を用いて入れ替える（図９、ステップＳ２０８）。こうすることで、撮像画像３２０中の人物３１３の顔は、人物３１３の表情、顔の向き、顔のサイズを保ったまま人物Ｄの顔に入れ替わり、撮像画像３２０中の人物３１４の顔は、人物３１４の表情、顔の向き、顔のサイズを保ったまま人物Ｃの顔に入れ替わる。 FIG. 11 is a diagram illustrating how the faces of the persons 313 and 314 included in the captured image are replaced. The image analysis unit 211 analyzes the facial expression, face orientation, and size of the person 313, that is, the person C included in the captured image 320 (FIG. 9, step S206), and the replacement unit 213 is stored in the flash memory 230. The face of the person D is processed according to the analyzed facial expression, face direction, and face size of the person 313. Then, the face of the person 313 is replaced using the processed image 233 of the person D (FIG. 9, step S208). Similarly, for the person 314 included in the captured image 320, that is, the person D, the image analysis unit 211 analyzes the facial expression, the face orientation, and the face size (FIG. 9, step S206), and the replacement unit 213 The face of the person C stored in the flash memory 230 is processed according to the expression, face direction, and face size of the person 314. Then, the replacement unit 213 replaces the face of the person 314 using the processed image 233 of the person C (FIG. 9, step S208). By doing so, the face of the person 313 in the captured image 320 is replaced with the face of the person D while maintaining the expression, face orientation, and face size of the person 313, and the face of the person 314 in the captured image 320 is The face of the person C is replaced with the face of the person 314 while maintaining the expression, face direction, and face size.

図１２は、図１０に示した撮像画像３２０に入替処理を施した撮像画像３２０ｃを示す図である。図１０に示した撮像画像３２０のうち、人物３１３（人物Ｃ）の顔は、人物Ｄの顔に入れ替わり、人物３１４（人物Ｄ）の顔は、人物Ｃの顔に入れ替わっている。入替処理は、撮像画像３２０に含まれる人物３１３，３１４の表情、顔の向き、顔のサイズが解析されて行われているため、図１２に示すように、入替後の撮像画像３２０ｃは、もとの撮像画像３２０の雰囲気を損ねていない。そのため、入替処理を施した撮像画像３２０ｃは、もとの撮像画像３２０の人物Ｃと人物Ｄの立場が入れ替わり、人物Ｄは先頭でゴールしたように、人物Ｃは先頭でゴールできなかったような画像となる。 FIG. 12 is a diagram illustrating a captured image 320c obtained by performing a replacement process on the captured image 320 illustrated in FIG. In the captured image 320 shown in FIG. 10, the face of the person 313 (person C) is replaced with the face of the person D, and the face of the person 314 (person D) is replaced with the face of the person C. Since the replacement process is performed by analyzing the facial expressions, face orientations, and face sizes of the persons 313 and 314 included in the captured image 320, the captured image 320c after replacement is as shown in FIG. The atmosphere of the captured image 320 is not impaired. Therefore, in the captured image 320c subjected to the replacement process, the positions of the person C and the person D in the original captured image 320 are switched, and the person C cannot reach the goal at the beginning as the person D scores at the beginning. It becomes an image.

以上のような入替モードによる撮影処理を行えば、撮像画像に相互に入れ替えられる人物が同時に含まれる場合には、その人物の顔が入れ替わる。そのため、このイベントに参加している二人の人物の立場が入れ替えられた画像を取得することができる。よって、本実施形態のように先頭でゴールできなかった人物Ｄの顔が、先頭でゴールできた人物Ｃの顔と入れ替わるので、人物Ｄにとって望ましい画像を取得することができる。また、入替に際しては、撮像画像における人物Ｃの表情、顔の向き、顔のサイズが解析された結果に基づいて、フラッシュメモリ２３０に記憶されている人物Ｄの画像２３４が加工される。また、撮像画像における人物Ｄの表情、顔の向き、顔のサイズが解析された結果に基づいて、フラッシュメモリ２３０に記憶されている人物Ｃの画像２３３が加工される。そのため、置換処理と同様に、撮像画像の雰囲気を損なうことなく人物同士を入れ替えることができる。 If the above-described shooting process in the replacement mode is performed, if a person who can be interchanged is included in the captured image at the same time, the face of the person is replaced. Therefore, it is possible to acquire an image in which the positions of two persons participating in this event are exchanged. Therefore, since the face of the person D who could not finish at the top as in the present embodiment is replaced with the face of the person C who could finish at the top, an image desirable for the person D can be acquired. Further, at the time of replacement, the image 234 of the person D stored in the flash memory 230 is processed based on the analysis result of the facial expression, face orientation, and face size of the person C in the captured image. Further, the image 233 of the person C stored in the flash memory 230 is processed based on the analysis result of the facial expression, face direction, and face size of the person D in the captured image. Therefore, as in the replacement process, persons can be exchanged without impairing the atmosphere of the captured image.

なお、人物Ｃの画像２３３は、入替処理を行うことに対して、あらかじめ承諾が得られてフラッシュメモリ２３０に記憶されている画像である。さらに、ユーザが入替モードを選択して、撮影をするだけで、これらの処理が自動的に実行される。また、撮影をする際には、警告部２０２により警告が発せられる。よって、入替モードによる撮影処理においても、置換モードによる撮影処理と同様の効果を奏する。 The image 233 of the person C is an image that has been obtained in advance and stored in the flash memory 230 for performing the replacement process. Furthermore, these processes are automatically executed simply by the user selecting the replacement mode and shooting. Further, when shooting, a warning unit 202 issues a warning. Therefore, the shooting process in the replacement mode has the same effect as the shooting process in the replacement mode.

Ｂ．第２実施形態：
Ｂ１．画像処理システムの構成：
図１３は、本発明の一実施形態としての画像処理システム１０の構成を説明するための図である。画像処理システム１０は、画像を撮影可能な端末としてのスマートフォン２０ａと、サーバ５０とを備える。スマートフォン２０ａとサーバ５０は、互いにインターネットＩＮＴによって接続されている。スマートフォン２０ａは、通信キャリアＢＳを介して無線によってインターネットＩＮＴに接続可能である。なお、通信キャリアＢＳには、送受信アンテナや、無線基地局、交換局が含まれる。 B. Second embodiment:
B1. Image processing system configuration:
FIG. 13 is a diagram for explaining the configuration of the image processing system 10 as an embodiment of the present invention. The image processing system 10 includes a smartphone 20a as a terminal capable of capturing an image and a server 50. The smartphone 20a and the server 50 are connected to each other via the Internet INT. The smartphone 20a can be connected to the Internet INT wirelessly via the communication carrier BS. The communication carrier BS includes a transmission / reception antenna, a radio base station, and an exchange station.

サーバ５０は、ＣＰＵ５１０と、ＲＡＭ５２０と、ＲＯＭ５２５と、ハードディスク５４０と、通信部５５０と、を備える。サーバ５０は、通信部５５０により、インターネットＩＮＴを介してスマートフォン２０とデータ通信を行う。本実施形態では、サーバ５０は、置換処理や入替処理が行われた撮像画像を、ハードディスク５４０に保存する。また、スマートフォン２０ａの要求に応じて保存した画像を送信する。 The server 50 includes a CPU 510, a RAM 520, a ROM 525, a hard disk 540, and a communication unit 550. The server 50 uses the communication unit 550 to perform data communication with the smartphone 20 via the Internet INT. In the present embodiment, the server 50 stores the captured image on which the replacement process or the replacement process has been performed in the hard disk 540. In addition, the stored image is transmitted in response to the request from the smartphone 20a.

本実施形態の画像処理システム１０と、第１実施形態の画像処理装置との差異は、第１実施形態においては画像処理装置としてのスマートフォン２０のＣＰＵ２１０が、画像解析部２１１、置換部２１２および入替部２１３として機能するのに対し、本実施形態の画像処理システム１０は、サーバ５０のＣＰＵ５１０が、画像解析部５１１、置換部５１２および入替部５１３として機能する点である。また、第１実施形態においては、スマートフォン２０のフラッシュメモリ２３０に人物Ａ〜Ｄの画像２３１〜２３４が記憶されていたのに対し、本実施形態においては、サーバ５０のハードディスク５４０に、人物Ａ〜Ｄの画像５４１〜５４４が記憶されている。スマートフォン２０ａのその他の構成については、第１実施形態のスマートフォン２０と同様であるため、説明を省略する。 The difference between the image processing system 10 of the present embodiment and the image processing apparatus of the first embodiment is that, in the first embodiment, the CPU 210 of the smartphone 20 as the image processing apparatus has an image analysis unit 211, a replacement unit 212, and a replacement. Whereas the image processing system 10 according to the present embodiment functions as the unit 213, the CPU 510 of the server 50 functions as the image analysis unit 511, the replacement unit 512, and the replacement unit 513. Further, in the first embodiment, the images 231 to 234 of the persons A to D are stored in the flash memory 230 of the smartphone 20, whereas in the present embodiment, the persons A to D are stored in the hard disk 540 of the server 50. D images 541 to 544 are stored. About the other structure of the smart phone 20a, since it is the same as that of the smart phone 20 of 1st Embodiment, description is abbreviate | omitted.

Ｂ２．置換モードによる撮影処理：
図１４は、画像処理システム１０により実行される置換モードによる撮影処理のフローチャートである。本実施形態の画像処理システム１０が実行する置換モードによる撮影処理は、図５を用いて説明したスマートフォン２０が実行する処理とほぼ同様である。異なる点は、スマートフォン２０ａで撮影された画像に対して、サーバ５０が置換処理を行う点である。なお、画像処理システム１０において、入替モードが選択された場合には、サーバ５０は第１実施形態のスマートフォン２０が行った入替処理と同様の処理を行うことができる。自動判別モードが選択された場合には、サーバ５０は、撮像画像の解析結果から、置換処理、入替処理のいずれかを自動で判別して行う。 B2. Shooting process in replace mode:
FIG. 14 is a flowchart of the photographing process in the replacement mode executed by the image processing system 10. The imaging process in the replacement mode executed by the image processing system 10 of the present embodiment is substantially the same as the process executed by the smartphone 20 described with reference to FIG. The difference is that the server 50 performs a replacement process on an image captured by the smartphone 20a. In the image processing system 10, when the replacement mode is selected, the server 50 can perform the same processing as the replacement processing performed by the smartphone 20 of the first embodiment. When the automatic determination mode is selected, the server 50 automatically determines either the replacement process or the replacement process from the analysis result of the captured image.

撮影処理が開始されると、第１実施形態と同様に、スマートフォン２０ａのＣＰＵ２１０ａは、警告部２０２にこれから撮影が行われることを警告させ（ステップＳ３００）、カメラ２０１を起動して、撮影を行う（ステップＳ３０２）。撮影を行うと、スマートフォン２０ａの移動体通信網通信部２０７は、撮像画像をサーバ５０へ送信する（ステップＳ３０４）。この際、スマートフォン２０ａの移動体通信網通信部２０７は、この撮像画像は置換モードが選択されて撮影された画像であることを、あわせてサーバ５０に通知する。 When the shooting process is started, as in the first embodiment, the CPU 210a of the smartphone 20a causes the warning unit 202 to warn that shooting will be performed (step S300), activates the camera 201, and performs shooting. (Step S302). When shooting is performed, the mobile communication network communication unit 207 of the smartphone 20a transmits the captured image to the server 50 (step S304). At this time, the mobile communication network communication unit 207 of the smartphone 20a notifies the server 50 that the captured image is an image that is captured with the replacement mode selected.

スマートフォン２０ａから撮像画像を受信すると（ステップＳ４００：ＹＥＳ）、サーバ５０のＣＰＵ５１０は、撮像画像をハードディスク５４０に記憶する。 When the captured image is received from the smartphone 20a (step S400: YES), the CPU 510 of the server 50 stores the captured image in the hard disk 540.

以降、サーバ５０の画像解析部５１１が受信した撮像画像を解析する工程（図１４、ステップＳ４０４〜ステップＳ４０６）においては、第１実施形態におけるスマートフォン２０の画像解析部２１１が撮像画像を解析する工程（図５、ステップＳ１０４〜ステップＳ１０６）と同様の処理が行われるため、説明を省略する。また、サーバ５０の置換部５１２が人物Ａの表情、顔のサイズ、向きに基づいて、人物Ｂの画像５４２を用いて置換を行う工程（図１４、ステップＳ４０８）においては、第１実施形態におけるスマートフォン２０の置換部２１２が人物Ａの表情、顔のサイズ、向きに基づいて、人物Ｂの画像２４２を用いて置換を行う工程（図５、ステップＳ１０８）と同様の処理が行われるため説明を省略する。 Thereafter, in the step of analyzing the captured image received by the image analysis unit 511 of the server 50 (FIG. 14, Steps S404 to S406), the step of the image analysis unit 211 of the smartphone 20 according to the first embodiment analyzing the captured image. Since the same processing as (FIG. 5, step S104 to step S106) is performed, the description thereof is omitted. Further, in the step (FIG. 14, step S408) in which the replacement unit 512 of the server 50 performs replacement using the image 542 of the person B based on the facial expression, face size, and orientation of the person A, in the first embodiment. The replacement unit 212 of the smartphone 20 performs the same process as the process of performing replacement using the image 242 of the person B based on the facial expression, face size, and orientation of the person A (FIG. 5, step S108). Omitted.

置換部５１２によって、撮像画像の人物Ａが人物Ｂ顔に置換されると（ステップＳ４０８）、サーバ５０のＣＰＵ５１０は、ハードディスク５４０に記憶されている撮像画像を、置換を行った画像によって上書きして保存する（ステップＳ４１０）。また、ステップＳ４０４において、受信した撮像画像に人物の顔が含まれていない場合には（ステップＳ４０４：ＮＯ）、サーバ５０はそのまま置換処理を終了する。以上のようにして、画像処理システム１０による一連の置換モードによる撮影処理が終了する。 When the replacement unit 512 replaces the person A in the captured image with the face of the person B (step S408), the CPU 510 of the server 50 overwrites the captured image stored in the hard disk 540 with the replaced image. Save (step S410). In step S404, if the received captured image does not include a human face (step S404: NO), the server 50 ends the replacement process as it is. As described above, the imaging process in the series of replacement modes by the image processing system 10 is completed.

以上のような置換処理を行えば、第１実施形態におけるスマートフォン２０の画像解析部２１１および置換部２１２と同様に、サーバ５０の画像解析部５１１は撮像画像を解析し、置換部５１２は、解析された結果に基づいて、撮像画像における人物Ａの顔を人物Ｂの顔に置換する。そのため、本実施形態においても、第１実施形態における置換処理と同様の効果を奏する。また、人物Ａ〜Ｄの画像５４１〜５４４や、置換後の撮像画像は、スマートフォン２０ａのフラッシュメモリ２３０ａではなく、サーバ５０の備えるハードディスク５４０に記憶することができるため、スマートフォン２０ａの記憶領域を有効に活用することができる。さらに、撮像画像の画像解析や、置換は、スマートフォン２０ａではなく、サーバ５０の画像解析部５１１および置換部５１２によって行われる。そのため、スマートフォン２０ａのＣＰＵ２１０の処理負担を軽減することができる。よって、スマートフォン２０ａの動作が遅延することを防ぐことができるので、スマートフォン２０ａのユーザの便宜を図ることができる。 If the replacement process as described above is performed, the image analysis unit 511 of the server 50 analyzes the captured image, and the replacement unit 512 analyzes the same as the image analysis unit 211 and the replacement unit 212 of the smartphone 20 in the first embodiment. Based on the result, the face of the person A in the captured image is replaced with the face of the person B. Therefore, also in this embodiment, there exists an effect similar to the substitution process in 1st Embodiment. Further, since the images 541 to 544 of the persons A to D and the captured images after replacement can be stored not in the flash memory 230a of the smartphone 20a but in the hard disk 540 provided in the server 50, the storage area of the smartphone 20a is effective. It can be used for. Furthermore, the image analysis and replacement of the captured image are performed by the image analysis unit 511 and the replacement unit 512 of the server 50, not the smartphone 20a. Therefore, the processing burden on the CPU 210 of the smartphone 20a can be reduced. Therefore, since the operation of the smartphone 20a can be prevented from being delayed, the convenience of the user of the smartphone 20a can be achieved.

Ｃ．変形例：
Ｃ１．変形例１：
上述の第１実施形態では、画像処理装置としてスマートフォン２０を用いている。これに対し、画像処理装置は、デジタルカメラであってもよい。また、第１実施形態における画像処理装置としてのスマートフォン２０は、無線ＬＡＮ通信部２０６、移動体通信網通信部２０７、音声通信部２０８を備えている。これに対し、スマートフォン２０は、無線ＬＡＮ通信部２０６、移動体通信網通信部２０７、音声通信部２０８を備えないこととしてもよい。すなわち、画像処理装置は、通信機能を備えていなくともよい。 C. Variations:
C1. Modification 1:
In the first embodiment described above, the smartphone 20 is used as the image processing apparatus. On the other hand, the image processing apparatus may be a digital camera. Further, the smartphone 20 as the image processing apparatus in the first embodiment includes a wireless LAN communication unit 206, a mobile communication network communication unit 207, and a voice communication unit 208. On the other hand, the smartphone 20 may not include the wireless LAN communication unit 206, the mobile communication network communication unit 207, and the voice communication unit 208. That is, the image processing apparatus may not have a communication function.

Ｃ２．変形例２：
上述の第１実施形態では、スマートフォン２０のＣＰＵ２１０は、フラッシュメモリ２３０に記憶されている撮像画像を、置換後の撮像画像や、入替後の撮像画像によって上書きしている。これに対し、スマートフォン２０のＣＰＵ２１０は、フラッシュメモリ２３０に記憶されている撮像画像を上書きするのではなく、置換後の撮像画像や入替後の撮像画像を、置換前または入替前の撮像画像とは別にフラッシュメモリ２３０に保存することとしてもよい。同様に、上述の第２実施形態では、サーバ５０のＣＰＵ５１０は、ハードディスク５４０に記憶されている置換前の撮像画像を、置換後の撮像画像によって上書きしている。これに対し、サーバ５０のＣＰＵ５１０は、置換後の撮像画像を、置換前の撮像画像とは別にハードディスク５４０に保存することとしてもよい。 C2. Modification 2:
In the first embodiment described above, the CPU 210 of the smartphone 20 overwrites the captured image stored in the flash memory 230 with the replaced captured image or the replaced captured image. On the other hand, the CPU 210 of the smartphone 20 does not overwrite the captured image stored in the flash memory 230, but the replaced captured image or the replaced captured image is the captured image before replacement or before replacement. Alternatively, it may be stored in the flash memory 230. Similarly, in the above-described second embodiment, the CPU 510 of the server 50 overwrites the captured image stored in the hard disk 540 with the captured image after replacement. In contrast, the CPU 510 of the server 50 may store the captured image after replacement in the hard disk 540 separately from the captured image before replacement.

Ｃ３．変形例３：
上述の画像処理装置、画像処理システムは、撮像画像の解析結果に基づいて、置換処理から入替処理に自動で移行することができる。例えば、自動判別モードボタン５０４が押下され、決定ボタン５０６が押下されると（図４）、画像解析部２１１，５１１は、撮像画像中にイベントに参加する人物Ａに加え、更に、イベントに不参加の人物Ｂが撮像画像中に含まれているか否かを解析する。撮像画像中に人物Ｂが含まれている場合には、ＣＰＵ２１０、５１０は、人物Ａと人物Ｂとを相互に入れ替える人物と判定して、画像解析部２１１、５１１に人物Ａと人物Ｂの表情、顔の向き、顔のサイズを解析させ、入替部２１３、５１３に人物Ａと人物Ｂとを入れ替えさせる。こうすることで、人物Ａが撮像画像に含まれており人物Ｂが撮像画像に含まれていない場合には、人物Ａが人物Ｂに置換され、人物Ａと人物Ｂがともに撮像画像に含まれている場合には、人物Ａと人物Ｂとが相互に入れ替えられた撮像画像を得ることもできる。すなわち、置換部によって第１の人物（人物Ａ）と置換される第２の人物（人物Ｂ）と、入替部によって第１の人物と入れ替えられる第３の人物とは、同一の人物であってもよい。 C3. Modification 3:
The image processing apparatus and the image processing system described above can automatically shift from the replacement process to the replacement process based on the analysis result of the captured image. For example, when the automatic determination mode button 504 is pressed and the determination button 506 is pressed (FIG. 4), the image analysis units 211 and 511 not only participate in the event in addition to the person A participating in the event in the captured image. Whether the person B is included in the captured image. When the captured image includes the person B, the CPUs 210 and 510 determine that the person A and the person B are interchanged with each other, and the facial expressions of the person A and the person B are displayed in the image analysis units 211 and 511. Then, the direction of the face and the size of the face are analyzed, and the replacement units 213 and 513 are made to switch the person A and the person B. Thus, when the person A is included in the captured image and the person B is not included in the captured image, the person A is replaced with the person B, and both the person A and the person B are included in the captured image. In such a case, it is possible to obtain a captured image in which the person A and the person B are interchanged with each other. That is, the second person (person B) replaced with the first person (person A) by the replacement unit and the third person replaced with the first person by the replacement unit are the same person. Also good.

Ｃ４．変形例４：
上述の第１実施形態のスマートフォン２０は、フラッシュメモリ２３０にイベントに参加する人物Ａ、相互に入れ替えられる人物Ｃと人物Ｄをあらかじめ記憶している。これに対し、スマートフォン２０は、フラッシュメモリ２３０にこれらの人物の画像をあらかじめ記憶しておかなくともよい。例えば、ユーザ自身が、取得された画像の中から、人物Ａを選択し、画像解析部２１１は、選択された人物の表情や顔の向きやサイズを解析し、フラッシュメモリ２３０に記憶されている人物Ｂの画像を加工して、置換することとしてもよい。また、ユーザ自身が、取得された画像の中から相互に入れ替えられる人物Ｃと人物Ｄを選択し、画像解析部２１１は、選択されたそれぞれの人物の表情や顔の向きやサイズを解析し、入替部２１３は、撮像画像における人物Ｃと人物Ｄの画像を加工して、人物Ｃの顔を加工した人物Ｄの顔に、人物Ｄの顔を加工した人物Ｃの顔に入れ替えても良い。 C4. Modification 4:
The smartphone 20 of the first embodiment described above stores in advance in the flash memory 230 the person A who participates in the event, the person C and the person D that are interchanged with each other. On the other hand, the smartphone 20 may not store the images of these persons in the flash memory 230 in advance. For example, the user himself / herself selects the person A from the acquired images, and the image analysis unit 211 analyzes the facial expression, face orientation and size of the selected person, and is stored in the flash memory 230. The image of the person B may be processed and replaced. Further, the user himself / herself selects a person C and a person D to be interchanged from each other in the acquired images, and the image analysis unit 211 analyzes the facial expression, face orientation and size of each selected person, The replacement unit 213 may process the images of the person C and the person D in the captured image, and replace the face of the person D who processed the face of the person C with the face of the person C who processed the face of the person D.

Ｃ５．変形例５：
上述の第１実施形態では、スマートフォン２０のＣＰＵ２１０は、置換後の撮像画像や入替後の撮像画像をフラッシュメモリ２３０に保存している。また、第２実施形態では、サーバ５０は、置換後の撮像画像をハードディスクに保存している。これに対し、置換後や入替後の撮像画像を保存する際には、ＣＰＵ２１０、５１０は、これらの画像に対して置換や入替が行われた画像であることを示す識別記号を付与するものとしてもよい。こうすることで、置換後や入替後の撮像画像を解析すれば、置換や入替がされた画像であることを知ることができる。 C5. Modification 5:
In the first embodiment described above, the CPU 210 of the smartphone 20 stores the replaced captured image and the replaced captured image in the flash memory 230. In the second embodiment, the server 50 stores the captured image after replacement in the hard disk. On the other hand, when saving captured images after replacement or replacement, the CPUs 210 and 510 assign identification symbols indicating that these images have been replaced or replaced. Also good. By doing so, it is possible to know that the image has been replaced or replaced by analyzing the captured image after replacement or replacement.

Ｃ６．変形例６：
上述の種々の実施形態では、警告を発した後に撮影が行われている。これに対し、警告は発せられなくてもよく、また、警告を発するか否かを選択する表示をタッチパネル２０４の表示部２０５に表示するものとしてもよい。 C6. Modification 6:
In the various embodiments described above, shooting is performed after a warning is issued. On the other hand, a warning may not be issued, and a display for selecting whether or not to issue a warning may be displayed on the display unit 205 of the touch panel 204.

Ｃ７．変形例７：
上述の種々の実施形態では、スマートフォンにより画像が撮影された後に、引き続いて、置換部による置換もしくは入替部による入れ替えが行われている。これに対し、あらかじめフラッシュメモリに記憶された撮像画像の中から置換や入れ替えを行う画像を選択し、その画像に対して、置換や入れ替えを行ってもよい。すなわち、画像解析部による画像解析や、置換部による置換もしくは入替部による入れ替えは、撮影と無関係に行ってもよい。 C7. Modification 7:
In the various embodiments described above, after an image is taken by a smartphone, replacement by a replacement unit or replacement by a replacement unit is subsequently performed. On the other hand, an image to be replaced or replaced may be selected from captured images stored in advance in the flash memory, and the replacement or replacement may be performed on the image. That is, the image analysis by the image analysis unit, the replacement by the replacement unit, or the replacement by the replacement unit may be performed regardless of the shooting.

Ｃ８．変形例８：
上述の第２実施形態では、サーバ５０は、スマートフォン２０ａから撮像画像を受信し、画像解析や置換が行われると（図１４、ステップＳ４００〜ステップＳ４０８）、置換後の撮像画像をハードディスクに保存している（図１４、ステップＳ４１０）。これに対し、サーバ５０は、置換が行われた撮像画像を、スマートフォン２０ａへ送信するものとしてもよい。 C8. Modification 8:
In the second embodiment described above, when the server 50 receives a captured image from the smartphone 20a and performs image analysis or replacement (FIG. 14, Steps S400 to S408), the server 50 stores the replaced captured image on the hard disk. (FIG. 14, step S410). On the other hand, the server 50 is good also as what transmits the captured image by which substitution was performed to the smart phone 20a.

Ｃ９．変形例９：
上述の第２実施形態では、サーバ５０は、スマートフォン２０ａのカメラ２０１によって撮影された画像を、移動体通信網通信部２０７によりインターネットＩＮＴを介して受信している。これに対して、サーバ５０は、例えば、デジタルカメラ等によって撮影され、コンピュータ等他の端末で読み出された画像を、受信するものとしてもよい。すなわち、画像処理システム１０の備える端末は、画像取得部としてのカメラと、通信機能とを一台で備えていなくともよい。 C9. Modification 9:
In the second embodiment described above, the server 50 receives an image taken by the camera 201 of the smartphone 20a via the Internet INT by the mobile communication network communication unit 207. On the other hand, the server 50 may receive, for example, an image taken by a digital camera or the like and read by another terminal such as a computer. That is, the terminal included in the image processing system 10 may not include a camera as an image acquisition unit and a communication function.

Ｃ１０．変形例１０：
上述の種々の実施形態では、カメラ２０１は、静止画像を撮影し、画像解析部は静止画像を解析して、置換部や入替部は静止画像に対して置換処理や入替処理を行っている。これに対し、カメラ２０１は、動画像を撮影するものとしてもよい。動画像が撮影された場合には、画像解析部は動画像に含まれる複数の画像のそれぞれに対して、人物Ａが含まれるか否かを解析し、置換部は解析結果に基づいて、それぞれの画像に対して人物Ｂの画像２３２を加工して置換処理を行ってもよい。また、画像解析部は動画像に含まれる複数の画像のそれぞれに対して、人物Ｃと人物Ｄとが同時に含まれるか否かを解析し、入替部は解析結果に基づいて、それぞれの画像に対して人物Ｃの画像２３３と人物Ｄの画像２３４を加工して、入替処理を行っても良い。 C10. Modification 10:
In the various embodiments described above, the camera 201 captures a still image, the image analysis unit analyzes the still image, and the replacement unit and the replacement unit perform replacement processing and replacement processing on the still image. On the other hand, the camera 201 may capture a moving image. When a moving image is captured, the image analysis unit analyzes whether or not the person A is included for each of the plurality of images included in the moving image, and the replacement unit is based on the analysis result. The replacement process may be performed by processing the image 232 of the person B with respect to the above image. In addition, the image analysis unit analyzes whether each of the plurality of images included in the moving image includes the person C and the person D at the same time, and the replacement unit converts each image based on the analysis result. On the other hand, the replacement process may be performed by processing the image 233 of the person C and the image 234 of the person D.

Ｃ１１．変形例１１：
上述の第２実施形態における置換モードによる撮影処理では、スマートフォン２０ａの移動体通信網通信部２０７は、撮像画像は送信する際に（図１４、ステップＳ３０４）撮像画像は置換モードが選択されて撮影された画像であることを、サーバ５０に通知している。これに対し、撮影処理とは無関係に、スマートフォン２０ａのＣＰＵ２１０ａは、置換処理と、入替処理と、自動判別処理のいずれを行うかの選択画面を表示部２０５に表示させ、ユーザによって選択がされたあとに、選択結果をサーバ５０に送信してもよい。また、サーバ５０において撮像画像を受信した場合に、サーバ５０のＣＰＵ５１０が、撮像画像を送信した端末に対し、置換処理、入替処理、自動判別処理のいずれを行うかを問い合わせてもよい。サーバ５０は、受信した選択結果に基づいて、置換処理や、入替処理や、自動判別処理を行うものとしてもよい。 C11. Modification 11:
In the imaging process using the replacement mode in the second embodiment described above, the mobile communication network communication unit 207 of the smartphone 20a transmits the captured image (FIG. 14, step S304), and the captured image is captured with the replacement mode selected. The server 50 is notified that the image has been processed. On the other hand, regardless of the shooting process, the CPU 210a of the smartphone 20a displays a selection screen for performing any one of the replacement process, the replacement process, and the automatic determination process on the display unit 205, and the user has made a selection. The selection result may be transmitted to the server 50 later. When the server 50 receives a captured image, the CPU 510 of the server 50 may inquire of the terminal that has transmitted the captured image whether the replacement process, the replacement process, or the automatic determination process is performed. The server 50 may perform a replacement process, a replacement process, or an automatic determination process based on the received selection result.

本発明は、上述の実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present invention is not limited to the above-described embodiments and modifications, and can be realized with various configurations without departing from the spirit thereof. For example, the technical features in the embodiments and the modifications corresponding to the technical features in each embodiment described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.

１０…画像処理システム
２０、２０ａ…スマートフォン
５０…サーバ
２０１…カメラ
２０２…警告部
２０４…タッチパネル
２０５…表示部
２０６…無線ＬＡＮ通信部
２０７…移動体通信網通信部
２０８…音声通信部
２１０、２１０ａ、５１０…ＣＰＵ
２１１、５１１…画像解析部
２１２、５１２…置換部
２１３、５１３…入替部
２２０、５２０…ＲＡＭ
２２５、５２５…ＲＯＭ
２３０、２３０ａ…フラッシュメモリ
２３１、５４１…人物Ａの画像
２３２、５４２…人物Ｂの画像
２３３、５４３…人物Ｃの画像
２３４、５４４…人物Ｄの画像
３１０、３１０ｃ、３２０、３２０ｃ…撮像画像
３１１、３１２、３１３、３１４、３１１ｃ、３１３ｃ、３１４ｃ、Ａ、Ｂ、Ｃ、Ｄ…人物
５０１…撮影モード選択画面
５０２…置換モードボタン
５０３…モードボタン
５０４…自動判別モードボタン
５０６…決定ボタン
５４０…ハードディスク
５５０…通信部
ＢＳ…通信キャリア
ＩＮＴ…インターネット DESCRIPTION OF SYMBOLS 10 ... Image processing system 20, 20a ... Smartphone 50 ... Server 201 ... Camera 202 ... Warning part 204 ... Touch panel 205 ... Display part 206 ... Wireless LAN communication part 207 ... Mobile communication network communication part 208 ... Voice communication part 210, 210a, 510 ... CPU
211, 511 ... image analysis unit 212, 512 ... replacement unit 213, 513 ... replacement unit 220, 520 ... RAM
225, 525 ... ROM
230, 230a ... Flash memory 231, 541 ... Person A image 232, 542 ... Person B image 233, 543 ... Person C image 234, 544 ... Person D image 310, 310c, 320, 320c ... Captured image 311, 312, 313, 314, 311c, 313c, 314c, A, B, C, D ... person 501 ... shooting mode selection screen 502 ... replacement mode button 503 ... mode button 504 ... automatic discrimination mode button 506 ... decision button 540 ... hard disk 550 ... communication department BS ... communication carrier INT ... Internet

Claims

An image processing apparatus,
A first storage unit storing identification information for identifying a first person who has obtained consent in advance;
A second storage unit storing an image of a second person;
An image acquisition unit for acquiring a captured image;
An image analysis unit that analyzes whether or not the first person is included in the acquired image based on the identification information;
A replacement unit that replaces the first person in the acquired image with the second person using the image of the second person;
An image processing apparatus comprising:

The image processing apparatus according to claim 1,
The image analysis unit, when the first person is included in the acquired image, analyzes at least one of the facial expression, face orientation, and face size of the first person,
The replacement unit is an image processing apparatus that replaces the first person of the acquired images with the second person by processing the image of the second person based on an analysis result.

The image processing apparatus according to claim 1 or 2,
The image analysis unit further analyzes whether or not a third person is included in the acquired image,
An image processing apparatus further comprising a replacement unit that replaces the first person and the third person in the acquired image.

The image processing apparatus according to claim 3,
The image analysis unit analyzes at least one of the facial expression, the facial orientation, and the facial size of at least one of the first person and the third person in the acquired image;
The said replacement part is an image processing apparatus which replaces the said 1st person and the said 3rd person among the acquired images based on an analysis result.

An image processing apparatus according to any one of claims 1 to 4, wherein
The image acquisition unit acquires a plurality of images included in a moving image,
The image analysis unit is configured to analyze whether the first person is included in each acquired image based on the identification information.

An image processing apparatus according to any one of claims 1 to 5, wherein
A warning section for issuing a warning;
The image acquisition unit is an image processing apparatus that acquires an image after the warning unit issues a warning.

An image processing system comprising a terminal capable of capturing an image and a server capable of communicating with the terminal,
The terminal
An image acquisition unit for acquiring a captured image;
A transmission unit for transmitting the acquired image to the server,
The server
A receiving unit for receiving the acquired image from the terminal;
A first storage unit storing identification information for identifying a first person who has obtained consent in advance;
A second storage unit storing an image of a second person;
An image analysis unit that analyzes whether or not the first person is included in the acquired image based on the identification information;
A replacement unit that replaces the first person in the acquired image with the second person using the image of the second person;
An image processing system comprising:

An image processing method comprising:
Obtaining a captured image; and
Analyzing whether or not the first person is included in the acquired image based on identification information for identifying the first person who has obtained consent in advance;
Replacing the first person in the acquired image with a second person image to replace the second person;
An image processing method comprising:

A computer program for processing an image,
A function to acquire a captured image;
A function of analyzing whether or not the first person is included in the acquired image based on identification information for identifying the first person who has obtained consent in advance;
A function of replacing the first person in the acquired image with a second person image for replacing the second person;
A computer program that causes a computer to realize