JP2025070770A - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP2025070770A JP2025070770A JP2023181301A JP2023181301A JP2025070770A JP 2025070770 A JP2025070770 A JP 2025070770A JP 2023181301 A JP2023181301 A JP 2023181301A JP 2023181301 A JP2023181301 A JP 2023181301A JP 2025070770 A JP2025070770 A JP 2025070770A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- person
- video
- processing device
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理装置に関する。 The present invention relates to an information processing device.
プライバシー配慮の観点から、画像に写っている人物を特定できないように加工する処理を行う技術がある。特許文献１には、撮影された人すべてに、顔による個人の特定が常に完全に不可能となる顔マスク処理をすることが可能な監視カメラが記載されている。さらに、特許文献２には、画像中のすべての人物にマスク処理がなされている状態で、カバンの置き去りなどの事象を検知すると、検知された事象に関連する人物（監視対象の物体）のみマスク処理が行われない状態で表示される画像処理装置が記載されている。この画像処理装置は、監視対象の物体をクライアントにおいて特定可能とする。
From the viewpoint of privacy considerations, there is technology that processes images so that people appearing in the image cannot be identified.
上述の通り、特許文献２では、カバンの置き去りなどの事象が検知されたことをきっかけに、特定の人物についてマスク処理されている状態からマスク処理されていない状態へ変更する。この事象には、物体の置き去りの他に、持ち去り、出現、消失などが含まれる。このような事象が検知されない限り、特定の人物についてのマスク処理の解除が行われない。 As mentioned above, in Patent Document 2, when an event such as a bag being left behind is detected, the state of a specific person is changed from being masked to being unmasked. Events include not only leaving an object behind, but also taking it away, appearing, disappearing, etc. As long as such an event is not detected, the masking of the specific person is not removed.
そのため、例えば、上記のような事象が検知されにくい、保育園のお遊戯会で子供が演技を披露している場面を撮影している動画では、自分の子供のみマスク処理を解除したくても、解除することはできない。そうすると、動画において自分の子供のみマスク処理を解除するという編集を行わなければならない。 For example, in a video of a child performing at a nursery school play, where the above-mentioned phenomenon is difficult to detect, you cannot remove the masking from just your child, even if you want to. This means that you have to edit the video to remove the masking from just your child.
しかし、お遊戯会のように多くの人物が登場する場合に、登場するすべての子供にマスク処理されている状態では、一人一人マスク処理を外して自分の子供かどうかを確認する必要がある。次いで、自分の子供のみマスク処理されていない状態へと変更する作業が必要となり、手間がかかってしまう。 However, when many people appear, such as at a school play, if all the children are masked, you have to remove the masks one by one to check whether they are your children or not. Then, you have to change the settings so that only your children are unmasked, which is time-consuming.
そこで、本発明の情報処理装置は、登場人物が多い動画でも、動画に登場する人物についてモザイク対象とするか否かを効率よく分類することを目的とする。 Therefore, the information processing device of the present invention aims to efficiently classify people appearing in a video as to whether or not they should be subject to mosaic, even in videos with many characters.
上記目的を達成するために、本発明の情報処理装置は、動画を取得する取得手段と、動画から人物を検出する検出手段と、前記検出された人物ごとに、前記動画における登場頻度に基づきスコアを算出する算出手段と、前記検出された人物ごとのスコアと所定値との比較の結果に応じて、加工処理を実行する対象とするか否かを分類する分類手段、を備えることを特徴とする。 To achieve the above object, the information processing device of the present invention is characterized by comprising an acquisition means for acquiring a video, a detection means for detecting a person from the video, a calculation means for calculating a score for each of the detected people based on the frequency of appearance in the video, and a classification means for classifying whether or not each of the detected people is to be subjected to processing depending on the result of comparing the score for each of the detected people with a predetermined value.
本発明によれば、登場人物が多い動画でも、動画に登場する人物についてモザイク対象とするか否かを効率よく分類できる。 According to the present invention, even in videos with many characters, the people appearing in the video can be efficiently classified as to whether or not they should be pixelated.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 A preferred embodiment of the present disclosure will be described in detail below with reference to the accompanying drawings. Note that in this specification and drawings, components having substantially the same functional configuration are designated by the same reference numerals to avoid redundant description.
本実施形態は、撮像装置１０１で撮影された動画ファイルを情報処理装置１０３へアップロードし、本発明のシステムを搭載した情報処理装置１０３にてデータ処理を実施するケースを対象としている。また、ユーザは、本発明のシステムを利用するすべての者のことを指す。
This embodiment is intended for a case in which a video file captured by an imaging device 101 is uploaded to an
図１は、本実施形態に係るシステム全体の構成を説明する図である。本実施形態に係るシステムは、撮像装置１０１、電子機器１０２、及び情報処理装置１０３を有する。
Figure 1 is a diagram illustrating the overall configuration of a system according to this embodiment. The system according to this embodiment has an imaging device 101, an electronic device 102, and an
撮像装置１０１は、後述の情報処理装置１０３で処理される動画ファイルを生成するために使用される。本実施形態で用いられる動画ファイルは、フォーマットやコーデック等、特定の形式に限定されないものとする。
The imaging device 101 is used to generate a video file to be processed by the
電子機器１０２は、本発明のシステムを利用するユーザの端末機器であり、後述の情報処理装置１０３から通知される情報を取得するための媒体としても使用される。
The electronic device 102 is a terminal device of a user who uses the system of the present invention, and is also used as a medium for acquiring information notified from the
情報処理装置１０３は、撮像装置１０１で生成されてアップロードされた動画ファイルに対し、後述の動画に登場する人物がモザイク対象であるか否かを分類するためのデータ処理、及びその人物がモザイク対象であるか否かの情報の通知を実施する。
The
撮像装置１０１で生成された動画ファイルは、ネットワーク１０４を介し、ユーザのローカル環境上から情報処理装置１０３へアップロードされる。ネットワーク１０４は、その形態によっては無線通信・有線通信を問わない。
The video file generated by the imaging device 101 is uploaded from the user's local environment to the
また、本発明のシステムでは、動画ファイルを情報処理装置に送信する手段は特定の形態に限定されるものではなく、ネットワークを介した通信以外の他の手段を用いてもよい。本実施形態では、動画ファイルは、撮像装置１０１から直接情報処理装置１０３にアップロードされてもよく、撮像装置１０１から電子機器１０２を介して、情報処理装置１０３にアップロードされてもよい。
In addition, in the system of the present invention, the means for transmitting the video file to the information processing device is not limited to a specific form, and other means than communication via a network may be used. In this embodiment, the video file may be uploaded directly from the imaging device 101 to the
なお、ここで説明している情報処理装置はサーバの形態をとってもよいし、各サーバの機能と同様の機能を有する装置でもよい。また、各サーバの機能を集約したサーバでもよい。 The information processing device described here may take the form of a server, or may be a device having functions similar to those of each server. It may also be a server that aggregates the functions of each server.
本実施形態では、情報処理装置１０３からのデータ出力先として、電子機器１０２を一例として説明しているが、出力されるデータの形式によってはこの限りではない。情報処理装置１０３の出力先として、他システムのサーバ等が接続されている場合、テキストファイル形式やＵＩで表示されるデータの出力は必要なく、データベースなどの形式に合わせてデータが出力されてもよい。
In this embodiment, the electronic device 102 is described as an example of a destination for data output from the
また、本実施形態では、撮像装置１０１から情報処理装置１０３に動画ファイルをアップロードし、本発明のシステムが搭載された情報処理装置１０３での処理を実施している。しかしながら、本実施形態に限定するものではなく、電子機器１０２に本発明のシステムが搭載されるなどの形態も考えられる。
In addition, in this embodiment, a video file is uploaded from the imaging device 101 to the
図２は、本実施形態に係る電子機器１０２及び情報処理装置１０３のそれぞれの構成例を説明するブロック図である。なお、本実施形態の電子機器１０２及び情報処理装置１０３は、それぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。
FIG. 2 is a block diagram for explaining an example of the configuration of each of the electronic device 102 and the
図２に示すように、電子機器１０２及び情報処理装置１０３は、共通の構成を有する。ディスプレイ２０１、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２、ＢＭＵ（ビットムーブユニット）２０３を有する。
As shown in FIG. 2, the electronic device 102 and the
また、電子機器１０２及び情報処理装置１０３は、キーボード２０４、ＰＤ（ポインティングデバイス）２０５のような入力デバイスや、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０６を有する。
The electronic device 102 and the
また、電子機器１０２及び情報処理装置１０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０７、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０８、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０９を有する。
The electronic device 102 and the
さらに、電子機器１０２及び情報処理装置１０３は、記録メディアドライブ２１０、ネットワークＩ／Ｆ（ＮＥＴ Ｉ／Ｆ）２１１、バス２１２を有する。
Furthermore, the electronic device 102 and the
ディスプレイ２０１には、例えば、電子機器１０２の管理を行う、アイコン、メッセージ、メニュー、その他のユーザインタフェース情報が表示される。ディスプレイ２０１は、キーボード２０４、及びＰＤ２０５の機能を兼ねることができる。
The
ＶＲＡＭ２０２には、ディスプレイ２０１に表示するための画像が描画される。このＶＲＡＭ２０２で生成された画像データは、所定の規定に従ってディスプレイ２０１に転送され、これによりディスプレイ２０１に画像が表示される。
Images to be displayed on the
ＢＭＵ２０３は、例えば、メモリ間（例えば、ＶＲＡＭ２０２と他のメモリとの間）のデータ転送や、メモリと各Ｉ／Ｏデバイス（例えば、ＮＥＴ Ｉ／Ｆ２１１）との間のデータ転送を制御する。
The BMU 203 controls, for example, data transfer between memories (e.g., between the
キーボード２０４は、文字等を入力するための各種キーを有する。キーボード２０４は、ディスプレイ２０１上に表示されるソフトウェアキーボードを含む。ＰＤ２０５は、例えば、ディスプレイ２０１に表示されたアイコン、メニュー、その他のコンテンツを指示又はオブジェクトのドラッグドロップのために使用される。ＰＤ２０５は、ディスプレイ２０１に対しての指やタッチペンによる操作を含む。
The
ＣＰＵ２０６は、ＲＯＭ２０７、ＨＤＤ２０９、又は記録メディアドライブ２１０に格納されたＯＳや応用ソフトウェア等の制御プログラムに基づいて、各デバイスを制御する。
The
ＲＯＭ２０７は、各種制御プログラムやデータを保存する。ＲＡＭ２０８は、ＣＰＵ２０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。
The
ＨＤＤ２０９は、電子機器１０２内で実行される各制御プログラムや一時保管したデータ等のデータを格納する。 The HDD 209 stores data such as the control programs executed within the electronic device 102 and temporarily stored data.
ＮＥＴ Ｉ／Ｆ２１１は、他の電子機器１０２やプリンタ等とネットワークを介して通信を行う。 The NET I/F 211 communicates with other electronic devices 102, printers, etc. via a network.
バス２１２は、アドレスバス、データバス、及びコントロールバスを含む。
ＣＰＵ２０６に対する制御プログラムの提供は、ＲＯＭ２０７、ＨＤＤ２０９、記録メディアドライブ２１０から行うこともできるし、ＮＥＴ Ｉ／Ｆ２１１を介してネットワーク経由で他のサーバ等から行うこともできる。
The control program can be provided to the
図３は、本実施形態に係る撮像装置１０１の構成を示すブロック図である。撮像装置１０１としては、例えば、撮像機能を持つデジタルカメラ３００などの端末である。
Figure 3 is a block diagram showing the configuration of an imaging device 101 according to this embodiment. The imaging device 101 is, for example, a terminal such as a
撮影レンズ３０１は、ズームレンズ及びフォーカスレンズを含む。シャッター３０２は、絞り機能を備える。
The photographing
撮像部３０３は、光学像を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子などで構成される。
The
Ａ／Ｄ変換器３０４は、撮像部３０３から入力されたアナログ画像データに対して、デジタル画像データへの変換を行う。バリア３０５は、撮影レンズ３０１などを覆うことにより、撮影レンズ３０１、シャッター３０２、撮像部３０３を含む撮像系の汚れや破損を防止する。
The A/
画像処理部３０６は、Ａ／Ｄ変換器３０４からの画像データ又はメモリ制御部３０７からの画像データに対し、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部３０６は、撮像された画像データを用いて所定の演算処理を行い、システム制御部３０８が演算結果に基づいて露光制御、測距制御を行う。Ａ／Ｄ変換器３０４から出力される画像データは、画像処理部３０６及びメモリ制御部３０７を介して、又はメモリ制御部３０７のみを介してメモリ３０９に書き込まれる。
The
システム制御部３０８は、撮像装置１０１全体を制御する。システム制御部３０８は、不揮発性メモリ３１２に記憶されたプログラムを実行することで、撮像装置１０１の処理を実現する。
The
メモリ３０９は、Ａ／Ｄ変換器３０４から出力される画像データや、表示部３１０に表示するための画像データを一時的に記録する。メモリ３０９は、所定枚数の静止画像や所定時間の動画像、及び音声を格納するのに十分な記憶容量を備えている。また、メモリ３０９は、画像表示用のメモリ（ビデオメモリ）を兼ねている。
Ｄ／Ａ変換器３１１は、メモリ３０９に格納されている画像表示用の画像データをアナログ信号に変換して表示部３１０に供給する。こうして、メモリ３０９に一時的に記憶された表示用の画像データは、Ｄ／Ａ変換器３１１を介して表示部３１０により表示される。表示部３１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示器上に、Ｄ／Ａ変換器３１１からのアナログ信号に応じた表示を行う。
The D/
不揮発性メモリ３１２は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などが用いられる。不揮発性メモリ３１２には、システム制御部３０８の動作用の定数、後述する連携を行うプログラム等の制御プログラムなどが記憶される。
The
システムメモリ３１３は、例えばＲＡＭが用いられ、システム制御部３０８の動作用の定数、変数、不揮発性メモリ３１２から読み出したプログラム等を展開する。
The
モード切替スイッチ３１４、第１シャッタースイッチ３１５、第２シャッタースイッチ３１６、及び操作部３１７は、システム制御部３０８に各種の動作指示を入力するための操作手段である。モード切替スイッチ３１４は、システム制御部３０８の動作モードを静止画記録モード、動画記録モード、再生モードなどの何れかに切り替える。
The
第１シャッタースイッチ３１５は、撮像装置１０１に設けられたシャッターボタンの操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を発生する。
The
第２シャッタースイッチ３１６は、シャッターボタンの操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部３０８は、第２シャッタースイッチ信号ＳＷ２により撮像部３０３からの信号読み出しから記録媒体３２５に画像データを書き込むまでの一連の撮影処理の動作を開始する。
The
操作部３１７の各操作部材は、表示部３１０に表示される種々の機能アイコンが選択操作されることなどにより、場面毎に適宜機能が割り当てられ各種機能ボタンとして作用する。機能ボタンとしては、例えば、確認ボタン、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えば、メニューボタンが押されると、各種の設定可能なメニュー画面が表示部３１０に表示される。ユーザは、表示部３１０に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
The operating members of the
コントローラホイール３１８は、操作部３１７に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示するとき等に用いられる。システム制御部３０８は、パルス信号に基づいて撮像装置１０１の各構成部を制御する。
The
また、システム制御部３０８はパルス信号によってコントローラホイール３１８が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール３１８は、回転操作が検出できる操作部材であればどのようなものでもよい。
The
コントローラリング３１９は、操作部３１７に含まれる回転操作部材であり、レンズ鏡筒周りで光軸を中心として回転する操作が可能である。例えば、コントローラリング３１９を操作することで回転量（操作量）に応じた電気的なパルス信号が発生する。システム制御部３０８は、パルス信号に基づいて撮像装置１０１の各構成部を制御する。また、操作部３１７に含まれるコントローラリング３１９の機能切替ボタンが押されると、コントローラリング３１９に割り当てる機能を変更可能なメニュー画面が表示部３１０に表示される。コントローラリング３１９及びコントローラホイール３１８は、通常モード項目の選択や値の変更に用いられる。
The
電源スイッチ３２０は、電源のオンオフが切り替えられる。
The
電源制御部３２１は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部３２１は、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部３２１は、検出結果及びシステム制御部３０８の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体３２５を含む各構成部へ供給する。
The power
電源部３２２は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等で構成される。
The
通信部３２３は、記録媒体３２５に記憶された画像を外部機器に送信する。
The
Ｉ／Ｆ３２４は、記録媒体３２５とのインタフェースであり、記録媒体３２５は、半導体メモリや磁気ディスク等で構成される。
I/
ＮＥＴ Ｉ／Ｆ３２６は、ネットワークＩ／Ｆであり、システム制御部３０８により制御されネットワークを介して通信を行う。このネットワークを介した通信で、電子機器１０２と通信を行うことができる。
The NET I/
なお、図３は、一般的な撮像装置の一例であり、シャッター３０２、モード切替スイッチ３１４、表示部３１０などは、撮像装置１０１では必ずしも必要ではない。
Note that FIG. 3 shows an example of a typical imaging device, and the
（第１実施形態）
図４は、第１実施形態に係る、情報処理装置１０３が動画に登場する人物についてモザイク対象であるか否かを分類する処理を説明するためのフローチャートである。
First Embodiment
FIG. 4 is a flowchart illustrating processing performed by the
Ｓ４０１では、情報処理装置１０３は、撮像装置１０１又は電子機器１０２から送信された動画ファイルを受信する。ここでは前述の通り、情報処理装置１０３へ動画ファイルを送信する手段は、特定の形態に限定されるものではない。
In S401, the
Ｓ４０２では、情報処理装置１０３は、初期値として、変数Ｎに受信した動画ファイルの総数を代入し、変数ｉに“０”を代入する。
In S402, the
Ｓ４０３では、情報処理装置１０３は、ｉ番目の動画ファイルを取得して、内部に保存する。
In S403, the
Ｓ４０４では、情報処理装置１０３は、ｉ番目の動画ファイル内の動画データを解析し、動画に登場する人物の情報を取得する。
In S404, the
Ｓ４０５では、情報処理装置１０３は、動画ファイル内の撮影情報から、動画に登場する人物の登場日時を取得する。図７は、動画ファイルの構成の一例である。１つの動画ファイル７００には、撮影情報７０２と動画データ７０３が含まれる。
In S405, the
撮影情報７０２は、撮像装置１００で管理している動画データに関連する撮影情報であり、具体的には、動画の撮影日時や動画に登場する人物の登場日時などの情報が保存されている。動画ファイルにおいて撮影情報が含まれない場合は、電子機器１０２から動画ファイルを受信する日時を動画の撮影日時として登録してもよい。その場合、各人物が登場する日時も動画ファイルを受信する日時となるが、その動画に繰り返し登場する人物がいると、その人物は同一撮影日時で複数回登場していることとなる。
したがって、その人物について後述するスコアに偏りが発生する場合が考えられるため、その人物は、その撮影日時では１回の登場として登録する。本実施形態では、Ｓ４０５で取得する動画に登場する人物の登場日時の情報は、動画ファイルの撮影情報７０２から取得する。
Therefore, since there may be a bias in the score for that person, which will be described later, the person is registered as having appeared once for that shooting date and time. In this embodiment, information on the appearance date and time of the person appearing in the video obtained in S405 is obtained from the shooting
Ｓ４０６では、情報処理装置１０３は、動画に登場する人物と、その人物の登場日時が紐づいた情報を、人物撮影情報管理テーブルとして保存する。図５は、人物と各人物の登場日時が紐づいた人物撮影情報管理テーブルの一例である。
In S406, the
図５では、人物撮影情報管理テーブルとして、ｉ番目の動画ファイルの人物撮影情報テーブル１と、ｉ番目よりも過去の動画ファイルの人物撮影情報テーブル２がある。各テーブルは、人物５０１又は５０３と各人物の登場日時５０２又は５０４に関する情報を含む。人物５０１又は５０３は、Ｓ４０４で動画データの解析により取得した人物について、人物Ａ、Ｂ、Ｃ、Ｄの分類コードで示す。この分類コードは、動画データの解析により取得した人物毎に一意になる値、文字などを自動で設定したものである。
In FIG. 5, there are person shooting information management tables, namely, person shooting information table 1 for the i-th video file, and person shooting information table 2 for video files older than the i-th video file. Each table includes information on
Ｓ４０７では、ｉ番目の動画ファイルの人物撮影情報テーブル１に基づき、動画に登場する人物のスコア１の値を算出する。例えば、１つの動画ファイル内で、人物Ｂは、人物Ａ、Ｃ、Ｄよりも登場頻度が高い（図５）。そのため、人物Ｂのスコア１の値は、人物Ａ、Ｃ、Ｄよりも高くする。
In S407, the
Ｓ４０８では、情報処理装置１０３は、過去に保存された１以上の動画ファイルに、ｉ番目の動画に登場する人物が登場していたか否かを判定する。情報処理装置１０３は、ｉ番目の動画ファイルに関する人物撮影情報テーブル１と、ｉ番目よりも過去に保存された動画ファイルに関する人物撮影情報テーブル２とを参照することで、判定を行う。例えば、図５の人物撮影情報テーブル２にある人物Ｃは、人物撮影情報テーブル１にもある。情報処理装置１０３が、過去に保存された１以上の動画ファイルに、ｉ番目の動画に登場する人物が登場していたと判定する場合は、Ｓ４０９へ進み、そうでない場合は、Ｓ４１３へ進む。
In S408, the
Ｓ４０９では、情報処理装置１０３は、人物の、ｉ番目の動画での登場日時と、過去に保存された動画での登場日時の差に基づき、スコア２の値を算出する。
In S409, the
Ｓ４１０では、情報処理装置１０３は、Ｓ４０７で算出されたスコア１の値とＳ４０９で算出されたスコア２の値とを加算し、加算したスコアをその人物のスコアとする。
In S410, the
ｉ番目の動画に登場する人物が、過去の１つの動画内で複数回登場している場合や、その人物が過去の複数の動画で登場している場合は、算出されるスコア２の値は高くなり、結果として、その人物のスコアも高くなる。 If a person who appears in the i-th video has appeared multiple times in a past video, or if that person has appeared in multiple past videos, the calculated value of Score 2 will be higher, and as a result, the person's score will also be higher.
情報処理装置１０３が、過去に保存された１以上の動画ファイルに、ｉ番目の動画に登場する人物が登場していないと判定した場合、Ｓ４１１では、情報処理装置１０３は、Ｓ４０７で算出されたスコア１の値をその人物のスコアとする。
If the
スコア１の値の算出方法としては、登場頻度の他にも以下の条件でスコアを高く算出してもよい。算出方法は限らない。動画内で特定の人物の発言頻度が多い場合や動画内で特定の人物の発言時間が動画全体の時間に対して割合が大きい場合に、それらの人物を他の人物よりもスコアを高く算出してもよい。さらに、動画の１コマ内の画面領域にて一定以上の領域を特定の人物が占め続けている場合に、それらの人物を他の人物よりもスコアを高く算出してもよい。
In addition to frequency of appearance, the method of calculating the value of
Ｓ４１２では、情報処理装置１０３は、ｉをｉ＋１とし、Ｓ４１３に進む。
In S412, the
Ｓ４１３では、情報処理装置１０３は、ｉ＞Ｎであるか否かを判定する。情報処理装置１０３が、ｉ＞Ｎであると判定すると、Ｓ４１４に進み、ｉ＞Ｎでないと判定すると、Ｓ４０３へ戻る。
In S413, the
Ｓ４１４では、情報処理装置１０３は、動画に登場する人物の情報とスコアが紐づいた情報を、人物スコア情報管理テーブルとして保存する。図６は、人物情報６０１、各人物のスコア６０２、各人物がモザイク対象であるか否かの情報６０３が紐づいた人物スコア情報管理テーブルの一例である。図５の人物撮影情報テーブルでは、登場頻度の高い人物から順に、人物Ｄ、人物Ｃ、人物Ｂ、人物Ａとなっており、図６の人物スコア情報管理テーブルでは、スコア６０２が高い人物から順に、人物Ｄ、人物Ｃ、人物Ｂ、人物Ａとなっている。このように、登場頻度が高ければ高いほど、スコアは高くなる。
In S414, the
Ｓ４１５では、情報処理装置１０３は、動画ファイルのみ電子機器１０２へ送信する。
In S415, the
Ｓ４１６では、情報処理装置１０３は、人物スコア情報管理テーブルにおける各人物のスコアに基づき、スコアの境界値の初期値を自動で設定する。例えば、スコアの平均値を境界値の初期値として設定する。あるいは、モザイク対象でない人物の人数が所定の人数となるように境界値の初期値を設定してもよい。所定の人数はユーザが手動で設定してもよいし、情報処理装置１０３が所定の人数をあらかじめ設定してもよい。
In S416, the
Ｓ４１７では、情報処理装置１０３は、動画に登場する人物ごとに、人物撮影情報管理テーブルを参照し、そのスコアと境界値を比較する。比較の結果、スコアが境界値以上の人物をモザイク対象でない人物とし、スコアが境界値未満の人物をモザイク対象の人物として自動で分類する。すなわち、登場人物は、そのスコアが高いほど、モザイク対象になりにくく、そのスコアが低いほど、モザイク対象になりやすい。
In S417, the
Ｓ４１８では、情報処理装置１０３は、分類結果を電子機器１０２へ通知する。具体的には、情報処理装置１０３は、動画データから人物を抽出し、モザイク対象であると分類された人物の領域に対してモザイク処理を適用し、加工済み動画データを生成し、電子機器１０２へ送信する。電子機器１０２が加工済み動画データを受信し、表示手段に表示再生することで、ユーザはモザイク対象でない人物を確認することができる。
In S418, the
そして、情報処理装置１０３は加工済み動画データとともに、ＵＩも電子機器１０２へ送信する。電子機器１０２は加工済み動画データを表示再生しながら、ＵＩも画面に表示する。ユーザは、モザイク対象でない人物やモザイク対象の人物が意図通りでない場合、ＵＩを用いて変更することができる。
Then, the
図８は、電子機器１０２の表示手段に表示されるＵＩの一例である。電子機器１０２の表示手段には、スコアの最小値８０１及び最大値８０２が表示される。スコアの最小値８０１及び最大値８０２は、各人物のスコアが全て含まれる範囲となるように自動で設定される。
Figure 8 is an example of a UI displayed on the display means of the electronic device 102. A
電子機器１０２の表示手段には、さらに、現在の境界値を示すスライダー８０５が表示される。境界値よりもスコアの高い人物は、モザイク対象でない人物８０４とされ、境界値よりもスコアの低い人物は、モザイク対象である人物８０３とされている。
The display means of the electronic device 102 further displays a
モザイク対象である人物またはモザイク対象ではない人物がユーザの意図した結果になっていない場合、ユーザは電子機器１０２を操作してスライダー８０５を移動することで、スコアの境界値を変更するよう指示する。これにより、モザイク対象である人物・モザイク対象でない人物を一括で変更することができる。このように、ユーザは、全ての人物について一人ずつモザイクを外して確認したり、モザイクを適用するように設定したりする手間が減り、効率良く、所望の人物にはモザイクをかけることなく、それ以外の人物にはモザイクをかけるようにすることができる。
If the person to be pixelated or the person not to be pixelated does not match the user's intention, the user operates the electronic device 102 to move the
Ｓ４１９では、情報処理装置１０３は、電子機器１０２からスコアの境界値を変更する指示があるか否かを判定する。電子機器１０２からスコアの境界値を変更する指示があると判定された場合、Ｓ４１７へ戻り、再度新たな境界値に基づいて、モザイク対象である人物とモザイク対象でない人物とを分類する。電子機器１０２からスコアの境界値を変更する指示がないと判定された場合、Ｓ４２０へ進む。
In S419, the
Ｓ４２０では、情報処理装置１０３は、分類結果を確定し、モザイク対象の人物が検出された領域にモザイク処理を実行し、モザイク処理を適用した動画データを含む動画ファイルを生成し、電子機器１０２へ送信する。
In S420, the
なお、特定の人物について、スコアに関わらず、モザイク対象か否かの設定を個別に行えるようにしてもよい。 In addition, it may be possible to set whether or not a particular person should be pixelated, regardless of the score.
動画ファイルとモザイク対象でない人物に関する情報の送信先である情報処理装置１０３では、モザイク処理の代わりにアイコン、画像、黒塗り等で顔を隠してもよい。
In the
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
なお、本実施形態の開示は、以下の構成及び方法を含む。 The disclosure of this embodiment includes the following configurations and methods.
（構成１）
情報処理装置であって、
動画を取得する取得手段と、
動画から人物を検出する検出手段と、
前記検出された人物ごとに、前記動画における登場頻度に基づきスコアを算出する算出手段と、
前記検出された人物ごとのスコアと所定値との比較の結果に応じて、加工処理を実行する対象とするか否かを分類する分類手段、
を備えることを特徴とする情報処理装置。
(Configuration 1)
An information processing device,
An acquisition means for acquiring a video;
A detection means for detecting a person from a video;
A calculation means for calculating a score for each of the detected persons based on the frequency of appearance of the person in the video;
A classification means for classifying whether or not a processing process is to be performed on each of the detected persons according to a result of comparing the score of each of the detected persons with a predetermined value;
An information processing device comprising:
（構成２）
前記登場頻度は、前記検出された人物の、前記動画における登場間隔及び登場回数に基づく値であることを特徴とする構成１に記載の情報処理装置。
(Configuration 2)
2. The information processing apparatus according to
（構成３）
前記取得手段が前記動画として撮影日時が古いほうから順に第１動画及び第２動画を取得し、
前記検出手段が前記第２動画から前記人物を検出する場合、
前記算出手段は、前記検出された人物ごとに、前記第１動画及び前記第２動画における前記登場頻度に基づきスコアを算出することを特徴とする構成１又は２に記載の情報処理装置。
(Configuration 3)
the acquiring means acquires, as the moving images, a first moving image and a second moving image in order from the oldest captured moving image to the newest captured moving image,
When the detection means detects the person from the second video,
3. The information processing device according to
（構成４）
前記情報処理装置は、さらに、
前記検出された人物ごとのスコアに基づき前記所定値を設定する設定手段を有し、
前記分類手段は、前記検出された人物ごとのスコアと前記設定手段により設定された前記所定値との比較の結果に応じて、前記加工処理を実行する対象とするか否かを分類することを特徴とする構成１乃至３のいずれか１項に記載の情報処理装置。
(Configuration 4)
The information processing device further includes:
a setting means for setting the predetermined value based on the score for each of the detected persons,
The information processing device according to any one of
（構成５）
前記分類手段は、前記検出された人物ごとのスコアが前記所定値以上である人物を、前記加工処理を実行する対象として分類をし、
前記検出された人物ごとのスコアが前記所定値未満である人物を、前記加工処理を実行する対象としない分類をすることを特徴とする構成１乃至４のいずれか１項に記載の情報処理装置。
(Configuration 5)
the classification means classifies a person having a score equal to or greater than the predetermined value for each of the detected persons as a person to be subjected to the processing;
5. The information processing device according to any one of
（構成６）
前記情報処理装置は、さらに、
前記分類手段により分類された結果を電子機器へ通知する通知手段
を有することを特徴とする構成１乃至５のいずれか１項に記載の情報処理装置。
(Configuration 6)
The information processing device further includes:
6. The information processing apparatus according to any one of
（構成７）
前記情報処理装置は、さらに、
前記電子機器からの前記所定値の変更の指示を受信する受信手段を有し、
前記受信手段が、前記電子機器から前記所定値の変更の指示を受信する場合、
前記設定手段は、前記電子機器からの指示に基づき、前記所定値を変更し、
前記分類手段は、前記検出された人物ごとのスコアと前記設定手段により変更された前記所定値との比較の結果に応じて、前記加工処理を実行する対象とするか否かを分類することを特徴とする構成１乃至６のいずれか１項に記載の情報処理装置。
(Configuration 7)
The information processing device further includes:
a receiving means for receiving an instruction to change the predetermined value from the electronic device;
When the receiving means receives an instruction to change the predetermined value from the electronic device,
The setting means changes the predetermined value based on an instruction from the electronic device,
The information processing device according to any one of
（構成８）
前記情報処理装置は、さらに、
前記動画のうち、前記加工処理を実行する対象とすると分類された人物が検出された領域に対して、前記加工処理を実行する処理手段を有することを特徴とする構成１乃至７のいずれか１項に記載の情報処理装置。
(Configuration 8)
The information processing device further includes:
The information processing device according to any one of
（構成９）
動画を取得する取得ステップと、
動画から人物を検出する検出ステップと、
前記検出された人物ごとに、前記動画における登場頻度に基づきスコアを算出する算出ステップと、
前記検出された人物ごとのスコアと所定値との比較の結果に応じて、加工処理を実行する対象とするか否かを分類する分類ステップ、
を備えることを特徴とする情報処理装置の制御方法。
(Configuration 9)
An acquisition step of acquiring a video;
A detection step of detecting a person from a video;
A calculation step of calculating a score for each of the detected persons based on the frequency of appearance of the person in the video;
a classification step of classifying whether or not a processing process is to be performed on each of the detected persons according to a result of comparing the score of each of the detected persons with a predetermined value;
13. A method for controlling an information processing device, comprising:
（構成１０）
コンピュータに構成９に記載の情報処理装置の制御方法を実行させるためのプログラム。
(Configuration 10)
10. A program for causing a computer to execute the method for controlling an information processing device according to aspect 9.
（構成１１）
コンピュータに構成９に記載の情報処理装置の制御方法を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
(Configuration 11)
10. A computer-readable recording medium having recorded thereon a program for causing a computer to execute the method for controlling an information processing device according to configuration 9.
Claims (11)
動画を取得する取得手段と、
動画から人物を検出する検出手段と、
前記検出された人物ごとに、前記動画における登場頻度に基づきスコアを算出する算出手段と、
前記検出された人物ごとのスコアと所定値との比較の結果に応じて、加工処理を実行する対象とするか否かを分類する分類手段、
を備えることを特徴とする情報処理装置。 An information processing device,
An acquisition means for acquiring a video;
A detection means for detecting a person from a video;
A calculation means for calculating a score for each of the detected persons based on the frequency of appearance of the person in the video;
A classification means for classifying whether or not a processing process is to be performed on each of the detected persons according to a result of comparing the score of each of the detected persons with a predetermined value;
An information processing device comprising:
前記検出手段が前記第２動画から前記人物を検出する場合、
前記算出手段は、前記検出された人物ごとに、前記第１動画及び前記第２動画における前記登場頻度に基づきスコアを算出することを特徴とする請求項１に記載の情報処理装置。 the acquiring means acquires, as the moving images, a first moving image and a second moving image in order from the oldest captured moving image to the newest captured moving image,
When the detection means detects the person from the second video,
The information processing apparatus according to claim 1 , wherein the calculation means calculates a score for each of the detected persons based on the appearance frequency in the first video and the second video.
前記検出された人物ごとのスコアに基づき前記所定値を設定する設定手段を有し、
前記分類手段は、前記検出された人物ごとのスコアと前記設定手段により設定された前記所定値との比較の結果に応じて、前記加工処理を実行する対象とするか否かを分類することを特徴とする請求項１に記載の情報処理装置。 The information processing device further includes:
a setting means for setting the predetermined value based on the score for each of the detected persons,
The information processing device according to claim 1 , wherein the classification means classifies whether or not the detected person is to be subjected to the processing depending on a result of a comparison between the score of each detected person and the predetermined value set by the setting means.
前記分類手段により分類された結果を電子機器へ通知する通知手段
を有することを特徴とする請求項１に記載の情報処理装置。 The information processing device further includes:
2. The information processing apparatus according to claim 1, further comprising a notification unit that notifies an electronic device of the result of classification by said classification unit.
前記電子機器からの前記所定値の変更の指示を受信する受信手段を有し、
前記受信手段が、前記電子機器から前記所定値の変更の指示を受信する場合、
前記設定手段は、前記電子機器からの指示に基づき、前記所定値を変更し、
前記分類手段は、前記検出された人物ごとのスコアと前記設定手段により変更された前記所定値との比較の結果に応じて、前記加工処理を実行する対象とするか否かを分類することを特徴とする請求項４又は６に記載の情報処理装置。 The information processing device further includes:
a receiving means for receiving an instruction to change the predetermined value from the electronic device;
When the receiving means receives an instruction to change the predetermined value from the electronic device,
The setting means changes the predetermined value based on an instruction from the electronic device,
The information processing device according to claim 4 or 6, characterized in that the classification means classifies whether or not to perform the processing on each of the detected persons depending on a result of a comparison between the score of each of the detected persons and the predetermined value changed by the setting means.
前記動画のうち、前記加工処理を実行する対象とすると分類された人物が検出された領域に対して、前記加工処理を実行する処理手段を有することを特徴とする請求項１に記載の情報処理装置。 The information processing device further includes:
2 . The information processing apparatus according to claim 1 , further comprising: a processing unit for executing the processing on an area in the moving image in which a person classified as a subject to be subjected to the processing is detected.
動画から人物を検出する検出ステップと、
前記検出された人物ごとに、前記動画における登場頻度に基づきスコアを算出する算出ステップと、
前記検出された人物ごとのスコアと所定値との比較の結果に応じて、加工処理を実行する対象とするか否かを分類する分類ステップ、
を備えることを特徴とする情報処理装置の制御方法。 An acquisition step of acquiring a video;
A detection step of detecting a person from a video;
A calculation step of calculating a score for each of the detected persons based on the frequency of appearance of the person in the video;
a classification step of classifying whether or not a processing process is to be performed on each of the detected persons according to a result of comparing the score of each of the detected persons with a predetermined value;
13. A method for controlling an information processing device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023181301A JP2025070770A (en) | 2023-10-20 | 2023-10-20 | Information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023181301A JP2025070770A (en) | 2023-10-20 | 2023-10-20 | Information processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2025070770A true JP2025070770A (en) | 2025-05-02 |
Family
ID=95518639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023181301A Pending JP2025070770A (en) | 2023-10-20 | 2023-10-20 | Information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2025070770A (en) |
-
2023
- 2023-10-20 JP JP2023181301A patent/JP2025070770A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11064161B2 (en) | Systems and methods for video monitoring using linked devices | |
| JP5268595B2 (en) | Image processing apparatus, image display method, and image display program | |
| US11082608B2 (en) | Electronic apparatus, method, and storage medium | |
| CN101472070A (en) | Image capture device that records image accordant with predetermined condition and program | |
| JP2010183500A (en) | Information processing device, method, and program | |
| CN108989659B (en) | Display control device, control method thereof, and computer-readable storage medium | |
| JP2019120748A (en) | Electronic equipment and method of controlling the same | |
| JP6460868B2 (en) | Display control apparatus and control method thereof | |
| US11106113B2 (en) | Image capturing apparatus controlling manual focus operation amounts before and after autofocus, control method thereof, and storage medium | |
| JP2020053720A (en) | Electronic device and area selection method | |
| US11039070B2 (en) | Electronic device for selecting a candidate from a candidate group and changing a candidate group, control method of electronic device, and non-transitory computer readable medium | |
| US9294678B2 (en) | Display control apparatus and control method for display control apparatus | |
| JP7049179B2 (en) | Imaging control device and its control method, program and storage medium | |
| JP2025070770A (en) | Information processing device | |
| JP7451162B2 (en) | Imaging device | |
| US11457137B2 (en) | Electronic apparatus and control method for electronic apparatus | |
| JP6407017B2 (en) | Display control apparatus and control method thereof | |
| JP2024110155A (en) | Electronic device, control method thereof, and program | |
| JP6370179B2 (en) | Electronic device, control method therefor, program, and storage medium | |
| JP6393296B2 (en) | IMAGING DEVICE AND ITS CONTROL METHOD, IMAGING CONTROL DEVICE, PROGRAM, AND STORAGE MEDIUM | |
| JP6198517B2 (en) | Electronic device, control method and program thereof, and storage medium | |
| US11064128B2 (en) | Exposure setting apparatus, control method thereof, and storage medium | |
| JP6664461B1 (en) | Display control device and control method thereof | |
| JP2023179219A (en) | Image reproduction device, control method of the same, program and storage medium | |
| JP2018005149A (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |