JP2024160515A - 映像提供システム及びユーザ端末 - Google Patents

Abstract

【課題】ユーザに映像を提供する際、映像に映っている人物のプライバシーを適切に守ることができる技術を提供する。
【解決手段】映像提供システムは、ユーザに映像を提供する。秘匿対象人物は、ユーザが見ることを望む表示対象人物以外の人物である。映像提供システムは、１又は複数のカメラによって撮影される１又は複数の映像を取得する。映像提供システムは、人物再同定処理を行うことによって、１又は複数の映像に映っている各人物を追跡して、１又は複数の映像における各人物の位置情報を含む人物情報を取得する。映像提供システムは、人物情報に基づいて、表示対象人物を秘匿化することなく秘匿対象人物を秘匿化するように、１又は複数の映像に対して画像処理を行う。そして、映像提供システムは、画像処理の後の１又は複数の映像をユーザのユーザ端末に表示する。
【選択図】図１

Description

本開示は、ユーザに映像を提供する技術に関する。

特許文献１は、映像監視システムを開示している。セキュリティゲート近傍に設置される個人認証装置を俯瞰する画角で監視カメラが設置される。映像監視システムは、セキュリティゲート近傍の映像を撮影する。映像監視システムは、監視カメラで撮影された映像から人物を抽出し、抽出した人物の立ち位置及び挙動に基づいてアクセス認証した人物を特定する。

特開２０１０－１５４１３４号公報

ユーザに映像を提供する際、映像に映っている人物のプライバシーを適切に守ることが望まれる。

本開示の１つの目的は、ユーザに映像を提供する際、映像に映っている人物のプライバシーを適切に守ることができる技術を提供することにある。

本開示の１つの観点は、ユーザに映像を提供する映像提供システムに関する。
映像提供システムは、１又は複数のプロセッサを備える。
秘匿対象人物は、ユーザが見ることを望む表示対象人物以外の人物である。
１又は複数のプロセッサは、
１又は複数のカメラによって撮影される１又は複数の映像を取得し、
人物再同定処理を行うことによって、１又は複数の映像に映っている各人物を追跡して、１又は複数の映像における各人物の位置情報を含む人物情報を取得し、
人物情報に基づいて、表示対象人物を秘匿化することなく秘匿対象人物を秘匿化するように、１又は複数の映像に対して画像処理を行い、
画像処理の後の１又は複数の映像をユーザのユーザ端末に表示する
ように構成される。

本開示によれば、ユーザに映像が提供される際、映像に映っている秘匿対象人物が秘匿化される。これにより、秘匿対象人物のプライバシーを適切に守ることが可能となる。また、人物再同定処理を利用することによって、１又は複数の映像に映っている各人物を安定的に且つ高精度に追跡することが可能となる。これにより、表示対象人物と秘匿対象人物の誤認識が抑制される。従って、表示対象人物を秘匿化することなく秘匿対象人物を秘匿化する画像処理を高精度に行うことが可能となる。その結果、秘匿対象人物のプライバシーを更に適切に守ることが可能となる。

実施の形態に係る映像提供システムの概要を説明するための概念図である。 実施の形態に係る映像提供システムの構成例を示すブロック図である。 実施の形態に係る人物情報管理システムの機能構成例を示すブロック図である。 実施の形態に係る人物情報の例を示す概念図である。 実施の形態に係る映像提供システムによる処理例を説明するための概念図である。

１．概要
図１は、本実施の形態に係る映像提供システム１０の概要を説明するための概念図である。映像提供システム１０は、所定エリアに設置されたカメラＣＡＭによって撮影される映像ＶＩＤを取得する。そして、映像提供システム１０は、その映像ＶＩＤをユーザに提供（提示）する。より詳細には、映像提供システム１０は、ユーザ端末を含んでおり、映像ＶＩＤをユーザ端末に表示する。例えば、親が子供の様子を見守るための見守りサービスにおいて、子供が映っている映像ＶＩＤが親のユーザ端末にリアルタイムに表示される。親はユーザ端末に表示される映像ＶＩＤを見ることによって、子供の様子を見守ることができる。

例えば、人物Ｐ１１は、ユーザＡが見守りたい対象である。その人物Ｐ１１は、カメラＣＡＭ－１によって撮影される映像ＶＩＤ－１に映っている。但し、その映像ＶＩＤ－１には他の人物Ｐ１２、Ｐ１３も映っている。この場合、映像ＶＩＤ－１をユーザＡに提供（提示）するにあたって、人物Ｐ１１以外の人物Ｐ１２、Ｐ１３のプライバシーを守ることが望ましい。そこで、映像提供システム１０は、人物Ｐ１２、Ｐ１３を秘匿化する（anonymize）ように映像ＶＩＤ－１に対して画像処理を行う。言い換えれば、映像提供システム１０は、人物Ｐ１２、Ｐ１３が特定されないように映像ＶＩＤ－１に対して画像処理を行う。例えば、人物Ｐ１２、Ｐ１３の顔が少なくともマスクされるように画像処理が行われる。そして、映像提供システム１０は、画像処理後の映像ＶＩＤ－１’をユーザＡのユーザ端末に表示する。

他の例として、人物Ｐ１３は、ユーザＢが見守りたい対象である。この場合、映像提供システム１０は、人物Ｐ１３以外の人物Ｐ１１、Ｐ１２を秘匿化するように映像ＶＩＤ－１に対して画像処理を行う。そして、映像提供システム１０は、画像処理後の映像ＶＩＤ－１’をユーザＢのユーザ端末に表示する。

また、カメラＣＡＭ－２によって撮影される映像ＶＩＤ－２には人物Ｐ２１、Ｐ２２が映っている。ここで、映像ＶＩＤ－１に映る人物Ｐ１３と映像ＶＩＤ－２に映る人物Ｐ２１は同一であるとする。カメラＣＡＭ－１とカメラＣＡＭ－２の画角が重なっていない場合、映像ＶＩＤ－１に人物Ｐ１３が映るタイミングと映像ＶＩＤ－２に人物Ｐ２１が映るタイミングは異なる。カメラＣＡＭ－１とカメラＣＡＭ－２の画角が部分的に重なっている場合、映像ＶＩＤ－１に人物Ｐ１３が映るタイミングと映像ＶＩＤ－２に人物Ｐ２１が映るタイミングは同一である可能性もある。いずれの場合であっても、映像提供システム１０は、後述の手法によって、映像ＶＩＤ－１に映る人物Ｐ１３と映像ＶＩＤ－２に映る人物Ｐ２１が同一であると正しく認識（判断）する。その上で、映像提供システム１０は、人物Ｐ２１以外の人物Ｐ２２を秘匿化するように映像ＶＩＤ－２に対して画像処理を行う。そして、映像提供システム１０は、画像処理後の映像ＶＩＤ－２’をユーザＢのユーザ端末に表示する。例えば、映像提供システム１０は、映像ＶＩＤ－１’と映像ＶＩＤ－２’を切り替えて表示する。

更に他の例として、ユーザＣは、映像ＶＩＤ－１内の人物以外の背景（例：交通流）を監視する。この場合、映像提供システム１０は、人物Ｐ１１、Ｐ１２、Ｐ１３の全てを秘匿化するように映像ＶＩＤ－１に対して画像処理を行う。そして、映像提供システム１０は、画像処理後の映像ＶＩＤ－１’をユーザＣのユーザ端末に表示する。

より一般化して、ユーザが見ることを望む人物を、以下、「表示対象人物ＴＤ」と呼ぶ。表示対象人物ＴＤは、ユーザ毎に異なる。典型的には、表示対象人物ＴＤは、ユーザによって指定される。表示対象人物ＴＤがいない場合もある。一方、ユーザによって特定されないように秘匿化される人物を、以下、「秘匿対象人物ＴＸ」と呼ぶ。秘匿対象人物ＴＸは、表示対象人物ＴＤ以外の人物である。例えば、ユーザＡにとって、人物Ｐ１１は表示対象人物ＴＤであり、人物Ｐ１２、Ｐ１３は秘匿対象人物ＴＸである。他の例として、ユーザＢにとって、人物Ｐ１３、Ｐ２１は表示対象人物ＴＤであり、人物Ｐ１１、Ｐ１２、Ｐ２２は秘匿対象人物ＴＸである。ユーザＣにとって、人物Ｐ１１、Ｐ１２、Ｐ１３は秘匿対象人物ＴＸである。

映像提供システム１０は、１又は複数のカメラＣＡＭ－１～ＣＡＭ－Ｎによって撮影される１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎを取得する。ここで、Ｎは１以上の整数である。映像提供システム１０は、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物を追跡して、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物の画像内位置情報を取得する。更に、映像提供システム１０は、画像内位置情報に基づいて、表示対象人物ＴＤを秘匿化することなく秘匿対象人物ＴＸを秘匿化するように、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに対して画像処理を行う。言い換えれば、映像提供システム１０は、表示対象人物ＴＤが特定され秘匿対象人物ＴＸが特定されないように画像処理を行う。そして、映像提供システム１０は、画像処理後の１又は複数の映像ＶＩＤ－１’～ＶＩＤ－Ｎ’をユーザ端末に表示する。

このような画像処理によって、ユーザに映像ＶＩＤを提供する際、映像ＶＩＤに映っている秘匿対象人物ＴＸのプライバシーを適切に守ることが可能となる。ユーザ毎に秘匿対象人物ＴＸが異なっていても、秘匿対象人物ＴＸのプライバシーを適切に守ることが可能となる。すなわち、ユーザ毎に適切なプライバシーコントロールが可能となる。

尚、表示対象人物ＴＤを秘匿化することなく秘匿対象人物ＴＸを秘匿化する画像処理の精度を確保するためには、表示対象人物ＴＤと秘匿対象人物ＴＸを正確に追跡することが必要である。秘匿対象人物ＴＸが表示対象人物ＴＤと誤認識された場合、あるいは、表示対象人物ＴＤが秘匿対象人物ＴＸと誤認識された場合、画像処理の精度は低下する。画像処理の精度の低下は、プライバシー保護の精度の低下につながる。

そこで、本実施の形態によれば、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物を追跡するために、「人物再同定（Person Re-identification）」が利用される。人物再同定は、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎの映像の中から同一人物を識別する技術である。より詳細には、映像ＶＩＤを構成する画像の中から人物が検出され、検出された人物全体の特徴量が抽出され、抽出された特徴量に基づいて人物再同定処理が行われる。特徴量の抽出は、機械学習に基づく人物再同定モデルに基づいて行われる。

このような人物再同定処理によって、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物を安定的に且つ高精度に追跡することが可能となる。例えば図１において、映像ＶＩＤ－１に映る人物Ｐ１３と映像ＶＩＤ－２に映る人物Ｐ２１は同一であったが、そのことも人物再同定処理によって高精度に認識することが可能となる。すなわち、人物再同定処理によって、表示対象人物ＴＤと秘匿対象人物ＴＸの誤認識が抑制される。従って、表示対象人物ＴＤを秘匿化することなく秘匿対象人物ＴＸを秘匿化する画像処理を高精度に行うことが可能となる。その結果、秘匿対象人物ＴＸのプライバシーを更に適切に守ることが可能となる。

以下、本実施の形態に係る映像提供システム１０の具体例について詳しく説明する。

２．映像提供システムの例
図２は、本実施の形態に係る映像提供システム１０の構成例を示すブロック図である。映像提供システム１０は、映像管理システム１００、人物情報管理システム２００、及びユーザによって使用されるユーザ端末３００を含んでいる。

２－１．映像管理システム
映像管理システム１００は、１又は複数のカメラＣＡＭ－１～ＣＡＭ－Ｎによって撮影される１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎを取得し、管理する。映像データベース１３０は、所定期間において取得された１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎのデータベースである。

映像管理システム１００は、１又は複数のプロセッサ１１０（以下、単に「プロセッサ１１０」と呼ぶ）、及び１又は複数の記憶装置１２０（以下、単に「記憶装置１２０」と呼ぶ）を含んでいる。プロセッサ１１０は、様々な処理を実行する。例えば、プロセッサ１１０は、ＣＰＵを含んでいる。記憶装置１２０は、処理に必要な様々な情報を格納する。映像データベース１３０も記憶装置１２０に格納される。記憶装置１２０の例としては、ＨＤＤ、ＳＳＤ、揮発性メモリ、不揮発性メモリ、等が挙げられる。コンピュータプログラムを実行するプロセッサ１１０と記憶装置１２０との協働により、映像管理システム１００の機能が実現されてもよい。

２－２．人物情報管理システム
人物情報管理システム２００は、１又は複数のカメラＣＡＭ－１～ＣＡＭ－Ｎによって撮影される１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎを取得する。そして、人物情報管理システム２００は、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物に関する人物情報ＰＳＮを取得し、管理する。例えば、人物情報管理システム２００は、人物再同定処理を行うことによって、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物を高精度に追跡する。人物情報ＰＳＮは、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎにおける各人物の位置を示す画像内位置情報を含む。人物データベース２３０は、所定期間において取得された人物情報ＰＳＮのデータベースである。

人物情報管理システム２００は、１又は複数のプロセッサ２１０（以下、単に「プロセッサ２１０」と呼ぶ）、及び１又は複数の記憶装置２２０（以下、単に「記憶装置２２０」と呼ぶ）を含んでいる。プロセッサ２１０は、様々な処理を実行する。例えば、プロセッサ２１０は、ＣＰＵを含んでいる。記憶装置２２０は、処理に必要な様々な情報を格納する。人物データベース２３０も記憶装置２２０に格納される。記憶装置２２０の例としては、ＨＤＤ、ＳＳＤ、揮発性メモリ、不揮発性メモリ、等が挙げられる。コンピュータプログラムを実行するプロセッサ２１０と記憶装置２２０との協働により、人物情報管理システム２００の機能が実現されてもよい。

図３は、人物情報管理システム２００の機能構成例を示すブロック図である。人物情報管理システム２００は、機能ブロックとして、人物検出部２１１、追跡部２１２、顔認証部２１３、姿勢推定部２１４、及び人物情報提供部２１５を含んでいる。

人物検出部２１１には、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎが入力される。各映像ＶＩＤは、一連の画像（フレーム）を含んでいる。人物検出部２１１は、各画像の中の人物を検出する人物検出処理を行う。バウンディングボックスは、画像において検出された人物の位置を表す。人物検出部２１１は、各画像の中の人物のバウンディングボックスの情報を取得する。尚、人物検出処理は周知技術であり、その手法は特に限定されない。例えば、ＹＯＬＯＸが人物検出部２００として利用される。

追跡部２１２は、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物を自動的に追跡する。

例えば、追跡部２１２は、あるカメラＣＡＭによって撮影される映像ＶＩＤの中の同一人物を追跡する。具体的には、追跡部２１２は、その映像ＶＩＤを構成する一連の画像において同一人物を表すバウンディングボックスを追跡する。複数のタイムステップにおいて同一人物を表す複数のバウンディングボックスは互いに関連付けられる。「トラック」は、複数のタイムステップにおいて同一人物を表す複数のバウンディングボックスのセットである。このようなトラッキング処理は周知技術であり、その手法は特に限定されない。例えば、ＢｙｔｅＴｒａｃｋが利用される。

また、追跡部２１２は、人物再同定処理を行うことによって、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている同一人物を追跡する。特に、追跡部２１２は、人物再同定処理を行うことによって、異なるカメラＣＡＭによって撮影される異なる映像ＶＩＤに映っている同一人物を追跡する。より詳細には、追跡部２１２は、人物の部分の画像に基づいて、再同定処理用の人物の特徴量（以下、「ＲｅＩＤ特徴量」と呼ぶ）を抽出する。画像の中の各バウンディングボックスによって囲まれる部分画像が、人物の画像に相当する。追跡部２１２は、機械学習に基づくＲｅＩＤモデルを用いることによって、部分画像からＲｅＩＤ特徴量を抽出する。特に、追跡部２１２は、トラックを構成する複数のバウンディングボックスに対してＲｅＩＤ特徴量を抽出する。抽出された複数のＲｅＩＤ特徴量はトラックと関連付けられる。そして、追跡部２１２は、ＲｅＩＤ特徴量に基づいてマッチングを行い、異なる２以上のトラックが同一か否かを判定する。すなわち、追跡部２１２は、ＲｅＩＤ特徴量に基づいて、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている２以上の人物が同一か否かを判定する。尚、このような人物再同定処理は周知技術であり、その手法は特に限定されない。ＲｅＩＤモデルは、トランスフォーマー（Transformer）に基づくモデルであってもよい。

顔認証部２１３は、予め登録された人物の顔画像を保持している。顔認証部２１３は、予め登録された顔画像に基づいて顔認証処理を行うことによって、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている人物を個人特定する。例えば、表示対象人物ＴＤの顔画像がユーザによって予め登録される。顔認証部２１３は、予め登録された顔画像に基づいて顔認証処理を行うことによって、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている表示対象人物ＴＤを個人特定する。個人特定された人物は、上述のトラックと関連付けられる。尚、このような顔認証処理は周知技術であり、その手法は特に限定されない。

姿勢推定部２１４は、人物の部分の画像に基づいて、人物の姿勢（pose）を推定する姿勢推定処理を行う。画像の中の各バウンディングボックスによって囲まれる部分画像が、人物の画像に相当する。姿勢推定部２１４は、機械学習に基づく姿勢推定モデルを用いることによって、部分画像からキーポイントを抽出し、人物の姿勢を推定する。特に、姿勢推定部２１４は、トラックを構成する各バウンディングボックスにおける人物の姿勢を推定する。推定された姿勢の情報は、トラックと関連付けられる。尚、姿勢推定処理は周知技術であり、その手法は特に限定されない。例えば、ＴｒａｎｓＰｏｓｅが姿勢推定部２１４として用いられる。

追跡部２１２は、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎに映っている各人物に関する人物情報ＰＳＮを生成する。例えば、人物情報ＰＳＮは、トラック毎に生成される。

図４は、人物情報ＰＳＮの一例を示している。図４に示される例では、人物情報ＰＳＮは、トラックＩＤ、人物ＩＤ、カメラＩＤ、タイムスタンプ、画像内位置情報、姿勢情報、等の対応関係を示している。トラックＩＤは、トラックの識別情報である。人物ＩＤは、トラックに関連付けられた人物であって、顔認証部２１３によって個人特定された人物の識別情報である。トラックを構成する各バウンディングボックスを含む各画像の情報は、１又は複数の映像ＶＩＤ－１～ＶＩＤ－Ｎから得られる。カメラＩＤは、各画像を撮影したカメラＣＡＭの識別情報である。タイムスタンプは、各画像が撮影された時刻である。画像内位置情報は、各画像における人物（バウンディングボックス）の位置情報であり、追跡部２１２が当該人物を追跡することにより得られる。姿勢情報は、各画像における人物の姿勢の情報であり、姿勢推定部２１４により得られる。

人物データベース２３０は、所定期間において取得された人物情報ＰＳＮのデータベースである。追跡部２１２は、人物情報ＰＳＮを集積することによって、人物データベース２３０を生成、更新する。

人物情報提供部２１５は、ユーザ端末３００からのリクエストに応答して人物データベース２３０から必要な人物情報ＰＳＮを取得し、人物情報ＰＳＮをユーザ端末３００に提供する。

２－３．ユーザ端末
ユーザ端末３００は、１又は複数のプロセッサ３１０（以下、単に「プロセッサ３１０」と呼ぶ）、１又は複数の記憶装置３２０（以下、単に「記憶装置３２０」と呼ぶ）、及びユーザインタフェース３３０を含んでいる。プロセッサ３１０は、様々な処理を実行する。例えば、プロセッサ３１０は、ＣＰＵを含んでいる。記憶装置３２０は、処理に必要な様々な情報を格納する。記憶装置３２０の例としては、ＨＤＤ、ＳＳＤ、揮発性メモリ、不揮発性メモリ、等が挙げられる。コンピュータプログラムを実行するプロセッサ３１０と記憶装置３２０との協働により、ユーザ端末３００の機能が実現されてもよい。

ユーザインタフェース３３０は、ユーザから情報を受け付け、また、ユーザに情報を出力するインタフェースである。ユーザインタフェース３３０は、入力装置と出力装置を含んでいる。入力装置としては、タッチパネル、キーボード、ボタン、等が例示される。出力装置としては、表示装置やスピーカが例示される。

ユーザ端末３００は、映像管理システム１００及び人物情報管理システム２００と通信可能である。ユーザ端末３００は、映像管理システム１００から必要な映像ＶＩＤを取得する。また、ユーザ端末３００は、人物情報管理システム２００から必要な人物情報ＰＳＮを取得する。映像ＶＩＤ及び人物情報ＰＳＮは、記憶装置３２０に格納される。ユーザ端末３００は、人物情報ＰＳＮに基づいて、映像ＶＩＤに対して画像処理を行う。そして、ユーザ端末３００は、画像処理後の映像ＶＩＤ’を表示装置に表示する、すなわち、画像処理後の映像ＶＩＤ’をユーザに提供（提示）する。以下、ユーザ端末３００による処理の例をより詳しく説明する。

３．ユーザ端末による処理の例
３－１．第１の例
ユーザは、ユーザインタフェース３３０（入力装置）を用いて、表示対象人物ＴＤの人物ＩＤを指定する。ユーザ端末３００は、指定された表示対象人物ＴＤの人物ＩＤを含むリクエストを人物情報管理システム２００に送信する。

人物情報管理システム２００は、人物データベース２３０から指定された表示対象人物ＴＤに関連する人物情報ＰＳＮを取得する。例えば、表示対象人物ＴＤに関連する人物情報ＰＳＮは、表示対象人物ＴＤと同じカメラＣＡＭに映っている秘匿対象人物ＴＸの人物情報ＰＳＮを含む。そのような秘匿対象人物ＴＸの人物情報ＰＳＮは、表示対象人物ＴＤの人物情報ＰＳＮと共通のカメラＩＤを有している。表示対象人物ＴＤに関連する人物情報ＰＳＮは、表示対象人物ＴＤそのものの人物情報ＰＳＮを含んでいてもよい。人物情報管理システム２００は、このようにして取得した人物情報ＰＳＮをユーザ端末３００に送信する。

ユーザ端末３００は、人物情報管理システム２００から取得した人物情報ＰＳＮに含まれるカメラＩＤを確認する。そして、ユーザ端末３００は、そのカメラＩＤに対応するカメラＣＡＭによって撮影された映像ＶＩＤを取得する。例えば、ユーザ端末３００は、カメラＩＤを含むリクエストを映像管理システム１００に送信する。映像管理システム１００は、映像データベース１３０からカメラＩＤに対応するカメラＣＡＭによって撮影された映像ＶＩＤを選択し、選択した映像ＶＩＤをユーザ端末３００に送信する。他の例として、ユーザ端末３００は、映像管理システム１００から映像ＶＩＤ－１～ＶＩＤ－Ｎを一旦取得し、それらの中からカメラＩＤに対応するカメラＣＡＭによって撮影された映像ＶＩＤを選択してもよい。

ユーザ端末３００は、秘匿対象人物ＴＸの人物情報ＰＳＮに基づいて、秘匿対象人物ＴＸを秘匿化するように映像ＶＩＤに対して画像処理を行う。より詳細には、ユーザ端末３００は、映像ＶＩＤに含まれる各画像（フレーム）のタイムスタンプと人物情報ＰＳＮに含まれるタイムスタンプに基づいて、画像と人物情報ＰＳＮを時間的に対応付ける。画像内の秘匿対象人物ＴＸの画像内位置情報は、人物情報ＰＳＮから得られる。よって、ユーザ端末３００は、画像内において秘匿対象人物ＴＸを秘匿化するように画像処理を行うことができる。例えば、人物情報ＰＳＮに姿勢情報が含まれる場合、ユーザ端末３００は、その姿勢情報に基づいて秘匿対象人物ＰＳＮの顔の位置まで特定し、秘匿対象人物ＰＳＮの顔の部分をマスクしてもよい。他の例として、ユーザ端末３００は、秘匿対象人物ＴＸの位置（バウンディングボックス）全体をマスクしてもよい。尚、表示対象人物ＴＤはマスクする必要はない。

そして、ユーザ端末３００は、画像処理後の映像ＶＩＤ’を表示装置に表示する。表示対象人物ＴＤが映る映像ＶＩＤが切り替わった場合、ユーザ端末３００は、それに連動して表示する映像ＶＩＤ’を切り替える。

３－２．第２の例
ユーザは、ユーザインタフェース３３０（入力装置）を用いて、カメラを指定する。ユーザ端末３００は、指定されたカメラのカメラＩＤを含むリクエストを人物情報管理システム２００に送信する。人物情報管理システム２００は、人物データベース２３０から指定されたカメラＩＤを含む人物情報ＰＳＮを取得し、取得した人物情報ＰＳＮをユーザ端末３００に送信する。また、ユーザ端末３００は、上記の第１の例の場合と同様に、カメラＩＤに対応するカメラＣＡＭによって撮影された映像ＶＩＤを取得する。

第２の例では、表示対象人物ＴＤが特に指定されないため、映像ＶＩＤに映る全ての人物が秘匿対象人物ＴＸとなる。ユーザ端末３００は、上記の第１の例の場合と同様に、秘匿対象人物ＴＸを秘匿化するように映像ＶＩＤに対して画像処理を行う。そして、ユーザ端末３００は、画像処理後の映像ＶＩＤ’を表示装置に表示する。

３－３．第３の例
上述の第１の例と第２の例の組み合わせも可能である。その場合、ユーザは、カメラと表示対象人物ＴＤを指定する。

３－４．第４の例
上述の通り、人物情報管理システム２００は、様々な処理を落として人物情報ＰＳＮを取得する。よって、人物情報ＰＳＮのサンプリングレート（取得レート）が映像ＶＩＤのフレームレートより低くなる可能性がある。例えば、映像ＶＩＤのフレームレートが３０ＦＰＳであるのに対し、人物情報ＰＳＮのサンプリングレートが１０ＦＰＳとなる可能性がある。

例えば、図５において、映像ＶＩＤはフレームＦＲ１～ＦＲ１０を含んでいる。フレームＦＲ１～ＦＲ１０のタイムスタンプはそれぞれｔｓ１～ｔｓ１０である。一方、人物情報ＰＳＮは、タイムスタンプｔｓ１、ｔｓ４、ｔｓ７、ｔｓ１０のものしか得られてない。このような場合においても、人物情報ＰＳＮに基づく秘匿化処理を正確に行うことが望まれる。

そこで、ユーザ端末３００は、映像ＶＩＤを構成するフレームＦＲ１～ＦＲ１０の中から、人物情報ＰＳＮのタイムスタンプに対応したフレームＦＲ１、ＦＲ４、ＦＲ７、ＦＲ１０を選択する。そして、ユーザ端末３００は、選択したフレームＦＲ１、ＦＲ４、ＦＲ７、ＦＲ１０に対して画像処理を選択的に行う。その後、ユーザ端末３００は、画像処理後のフレームＦＲ１、ＦＲ４、ＦＲ７、ＦＲ１０を選択的に表示装置に表示する。残りのフレームは表示されない。表示される映像ＶＩＤ’のフレームレートは低下するが、秘匿対象人物ＴＸの秘匿化は高精度に行われる。すなわち、秘匿対象人物ＴＸのプライバシーが適切に守られる。

４．変形例
ユーザ端末３００による処理の一部が人物情報管理システム２００によって実行されてもよい。例えば、人物情報管理システム２００は、ユーザ毎に画像処理を行い、各ユーザ用の画像処理後の映像ＶＩＤ’を生成し、画像処理後の映像ＶＩＤ’を当該ユーザのユーザ端末３００に送信してもよい。これによっても、上述の実施の形態と同様の効果が得られる。

１０…映像提供システム， １００…映像管理システム， ２００…人物情報管理システム， ３００…ユーザ端末， ＰＳＮ…人物情報， ＴＤ…表示対象人物， ＴＸ…秘匿対象人物， ＶＩＤ…映像

Claims (5)

1. ユーザに映像を提供する映像提供システムであって、
   １又は複数のプロセッサを備え、
   秘匿対象人物は、前記ユーザが見ることを望む表示対象人物以外の人物であり、
   前記１又は複数のプロセッサは、
   １又は複数のカメラによって撮影される１又は複数の映像を取得し、
   人物再同定処理を行うことによって、前記１又は複数の映像に映っている各人物を追跡して、前記１又は複数の映像における前記各人物の位置情報を含む人物情報を取得し、
   前記人物情報に基づいて、前記表示対象人物を秘匿化することなく前記秘匿対象人物を秘匿化するように、前記１又は複数の映像に対して画像処理を行い、
   前記画像処理の後の前記１又は複数の映像を前記ユーザのユーザ端末に表示する
   ように構成された
   映像提供システム。
2. 請求項１に記載の映像提供システムであって、
   前記人物情報のサンプリングレートが前記１又は複数の映像のフレームレートよりも低い場合、前記１又は複数のプロセッサは、前記人物情報のタイムスタンプに対応したフレームを前記１又は複数の映像を構成するフレームの中から選択し、前記選択したフレームに対して前記画像処理を行い、前記画像処理の後の前記選択したフレームを選択的に前記ユーザ端末に表示する
   映像提供システム。
3. 請求項１又は２に記載の映像提供システムであって、
   前記１又は複数のプロセッサは、更に、前記１又は複数の映像における前記各人物の姿勢を推定し、
   前記人物情報は、前記各人物の前記位置情報と前記姿勢の情報を含み、
   前記画像処理において、前記１又は複数のプロセッサは、前記人物情報に基づいて、前記秘匿対象人物の顔を少なくともマスクする
   映像提供システム。
4. 請求項１又は２に記載の映像提供システムであって、
   前記１又は複数のプロセッサは、更に、顔認証処理を行うことによって、前記１又は複数の映像に映っている前記表示対象人物を特定する
   映像提供システム。
5. ユーザが使用するユーザ端末であって、
   １又は複数のカメラによって撮影される１又は複数の映像を取得するプロセッサを備え、
   人物情報管理システムは、人物再同定処理を行うことによって、前記１又は複数の映像に映っている各人物を追跡して、前記１又は複数の映像における前記各人物の位置情報を含む人物情報を取得し、
   秘匿対象人物は、ユーザが見ることを望む表示対象人物以外の人物であり、
   前記プロセッサは、
   前記人物情報管理システムから前記人物情報を取得し、
   前記人物情報に基づいて、前記表示対象人物を秘匿化することなく前記秘匿対象人物を秘匿化するように、前記１又は複数の映像に対して画像処理を行い、
   前記画像処理の後の前記１又は複数の映像を表示する
   ように構成された
   ユーザ端末。

Images