[go: up one dir, main page]

WO2020218023A1 - 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム - Google Patents

物体情報処理装置、物体情報処理方法及び物体情報処理プログラム Download PDF

Info

Publication number
WO2020218023A1
WO2020218023A1 PCT/JP2020/016060 JP2020016060W WO2020218023A1 WO 2020218023 A1 WO2020218023 A1 WO 2020218023A1 JP 2020016060 W JP2020016060 W JP 2020016060W WO 2020218023 A1 WO2020218023 A1 WO 2020218023A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
information processing
object information
integrated
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/016060
Other languages
English (en)
French (fr)
Inventor
小野　正人
高秀 星出
松原　靖
深津　真二
憲一 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/601,664 priority Critical patent/US12118789B2/en
Priority to CN202080030553.5A priority patent/CN113711583B/zh
Publication of WO2020218023A1 publication Critical patent/WO2020218023A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field

Definitions

  • the present invention relates to a technique for tracking an object on a video.
  • a technology is known that combines images taken by multiple cameras in the horizontal and vertical directions in real time to synthesize a panoramic image of the entire field competition with a large competition space. It is considered to be applied to remote monitoring of a vast monitoring area by connecting images in real time using this technology.
  • the panoramic image in which a plurality of images are connected is a high-definition image
  • the present invention has been made in view of the above, and an object of the present invention is to track an object in real time in a composite video in which a plurality of videos are joined together.
  • the object information processing device is an object information processing device that tracks an object on a composite video that is synthesized by connecting a plurality of video data shot by superimposing a part of a shooting area, and the plurality of video.
  • a candidate extraction unit that extracts an object existing in the overlapping area where the video data is superimposed as a candidate object, and a plurality of candidate objects having an overlap degree of more than a predetermined threshold. It is provided with a grouping unit for grouping the objects into a group, and an integration unit for assigning an integrated object ID to the group and the ungrouped objects.
  • the object information processing method is an object information processing method using an object information processing device that tracks an object on a composite video that is synthesized by connecting a plurality of video data shot by superimposing a part of a shooting area.
  • a step of extracting an object existing in the overlapping area where the video data is superimposed as a candidate object, and a plurality of objects having an overlap degree of more than a predetermined threshold value It has a step of grouping the candidate objects of the above and a step of assigning an integrated object ID to the group and the ungrouped object.
  • the object information processing program according to the present invention operates a computer as each part of the object information processing device.
  • the wide-viewing-angle remote monitoring system shown in the figure combines multiple images to generate a panoramic image, acquires object information of the object to be monitored from the image, and uses MMTP (MPEG Media Transmission Protocol). It is a system that realizes low-delay processing for synchronous transmission of panoramic video, sound, and object information via an IP network.
  • the wide viewing angle remote monitoring system can be used for wide viewing angle monitoring such as air traffic control, public space monitoring, and disaster prevention monitoring.
  • the wide viewing angle remote monitoring system of FIG. 1 includes a synthesis processing server 100, an object information integrated server 200, a decoding server 300, and an integrated object information receiving server 400.
  • the synthesis processing server 100 includes a synthesis processing unit 110, an encoding processing unit 120, and an object detection / tracking processing unit 130.
  • the compositing processing server 100 inputs images and sounds from each of a plurality of imaging systems (for example, 4K cameras), detects and tracks the target object from each image (FIG. 2A), and connects the images to create a panoramic image. Synthesize (Fig. 2B).
  • the composition processing unit 110 combines a plurality of input images in real time to synthesize a panoramic image.
  • the compositing processing unit 110 may dynamically change the joints at which the images are joined, or may statically set the joints in advance with a setting file or the like.
  • the encoding processing unit 120 encodes the panoramic video and sound data synthesized by the synthesis processing unit 110, converts it into an MMTP stream, and sends it to the decoding server 300.
  • the object detection / tracking processing unit 130 detects and tracks the target object from each video.
  • the object detection / tracking processing unit 130 transmits the tracking result of the object in each video to the object information integration server 200 and also transmits the synthesis processing unit 110.
  • the object information integration server 200 converts the coordinates on each image of the object into the coordinates on the panoramic image for the object detected and tracked by the object detection / tracking processing unit 130 in each image.
  • the same object may be detected in each of the duplicated images in the overlapping area where the images are overlapped.
  • the object information integration server 200 integrates the tracking results of objects presumed to be the same among the objects detected in the overlapping region by the object information processing according to the present invention. The details of the object information processing according to the present invention will be described later.
  • the decoding server 300 decodes the MMTP stream received from the synthesis processing server 100 and outputs a panoramic image and sound.
  • the integrated object information receiving server 400 receives the MMTP packet of the object information from the object information integrated server 200 and outputs the object information.
  • the display system (for example, a panoramic screen) superimposes the object information output from the integrated object information receiving server 400 on the panoramic image output from the decoding server 300 and displays it (FIG. 2C). At this time, the display system superimposes object information having the same time stamp as the time stamp attached to the frame data of the panoramic image.
  • the object information processing device 1 is a device that outputs the tracking result of the object in the panoramic image synthesized by the image processing device 3. More specifically, the object information processing device 1 receives the tracking result of the object in each image from the image processing device 3, and the coordinates (hereinafter, referred to as "local coordinates") of the object on each image are panoramic images. Convert to the above coordinates (hereinafter referred to as "global coordinates") and integrate the tracking results of objects that appear to be the same in the overlapping area.
  • the object information processing device 1 corresponds to the object information integrated server 200 of the wide viewing angle remote monitoring system of FIG. 1, and the image processing device 3 corresponds to the synthesis processing server 100.
  • the object information processing device 1 shown in FIG. 3 includes a tracking result receiving unit 11, a grouping candidate determination unit 12, a grouping unit 13, and an integration unit 14.
  • Each part included in the object information processing device 1 may be configured by a computer provided with an arithmetic processing unit, a storage device, and the like, and the processing of each part may be executed by a program.
  • This program is stored in a storage device included in the object information processing device 1, and can be recorded on a recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be provided through a network.
  • the tracking result receiving unit 11 receives the tracking result of each image of the object and converts the local coordinates of the object into global coordinates.
  • the tracking result includes the object's local coordinates and local object ID.
  • the tracking result may include the name of the detected object, reliability (correctness of the object name), color, and acceleration and moving direction of the object.
  • the local object ID is an identifier given to the object tracked in each video.
  • the same local object ID is given to the object determined to be the same as the object detected in the previous generation (past frame). Since the local object ID is assigned to the object for each image, if the images of the same object are different, different local object IDs are assigned to the object for each image.
  • the grouping candidate determination unit 12 extracts the objects detected in the overlapping area as the target of integration.
  • the coordinates of the overlapping area have been calculated in advance.
  • the object information processing device 1 may receive the coordinates of the overlapping region from the video processing device 3.
  • the grouping unit 13 presumes that the objects with a large degree of overlap of the objects detected in each of the duplicated images are the same object in the overlapping area, and groups them. In addition, the grouping unit 13 collectively regroups groups including objects to which the same local object ID is assigned in adjacent overlapping areas (different overlapping areas in one video).
  • the integration unit 14 assigns an integration object ID, which is a tracking result on the panoramic image, to each of the grouped and ungrouped objects. By using this integrated object ID, the same object can be continuously tracked on the panoramic image.
  • step S1 the video processing device 3 inputs video from each of the plurality of cameras, and acquires frame data at the same time from each of the input video.
  • step S2 the video processing device 3 detects an object from each video and tracks the object in each video.
  • the video processing device 3 may detect an object using data obtained by reducing the size of the frame data acquired from each video in order to speed up the object detection process.
  • Object detection and tracking may be performed in parallel for each video. Tracking is to determine the identity of an object detected in the current frame data and an object detected in the past frame data, and track the movement of the object.
  • the image processing device 3 superimposes the frame data F1 and F2 so that the feature points of the adjacent frame data F1 and F2 at the same time match, and synthesizes a panoramic image.
  • FIG. 5 shows a state in which frame data F1 and F2 adjacent to the left and right are superimposed.
  • the area where the frame data F1 and F2 are overlapped is the overlapping area. Areas that are not overlapped are called non-overlapping areas.
  • the panoramic video may be synthesized by superimposing the frame data adjacent to the top and bottom, or the panorama video may be synthesized by superimposing the frame data arranged vertically and horizontally.
  • the video processing device 3 detects an object from each video before synthesizing the panoramic video and tracks the object.
  • the video processing apparatus 3 has detected six objects O11 to O16 from the frame data F1 and six objects O21 to O26 from the frame data F2. The tracking result of the object in each video is transmitted to the object information processing device 1.
  • step S3 the object information processing device 1 receives the tracking result of the object of each video and converts the local coordinates of each object into global coordinates.
  • step S4 the object information processing device 1 determines whether or not each object exists in the overlapping area. Candidates for grouping objects that exist in the overlapping area.
  • the objects O14, O15, and O16 detected by the frame data F1 exist in the overlapping area
  • the objects O21, O22, and O23 detected by the frame data F2 exist in the overlapping area.
  • step S5 the object information processing device 1 groups local objects that are presumed to be the same object that appear in a plurality of images at the same time.
  • the object information processing device 1 estimates that among the objects detected in the overlapping regions of the adjacent frame data, the objects having the degree of overlap equal to or greater than a predetermined threshold value are the same objects, and group them.
  • the object O14 detected by the frame data F1 and the object O21 detected by the frame data F2 are grouped G1
  • the object O16 detected by the frame data F1 and the object O23 detected by the frame data F2 are designated as the group G1.
  • Grouped as group G2. The details of the grouping process will be described later.
  • step S6 the object information processing device 1 assigns an integrated object ID to each group in which the objects are grouped and each object not grouped.
  • the integrated object IDs of the groups G1 and G2 are "0004" and "0007", respectively.
  • the integrated object IDs of the ungrouped objects O11, O12, O13, and O15 are "0001", “0002", “0003", and "0005", respectively.
  • the integrated object IDs of the ungrouped objects O22, O24, O25, and O26 are "0006", “0008", "0009", and "0010", respectively. The details of the process of assigning the integrated object ID will be described later.
  • the grouping process is performed on the objects detected in the overlapping area.
  • the grouping unit 13 extracts a set of objects in which the degree of overlap of the objects detected in each of the adjacent frame data is equal to or greater than the threshold value. For an object, if there is no object in the adjacent frame data whose degree of overlap is equal to or greater than the threshold value, the object is not subject to grouping.
  • the number of objects to be extracted may be changed according to the number of overlapping frame data in the overlapping area. For example, when the frame data is arranged vertically and horizontally and overlapped, four frame data are overlapped at the corner portion of the frame data. In this case, the grouping unit 13 may extract four objects as the target of grouping.
  • the grouping unit 13 excludes the group of objects whose overlapping degree is equal to or greater than the threshold value from the group in which the integrated object ID is established in the non-overlapping area. For example, as shown in FIG. 7, in the past generation, the object O11 is given the integrated object ID of "0001" in the non-overlapping area, and the object O21 is given the integrated object ID of "0002" in the non-overlapping area. It is assumed that it has been granted. That is, in the past generation, the objects O11 and O21 were recognized as different objects.
  • the grouping unit 13 excludes the set of objects O11 and O21 from the grouping target.
  • the integration unit 14 turns on the flag of the object when the integration object ID is given to the object in the non-overlapping area.
  • the grouping unit 13 excludes the set of objects whose both flags are on from the target of grouping. Pairs of objects with one object flag on and the other object flag off are subject to grouping.
  • the grouping unit 13 may exclude a set of objects having different names from the grouping. For example, a pair of objects presumed to be humans and objects presumed to be signals is excluded from grouping.
  • the grouping unit 13 may exclude the set of the objects from the grouping target.
  • the grouping unit 13 grasps the moving direction of the objects, and when the objects are moving differently from each other, the set of the objects may be excluded from the grouping target.
  • step S53 the grouping unit 13 groups the groups of objects whose overlapping degree of objects is equal to or greater than the threshold value, which are not excluded in step S52.
  • the grouping unit 13 may regroup the groups including the same object together.
  • step S54 the grouping unit 13 determines whether or not a group containing the same object exists in the adjacent overlapping area.
  • Adjacent overlapping areas are a plurality of overlapping areas in one frame data. For example, in the example of FIG. 8A, the overlapping areas on the left and right sides of the frame data F2 are adjacent overlapping areas. Whether or not they are the same object can be determined by whether or not the local object IDs are the same.
  • the object O11 detected by the frame data F1 and the object O21 detected by the frame data F2 are grouped as a group G1. Further, the object O31 detected by the frame data F3 and the object O21 detected by the frame data F2 are grouped as a group G2. Group G1 and group G2 include the same object O21.
  • step S55 the grouping unit 13 collectively regroups the groups including the same objects.
  • the groups G1 and G2 including the same object O21 are regrouped as the group G3.
  • the integrated object ID of the object O11 is "0001" in the previous generation
  • the integrated object ID of the group G1 including the objects O12 and O21 is "0002”
  • the integrated object ID of the group G2 including the objects O13 and O22 is "0003”.
  • the pairs of objects O11 and O21 are grouped into group G3
  • the pairs of objects O12 and O22 are grouped into group G4
  • the objects O13 are not grouped.
  • the time (survival period) in which the object is tracked in each video is managed, and the integrated object ID is assigned in order from the object having the longest survival period. For example, in the example of FIG. 9, if the survival period of the object O13 is longer than the survival period of the object O22, processing is performed from the object O13, and the object O13 inherits the integrated object ID "0003" of the group G2. At this time, the processing order of the object O22 having no integrated object ID to be inherited is postponed. For example, the processing order of the object O22 is reduced to the same extent as the newly detected object.
  • the object O22 is treated as an object to which the integrated object ID has not been assigned in the previous generation.
  • the group G3 should inherit the integrated object ID "0001" or "0002".
  • the integrated object ID having a longer survival period is inherited.
  • the integrated object ID having the longest survival time is an integrated object ID issued in the past. Specifically, assuming that the survival period of the integrated object ID "0001" is longer than the survival period of the integrated object ID "0002", the group G3 inherits the integrated object ID "0001".
  • the process of assigning the integrated object ID will be described with reference to FIG.
  • the process of FIG. 10 is performed on all groups and all ungrouped objects.
  • step S61 the integration unit 14 selects the object having the longest survival time or the group including the object having the longest survival time.
  • step S62 the integration unit 14 determines whether or not the integration object ID has been assigned to the object or group to be processed in the previous generation.
  • the processing target is a group
  • step S63 the integration unit 14 newly assigns the integrated object ID to the object or group to be processed.
  • step S64 the integration unit 14 determines whether or not the group to be processed includes a plurality of objects to which different integration object IDs are assigned.
  • the integration unit 14 in step S65 Make the object or group to be processed inherit the integrated object ID of the previous generation.
  • step S66 the integration unit 14 causes the processing target group to inherit the integrated object ID having the longest survival period.
  • the integration unit 14 performs the above processing on all groups and objects.
  • test frame object O16 was newly detected from one frame data. Two new objects O26 and O27 were detected from the other frame data. The object O25 detected in the previous generation was not detected in the current generation.
  • Object O13 and newly detected object O26 were grouped as group G3.
  • Object O15 and object O21 have been grouped as group G4.
  • Object O14 and object O22 were not grouped.
  • Objects O11, O12, O23, O24 that are not grouped in the previous generation and are not grouped in the current generation inherit the integrated object ID of the previous generation.
  • New integrated object IDs "0009" and "0011" are issued to each of the newly detected objects O16 and O27 that are not grouped.
  • the integrated object ID "0008" assigned to the object O25 for which the current generation was not detected is deleted.
  • the group G3 including the object O13 is the processing target.
  • the object O13 is given the integrated object ID "0003" in the previous generation.
  • the object O26 included in the group G3 is a newly detected object, and the integrated object ID is not assigned. Therefore, the group G3 takes over the integrated object ID "0003" of the object O13.
  • the object O14 becomes the processing target.
  • Object O14 is included in group G1 in the previous generation.
  • the integrated object ID "0004" is assigned to the group G1. Therefore, the object O14 takes over the integrated object ID "0004" of the group G1.
  • the object O21 included in the group G1 in the previous generation is treated as an object to which the integrated object ID is not assigned in the previous generation, and the order of processing is lowered.
  • the group G4 including the object O15 is the processing target.
  • Object O15 is included in group G2 in the previous generation.
  • the integrated object ID "0005" is assigned to the group G2.
  • the object O21 was included in the group G1 in the previous generation, but is regarded as an object to which the integrated object ID is not assigned when the object O14 is processed. Therefore, the group G4 inherits the integrated object ID "0005" of the group G2.
  • the object O22 included in the group G2 in the previous generation is treated as an object to which the integrated object ID is not assigned in the previous generation, and the order of processing is lowered.
  • the object O22 is the processing target.
  • the object O22 was included in the group G2 in the previous generation, but is regarded as an object to which the integrated object ID is not assigned when the object O15 is processed. Therefore, a new integrated object ID "0010" is assigned to the object O22.
  • the integration unit 14 can appropriately take over the integration object ID.
  • the grouping candidate determination unit 12 is within the overlapping region in which the frame data are superimposed among the objects detected and tracked in each of the plurality of frame data captured at the same time.
  • the objects existing in the above are extracted as candidate objects, the grouping unit 13 groups a plurality of candidate objects having an overlap degree of a predetermined threshold or more into a group, and the integration unit 14 integrates them into a group and an ungrouped object.
  • the tracking process of the object can be performed in parallel in each video when synthesizing the video, so that the tracking processing time can be shortened and the present embodiment can be performed in parallel with the video synthesizing process. Can perform object information processing. As a result, objects can be tracked in real time in the composite video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

複数の映像をつなぎ合わせた合成映像においてリアルタイムにオブジェクトをトラッキングする。グループ化候補判定部１２が、同時に撮影された複数のフレームデータのそれぞれで検出およびトラッキングされたオブジェクトのうち、フレームデータが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出し、グループ化部１３が、重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめて、統合部１４が、グループおよびグループ化されていないオブジェクトに統合オブジェクトＩＤを付与する。

Description

物体情報処理装置、物体情報処理方法及び物体情報処理プログラム
　本発明は、映像上でオブジェクトをトラッキングする技術に関する。
　複数のカメラで撮影した映像を水平垂直方向にリアルタイムでつなぎ合わせて、広い競技空間を持つフィールド競技の様子全体を写したパノラマ映像を合成する技術が知られている。この技術を用い、映像をリアルタイムでつなぎ合わせることで、広大な監視エリアの遠隔地監視に適用することが考えられている。
　映像による遠隔地監視では、映像から監視対象オブジェクトをリアルタイムで検出およびトラッキングし、映像に監視対象オブジェクトの情報を重畳表示できることが望ましい。
石井陽子、徳永徹郎、外村喜秀、日高浩太、「Ｋｉｒａｒｉ！　Ｔｒａｃｋｅｒ：ＬｉＤＡＲと深層学習エンジンを用いたリアルタイム特定人物追跡システムの検討」、映像情報メディア学会、冬季大会、２０１７年、１５Ｂ－３
　しかしながら、複数の映像をつなぎ合わせたパノラマ映像は高精細映像であることから、パノラマ映像上でオブジェクトの検出およびトラッキングを行うと処理に時間がかかり、リアルタイム性に影響があるという問題があった。
　本発明は、上記に鑑みてなされたものであり、複数の映像をつなぎ合わせた合成映像においてリアルタイムにオブジェクトをトラッキングすることを目的とする。
　本発明に係る物体情報処理装置は、撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置であって、前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出する候補抽出部と、重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるグループ化部と、前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与する統合部と、を備える。
　本発明に係る物体情報処理方法は、撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置による物体情報処理方法であって、前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出するステップと、重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるステップと、前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与するステップと、を有する。
　本発明に係る物体情報処理プログラムは、上記物体情報処理装置の各部としてコンピュータを動作させる。
　本発明によれば、複数の映像をつなぎ合わせた合成映像においてリアルタイムにオブジェクトをトラッキングすることができる。
本実施形態の物体情報処理装置を用いて構成した広視野角遠隔監視システムの構成を示す図である。 広視野角遠隔監視システムが入力した映像のそれぞれにおいてオブジェクトを検出した様子を示す図である。 複数の映像をつなぎ合わせた様子を示す図である。 広視野角遠隔監視システムが出力するパノラマ映像の表示例を示す図である。 本実施形態の物体情報処理装置の構成を示す機能ブロック図である。 本実施形態の物体情報処理の流れを示すフローチャートである。 フレームデータをつなぎ合わせたパノラマ映像と検出されたオブジェクトの例を示す図である。 グループ化の処理の流れを示すフローチャートである。 グループ化しない例を説明するための図である。 複数の重複領域において同一のオブジェクトが検出される例を示す図である。 複数の重複領域において検出された同一のオブジェクトを含むグループを再グループ化する例を示す図である。 統合オブジェクトＩＤを引継ぐグループまたはオブジェクトを特定できない例を示す図である。 統合オブジェクトＩＤを付与する処理の流れを示すフローチャートである。 統合オブジェクトＩＤを付与する例を示す図である。
　以下、本発明の実施の形態について図面を用いて説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
　図１を参照し、本発明にかかる物体情報処理を用いた広視野角遠隔監視システムの構成を説明する。同図に示す広視野角遠隔監視システムは、複数の映像を合成してパノラマ映像を生成するとともに、映像から監視対象のオブジェクトの物体情報を取得し、ＭＭＴＰ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）を利用してＩＰネットワーク経由でパノラマ映像、音および物体情報を同期伝送する処理を低遅延に実現するシステムである。広視野角遠隔監視システムは、例えば、航空管制、公共空間監視、および防災監視などの広視野角での監視に用いることができる。
　図１の広視野角遠隔監視システムは、合成処理サーバ１００、物体情報統合サーバ２００、デコードサーバ３００、および統合物体情報受信サーバ４００を備える。
　合成処理サーバ１００は、合成処理部１１０、エンコード処理部１２０、および物体検出・トラッキング処理部１３０を備える。合成処理サーバ１００は、複数の撮像系（例えば４Ｋカメラ）のそれぞれから映像と音を入力し、各映像から対象のオブジェクトの検出およびトラッキングを行うとともに（図２Ａ）、映像をつなげてパノラマ映像を合成する（図２Ｂ）。
　合成処理部１１０は、入力した複数の映像をリアルタイムにつなぎ合わせてパノラマ映像を合成する。合成処理部１１０は、映像をつなぎ合わせるつなぎ目を動的に変更してもよいし、つなぎ目を設定ファイル等で事前に静的に設定してもよい。
　エンコード処理部１２０は、合成処理部１１０の合成したパノラマ映像および音データをエンコードし、ＭＭＴＰストリームに変換してデコードサーバ３００へ送出する。
　物体検出・トラッキング処理部１３０は、各映像から対象のオブジェクトの検出およびトラッキングを実施する。物体検出・トラッキング処理部１３０は、各映像でのオブジェクトのトラッキング結果を物体情報統合サーバ２００へ送信するとともに、合成処理部１１０へ送信する。
　物体情報統合サーバ２００は、物体検出・トラッキング処理部１３０が各映像において検出およびトラッキングしたオブジェクトについて、オブジェクトの各映像上の座標をパノラマ映像上の座標へ変換する。合成する前の映像でオブジェクトを検出する場合、映像が重ね合わされた重複領域では、重複された映像のそれぞれで同一のオブジェクトが検出されることがある。物体情報統合サーバ２００は、本発明にかかる物体情報処理により、重複領域で検出されたオブジェクトで同一と推定されるオブジェクトのトラッキング結果を統合する。本発明にかかる物体情報処理の詳細については後述する。
　デコードサーバ３００は、合成処理サーバ１００から受信したＭＭＴＰストリームをデコードし、パノラマ映像および音を出力する。
　統合物体情報受信サーバ４００は、物体情報統合サーバ２００から物体情報のＭＭＴＰパケットを受信し、物体情報を出力する。
　表示系（例えばパノラマスクリーン）は、デコードサーバ３００から出力されたパノラマ映像に、統合物体情報受信サーバ４００から出力された物体情報を重畳させて表示する（図２Ｃ）。このとき、表示系は、パノラマ映像のフレームデータに付いているタイムスタンプと同じタイムスタンプを持つ物体情報を重畳させる。
　（物体情報処理装置の構成）
　図３を参照し、本実施形態の物体情報処理装置１の構成について説明する。物体情報処理装置１は、映像処理装置３の合成したパノラマ映像におけるオブジェクトのトラッキング結果を出力する装置である。より具体的には、物体情報処理装置１は、映像処理装置３から各映像でのオブジェクトのトラッキング結果を受信し、オブジェクトの各映像上の座標（以下、「ローカル座標」と称する）をパノラマ映像上の座標（以下、「グローバル座標」と称する）へ変換し、重複領域で同一と思われるオブジェクトのトラッキング結果を統合する。物体情報処理装置１は、図１の広視野角遠隔監視システムの物体情報統合サーバ２００に相当し、映像処理装置３は合成処理サーバ１００に相当する。
　図３に示す物体情報処理装置１は、トラッキング結果受信部１１、グループ化候補判定部１２、グループ化部１３、および統合部１４を備える。物体情報処理装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは物体情報処理装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
　トラッキング結果受信部１１は、オブジェクトの各映像でのトラッキング結果を受信し、オブジェクトのローカル座標をグローバル座標へ変換する。トラッキング結果は、オブジェクトのローカル座標およびローカルオブジェクトＩＤを含む。トラッキング結果は、検出したオブジェクトの名称、信頼度（オブジェクトの名称の正しさ）、色、およびオブジェクトの加速度と移動方向を含んでもよい。ローカルオブジェクトＩＤは、各映像でトラッキングされているオブジェクトに付与される識別子である。前の世代（過去のフレーム）で検出されたオブジェクトと同じであると判定されたオブジェクトには同じローカルオブジェクトＩＤが付与される。なお、ローカルオブジェクトＩＤは映像ごとにオブジェクトに付与されるので、同じオブジェクトであっても写っている映像が異なる場合は、映像のそれぞれで異なるローカルオブジェクトＩＤが当該オブジェクトに付与される。
　グループ化候補判定部１２は、重複領域内で検出されたオブジェクトを統合の対象として抽出する。重複領域の座標は事前に算出済みである。物体情報処理装置１は、重複領域の座標を映像処理装置３から受信してもよい。
　グループ化部１３は、重複領域において、重複された映像のそれぞれで検出されたオブジェクトの重なり度合いが大きいオブジェクトを同じオブジェクトであると推定してグループ化する。また、グループ化部１３は、隣り合う重複領域（１つの映像内の異なる重複領域）に同じローカルオブジェクトＩＤの付与されたオブジェクトを含むグループをまとめて再グループ化する。
　統合部１４は、グループおよびグループ化されていないオブジェクトのそれぞれに、パノラマ映像上でのトラッキング結果となる統合オブジェクトＩＤを付与する。この統合オブジェクトＩＤを用いることで、同一のオブジェクトをパノラマ映像上で継続してトラッキングすることができる。
　（物体情報処理）
　次に、図４および図５を参照して、本実施形態の物体情報処理について説明する。
　ステップＳ１において、映像処理装置３は、複数のカメラのそれぞれから映像を入力し、入力した映像のそれぞれから同時刻のフレームデータを取得する。
　ステップＳ２において、映像処理装置３は、各映像からオブジェクトを検出し、各映像においてオブジェクトをトラッキングする。映像処理装置３は、オブジェクト検出処理の高速化のために、各映像から取得されたフレームデータのサイズを縮小したデータを用いてオブジェクトを検出してもよい。オブジェクトの検出およびトラッキングは、各映像で並行して行ってよい。トラッキングとは、現在のフレームデータで検出されたオブジェクトと過去のフレームデータで検出されたオブジェクトとの同一性を判定し、オブジェクトの移動を追跡することである。
　映像処理装置３は、同時刻の隣接するフレームデータＦ１，Ｆ２の特徴点が一致するようにフレームデータＦ１，Ｆ２を重ね合わせてパノラマ映像を合成する。図５に左右に隣接するフレームデータＦ１，Ｆ２を重ね合わせた様子を示す。フレームデータＦ１，Ｆ２が重ね合わせられた領域が重複領域である。重ね合わせられていない領域を非重複領域と称する。なお、上下に隣接するフレームデータを重ね合わせてパノラマ映像を合成してもよいし、上下左右に並べたフレームデータを重ね合わせてパノラマ映像を合成してもよい。
　また、映像処理装置３は、パノラマ映像を合成する前の各映像からオブジェクトを検出し、オブジェクトをトラッキングする。図５の例では、映像処理装置３は、フレームデータＦ１からは６つのオブジェクトＯ１１～Ｏ１６を検出し、フレームデータＦ２からは６つのオブジェクトＯ２１～Ｏ２６を検出した。各映像でのオブジェクトのトラッキング結果は物体情報処理装置１へ送信される。
　ステップＳ３において、物体情報処理装置１は、各映像のオブジェクトのトラッキング結果を受信し、各オブジェクトのローカル座標をグローバル座標に変換する。
　ステップＳ４において、物体情報処理装置１は、各オブジェクトについて、重複領域内に存在するか否か判定する。重複領域内に存在するオブジェクトがグループ化される候補である。図５の例では、フレームデータＦ１で検出されたオブジェクトＯ１４，Ｏ１５，Ｏ１６が重複領域内に存在し、フレームデータＦ２で検出されたオブジェクトＯ２１，Ｏ２２，Ｏ２３が重複領域内に存在する。
　ステップＳ５において、物体情報処理装置１は、複数映像に同時に映る同一オブジェクトと推定されるローカルオブジェクトをグループ化する。物体情報処理装置１は、隣接するフレームデータのそれぞれの重複領域で検出されたオブジェクトのうち、重なり度合いが所定の閾値以上のオブジェクトを同一のオブジェクトであると推定し、グループ化する。図５の例では、フレームデータＦ１で検出されたオブジェクトＯ１４とフレームデータＦ２で検出されたオブジェクトＯ２１をグループＧ１とし、フレームデータＦ１で検出されたオブジェクトＯ１６とフレームデータＦ２で検出されたオブジェクトＯ２３をグループＧ２としてグループ化した。グループ化処理の詳細については後述する。
　ステップＳ６において、物体情報処理装置１は、オブジェクトをグループ化した各グループおよびグループ化していない各オブジェクトに統合オブジェクトＩＤを付与する。図５の例では、グループおよびオブジェクトの下に記載した数字が付与された統合オブジェクトＩＤである。具体的には、グループＧ１，Ｇ２の統合オブジェクトＩＤはそれぞれ「０００４」，「０００７」である。グループ化されていないオブジェクトＯ１１，Ｏ１２，Ｏ１３，Ｏ１５の統合オブジェクトＩＤはそれぞれ「０００１」，「０００２」，「０００３」，「０００５」である。グループ化されていないオブジェクトＯ２２，Ｏ２４，Ｏ２５，Ｏ２６の統合オブジェクトＩＤはそれぞれ「０００６」，「０００８」，「０００９」，「００１０」である。統合オブジェクトＩＤを付与する処理の詳細については後述する。
　（グループ化）
　次に、図６を参照して、グループ化処理について説明する。グループ化処理は、重複領域内で検出されたオブジェクトに対して実施される。
　ステップＳ５１において、グループ化部１３は、隣接するフレームデータのそれぞれで検出されたオブジェクトの重なり度合いが閾値以上のオブジェクトの組を抽出する。あるオブジェクトについて、隣接するフレームデータにおいて重なり度合いが閾値以上のオブジェクトがない場合、そのオブジェクトはグループ化の対象外である。なお、重複領域においてフレームデータが重ねられた数に応じて抽出するオブジェクトの数を変えてもよい。例えば、フレームデータを上下左右に並べて重ねる場合、フレームデータの角部分では４枚のフレームデータが重ねられる。この場合、グループ化部１３は、グループ化の対象として４つのオブジェクトを抽出してもよい。
　ステップＳ５２において、グループ化部１３は、重なり度合いが閾値以上のオブジェクトの組のうち、いずれのオブジェクトも非重複領域において統合オブジェクトＩＤが成立していた組はグループ化の対象外とする。例えば、図７に示すように、過去世代において、オブジェクトＯ１１には非重複領域において「０００１」の統合オブジェクトＩＤが付与されており、オブジェクトＯ２１には非重複領域において「０００２」の統合オブジェクトＩＤが付与されていたとする。つまり、過去世代においてオブジェクトＯ１１，Ｏ２１は別オブジェクトとして認識されていた。現世代において、オブジェクトＯ１１，Ｏ２１の重なり度合いが閾値以上であっても、オブジェクトＯ１１，Ｏ２１のそれぞれは非重複領域において統合オブジェクトＩＤが成立しているので別オブジェクトである。したがって、グループ化部１３は、オブジェクトＯ１１，Ｏ２１の組はグループ化の対象外とする。
　例えば、統合部１４は、非重複領域でオブジェクトに統合オブジェクトＩＤを付与したときに、当該オブジェクトのフラグをオンにする。グループ化部１３は、どちらのフラグもオンのオブジェクトの組はグループ化の対象外とする。いずれか一方のオブジェクトのフラグがオンで他方のオブジェクトのフラグがオフのオブジェクトの組はグループ化の対象である。
　なお、グループ化の対象外とする方法として、検出されたオブジェクトを示す名称が推定されている場合、グループ化部１３は、名称が異なるオブジェクトの組をグループ化の対象外としてもよい。例えば、人間と推定されたオブジェクトと信号と推定されたオブジェクトの組はグループ化の対象外とする。
　また、オブジェクトの色が明らかに互いに異なる場合、グループ化部１３は、そのオブジェクトの組をグループ化の対象外としてもよい。
　さらに、グループ化部１３は、オブジェクトの移動方向を把握し、オブジェクトが互いに異なる移動をしている場合、そのオブジェクトの組をグループ化の対象外としてもよい。
　ステップＳ５３において、グループ化部１３は、オブジェクトの重なり度合いが閾値以上のオブジェクトの組のうち、ステップＳ５２で除外されなかった組をグループ化する。
　グループ化部１３は、以下のステップＳ５４，Ｓ５５において、同じオブジェクトを含むグループをまとめて再グループ化してもよい。
　ステップＳ５４において、グループ化部１３は、隣り合う重複領域に同じオブジェクトを含むグループが存在するか否か判定する。隣り合う重複領域とは、１つのフレームデータ内の複数の重複領域である。例えば、図８Ａの例では、フレームデータＦ２の左側と右側の重複領域が隣り合う重複領域である。同じオブジェクトであるか否かは、ローカルオブジェクトＩＤが同一であるか否かで判定できる。
　図８Ａの例では、フレームデータＦ１で検出されたオブジェクトＯ１１とフレームデータＦ２で検出されたオブジェクトＯ２１がグループＧ１としてグループ化されている。また、フレームデータＦ３で検出されたオブジェクトＯ３１とフレームデータＦ２で検出されたオブジェクトＯ２１がグループＧ２としてグループ化されている。グループＧ１とグループＧ２は同一のオブジェクトＯ２１を含んでいる。
　ステップＳ５５において、グループ化部１３は、同じオブジェクトを含むグループをまとめて再グループ化する。図８Ｂの例では、同じオブジェクトＯ２１を含むグループＧ１，Ｇ２がグループＧ３として再グループ化される。
　（統合オブジェクトＩＤの付与）
　次に、統合オブジェクトＩＤを付与する処理について説明する。
　例えば、図９に示すように、グループ化されたオブジェクトが変化した場合、前世代でグループに付与された統合オブジェクトＩＤを引継ぐグループを特定できない。図９の例では、前世代においてオブジェクトＯ１１の統合オブジェクトＩＤは「０００１」であり、オブジェクトＯ１２，Ｏ２１を含むグループＧ１の統合オブジェクトＩＤは「０００２」であり、オブジェクトＯ１３，Ｏ２２を含むグループＧ２の統合オブジェクトＩＤは「０００３」である。現世代において、オブジェクトＯ１１，Ｏ２１の組がグループ化されてグループＧ３となり、オブジェクトＯ１２，Ｏ２２の組がグループ化されてグループＧ４となり、オブジェクトＯ１３がグループ化されなかったとする。
　図９の例では、現世代において、オブジェクトＯ１３，Ｏ２２を含むグループＧ２の統合オブジェクトＩＤ「０００３」は、オブジェクトＯ２２を含むグループＧ４が引継げばよいのか、オブジェクトＯ１３が引継げばよいのか不明である。さらに、グループＧ３は、前世代のオブジェクトＯ１１の統合オブジェクトＩＤ「０００１」を引き継げばよいのか、オブジェクトＯ２１を含むグループＧ１の統合オブジェクトＩＤ「０００２」を引継げばよいのか不明である。
　そこで、本実施形態では、オブジェクトが各映像においてトラッキングされている時間（生存期間）を管理し、生存期間の長いオブジェクトから順番に統合オブジェクトＩＤを付与する。例えば、図９の例では、オブジェクトＯ１３の生存期間がオブジェクトＯ２２の生存期間よりも長いとすると、オブジェクトＯ１３から処理が実施されて、オブジェクトＯ１３がグループＧ２の統合オブジェクトＩＤ「０００３」を引継ぐ。このとき、引継ぐ統合オブジェクトＩＤがなくなったオブジェクトＯ２２は処理順序が後回しにされる。例えば、オブジェクトＯ２２の処理順序は新規に検出されたオブジェクトと同程度に引き下げられる。オブジェクトＯ２２は、前世代で統合オブジェクトＩＤが付与されていないオブジェクトとして扱われる。
　また、図９の例では、グループＧ３は統合オブジェクトＩＤ「０００１」または「０００２」のいずれを引継げばよいのか不明である。本実施形態では、複数の統合オブジェクトＩＤを引継ぐことができる場合、より長い生存期間の統合オブジェクトＩＤを引継ぐ。生存期間が最も長い統合オブジェクトＩＤとは、より過去に払い出された統合オブジェクトＩＤである。具体的には、統合オブジェクトＩＤ「０００１」の生存期間が統合オブジェクトＩＤ「０００２」の生存期間よりも長いとすると、グループＧ３は統合オブジェクトＩＤ「０００１」を引継ぐ。
　図１０を参照し、統合オブジェクトＩＤを付与する処理について説明する。図１０の処理は、全てのグループおよびグループ化されていない全てのオブジェクトに対して実施される。
　ステップＳ６１において、統合部１４は、生存期間の最も長いオブジェクトまたは生存期間の最も長いオブジェクトを含むグループを選択する。
　ステップＳ６２において、統合部１４は、前世代において処理対象のオブジェクトまたはグループに統合オブジェクトＩＤが付与されているか否かを判定する。処理対象がグループの場合、グループに含まれるオブジェクトの少なくともいずれかに統合オブジェクトＩＤが付与されているか否かを判定する。
　前世代において統合オブジェクトＩＤが付与されていない場合は、ステップＳ６３において、統合部１４は、処理対象のオブジェクトまたはグループに対して新たに統合オブジェクトＩＤを付与する。
　ステップＳ６４において、統合部１４は、処理対象のグループは、異なる統合オブジェクトＩＤが付与された複数のオブジェクトを含むか否かを判定する。
　処理対象がオブジェクトの場合または処理対象のグループが異なる統合オブジェクトＩＤが付与された複数のオブジェクトを含まない場合、つまり、引継ぐ統合オブジェクトＩＤが一つに定まる場合、ステップＳ６５において、統合部１４は、処理対象のオブジェクトまたはグループに前世代の統合オブジェクトＩＤを引継がせる。
　処理対象のグループが異なる統合オブジェクトＩＤが付与された複数のオブジェクトを含む場合、ステップＳ６６において、統合部１４は、処理対象のグループに生存期間が最も長い統合オブジェクトＩＤを引継がせる。
　統合部１４は、以上の処理を全てのグループおよびオブジェクトに対して実施する。
　図１１を参照し、統合オブジェクトＩＤを付与する例を説明する。
　図１１の例では、前世代（１フレーム前）において、一方のフレームデータからは５つのオブジェクトＯ１１，Ｏ１２，Ｏ１３，Ｏ１４，Ｏ１５が検出され、他方のフレームデータからは５つのオブジェクトＯ２１，Ｏ２２，Ｏ２３，Ｏ２４，Ｏ２５が検出された。オブジェクトＯ１４とオブジェクトＯ２１がグループＧ１としてグループ化され、オブジェクトＯ１５とオブジェクトＯ２２がグループＧ２としてグループ化された。オブジェクトＯ１１，Ｏ１２，Ｏ１３のそれぞれには統合オブジェクトＩＤ「０００１」，「０００２」，「０００３」が付与された。グループＧ１，Ｇ２のそれぞれには統合オブジェクトＩＤ「０００４」，「０００５」が付与された。オブジェクトＯ２３，Ｏ２４，Ｏ２５のそれぞれには統合オブジェクトＩＤ「０００６」，「０００７」，「０００８」が付与された。
　現世代（最新フレーム）において、一方のフレームデータからは新たにオブジェクトＯ１６が検出された。他方のフレームデータからは新たに２つのオブジェクトＯ２６，Ｏ２７が検出された。前世代で検出されたオブジェクトＯ２５は現世代では検出されなかった。
　オブジェクトＯ１３と新たに検出されたオブジェクトＯ２６がグループＧ３としてグループ化された。オブジェクトＯ１５とオブジェクトＯ２１がグループＧ４としてグループ化された。オブジェクトＯ１４とオブジェクトＯ２２はグループ化されなかった。
　前世代でグループ化されておらず、現世代でもグループ化されていないオブジェクトＯ１１，Ｏ１２，Ｏ２３，Ｏ２４は、前世代の統合オブジェクトＩＤを引継ぐ。
　グループ化されていない新たに検出されたオブジェクトＯ１６，Ｏ２７のそれぞれには、新たな統合オブジェクトＩＤ「０００９」，「００１１」が払い出される。
　現世代が検出されなかったオブジェクトＯ２５に付与されていた統合オブジェクトＩＤ「０００８」は削除される。
　前世代でグループ化されていたオブジェクトＯ１４，Ｏ１５，Ｏ２１，Ｏ２２および現世代でグループ化されたオブジェクトＯ１３，Ｏ２６に対する処理について考える。ここで、オブジェクトの生存期間は、オブジェクトＯ１３，Ｏ１４，Ｏ１５，Ｏ２１，Ｏ２２，Ｏ２６の順に長いものとする。
　まず、オブジェクトＯ１３を含むグループＧ３が処理対象となる。オブジェクトＯ１３は、前世代で統合オブジェクトＩＤ「０００３」が付与されている。グループＧ３に含まれるオブジェクトＯ２６は新たに検出されたオブジェクトであり、統合オブジェクトＩＤは付与されていない。したがって、グループＧ３は、オブジェクトＯ１３の統合オブジェクトＩＤ「０００３」を引継ぐ。
　続いて、オブジェクトＯ１４が処理対象となる。オブジェクトＯ１４は、前世代でグループＧ１に含まれている。グループＧ１には統合オブジェクトＩＤ「０００４」が付与されている。したがって、オブジェクトＯ１４は、グループＧ１の統合オブジェクトＩＤ「０００４」を引継ぐ。
　なお、前世代でグループＧ１に含まれていたオブジェクトＯ２１は、前世代で統合オブジェクトＩＤが付与されていないオブジェクトとして扱われて、処理の順番が下げられる。
　続いて、オブジェクトＯ１５を含むグループＧ４が処理対象となる。オブジェクトＯ１５は、前世代でグループＧ２に含まれている。グループＧ２には統合オブジェクトＩＤ「０００５」が付与されている。オブジェクトＯ２１は、前世代でグループＧ１に含まれていたが、オブジェクトＯ１４の処理の際に統合オブジェクトＩＤが付与されていないオブジェクトとされている。したがって、グループＧ４は、グループＧ２の統合オブジェクトＩＤ「０００５」を引継ぐ。
　なお、前世代でグループＧ２に含まれていたオブジェクトＯ２２は、前世代で統合オブジェクトＩＤが付与されていないオブジェクトとして扱われて、処理の順番が下げられる。
　最後に、オブジェクトＯ２２が処理対象となる。オブジェクトＯ２２は、前世代でグループＧ２に含まれていたが、オブジェクトＯ１５の処理の際に統合オブジェクトＩＤが付与されていないオブジェクトとされている。したがって、オブジェクトＯ２２には、新たな統合オブジェクトＩＤ「００１０」が払い出される。
　以上の処理により、統合部１４は、統合オブジェクトＩＤを適切に引継がせることができる。
　以上説明したように、本実施形態によれば、グループ化候補判定部１２が、同時に撮影された複数のフレームデータのそれぞれで検出およびトラッキングされたオブジェクトのうち、フレームデータが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出し、グループ化部１３が、重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめて、統合部１４が、グループおよびグループ化されていないオブジェクトに統合オブジェクトＩＤを付与することにより、映像を合成するときに物体のトラッキング処理を各映像において並行して行うことができるので、トラッキング処理時間を短縮できるとともに、映像の合成処理と並行して本実施形態の物体情報処理を実施できる。その結果、合成映像においてリアルタイムでオブジェクトをトラッキングできる。
　１…物体情報処理装置
　１１…トラッキング結果受信部
　１２…グループ化候補判定部
　１３…グループ化部
　１４…統合部
　３…映像処理装置
　１００…合成処理サーバ
　１１０…合成処理部
　１２０…エンコード処理部
　１３０…物体検出・トラッキング処理部
　２００…物体情報統合サーバ
　３００…デコードサーバ
　４００…統合物体情報受信サーバ

Claims (7)

  1. 　撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置であって、
    　前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出する候補抽出部と、
    　重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるグループ化部と、
    　前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与する統合部と、を備える
    　ことを特徴とする物体情報処理装置。
  2. 　前記グループ化部は、同一の映像データ内の複数の前記重複領域のそれぞれに同じ前記候補オブジェクトを含むグループが存在する場合、当該複数のグループを一つのグループにまとめる
    　ことを特徴とする請求項１に記載の物体情報処理装置。
  3. 　前記グループ化部は、重なり度合いが所定の閾値以上の複数の候補オブジェクトのそれぞれが独立したオブジェクトとして認識される場合、当該複数のオブジェクトをグループにまとめない
    　ことを特徴とする請求項１または２に記載の物体情報処理装置。
  4. 　前記グループ化部は、前記複数の候補オブジェクトのそれぞれが前記重複領域以外の非重複領域において前記統合オブジェクトＩＤが成立していた場合、当該複数の候補オブジェクトをグループにまとめない
    　ことを特徴とする請求項３に記載の物体情報処理装置。
  5. 　前記統合部は、生存期間が最も長い前記オブジェクトを含む前記グループまたは生存期間が最も長い前記オブジェクトから順番に、前記統合オブジェクトＩＤを付与する
    　ことを特徴とする請求項１ないし４のいずれかに記載の物体情報処理装置。
  6. 　撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置による物体情報処理方法であって、
    　前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出するステップと、
    　重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるステップと、
    　前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与するステップと、を有する
    　ことを特徴とする物体情報処理方法。
  7. 　請求項１ないし５のいずれかに記載の物体情報処理装置の各部としてコンピュータを動作させる物体情報処理プログラム。
PCT/JP2020/016060 2019-04-25 2020-04-10 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム Ceased WO2020218023A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/601,664 US12118789B2 (en) 2019-04-25 2020-04-10 Device and method for tracking objects in composed video
CN202080030553.5A CN113711583B (zh) 2019-04-25 2020-04-10 物体信息处理装置、物体信息处理方法以及计算机可读记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019083755A JP7174252B2 (ja) 2019-04-25 2019-04-25 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム
JP2019-083755 2019-04-25

Publications (1)

Publication Number Publication Date
WO2020218023A1 true WO2020218023A1 (ja) 2020-10-29

Family

ID=72941936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016060 Ceased WO2020218023A1 (ja) 2019-04-25 2020-04-10 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム

Country Status (4)

Country Link
US (1) US12118789B2 (ja)
JP (1) JP7174252B2 (ja)
CN (1) CN113711583B (ja)
WO (1) WO2020218023A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7589186B2 (ja) 2022-02-14 2024-11-25 株式会社東芝 画像処理装置、画像処理方法及びプログラム
US11880950B2 (en) 2022-03-14 2024-01-23 Meta Platforms Technologies, Llc Selective offload of workloads to edge devices
US11588910B2 (en) * 2022-03-14 2023-02-21 Meta Platforms Technologies, Llc Offloading visual frames to a gateway device
US20220247970A1 (en) * 2022-03-14 2022-08-04 Facebook Technologies, Llc Offloading Visual Frames to a Gateway Device
US20240297961A1 (en) * 2023-03-01 2024-09-05 Meta Platforms Technologies, Llc Edge Assisted Virtual Calling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201005A (ja) * 2014-04-07 2015-11-12 パナソニック株式会社 軌跡解析装置および軌跡解析方法
JP2017021446A (ja) * 2015-07-07 2017-01-26 株式会社リコー 画像処理装置及び画像処理方法
WO2019073920A1 (ja) * 2017-10-12 2019-04-18 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5996903B2 (ja) * 2012-03-28 2016-09-21 セコム株式会社 移動物体追跡装置
JP2015141530A (ja) * 2014-01-28 2015-08-03 ソニー株式会社 情報処理装置、スコア算出方法、プログラム、およびシステム
KR102170693B1 (ko) * 2014-07-18 2020-10-27 한화테크윈 주식회사 영상재생장치 및 영상재생장치에서 영상정보 제공 방법
JP6163466B2 (ja) * 2014-08-21 2017-07-12 セコム株式会社 認証装置
KR102161210B1 (ko) * 2015-01-15 2020-09-29 한화테크윈 주식회사 다중 비디오써머리제공방법 및 장치
JP6593588B2 (ja) * 2015-02-16 2019-10-23 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
JP6455310B2 (ja) * 2015-05-18 2019-01-23 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
CN105006003A (zh) * 2015-07-09 2015-10-28 北京航空航天大学 基于随机投影蕨的实时目标跟踪算法
CN106803899B (zh) * 2015-11-26 2019-10-01 华为技术有限公司 合并图像的方法和装置
JP6755713B2 (ja) * 2016-05-25 2020-09-16 キヤノン株式会社 追尾装置、追尾方法及びプログラム
CN106502475B (zh) * 2016-10-26 2019-07-16 青岛海信电器股份有限公司 一种红外触控点识别方法、红外触控装置及显示装置
JP6865110B2 (ja) * 2017-05-31 2021-04-28 Kddi株式会社 オブジェクト追跡方法および装置
DE102017210528B4 (de) * 2017-06-22 2025-09-04 Siemens Healthineers Ag Visualisierung eines medizintechnischen Objekts
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
CN107580199A (zh) * 2017-09-08 2018-01-12 深圳市伊码泰珂电子有限公司 重叠视域多摄像机协同的目标定位与跟踪系统
JP6850751B2 (ja) * 2018-03-05 2021-03-31 日本電信電話株式会社 物体追跡装置、物体追跡方法、及びコンピュータプログラム
JP6943333B2 (ja) * 2018-03-23 2021-09-29 日本電気株式会社 オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
JP7064144B2 (ja) * 2018-09-28 2022-05-10 日本電信電話株式会社 情報統合方法、情報統合装置、及び情報統合プログラム
US11232575B2 (en) * 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11496671B2 (en) * 2021-02-19 2022-11-08 Western Digital Technologies, Inc. Surveillance video streams with embedded object data
JP2023110335A (ja) * 2022-01-28 2023-08-09 セイコーエプソン株式会社 表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201005A (ja) * 2014-04-07 2015-11-12 パナソニック株式会社 軌跡解析装置および軌跡解析方法
JP2017021446A (ja) * 2015-07-07 2017-01-26 株式会社リコー 画像処理装置及び画像処理方法
WO2019073920A1 (ja) * 2017-10-12 2019-04-18 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2020182100A (ja) 2020-11-05
JP7174252B2 (ja) 2022-11-17
US12118789B2 (en) 2024-10-15
CN113711583A (zh) 2021-11-26
US20220180639A1 (en) 2022-06-09
CN113711583B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
WO2020218023A1 (ja) 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム
US11176707B2 (en) Calibration apparatus and calibration method
US11721040B2 (en) Imaging system, calibration method, and calibrator
US11043008B2 (en) Imaging system, calibration method, and calibrator
US10116910B2 (en) Imaging apparatus and method of providing imaging information
US11223821B2 (en) Video display method and video display device including a selection of a viewpoint from a plurality of viewpoints
Fan et al. Heterogeneous information fusion and visualization for a large-scale intelligent video surveillance system
US20180091704A1 (en) Video synchronization apparatus, and video synchronization method
JP6631619B2 (ja) 映像監視システム及び映像監視方法
US20190191146A1 (en) Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
US20220256231A1 (en) Systems and methods for synchronizing data streams
US20080060034A1 (en) System and method to combine multiple video streams
US20170201723A1 (en) Method of providing object image based on object tracking
US12456301B2 (en) Method of training a machine learning algorithm to identify objects or activities in video surveillance data
KR20140011964A (ko) 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법
KR20200136649A (ko) 360도 영상 공간에서 다중 객체 추적 장치 및 방법
JP7231825B2 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP2021119459A (ja) 生成装置、生成方法
US12462562B2 (en) Multipurpose visual and auditory intelligent observer system
Meng et al. Distortion-aware room layout estimation from a single fisheye image
US20240062385A1 (en) Method, apparatus, and non-transitory computer-readable storage medium storing a program for monitoring motion in video stream
Arnaud et al. The CAVA corpus: synchronised stereoscopic and binaural datasets with head movements
HK40056065A (en) Object information processing device, object information processing method and computer readable recording medium
HK40056065B (en) Object information processing device, object information processing method and computer readable recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20795398

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20795398

Country of ref document: EP

Kind code of ref document: A1