KR20060009392A

KR20060009392A - 스케일러블 멀티 카메라 분배형 비디오 프로세싱 및 시각화감시 시스템을 제공하는 방법 및 장치

Info

Publication number: KR20060009392A
Application number: KR1020057024373A
Authority: KR
Inventors: 숩언 사마라세케라; 라케시 쿠마르; 케이스 한나; 할프렛 소니; 아이딘 아르파; 마노즈 아가왈; 빈센트 파라가노
Original assignee: 사르노프 코포레이션
Priority date: 2003-06-19
Filing date: 2004-06-21
Publication date: 2006-01-31
Also published as: JP2007525068A; EP1636993A2; US7633520B2; IL172659A0; US20100073482A1; US20050024206A1; WO2004114648A2; AU2004250976A1; AU2004250976B2; NZ544780A; CA2529903A1; WO2004114648A3

Abstract

본 발명은 실시간 다중 카메라 분배 비디오 프로세싱 및 시각화를 제공하는 스케일러블 구조에 관한 것이다. 일례의 시스템은 다수의 입력 비디오들을 캡쳐링 및 저장하는 적어도 하나의 비디오 캡쳐 및 저장 시스템, 알람 상황 또는 이벤트를 탐지 및 보고하는 적어도 하나의 시각 기반 알람 시스템, 이해 및 응답을 가속화하는 상황으로 알람 상황을 디스플레이하는 적어도 하나의 비디오 렌더링 시스템(예를 들어, 비디오 플래시 시스템)을 포함한다. 본 발명의 구조의 일 장점은 이러한 시스템이 모두 스케일러블하여 알람 상황을 이해하기 위한 보안 집단의 능력을 감소시키기 않고 많은 수의 센서(예를 들어, 카메라 센서, 적외선 센서 ,화학적 센서, 생물학적 센서, 온도 센서 등)가 추가될 수 있다는 것이다.

Description

스케일러블 멀티 카메라 분배형 비디오 프로세싱 및 시각화 감시 시스템을 제공하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING A SCALABLE MULTI-CAMERA DISTRIBUTED VIDEO PROCESSING AND VISUALIZATION SURVEILLANCE SYSTEM}

본 발명은 2003년 6월 19일 출원된 미국 가출원 시리얼 번호 60/479,950을 우선권으로 청구하며, 상기 출원건은 본 명세서에 참조된다.

본 발명은 통상적으로 이미지 프로세싱에 관한 것이다. 특히, 본 발명은 실시간 멀티 카메라 분배형 비디오 프로세싱 및 시각화를 제공하기 위해 스케일러블 구조를 제공한다.

공항, 정제소, 군대, 핵발전소, 기차 및 버스역과 같은 복잡하고 민감한 시설, 및 경기장, 쇼핑몰, 사무실과 같은 공용 시설의 보안력은 흩어져 있는 폐쇄 회로 TV 화상 및 액세스 포인트의 상태 정도만 제공하는 1970년대의 보안 시스템에 의해 곤란을 겪는다. 예를 들어, 통상의 감시 디스플레이는 모니터상에 4×4 그리드로 도시된 16 비디오 장면이다. 위협의 강도가 증가함에 따라, 더욱 복잡하고 위험한 전술 상황에 대한 신속하고 더욱 효율적인 대체에 대한 필요성이 대두된다. 단순히 더 많은 카메라, 모니터 및 센서를 설치하는 것은 상황을 이해하고 적절한 조치를 취하기 위한 보안력의 성능을 신속하게 저해할 것이다.

상기 시도는 정부가 보호하고 지켜야할 장소에 대해 특히 바람직하지 않다. 단지 개인에게 철야 경계를 요구하는 것은 광대한 경계 확장에 대해 육군, 공군 및 해군의 광대한 영역을 합리적으로 지켜낼 수 없다. 게다가, 부대가 분산배치됨에 따라, 설비에 익숙하지 않은 새로운 보안 담당자(예를 들어, 예비군)가 이용될 수도 있다.

따라서 이해 및 대처 능력을 향상시킨 상황으로 보안 요원에게 알람 상황을 제공할 수 있는 실시간 다중 카메라 분배형 비디오 프로세싱 및 시각화를 제공하는 방법 및 장치에 대한 필요성이 존재한다.

일 실시예에서, 본 발명은 통상적으로 실시간 멀티 카메라 분배형 비디오 프로세싱 및 시각화를 제공하기 위한 스케일러블 구조를 제공한다. 시스템의 예는 이해 및 대처를 신속하게 하는 상황에서 알람 상황을 디스플레이하기 위한 적어도 하나의 비디오 렌더링 시스템(예를 들어, 비디오 플래시(flashlight) 시스템) 적어도 하나의 비디오 캡쳐 및 저장 시스템, 알람 상항 또는 이벤트를 탐지 및 보고하는 적어도 하나의 시각 기반 알람 시스템, 및 다수의 입력 비디오를 캡쳐 및 저장하기 위한 적어도 하나의 비디오 캡쳐 및 저장 시스템을 포함한다. 본 발명의 구조의 일 장점은 이러한 시스템들이 모두 스케일러블하다는 것이며, 그 결과 추가의 센서(예를 들어, 카메라, 모션 센서, 적외선 센서, 화학적 센서, 생물학적 센서, 온도 센서 등)이 알람 상황을 이해하는 보안력의 성능을 저해하지 않고 많은 수가 부가될 수 있다.

설명을 위해, 본 발명은 비디오 카메라의 블랭킷(blanket)을 사용하여 모니터링된 장소, 영역 또는 장면의 원격 집중 모니터링을 위한 핵심 알고리즘을 통합한, 예를 들어 Video Flashlight^TM과 같은 고도의 스케일러블 비디오 렌더링 시스템을 개시한다. 보안 요원은 다중 비디오 스트림을 사용하여 다양한 방향으로부터 연속하여 업데이트되는 2D 또는 3D 모델과 같은 라이브 모델을 사용하여 모티터링된 장소 또는 영역을 모니터링할 수 있다. 모니터링된 장소 또는 영역은 소정의 실제 관찰점으로 원격으로 모니터링될 수 있다. 관찰자는 멀리서 전체 장면을 관찰하고 버드 아이 뷰를 얻거나, 관심있는 행동을 밀착하여 플라이/줌 인하여 볼 수 있다. 일 실시예에서, 3D 장소 모델은 모니터링된 장소 또는 영역으로 구성되며 다중 비디오 스트림을 결합하는 가교로서 사용된다. 각각의 비디오 스트림은 회복된 카메라 포즈를 사용하여 비디오 모델의 상부에 오버레이(overlay)된다. 배경 3D 모델 및 최전면 대상물의 회복된 3D 기하학적 배열은 장면의 실제 광경을 생성하는데 사용되며, 다양한 비디오 스트림이 그 상부에 오버레이된다.

시각 기반 알람 시스템을 커플링하는 것은 전체 시스템의 감시 성능을 더욱 향상시킨다. 다양한 알람 탐지 방법(예를 들어, 뒤쪽에 있는 대상물을 탐지하는 방법, 행동을 탐지하는 방법, 바람직한 흐름에 따라 대상물의 움직임을 탐지하는 방법, 주변의 위반 사항을 탐지하는 방법, 대상물의 수를 계수하는 방법 등)이 시각 기반 알람 시스템에 사용된다. 잠재 알람 상황의 탐지시, 시각 기반 알람 시스템은 알람 상황을 보고할 것이며 보안 요원은 알람 상황을 신속하게 관찰 및 액세스하기 위해 비디오 렌더링 시스템을 사용할 것이다.

다시 말해, 본원 발명은 센서 입력을 통합하고, 잠재 위협을 보안 요원에게 알리며, 이해 및 대처 능력을 신속하게 하는 상황으로 정보를 제공함으로써 보안 요원의 효율성을 증가시키는 성능 증배기로서 작용하고, 집중적인 교육에 대한 필요성을 감소시키는 툴을 제공한다. 보안 요원이 전술적인 상황을 더욱 신속하게 이해할 경우, 위협에 대해 더욱더 집중할 수 있고 공격에 대한 방어를 위한 필요한 조치를 취하여 위험성을 감소시킬 수 있다.

전술한 본원 발명이 더욱 구체적으로 이해될 수 있도록 본원 발명은 이하에서 첨부된 도면을 참조하여 실시예로 설명된다. 그러나 첨부된 도면은 본 발명의 실시예일 뿐, 본원 발명을 한정하지 않으며, 본 발명의 사상 내에서 실시예는 변경될 수 있다.

도1은 본 발명의 실시간 멀티 카메라 분배형 비디오 프로세싱 및 시각화를 제공하기 위한 스케일러블 구조의 개관이다.

도2는 본 발명의 실시간 멀티 카메라 분배형 비디오 프로세싱 및 시각화를 위한 스케일러블 구조의 개관이다.

도3은 본 발명의 비디오 렌더링 또는 비디오 플래시 시스템 내에 배치된 다수의 소프트웨어 모듈을 도시한다.

도4는 본 발명의 시각 경보 시스템 내에 배치된 다수의 소프트웨어를 도시한다.

도5는 디지털 비디오 스트림을 사용하는 본 발명의 시스템을 도시한다.

도6은 아날로그 비디오 스트림을 사용하는 본 발명의 시스템을 도시한다.

용이한 이해를 위해 도면에서 동일한 구성 요소는 동일한 도면 번호를 사용하였다.

도1은 본 발명의 실시간 멀티 카메라 분배형 비디오 프로세싱 및 시각화를 제공하는 스케일러블 구조(100)의 개관이다. 일 실시예에서, 전체 시스템은 적어도 하나의 비디오 캡쳐 저장소 및 비디오 서버 시스템(110), 시각 기반 알람(VBA) 시스템(120), 및 예를 들어 비디오 플래시 시스템(130) 및 지리적 위치 알람 시각화기(135)와 같은 비디오 렌더링 시스템을 포함할 수도 있다.

동작시, 다수의 입력 비디오(141)는 비디오 캡쳐 저장소 및 비디오 서버 시스템(110)에 의해 수신 및 캡쳐링된다. 일 실시예에서, 입력 비디오는 시간 표시되고 저장소(140)에 저장된다. 입력 비디오는 또한 예를 들어, TCP/IP 비디오 전송과 같은 네트워크 전송을 통해 시각 기반 알람(VBA) 시스템(120) 및 비디오 렌더링 시스템(130)에 제공된다. 차례로, 예를 들어 TCP/IP 알람 및 메타데이터 전송과 같은 개별 선택적 네트워크 전송(145)이 알람 및 메타데이터 정보를 송신 및 수신하는데 사용될 수 있다. 이러한 부수적인 네트워크 전송은 견고성을 증가시키고 장애 허용(fault-tolerant) 구조를 제공한다. 그러나 개별 전송의 사용은 선택적이고 애플리케이션 특성이다. 따라서 단일 전송으로서 TCP/IP 비디오 전송 및 TCP/IP 알람 및 메타데이터 전송을 구현하는 것이 가능하다.

일 실시예에서, 지리적 위치 알람 시각화기(135)는 예를 들어, VBA로부터 알람 신호, 및 카메라 좌표와 같은 관련된 메타데이터, 또는 각각의 알람 신호와 관련된 다른 센서 데이터를 수신하도록 동작한다. 예를 들면, 만일 VBA가 알람 상태를 나타내기 위해 알람 신호를 생성하면, 알람 신호는 예를 들어, 알람 상태 타입과 같은 다수의 메타 데이터, 모니터링된 영역 상에 현재 조준되어 있는 하나 이상의 카메라의 카메라 좌표, (예를 들어, 적외선 센서에 의해 모니터링된 영역에서 적외선 신호를 검출하고, 접촉 센서에 의해 모니터링된 영역으로 안내되는 도어의 개방을 감지하는) 다른 센서 메타데이터를 포함할 수도 있다. 알람 메타데이터를 사용하기 때문에, 지리적 위치 설정 가능한 알람 시각화기(135)는 모든 데이터를 통합할 수 있으며, 보안 요원이 신속하게 알람 상황을 관측 및 액세스하게 하는 적절한 포즈를 갖는 단일 광경을 생성한다. 예를 들어, 지리적 위치 설정 가능한 알람 가시화기(135)는 예를 들어, 알람 가시화기 디스플레이상에 영역 또는 대상물 주위의 채색된 박스와 같은 주석을 달린 알람 아이콘을 표현할 수도 있다. 부가적으로, 지리적 위치 설정 가능한 알람 가시화기는 알람 영역상의 마우스 클릭에 의해, 또는 알람 및 메타데이터 정보의 자동 분석에 의해 비디오 플래시 시스템의 관측점을 제어하는데 사용될 수 있다.

비록 지리적 위치설정 가능한 알람 가시화기(135)가 개별 모듈로 설명되었지만 이에 한정되지 않는다는 것을 알아야 한다. 소위, 지리적 위치설정 가능한 알람 가시화기(135)는 VBA 시스템 또는 비디오 렌더링 시스템과 함께 구현될 수 있다. 이하에 개시된 일 실시예에서, 지리적 위치설정 가능한 알람 가시화기(135)는 비디오 렌더링 시스템(130)과 함께 구현된다.

본 발명의 효율적인 비디오 보안 및 감시 애플리케이션은 실시간 지능형 프로세싱, 알람 및 문맥적 비디오 가시화, 시스템에 통합된 저장 및 아카이브 기능을 갖는 수 백 및 수 천 개의 카메라를 조절할 필요성이 있다. 본 발명은 수십, 수백 내지 수천 개의 비디오가 실시간으로 연속적으로 캡쳐링되고, 저장되며, 분석되고 프로세싱되고, 경보 또는 알람이 지체없이 생성되고, 알람 및 비디오가 비디오들의 통합된 디스플레이 및 3D 모델 및 2D 아이콘화된 맵으로 생성된다는 점에서 유일한 스케일러블 실시간 프로세싱 시스템이다. 수 천 개의 카메라의 디스플레이 관리는 원하는 관측점의 포즈 및 모든 카메라의 포즈가 주어질 경우, 소정의 시간에서 어떤 카메라가 디스플레이를 제공할지를 선택하는 비디오 스위처를 사용하여 관리된다. 일 실시예에서, 비디오 플래시/시각 기반 알람(VF-VBA) 시스템은 엔드-투-엔드 모듈 및 스케일러블 구조를 사용하여 수십 내지 수 천 개의 카메라로부터 초당 1Terra 비트에 대해 1bps 픽셀 데이터를 통상적으로 프로세싱할 수 있다.

일 실시예에서, 카메라의 수가 증가함에 따라, 본원 발명의 구조는 다수의 VBA 시스템의 배치가 고려된다. VBA 시스템은 예를 들어 카메라 세트를 국부적으로 지지하기 위해 배치되거나, 단일 카메라에 배치되는 것과 같이, 중앙에 배치되거나 분배될 수 있다. 따라서 각각의 VBA 또는 각각의 비디오 카메라는 움직임 및 장면 내의 새로운 대상물을 감지하고 월드 모델과 관련하여 3D 배치 및 포즈를 회복하게 하는 하나 이상의 스마트 이미지 프로세싱 방법을 사용할 수 있다. 스마트 비디오 프로세싱은 다양한 의심스러운 행동을 감지하기 위해 프로그래밍될 수 있 다. 예를 들어, 지역 등을 통과하는 사람의 수를 세기 위해, 움직이는 대상물(사람, 자동차)이 현장에 존재하거나, 잘못되거나 바람직하지 않은 방향으로 이동 중인지를 감지하기 위해 장면에 남겨진 대상물을 감지하도록 프로그램될 수 있다. 이러한 감지된 대상물은 3D 모델로 하일라이팅될 수 있고 대상물의 관측점을 향하도록 연산자에 대한 큐로서 사용될 수 있다. 시스템은 알람 활동을 최적으로 하일라이팅하는 실제의 관측점으로 자동으로 이동할 수 있다.

도2는 실시간 멀티 카메라 분배형 비디오 프로세싱 및 가시화를 제공하는 본 발명의 스케일러블 시스템(200)을 도시한다. 특히, 도2는 본 발명의 시스템의 예로든 하드웨어 구현을 도시한다. 그러나 도2가 단지 예로서 제공되므로, 본 발명에 대한 제한으로 해석되지 않는데, 이는 다양한 애플리케이션 요구에 따라 많은 다양한 하드웨어 구현이 가능하기 때문이다.

스케일러블 시스템(200)은 적어도 하나의 비디오 캡쳐 저장소 및 비디오 서버 시스템(110), 시각 기반 알람(VBA) 시스템 또는 PC(120), 예를 들어 비디오 플래시 시스템 또는 PC(130)와 같은 적어도 하나의 비디오 렌더링 시스템, 예를 들어 고정식 카메라와 같은 다수의 센서, 좌우회전(pan)·상하회전(tilt) 및 줌(zoom)(PTZ) 카메라, 또는 다른 센서, 어댑터 및 스위치와 같은 다양한 네트워크 관련 컴포넌트, 및 모니터와 같은 입/출력 장치를 포함한다.

일 실시예에서, 비디오 캡쳐 저장소 및 비디오 서버 시스템(110)은 비디오 분배 증폭기, 하나 이상의 QUAD 프로세서(214) 및 디지털 비디오 레코더(DVR)(216)을 포함한다. 동작시, 예를 들어, 고정형 카메라 및 PTZ 카메라와 같은 카메라로 부터의 비디오 스트림은 비디오 분배 증폭기(212)에 의해 증폭되어 비디오 신호의 견고성을 강화시키고 다중 분배 성능을 제공한다. 일 실시예에서, 32개까지의 비디오 신호가 수신되고 증폭될 수 있으며, 32개까지의 비디오 신호는 비디오 플래시 PC 및 VBA PC(120)에 동시에 분배될 수 있다.

차례로, 증폭된 신호는 QUAD 프로세서(214)로 전송되는데, 여기서 32개의 비디오 신호는 8개의 비디오 신호로 감소된다. 일 실시예에서, 4개의 신호는 하나의 신호로 감소되는데, 최종 신호는 낮은 해상도를 갖는 비디오 신호일 수 있다. 차례로, 8개의 신호가 DVR(216)에 의해 수신되고 기록된다. DVR(216)에 대한 비디오는 기록될 수 있고 DVR을 통해 비디오 플래시 PC(130)로 간단히 통과할 수 있다.

QUAD 프로세서 및 DVR의 사용은 애플리케이션 특성이며 본 발명을 한정하지 않음을 알아야 한다. 예를 들어, 만일 시스템이 전체적으로 디지털식이면, QUAD 프로세서 및 DVR은 모두 생략될 수 있다. 다시 말해, 만일 비디오 스트림이 이미 디지털 포맷이면, 이는 비디오 플래시 PC(130)에 대해 직접적으로 판독될 수 있다.

비디오 플래시 PC(130)은 프로세서(234), 메모리(236), 및 예를 들어, 비디오 캡쳐 카드, USB 포트, 네트워크 RJ45 포트, 시리얼 포트 등과 같은 다양한 입/출력 장치(232)를 포함한다. 비디오 플래시 PC(130)는 다양한 비디오 신호를 수신하고, 예를 들어 모니터 영역의 2D 또는 3D 모델과 같은 모델에 관해 하나 이상의 입력 비디오를 렌더링할 수 있다. 따라서 사용자는 모니터 영역의 실시간 광경을 제공받는다. 2D 및 3D 모델에 관해 다수의 비디오를 제공할 수 있는 비디오 렌더링 시스템 또는 비디오 플래시 시스템은 "Method and Apparatus For Providing Immersive Surveillance"라는 명칭으로 2002년 7월 24일 출원된 미국 특허 출원 시리즈 번호 10/202,546(docket SAR 14626), 및 "Method and Apparatus For Placing Sensors Using 3D Models"라는 명칭으로 2004년 2월 13일 출원된 미국 특허 시리즈 번호 10/779,444(docket SAR 14953)에 개시되어 있으며, 이들은 본 명세서에 참조된다.

시각 경보 PC 또는 VBA(130)은 프로세서(224), 메모리(226) 및 예를 들어, 비디오 캡쳐 카드, 모듈러 입·출력(MIO) 카드, 네트워크 RJ45 포트 등과 같은 다양한 입/출력 장치(222)를 포함한다. 시각 경보 PC(120)은 다양한 비디오 신호를 수신하고 하나 이상의 알람 또는 의심스러운 조건을 통보할 수 있다. 특히 시각 경보 PC는 하나 이상의 탐지 방법(예를 들어, 남겨진 대상물을 탐지하는 방법, 움직임을 탐지하는 방법, 바람직한 흐름으로 대상물의 이동을 탐지하는 방법, 주변의 위반 사항을 탐지하는 방법, 대상물의 수를 계수하는 방법 등))을 사용한다. 특정 탐지 방법의 특정한 배치는 애플리케이션 특성인데, 예를 들어, 자동차를 보유하고 있는 주차장에서 큰 트럭을 탐지하는 것이 알람 상태일 수 있으며, 출구에 대해 유지된 포인트에 진입하는 사람을 탐지하는 것이 알람 상태일 수 있으며, 근무 시간 후 영역으로의 진입을 탐지하는 것이 알람 상태일 수 있으며, 보안 영역 내에서 특정 시간 지연 이상의 정지한 대상물을 탐지하는 것이 알람 상태가 될 수도 있다.

잠재적인 알람 상황의 검출 시, 시각 기반 알람 시스템(120)은 예를 들어, 이벤트를 파일로 로깅 및/또는 알람 신호를 비디오 플래시 PC(130)로 전송하여 알람 상황을 보고할 것이다. 차례로, 보안 요원은 알람 상황을 신속히 관측 및 액세 스하기 위해 비디오 렌더링 시스템을 사용할 것이다.

따라서 네트워크 스위치(246)는 DVR(216), 비디오 플래시 PC(130), 및 시각 기반 알람 시스템(120)과 통신한다. 이는 DVR의 제어가 현재 비디오를 통해 전달되게 하거나, 알람 상태에 따라 또는 간단히 소정의 순간에 보안 요원의 관측 선호에 응답하여 이미 캡쳐링된 비디오가 디스플레이되게 한다.

마찬가지로, 시스템(200)은 비디오 플래시 PC(130)가 카메라를 제어하게 하는 어댑터(242)를 사용한다. 예를 들어, PTZ 카메라는 사용자에 의해 선택된 특정 포즈의 비디오를 제공하기 위해 동작될 수 있다. 마찬가지로, 선택된 PTZ 값은 매트릭스 스위처(242)에 제공될 수 있는데, 여기서 선택된 포즈는 하나 이상의 기본 디스플레이 모니터에 디스플레이될 것이다. 일 실시예에서, 매트릭스 스위처(244)는 디스플레이될 12개의 비디오 입력에서 4개를 선택할 수 있다. 따라서, 비디오 플래시 PC에 의해 제공된 렌더 비디오 스트림 외에, 카메라에 의해 캡쳐링된 전체 해상도 비디오를 볼 수 있다.

일 실시예에서, 다양한 센서(205)가 선택적으로 배치된다. 이러한 센서는 모션 센서, 적외선 센서 ,화학적 센서, 생물학적 센서, 온도 센서 등을 포함할 수 있다. 이러한 센서는 시각 경보 PC(120)의 MIO 카드와 통신한다. 이러한 추가의 센서는 시각 경보 PC(120)에 의해 탐지된 알람 상태의 추가 정보 또는 확정을 제공한다.

끝으로, 선택적인 무정전 전원 공급 장치(UPS)가 또한 배치된다. 이러한 추가 장치는 전체 시스템에 견고함을 제공하기 위한 것이며, 여기서 전력의 손실은 본 발명의 감시 시스템에 의해 제공된 보안 기능을 저해하지 않을 것이다.

도3은 비디오 렌더링 시스템 또는 비디오 플래시 PC(130)에 배치된 다수의 소프트웨어 모듈을 도시한다. 비디오 플래시 PC(130)는 3개의 소프트웨어 모듈 또는 애플리케이션: 3-D 비디오 뷰어 또는 렌더링 애플리케이션, 시스템 모니터 애플리케이션(320), 및 알람 가시화기 애플리케이션(330)을 사용한다. 비록 본 발명이 다양한 소프트웨어 모듈 또는 서브 모듈을 사용하여 예로써 도시되었지만, 본 발명은 이에 한정되지 않는다. 즉, 이러한 모듈에 의해 실행된 기능은 특정한 구현 요구 사항에 따라 소정 수의 모듈에 배치될 수 있다.

3-D 비디오 뷰어 또는 렌더링 애플리케이션(310)은 다수의 소프트웨어 컴포넌트 또는 서브 모듈: 비디오 캡쳐 컴포넌트(312), 렌더링 엔진 컴포넌트(313), 3-D 뷰어(GUI)(314), 명령 수신기 컴포넌트(315), DVR 제어 컴포넌트(316), PTZ 제어 컴포넌트(317), 및 매트릭스 스위처 컴포넌트(318)를 포함한다. 동작시, 비디오는 비디오 캡쳐 컴포넌트에 의해 수신 및 캡쳐된다. 캡쳐링 기능 이외에, 비디오 캡쳐 컴포넌트(312)는 또한 동기화 목적을 위해 비디오를 시간 스탬핑한다. 즉, 모듈이 예를 들어, 3-D 모델에 관해 다수의 비디오 스트림을 제공하는 것과 같이 다수의 비디오 스트림에 대해 동작하기 때문에, 프로세싱을 위해 이들을 동기화하는 것이 필요하다.

렌더링 엔진(313)은 모델에 관해 다수의 비디오 스트림을 오버레이하는 엔진이다. 통상적으로, 모델은 3-D 모델이다. 그러나, 2-D 또는 적응형 3-D 모델이 애플리케이션에 따라 또한 제공될 수 있는 상황이 있을 수 있다. 2-D 모델은 예를 들어, 빌딩의 평면 설계도일 수 있다. 비디오는 카메라 위치에 근접하게 보여지며 모델에 오버레이하는 것은 필수적이지 않다. 적응형 3D 모델에서, 관측자가 카메라의 관측각 또는 포즈와 유사한 관측각 또는 포즈로부터의 장면을 관측할 때, 비디오는 3D 모델상에 오버레이되게 보여지지만, 만일 관측각 또는 포즈가 카메라의 관측각 또는 포즈와 매우 상이하다면 카메라 위치에 근접하게 보여진다.

3-D 뷰어(GUI)(314)는 다양한 뷰잉 기능의 제어를 가능하게 하는 그래픽 사용자 인터페이스로서 작용한다. 예를 들어, 3-D 뷰어(GUI)(314)는 어떤 비디오가 비디오 캡쳐 컴포넌트(312)에 의해 캡쳐링될 지를 제어한다. 예를 들어, 만일 사용자가 동쪽 방향을 가리키는 뷰잉 우선을 나타내는 입력을 제공하면, 서쪽 방향의 비디오는 캡쳐링되지 않는다.

부가적으로, 3-D 뷰어(GUI)(314)는 렌더링 엔진(313)으로 포즈 정보(예를 들어, 포즈 값)를 제공함으로써 어떠한 포즈가 렌더링 엔진(313)에 의해 렌더링될 것인지를 제어한다. 3-D 뷰어(GUI)(314)는 또한 DVR 제어 컴포넌트(316) 및 PTZ 제어 컴포넌트(317)를 통해 DVR(216) 및 PTZ 카메라(205)를 각각 제어한다. 즉, 사용자는 DVR 제어 컴포넌트(316)를 통해 DVR에 기록된 비디오 스트림을 선택할 수 있고, PTZ 제어 컴포넌트(317)를 통해 PTZ 카메라의 좌우회전, 상하회전 및 줌을 제어할 수 있다. 예를 들어, 사용자는 (예를 들어, x, y, z 좌표에서) 3-D 모델상에 클릭할 수 있고, 적절한 PTZ 값은 예를 들어, PTZ 포즈 생성 모듈에 의해 생성되어 관련된 PTZ 카메라로 전송된다.

명령 수신기 컴포넌트(315)는 알람 시각화기 애플리케이션(330)의 일부로서 작용하며, 여기서 알람 브라우저(332)상에 클릭하는 사용자는 명령 수신기 컴포넌트(315)가 적절한 뷰를 디스플레이하도록 렌더링 엔진 컴포넌트와 상호작용하게 한다. 부가적으로, 필요한 경우, 명령 수신기 컴포넌트(315)는 이전의 알람 상태가 재호출 및 관측될 경우, 원하는 뷰를 생성하기 위해 DVR에서 하나 이상의 저장된 스트림을 얻을 수도 있다.

끝으로, 3-D 뷰어(GUI)(314)는 전체 해상도 비디오를 얻기 위해 매트릭스 스위처 제어 컴포넌트(318)와 상호작용한다. 즉, 사용자는 카메라 출력으로부터 직접 전체 해상되 비디오를 얻을 수 있다.

알람 가시화기 애플리케이션(330)은 다수의 소프트웨어 컴포넌트 또는 서브 모듈: 알람 브라우저(GUI)(332), 알람 상태 저장 업데이트 엔진 컴포넌트(334), 알람 상태 수신기 컴포넌트(336), 알람 상태 프로세서 컴포넌트(338) 및 알람 상태 디스플레이 엔진 컴포넌트(339)를 포함한다. 알람 브라우저(GUI)(332)는 사용자가 다양한 잠재 알람 상태의 뷰잉을 선택하도록 그래픽 사용자 인터페이스로서 작용한다.

알람 상태 수신기 컴포넌트(336)는 예를 들어, VBA 시스템에 의해 수신된, 또는 알람 데이터베이스로부터 알람 상태에 대한 상태를 수신한다. 알람 상태 프로세서 컴포넌트(338)는 알람이 통지되고 삭제되었는지 또는 응답되었는지를 표시하는 작용을 한다. 차례로, 알람 상태 디스플레이 엔진 컴포넌트(339)는, 예를 들어 컬러 설계로 알람 상태를 디스플레이하는데, 통지된 알람 상태는 녹색으로 보여지고 통지되지 않은 알람 상태는 빨간색으로 보여진다. 끝으로, 알람 상태 저장 업데이트 엔진(334)은 예를 들어, 통지 또는 응답된 알람 상태의 상태를 업데이팅하는 것처럼 시스템 알람 데이터베이스(340) 업데이팅하여 수행된다. 알람 상태 저장 업데이트 엔진(334)은 가시 경보 PC상의 알람 상태를 업데이트할 수도 있다.

일 실시예에서, 시스템 알람 데이터베이스(340)는 모든 가시 경보 PC(120) 사이에서 분배된다. 시스템 알람 데이터베이스(340)는 예를 들어, 어떤 가시 경보 PC가 알람 상태를 보고했는지, 보고된 알람 상태의 타입, 알람 상태의 시간 및 날짜, 시스템 내의 소정의 PC의 건강도 등과 같은 다양한 알람 상태 정보를 포함할 수 있다.

시스템 모니터 애플리케이션(320)은 다수의 소프트웨어 컴포넌트 또는 서브 모듈: 시스템 모니터(GUI)(332), 건강 상태 정보 수신기 컴포넌트(324), 건강 상태 정보 프로세서 컴포넌트(326) 및 건강 상태 알람 저장 엔진 컴포넌트(328)를 포함한다. 동작시, 시스템 모니터(GUI)(322)는 다수의 가시 경보 PC(120)의 건강을 모니터링하기 위해 그래픽 사용자 인터페이스로서 작용한다. 예를 들어, 사용자는 건강도를 측정하기 위해 특정한 가시 경보 PC상에 클릭할 수 있다.

건강 상태 정보 수신기 컴포넌트(324)는 예를 들어 가시 경보 PC가 양호한 건강 상태인지, 표준으로 동작하고 있는지 등을 주기적으로 결정하기 위해 가시 경보 PC를 핑(ping)하도록 동작한다. 만일 에러가 검출되면, 건간 상태 정보 수신기 컴포넌트(324)는 적절한 가시 경보 PC에 대해 에러를 보고한다.

차례로, 건강 상태 정보 프로세서 컴포넌트(326)는 에러의 상태에 대해 결정하는 업무를 부여받는다. 예를 들어, 건강 상태 정보 프로세서 컴포넌트(326)는 건강 상태 알람 저장 엔진(328)을 통해 에러를 간단히 로그하고, 및/또는 예를 들어, 가시 경보 PC가 오프라인이라는 사용자의 주의를 전달하고, 유지 요청을 스케쥴링하는 등의 다양한 기능을 트리거한다.

끝으로, 비디오 플래시 시스템(130)은 예를 들어 ,TARDIS 시간 동기 서버와 같은 시간 동기 모듈(342)을 또한 사용한다. 이러한 모듈의 목적은 전체 시스템 내의 모든 컴포넌트가 동일한 시간을 갖는 것을 보장하는 것이다. 즉, 비디오 플래시 PC 및 가시 경보 PC는 시간 동기화된다. 이러한 시간 일치는 알람 상태가 제시간에 적절히 보고되고 시간 스태핑된 비디오가 적절하게 저장 및 검색되는 것을 보장하도록 작용한다.

도4는 본 발명의 가시 경보 시스템(120) 내에 배치된 다수의 소프트웨어 모듈을 도시한다. 가시 경보 시스템(120)은 비디오 캡쳐 컴포넌트, 비디오 알람 프로세싱 엔진 컴포넌트(412), 구조(GUI)(413), 프로세싱(GUI)(414), 시스템 건강 모니터링 엔진 컴포넌트(415), 비디오 알람 제공 엔진 컴포넌트(416), 비디오 알람 정보 저장 엔진 컴포넌트(417) 및 비디오 알람 AVI 저장 엔진 컴포넌트(418)를 포함하는 가시 경보 애플리케이션(410)을 사용한다.

동작시, 비디오는 비디오 캡쳐 컴포넌트(412)에 의해 수신 및 캡쳐링된다. 캡쳐링 기능 외에, 비디오 캡쳐 컴포넌트(412)는 또한 동기화 목적을 위해 비디오를 시간 스태핑한다.

비디오 알람 프로세싱 엔진 컴포넌트(412)는 알람 조건을 탐지하는 하나 이상의 알람 검출 탐지 방법을 사용하는 모듈이다. 즉, 남겨진 대상물을 탐지하는 방법, 움직임을 탐지하는 방법, 바람직한 흐름으로 대상물이 이동하는 것을 탐지하는 방법, 주변의 위반 사항을 탐지하는 방법, 대상물의 수를 계수하는 방법 등과 같은 알람 탐지 방법은 비디오 알람 프로세싱 엔진 컴포넌트(412)에 배치된다. 선택될 방법 및/또는 각각의 알람 탐지 방법에 대한 임계 세트는 구조(GUI) 컴포넌트(413)를 사용하여 구성될 수 있다. 사실, 비디오가 캡쳐링될 구성은 또한 구조(GUI)(413) 컴포넌트에 의해 제어된다.

가시 경보 PC(120)는 예를 들어, 비디오 플래시 시스템(130), 분배된 데이터베이스 등과 같은 다른 장치와 통신하기 위해 예를 들어, HTTP 및 ODBC 채널과 같은 하나 이상의 네트워크 전송을 사용한다. 따라서 시스템 건강 모니터링 엔진 컴포넌트(415)는 가시 경보 PC의 전체 건강을 모니터링하고 네트워크 채널을 통해 시스템 모니터 애플리케이션(320)으로부터의 핑에 응답하도록 작용한다. 예를 들어, 만일 시스템 건강 모니터링 엔진 컴포넌트(415)가 하나 이상의 자신의 기능이 고장이라고 결정하면, 알람 정보 데이터베이스(422)에 알람 상태로서 이를 보고할 것이다.

비디오 알람 제공 엔진 컴포넌트(416)는 예를 들어, IIS 웹 서버(420)를 통해 네트워크 채널에 관한 알람 상태를 제공하도록 작용한다. 알람 상태는 비디오 플래시 시스템(130)으로 제공될 수 있다. 부가적으로, 알람 상태의 탐지는 비디오 알람 정보 저장 엔진(417)이 알람 정보 데이터베이스(422)에서 알람 상태를 로그하게 한다. 부가적으로, 비디오 알람 AVI 저장 엔진(418)은 요청시 추후에 재검색될 수 있도록 AVI 저장 파일(424) 상에 탐지된 알람 상태와 관련된 적절한 비디오의 클립을 저장할 것이다.

일 실시예에서, 프로세싱(GUI) 컴포넌트는 AVI 저장 파일에 저장되어 있는 저장된 비디오 클립을 검색하도록 액세스 될 수 있다. 저장된 비디오 클립의 제공은 예를 들어, 알람 브라우저(332)상에 사용자가 클릭하여 요청하는 것과 같이 수동으로 구현되거나 또는 자동으로 실행될 수 있는데, 여기서 소정 타입의 중요한 알람 상태(예를 들어, 주변 위반 사항)는 비디오 클립이 관측을 위해 자동으로 비디오 플래시 시스템으로 전송된다.

끝으로, 비디오 플래시 시스템(120)은 또한 TARDIS 시간 동기 서버와 같은 시간 동기 모듈(426)을 사용한다. 이러한 모듈의 목적은 전체 시스템 내의 모든 컴포넌트가 동일한 시간을 갖고 있음을 보장하는 것이다. 즉, 비디오 플래시 PC 및 가시 경보 PC는 시간 동기된다. 이러한 시간 일치는 알람 상태가 제시간에 적절하게 보고되며, 시간 스탬핑된 비디오가 적절하게 저장 및 검색되는 것을 보장하는 작용을 한다.

CORBA는 제3 자 네트워크 통신 프로그램으로서, 그 상부에 네트워크에 걸쳐 PTZ 포즈 정보인 실시간 트래킹을 전송하는데 사용하는 기능을 구축한다.

도5는 디지털 비디오 스트리밍을 사용하는 본 발명의 일례의 시스템(500)을 도시하는 반면, 도6은 아날로그 비디오 스트리밍을 사용하는 본 발명의 일례의 시스템(600)을 도시한다. 이러한 일례의 시스템들은 전술한 바와 같이 통상의 스케일러블 구조의 예이다. 즉, 본 발명의 구조는 시스템이 용이하게 센서의 수, 비디오 캡쳐/압축 스테이션, 시각 기반 경보 스테이션, 및 비디오 렌더링 스테이션(예 를 들어, 비디오 플래시 렌더링 시스템 또는 전용 알람 렌더링 시스템)을 확장하게 한다. 즉, 본 발명은 센서 입력을 통합함으로써 보안 요원의 효율을 증대시키고, 잠재 위협을 감시자가 발견하게 하고, 이해와 응답을 가속화하고 광대한 훈련에 대한 필요성을 감소시키는 상황으로 정보를 제공하는, 에너지 증배기(force multipliers)로서 작용하는 툴을 제공한다. 보안 집단이 전술적인 상황을 보다 신속하게 이해할 수 있을 경우, 이들은 위협에 대해 더욱 집중할 수 있으며 공격을 방어하기 위한 필요한 조치를 취하며 공격에 대한 영향력을 감소시킬 수 있다.

전술한 바와 같이, 다양한 모듈, 컴포넌트 또는 애플리케이션이 통신 채널을 통해 CPU에 연결된 물리적 장치 또는 서브 시스템으로 구현될 수 있음을 이해해야 한다. 택일적으로, 이러한 모듈, 컴포넌트 또는 애플리케이션은 하나 이상의 소프트웨어 애플리케이션(또는 예를 들어 주문형 집적회로(ASIC)를 사용하여 소프트웨어 및 하드웨어를 조합)에 의해 표현될 수 있는데, 여기서 소프트웨어는 저장 매체로부터 로딩되며 컴퓨터의 메모리에서 CPU에 의해 동작된다. 이와 같이, 본 발명의 모듈, 컴포넌트 또는 애플리케이션(관련된 데이터 구조를 포함함)은 예를 들어, RAM 메모리, 자기 또는 광 드라이브 또는 디스켓 등과 같은 컴퓨터 판독 가능 매체 또는 캐리어에 저장될 수 있다.

비록 본 발명이 시각 경보 시스템의 상황에서 설명되었지만, 알람 상황에 응답하지 않고 비디오 렌더링의 다양한 실시예가 구현될 수 있다. 예를 들어, 비디오 플래시 시스템이 모니터링된 영역의 주변의 연속적인 실시간 "버드 아이 뷰", "워킹 뷰", 또는 더욱 일반적으로 "실제 투어 뷰"를 제공하기 위해 구성되도록 주변 을 따라 매우 많은 수의 카메라를 배치할 수 있다. 예를 들어, 이러한 구성은 모니터링된 영역의 주변을 따르는 새의 비행 및 하향 주시에 대응한다. 이와 같이, 주변의 일부로부터 다른 부분으로 주시가 이동함에 따라, 비디오 플래스 시스템은 다른 카메라로부터의 다른 비디오를 무시하면서 모델위로 오버레이하기 위해 관련된 카메라로부터의 관련된 비디오(예를 들어 이용 가능한 비디오의 총 수의 서브셋)을 자동으로 액세스할 것이다. 다시 말해, 비디오의 서브셋은 주시가 연속하여 이동함에 따라 연속적으로 업데이팅될 것이다. 따라서 보안 요원의 주의를 흐트러뜨리지 않고 카메라의 수를 현저히 증가시키는 것이 가능하다.

전술한 것은 본 발명의 일 실시예이며, 본 발명의 다른 특징이 본 발명의 사상을 벗어나지 않고 고안될 것이고, 본원 발명의 사상은 청구항에 의해 결정된다.

Claims

적어도 하나의 광경을 모니터링하는 방법으로서,

다수의 입력 비디오를 수신하는 단계; 및

포즈 파라미터에 응답하여 상기 다수의 입력 비디오의 서브셋을 상기 적어도 하나의 광경의 모델에 선택적으로 적용하는 단계를 포함하는 모니터링 방법.
제1항에 있어서, 상기 포즈 파라미터는 알람 신호에 따라 선택된 것을 특징으로 하는 모니터링 방법.
제2항에 있어서, 상기 알람 신호는 알람 탐지 방법에 의해 생성된 것을 특징으로 하는 모니터링 방법.
제1항에 있어서, 상기 적어도 하나의 광경 내에 배치된 적어도 하나의 센서로부터 신호를 수신하는 단계를 더 포함하는 것을 특징으로 하는 모니터링 방법.
제2항에 있어서, 상기 알람 신호와 관련된 위치를 나타내기 위해 적어도 하나의 광경의 일부를 하일라이팅하는 단계를 더 포함하는 것을 특징으로 하는 모니터링 방법.
제1항에 있어서, 상기 다수의 입력 비디오들의 서브셋은 상기 적어도 하나의 광경의 연속적인 실제 뷰(view)를 제공하기 위해 연속적으로 업데이트된 것을 특징으로 하는 모니터링 방법.
제1항에 있어서, 상기 다수의 입력 비디오들은 다수의 카메라에 의해 제공되며, 적어도 하나의 상기 카메라들은 좌우회전(pan), 상하회전(tilt) 및 줌(zoom)(PTZ) 성능을 갖는 것을 특징으로 하는 모니터링 방법.
제1항에 있어서, 상기 다수의 입력 비디오들의 서브셋은 상기 모델에 오버레이된 것을 특징으로 하는 모니터링 방법.
적어도 하나의 광경을 모니터링하는 장치로서,

다수의 입력 비디오들을 제공하는 다수의 카메라들; 및

포즈 파라미터에 응답하여 상기 다수의 입력 비디오들의 서브셋을 적어도 하나의 광경의 모델에 선택적으로 적용하는 비디오 렌더링 시스템을 포함하는 모니터링 장치.
제9항에 있어서, 알람 신호를 생성하는 적어도 하나의 시각 기반 알람 시스템을 더 포함하며, 상기 포즈 파라미터는 상기 아람 신호에 따라 선택되는 것을 특징으로 하는 모니터링 장치.