KR101515256B1 - 동적 문서 식별 프레임워크를 사용한 문서 검증 - Google Patents

Abstract

동적 문서 식별 프레임워크에 따라 보안 문서를 식별하고 유효성 확인하는 기법들이 기술되어 있다. 예를 들어, 보안 문서 인증 장치는 문서의 캡처된 이미지를 수신하는 이미지 캡처 인터페이스(image capture interface) 및 동적 문서 식별 프레임워크에 따른 데이터 구조 내에 복수의 문서 유형 객체들을 저장하는 메모리를 포함한다. 보안 문서 인증 장치는 또한 캡처된 이미지를 복수의 문서 유형 객체들 중 하나로서 식별하기 위해 복수의 프로세스들 중 하나 이상을 선택적으로 호출함으로써 데이터 구조를 순회하는 문서 처리 엔진(document processing engine)을 포함한다. 종래의 식별 기법들과 달리, 동적 문서 식별 프레임워크에 따라 저장된 데이터 구조를 순회함으로써 수행되는 이러한 식별 방법은, 적용가능한 프로세스들만이 캡처된 이미지를 식별하는 데 적용될 수 있기 때문에, 보다 효율적인 방식으로 보다 정확한 식별 결과를 제공할 수 있다. 문서 유형을 식별할 때, 한 세트의 하나 이상의 검증기가 그의 진위를 추가로 확인하기 위해 적용된다.

Description

동적 문서 식별 프레임워크를 사용한 문서 검증{DOCUMENT VERIFICATION USING DYNAMIC DOCUMENT IDENTIFICATION FRAMEWORK}

본 발명은 융통성 있는 문서 검증 프레임워크(document verification framework)를 사용하여 여권, 운전 면허증, 출생 증명서 또는 재정 문서와 같은 보안 문서의 컴퓨터-보조 식별 및 유효성 확인에 관한 것이다.

컴퓨터-보조 기법들이 보안 문서로부터 정보를 포착, 식별, 유효성 확인 및 추출하는 데 점점 더 사용되고 있다. 예를 들어, 전자 여권 판독기(ePassport reader)와 같은 보안 문서 판독기가 보안 문서를 판독하여 그의 진위를 확인하기 위해 보다 일반적으로 배포되고 있다. 보안 문서의 예로는 여권, 신용 카드, 식별(ID) 카드, 운전 면허증, 출생 증명서, 상업적 서류(commercial paper) 및 재정 문서가 있다. 일부 보안 문서에 대해, ICAO(국제 민간 항공 기구)는 컴퓨터-보조 기법을 사용하여 보안 문서를 식별하는 명확한 절차를 제공한다. 다른 보안 문서에 대해, 컴퓨터-보조 기법이 비 ICAO-호환 보안 문서를 식별할 수 있는 절차를 규정하는 어떤 표준도 존재하지 않는다.

일반적으로, 주어진 보안 문서의 진위가 확인될 수 있기 전에, 보안 문서의 유형이 먼저 식별되어야 한다. 예를 들어, 일부 최신의 보안 문서 판독기는 다양한 주 또는 국가에서 발행된 여권과 같은 여러 상이한 유형의 보안 문서들을 지원한다. 예를 들어, 보안 문서가 인증된 여권인지를 확인하기 위해, 어느 특정 국가 및 버전의 여권이 인증되고 있는지가 먼저 판단되어야만 한다. 영국 여권의 인증은, 예를 들어 오스트레일리아 여권과는 상이한 알고리즘의 적용 및/또는 여권의 상이한 부분의 분석을 필요로 할 수 있다. 보다 구체적으로, 상이한 보안 문서들을 인증하기 위해, 보안 문서 판독기는 문서 크기, 정적 이미지 패턴, 그리고/또는 문서 및/또는 저장 매체, 예를 들어 바코드, 기계-판독가능 구역(machine-readable zone) 및 RFID 칩 상의 특정 위치로부터 수집된 정보를 분석하는 것들을 포함하는 매우 다양한 알고리즘들을 사용할 수 있다.

보안 문서의 유형을 먼저 식별하는 프로세스는 비-ICAO-호환 문서에 대한 중요한 과제를 제시할 수 있다. 하나의 접근법은 조작자가 보안 문서를 처리하여 그의 진위를 확인하기 전에 보안 문서의 유형을 수동으로 선택하는 것이다. 그러나, 이러한 접근법은 많은 수작업을 필요로 하며 대량의 보안 문서를 처리하는 환경에서 오류가 일어나기 쉬울 수 있다.

대안적으로, 보안 문서의 유형을 자동으로 또는 반자동으로 식별하기 위해 일정 컴퓨터-보조 기법들이 적용될 수 있다. 그러나, 현재까지, 이러한 기법들은 사실상 전형적으로 정적이다(즉, 엄격하게 정의된다). 즉, 문서 인증 시스템이 제1 유형의 보안 문서를 테스트하기 위해 제1 알고리즘을 적용하도록 정적으로 프로그램될 수 있다. 테스트가 실패하면, 문서 인증 시스템은 제2 유형의 보안 문서를 테스트하기 위해 제2 알고리즘을 적용한다. 이러한 정적 프로세스는 보안 문서가 식별되거나 거부될 때까지 순차적으로 계속된다. 이러한 정적 접근법에 의해 요구되는 엄격한 성질 및 상당한 처리 시간이 많은 수의 상이한 문서 유형을 지원하도록 설계된 문서 인증 시스템에 대해 그다지 적합하지 않으며, 이러한 시스템의 확장성(scalability)을 제한할 수 있다.

일반적으로, 본 발명은 확장성 있고 효율적이며 동적인 문서 식별 프레임워크에 따라 보안 문서 또는 보다 일반적으로는 물품의 식별 및 유효성 확인을 위한 기법에 관한 것이다. 즉, 상이한 유형의 보안 문서들이 쉽게 정의될 수 있는 확장성 있는 소프트웨어 프레임워크가 기술되어 있으며, 프레임워크는 많은 양의 상이한 유형의 보안 문서들에 대한 효율적인 식별 및 유효성 확인을 수용하도록 쉽게 확장될 수 있다. 게다가, 각 유형의 문서를 식별하는 데 필요한 알고리즘이 쉽게 추가되고, 한 세트의 공유되고 재사용가능한 문서 식별 소프트웨어 모듈들 중에서 선택될 수 있다. 일 실시예에서, 문서 식별 소프트웨어 모듈은 논리적으로 "분류기(classifier)", "검증기(verifier)" 및 "유효성 확인기(validator)"로 나누어질 수 있다. 문서 식별 프레임워크는 계층적인 트리형 구조(hierarchical, tree-like structure)로서 구성되어 있는 한 세트의 노드들을 포함할 수 있는데, 이러한 구조의 순회(traversal)는 재사용가능 문서 식별 소프트웨어 모듈들의 적용에 기초하여 문서들을 문서 유형 및 서브-유형으로 분리시킨다.

문서의 유형을 식별할 때, 문서 처리 엔진(document processing engine)은 트리 내의 각각의 부모 노드에 있는 분류기의 결과에 기초하여 계층적 문서 식별 프레임워크를 통해 경로를 선택적으로 순회한다. 즉, 계층적 문서 식별 프레임워크 내의 각각의 부모 노드에서 하나 이상의 계산상 효율적인 분류기가 적용되어 그 부모 노드들의 자식 노드들 중 어느 것으로 순회할지 여부를 결정할 수 있다. 분류기(들)는 미지 문서의 일반적인 특성들을 서브-문서 유형을 나타내는 자식 노드들의 특성들과 비교한다. 주어진 노드에 대한 분류기는 가능한 참조 문서 객체 유형들을 나타내는 0개 이상의 자식 노드들을 포함할 수 있는 서브셋(예를 들어, 리스트의 형태로 되어 있음)을 반환한다.

계층적 문서 식별 프레임워크를 순회하는 동안, 보다 계산이 많은 검증기가 또한, 더 많은 제약조건을 적용하여 보안 문서가 분류기에 의해 식별된 자식 노드들에 대한 적절한 특성들을 갖는지를 높은 정확도로 추가 확인하기 위해, 서브셋 내의 각각의 자식 노드에 대해 적용될 수 있다. 본 명세서에 기술된 바와 같이, 자식 노드들의 평가의 순서는 신뢰도(confidence) 또는 유사성(similarity) 점수에 기초할 수 있으며, 미지 문서에 대해 가장 높은 유사성 점수를 갖는 자식 노드가 선택될 수 있다. 일부 실시예에서, 자식 노드들 중 임의의 것이 미지 문서와 일치할 가능성이 있는 것으로 간주될 수 있기 전에, 문턱 신뢰도 수준 또는 유사성 점수가 만족되어야만 한다. 일단 선택되면, 자식 노드는 부모 노드로 간주되고, 새로운 부모 노드에 대해 분류기 및 검증기를 다시 적용하기 위해 순회 프로세스가 재귀적 방식으로 계속된다.

리프 노드(leaf node)에 도달할 때, 이러한 최종 부모가 식별 결과로서 간주된다. 이러한 시점에서, 결과적인 식별 노드에 대한 한 세트의 하나 이상의 유효성 확인기가 보안 문서의 진위를 확인하기 위해 적용된다. 유효성 확인기는 전형적으로 이미지 비교 알고리즘을 사용하여 미지 문서의 임의의 보안 특징들을 하나 이상의 기지의 참조와 비교해 신뢰도 수준 또는 유사성 점수를 반환한다. 유사성 점수가 인증 문턱값을 초과하는 경우, 미지 문서가 진짜인 것으로 검증된 것으로 간주된다.

이와 같이, 문서 식별 모듈들에 의해 정의된 알고리즘이 적용되는 순서(즉, 프레임워크가 순회되는 방식)가 식별되고 있는 보안 문서의 특정 속성에 기초하여 동적이다. 이러한 접근법은 수백 또는 심지어 수천의 상이한 유형의 보안 문서들을 지원하도록 쉽게 확장될 수 있는 효율적이고 확장가능한 문서 인증 시스템을 제공한다.

예를 들어, 보안 문서의 식별 및 차후의 유효성 확인은 보안 문서로부터의, 예를 들어, 기계-판독가능 구역(MRZ), 바코드, 자기 스트립, 텍스트 내용, 보안 이미지, 또는 보안 문서 내에 임베딩된 무선 주파수 식별(RFID) 칩으로부터의 데이터를 필요로 할 수 있다. 본 명세서에 기술된 원리에 따르면, 보안 문서 인증 시스템은 보안 문서로부터의 데이터를 처리하여 보안 문서가 일정 식별 특성들을 포함하고 있는지 여부를 판단하기 위해 계층적 프레임워크에 의해 정의된 분류기 및 검증기를 실행함으로써 프레임워크를 순회한다. 프레임워크의 계층적 성질은 물론 문서의 유형의 카테고리 및 서브-카테고리를 식별하기 위해 재사용가능 문서 분류기를 사용하는 것에 의해, 많은 상이한 유형의 문서들이 지원되는 상황에서도 보안 문서들이 신속하고 효율적으로 식별될 수 있다. 따라서, 본 명세서에 기술된 기법들은, 세계적으로 현재 이용가능한 보안 문서들의 수가 점점 더 증가함에도 불구하고, 보안 문서를 신속하게 식별하고 이어서 그의 진위를 확인하는 데 필요한 비교의 횟수를 축소시키는 방식으로 동적 문서 식별 프레임워크를 유지하는 데 특히 유용할 수 있다.

예를 들어, 본 발명의 기법들은 보안 문서 인증 장치에 구현될 수 있다. 이러한 장치는 물품의 캡처된 이미지(들)를 수신하는 이미지 캡처 인터페이스(image capture interface) 및 동적 문서 식별 프레임워크에 따른 데이터 구조 내에 복수의 문서 유형 객체들을 저장하는 메모리를 포함할 수 있다. 보안 문서 인증 장치는 또한 보안 문서를 복수의 문서 유형 객체들 중 하나로서 식별하기 위해 복수의 프로세스들 중 하나 이상을 선택적으로 호출함으로써 데이터 구조를 순회하는 문서 처리 엔진을 포함한다. 전형적으로, 데이터 구조는 캡처된 이미지(들)와 문서 유형 객체들 사이의 훨씬 더 적은 수의 비교를 산출하기 위해 트리형 데이터 구조를 포함한다. 게다가, 트리 데이터 구조와 같은 동적 데이터 구조를 사용함으로써, 데이터 구조가 증가하는 수의 보안 문서들에 대처하기 위해 쉽게 확장될 수 있고, 동작 중에 부가의 데이터 구조를 수용하기 위해 런타임 동안에 동적으로 적응할 수 있다.

일 실시예에서, 방법은 미지 문서의 하나 이상의 캡처된 이미지를 수신하는 단계, 및 복수의 문서 유형 객체들을 동적 문서 식별 프레임워크에 따른 데이터 구조 내에 저장하는 단계를 포함하며, 복수의 문서 유형 객체들은 캡처된 이미지로부터 속성을 추출하여 미지 문서를 문서 유형 객체들 중 하나에 의해 표현되는 문서 유형으로서 분류하고 검증하기 위해 복수의 재귀적 프로세스들을 참조한다. 이 방법은 또한 캡처된 이미지에 복수의 재귀적 프로세스들을 적용함으로써 추출된 속성에 기초하여 가변적인 순서로 데이터 구조의 문서 유형 객체들을 순회하는 단계, 및 데이터 구조를 순회할 시에 미지 문서를 복수의 문서 유형 객체들 중 하나로서 식별하는 단계를 포함한다.

다른 실시예에서, 보안 문서 인증 장치는 미지 문서의 하나 이상의 이미지를 캡처하는 이미지 캡처 인터페이스, 및 복수의 문서 유형 객체들을 동적 문서 식별 프레임워크에 따른 데이터 구조 내에 저장하는 메모리를 포함하며, 복수의 문서 유형 객체들은 캡처된 이미지로부터 속성을 추출하기 위해 복수의 재귀적 프로세스들을 참조한다. 이 장치는 또한 캡처된 이미지에 복수의 재귀적 프로세스들을 적용함으로써 추출된 속성에 기초하여 가변적인 순서로 데이터 구조의 문서 유형 객체들을 순회하는 문서 처리 엔진을 포함하며, 문서 처리 엔진은 데이터 구조를 순회할 시에 미지 문서를 복수의 문서 유형 객체들 중 하나로서 식별한다.

다른 실시예에서, 본 발명은 명령어를 포함하는 컴퓨터-판독가능 매체에 관한 것이다. 이 명령어는 프로그램가능 프로세서로 하여금 물품의 캡처된 이미지를 수신하고 복수의 문서 유형 객체들을 동적 문서 식별 프레임워크에 따른 데이터 구조 내에 저장하며, 복수의 문서 유형 객체들은 복수의 프로세스들을 참조한다. 명령어는 또한 프로세서로 하여금 캡처된 이미지를 복수의 문서 유형 객체들 중 하나로서 식별하기 위해 복수의 프로세스 중 하나 이상을 선택적으로 호출함으로써 데이터 구조를 순회하게 한다.

본 발명의 하나 이상의 실시예의 상세한 내용이 첨부 도면 및 이하의 설명에 기술되어 있다. 본 발명의 다른 특징, 목적 및 이점이 본 설명 및 도면, 그리고 특허청구범위로부터 명백하게 될 것이다.

도 1은 본 발명의 원리에 따른, 보안 문서(12)를 분석하는 예시적인 문서 인증 시스템(10)을 나타낸 개략도.
도 2는 본 발명의 원리에 따른, 동적 문서 식별 프레임워크에 따라 물품을 검증하는 예시적인 호스트 시스템을 나타낸 블록도.
도 3은 도 1의 문서 인증 시스템의 예시적인 동작을 나타낸 흐름도.
도 4는 도 2의 호스트 시스템의 예시적인 동작을 더 상세히 나타낸 흐름도.
도 5는 도 2의 문서 식별 프레임워크를 더 상세히 나타낸 블록도.
도 6은 문서 식별 프레임워크를 순회할 때의 문서 식별 모듈의 예시적인 동작을 나타낸 흐름도.
도 7a 내지 도 7c는 문서 식별 프레임워크의 사용자 인터페이스에 의해 디스플레이를 통해 사용자에게 제시되는 창의 스크린 샷의 도면.
도 8a 및 도 8b는 호스트 시스템이 식별 및 차후의 유효성 검증 둘 모두를 완료한 후에 사용자 인터페이스에 의해 디스플레이를 통해 사용자에게 제시되는 창의 스크린 샷의 도면.
도 9는 도 2의 호스트 시스템의 메모리 구조의 일부를 더 상세히 나타낸 블록도.
도 10은 레이아웃 매칭 식별 프로세스를 호출하기 위해 문서 식별 프레임워크를 순회할 때의 문서 식별 모듈의 예시적인 동작을 나타낸 흐름도.
도 11a 내지 도 11c는 문서 식별 모듈이 레이아웃 매칭 식별 프로세스를 실행할 때 캡처된 이미지의 상태를 나타낸 예시적인 이미지.
도 12는 고유(Eigen) 이미지 문서 매칭 프로세스를 호출하기 위해 문서 식별 프레임워크를 순회할 때의 문서 식별 모듈의 예시적인 동작을 나타낸 흐름도.
도 13a 내지 도 13c는 문서 식별 모듈이 고유 이미지 문서 매칭 프로세스를 실행할 때 캡처된 이미지의 상태를 나타낸 예시적인 이미지.
도 14a 내지 도 14c는 이미지 내의 문자들에 대한 그레이 변화 프로파일(grey change profile) 및 캡처된 이미지를 나타내는 것에 의한 문서 유효성 확인 모듈로서의 예시적인 이미지.
도 15a 내지 도 15d 및 도 16a 내지 도 16c는 샘플 인쇄 기법들 및 그의 분석을 나타내는 것에 의한 문서 유효성 확인 모듈로서의 예시적인 이미지.
도 17a 내지 도 17c는 ICAO-호환 MRZ 구역을 사용하지 않고 한 세트의 206개의 상이한 US 운전 면허증으로부터 현재 버전의 뉴욕 운전 면허증을 식별하고 유효성 확인할 때 본 시스템의 효율성 및 높은 정확도를 설명하는 도면.

도 1은 본 발명의 원리에 따른, 보안 문서(12)를 분석하는 예시적인 문서 인증 시스템(10)을 나타낸 개략도이다. 문서 인증 시스템(10)은 전자 여권 문서 판독기와 같은 문서 판독기(11)에 결합된 호스트 시스템(20)을 포함한다. 문서 판독기(11)는 이미지 캡처 장치로서 동작하며, 보안 문서(12)가 유효한 진짜 보안 문서인지를 확인한다. 본 명세서에 기술되는 바와 같이, 문서 판독기(11)는 매우 다양한 유형의 보안 문서들을 지원한다. 인증의 일부로서, 문서 판독기(11)는 먼저 장치 내로 삽입되는 보안 문서의 특정 유형을 식별한다. 예를 들어, 보안 문서(12)는 미국 여권, 미국 주 운전 면허증, 미국 주 ID 카드, 유럽 연합(EU) 운전 면허증, EU ID 카드, 전세계에 걸쳐 다양한 주 또는 국가 정부 기관에 의해 발행된 여권 또는 ID 문서, 소유권 문서(title document), ID 카드, 및 각종의 다른 문서 유형들일 수 있다. 보안 문서의 유형을 식별한 후에, 문서 인증 시스템(10)은 계속하여 보안 문서(12)의 유효성을 확인하고 그로부터 정보를 추출할 수 있다.

예를 들어, 문서 인증 시스템(10)의 호스트 컴퓨터 시스템(20)은 문서 판독기(11)에 보안 문서(12)의 전부 또는 일부의 일련의 하나 이상의 이미지를 초기에 캡처하도록 지시하는 데 사용될 수 있다. 그 다음에, 문서 인증 시스템(10)이, 어쩌면 보안 문서로부터 획득된 다른 데이터와 함께, 캡처된 이미지 데이터의 분석에 기초하여, 먼저 보안 문서의 유형을 식별하고 이어서 보안 문서(12)가 식별된 유형의 유효한 문서인지를 확인하는 2-단계 프로세스가 이용된다. 예를 들어, 보안 문서(12)로부터 캡처되는 스캔된 이미지 데이터에 더하여, 문서 인증 시스템(10)은 하나 이상의 기계-판독가능 구역(예를 들어, 바코드), 문서 내에 임베딩되거나 문서에 부착된 무선 주파수 식별(RFID) 칩으로부터 수신된 데이터, 또는 문서에 의해 제공되는 정보의 다른 소스들을 이용할 수 있다.

본 명세서에 기술된 바와 같이, 호스트 컴퓨터(20)는 매우 다양한 유형의 보안 문서들을 지원하기 위해 쉽게 확장 및 수정될 수 있는 동적 문서 식별 프레임워크를 이용하는 문서 처리 엔진에 대한 동작 환경을 제공한다. 즉, 문서 식별 프레임워크는 상이한 유형의 보안 문서들에 걸쳐 식별 알고리즘이 쉽게 추가되고, 정의되고, 영향을 받을 수 있는 환경을 제공한다. 문서 처리 엔진은 필요에 따라 다양한 알고리즘들을 호출하여 보안 문서(12)를 특정 유형의 문서, 예를 들어 특정 정부 기관에 의해 발행되고 차후의 인증에 필요한 일정한 특성 및 레이아웃 특징을 갖는 보안 문서로서 분류하고 궁극적으로 식별하기 위해 프레임워크와 상호작용한다.

문서 인증 시스템(10)은 보안 문서를 스캔하여 보안 문서(12)의 전부 또는 일부로부터 일련의 하나 이상의 이미지를 캡처함으로써 보안 문서(12)를 식별하는 프로세스를 시작한다. 그 다음에, 문서 인증 시스템(10)은 동적 문서 식별 프레임워크에 따라 복수의 문서 유형 객체들을 정의하는 데이터를 저장하는 데이터 구조를 순회한다. 복수의 문서 유형 객체들은 노드들의 형태로 계층적으로 배열되며, 각각의 노드는 보안 문서의 유형의 카테고리 또는 서브-카테고리를 나타낸다. 각각의 객체는 복수의 실행가능 문서 식별 소프트웨어 모듈들(즉, 특정 문서 유형을 분류하고, 세분하고, 궁극적으로 식별 및 인증하는 데 필요한 알고리즘들을 제공하는 실행가능 "분류기", "검증기" 및 "유효성 확인기") 중 임의의 것을 참조(즉, 그에 대한 포인터를 포함)할 수 있다. 예를 들어, 이러한 문서 식별 소프트웨어 모듈들의 각각은 전형적으로 문서의 하나 이상의 속성을 판단할 수 있는 연관된 문서 식별 알고리즘을 구현한다. 특정 보안 문서(12) 내에 문제의 속성이 존재하는지 여부에 기초하여, 처리 엔진은 차후의 분류기를 선택하여 적용하기 위해 문서 프레임워크를 순회한다. 예시적인 문서 식별 소프트웨어 모듈은 고유 이미지 문서 매칭 알고리즘 또는 문서 레이아웃 매칭 알고리즘을 포함하며, 이 둘 모두에 대해 이하에서 더 상세히 기술한다.

문서 식별 프레임워크의 데이터 구조를 순회할 때, 문서 인증 시스템(10)은 캡처된 이미지 데이터의 일부를 처리하고 그리고/또는 보안 문서(12)를 판독하여 부가의 데이터를 획득하기 위해 복수의 문서 식별 소프트웨어 모듈 중 하나 이상을 선택적으로 호출한다. 예를 들어, 문서의 유형을 식별할 때, 문서 인증 시스템(10)의 문서 처리 엔진은 계층적 문서 식별 프레임워크의 루트 노드에서 시작하고, 이어서 프레임워크 내의 각각의 부모 노드에서 분류기들에 의해 정의되는 알고리즘들의 결과에 기초하여 프레임워크의 노드들을 통해 경로들을 선택적으로 순회한다. 즉, 계층적 문서 식별 프레임워크 내의 각각의 부모 노드에서 하나 이상의 계산상 효율적인 분류기가 적용되어 그 부모 노드의 자식 노드들 중 어느 것으로의 경로들을 순회할지 여부를 결정할 수 있다. 이러한 분류기들은 자식 노드들에 의해 표현되는 서브-문서 유형들의 특성들을 참조하고, 경로 선택을 위한 일반적인 비교를 위해 사용된다. 분류기들은 미지 문서의 일반적인 특성들을 서브-문서 유형을 나타내는 자식 노드들의 특성들과 비교한다. 주어진 노드에 대한 분류기는 가능한 참조 문서 객체 유형들을 나타내는 0개 이상의 자식 노드들을 포함할 수 있는 서브셋(예를 들어, 리스트의 형태로 되어 있음)을 반환한다. 분류기들은 연결된 인덱스(linked index)의 형태로 저장될 수 있고 한 세트의 가능한 참조 문서 객체 유형들을 반환할 수 있다.

계층적 문서 식별 프레임워크를 순회하는 동안, 부모 노드, 자식 노드, 또는 둘 모두와 연관된 검증기들이, 보안 문서가 분류기들에 의해 선택된 자식 노드들에 대한 적절한 특성들을 갖는다는 것을 추가로 확인하기 위해 상위 레벨 분류기에 의해 추출된 속성에 적용될 수 있다. 검증기는 노드 자체에 의해 표현된 문서 유형의 특성을 참조하고 또한 식별 프로세스에서 사용되며, 검증기에 의해 지정된 알고리즘은 정확한 식별 결과를 위해 이러한 특정 문서 유형에 보다 엄격한 제약요건을 부과하고 분류기에 의해 지정된 알고리즘보다 계산이 더 많을 수 있다. 분류기와 검증기의 조합은 높은 속도 및 정확도 둘 모두에 대한 요구의 균형을 이루기 위해 효율적이고 융통성 있는 구조를 제공한다. 본 명세서에 기술된 바와 같이, 자식 노드들의 평가의 순서는 신뢰도 또는 유사성 점수에 기초할 수 있으며, 미지 문서에 대해 가장 높은 유사성 점수를 갖는 자식 노드가 선택될 수 있다. 일부 실시예에서, 자식 노드들 중 임의의 것이 미지 문서와 일치할 가능성이 있는 것으로 간주될 수 있기 전에, 문턱 신뢰도 수준 또는 유사성 점수가 만족되어야만 한다. 일단 선택되면, 자식 노드는 부모 노드로 간주되고, 새로운 부모 노드에 대해 분류기 및 검증기를 다시 적용하기 위해 순회 프로세스가 재귀적 방식으로 계속된다.

리프 노드(즉, 어떠한 자식 노드도 갖지 않는 프레임워크 내의 노드)에 도달할 때, 한 세트의 하나 이상의 유효성 확인기가 보안 문서의 진위를 확인하기 위해 적용된다. 유효성 확인기는 리프 노드로 표현되는 문서 유형의 특성을 참조하고, 검증기 또는 분류기 중 어느 하나에 의해 지정된 알고리즘보다 계산이 더 많을 수 있지만, 이것이 꼭 필요한 것은 아니다. 유효성 확인기는 전형적으로 이미지 비교 알고리즘을 사용하여 미지 문서의 임의의 보안 특징들을 하나 이상의 기지의 참조와 비교해 신뢰도 수준 또는 유사성 점수를 반환한다. 유사성 점수가 인증 문턱값을 초과하는 경우, 미지 문서가 진짜인 것으로 확인된 것으로 간주된다.

이와 같이, 문서 인증 시스템(10)은 문서 식별 프레임워크를 순회하고, 미지 문서를 식별하고 궁극적으로 유효성 확인을 하기 위해 문서 식별 소프트웨어 모듈들을 선택적으로 호출한다. 이에 따라, 동적 문서 식별 프레임워크에 의해 구현된 프로세스는 문서 식별 프레임워크가 이전에 호출된 문서 식별 소프트웨어 모듈의 결과에 따라 일정 동작을 호출하라고 문서 인증 시스템(10)에 지시한다는 점에서 "동적"이고, 식별되는 특정의 보안 문서에 기초하여 계층구조 내에서의 시작점 및 프로세스들의 호출 순서가 다르다. 즉, 문서 인증 시스템(10)은, 예를 들어, 그 후에 제1, 제2 및 제3 동작을 적용하여 미국 여권 보안 문서(12)를 분석할 수 있지만, 그 후에 제1, 제3 및 제5 동작을 적용하여 미국 운전 면허증 보안 문서(12)를 분석할 수 있는데, 각각의 동작은 보안 문서의 하나 이상의 속성만을 개별적으로 판단한다. 이러한 점에서, 이 기법들은 전형적으로 인증을 받는 보안 문서(12)의 유형에 관계없이 미리 정해진 순서로 전체적인 문서 식별 알고리즘을 정적으로 적용해야 하는 종래의 시스템과 다르다. 이하에서 더 상세히 기술하는 바와 같이, 이러한 동적 태양은 캡처된 이미지(들) 자체의 분석에 기초하여 한 세트의 프로세스들을 선택적으로 그리고 동적으로 이용함으로써 보다 효율적이고 포괄적인 보안 문서 검증을 용이하게 한다.

문서 인증 시스템(10)은 문서 식별 프레임워크를 메모리, 데이터베이스 또는 다른 저장 매체(도 1에 도시되어 있지 않음) 내에 계층적으로 배열된 트리형 데이터 구조로서 저장할 수 있다. 본 명세서에서 문서 객체 유형이라고 하는 데이터 구조는 트리형 데이터 구조 내의 각각의 노드를 나타내는 데 사용된다. 부모 노드는 문서 유형의 카테고리 또는 서브-카테고리를 나타내며, 다중 레벨의 계층구조 내로 아래로 재귀적으로 순회될 수 있다. 리프 노드는 특정 문서 유형, 예를 들어 미국 여권 문서 유형 객체, 미국 운전 면허증 문서 유형 객체, 또는 미국 ID 카드 문서 유형 객체를 나타낸다. 프레임워크 내의 문서 유형 객체들 중 일부는 하나 이상의 저장된 이미지 또는 템플릿은 물론 한 문서 유형 객체를 다른 문서 유형 객체와 명확하게 구분짓는 한 세트의 지정된 특성들을 포함할 수 있다. 예를 들어, 미국 여권 문서 유형 객체는 템플릿 미국 여권의 이미지는 물론 미국 여권 템플릿 이미지의 하단에 기계-판독가능 구역의 존재를 정의하는 한 세트의 특성들, 템플릿 내에서의 사진의 배치를 정하는 치수, 및 다양한 특성들 사이의 상대 위치를 정하는 것에 관한 다른 데이터를 포함할 수 있다.

문서 인증 시스템(10)은 프레임워크의 데이터 구조를 순회하며, 문서 유형 객체에 의해 참조되는 하나 이상의 실행가능 분류기, 검증기 및 유효성 확인기를 호출할 수 있다. 호출된 특정의 문서 식별 소프트웨어 모듈에 따라, 문서 인증 시스템(10)은 문서 유형 객체를 캡처된 이미지(들)와 비교하거나 이미지 데이터 및/또는 보안 문서로부터 획득된 다른 데이터의 어떤 다른 분석을 수행하여, 보안 문서(12)가 카테고리, 서브-카테고리 또는 특정 문서 유형과 일치하는 유사성의 정도를 나타내는 확실성 값(certainty value)을 생성할 수 있다. 확실성 값이 부모 노드와 연관된 다수의 분류기 및/또는 검증기에 대한 프로그램가능한 또는 계산된 최소 확실성 레벨을 초과하는 경우, 문서 인증 시스템(10)은, 하나 이상의 리프 노드에 도달할 때 궁극적으로 최고 확실성 값을 반환함으로써 보안 문서(12)가 식별될 때까지 부모 노드로부터 프레임워크를 통해 다수의 경로를 순회한다.

보안 문서(12)가 복수의 저장된 문서 유형 객체들 중 하나와 부합하는 것을 성공적으로 식별한 후에, 문서 인증 시스템(12)은 보안 문서의 진위를 확인하기 위해 인증 프로세스를 수행한다. 예를 들어, 문서 인증 시스템(12)은 저장된 참조 이미지 중 하나 이상이 보안 문서 내에 존재하는지 여부를 판단하기 위해 캡처된 이미지(들)를 분석할 수 있다. 참조 이미지가 보안 문서 내에 존재하는 경우, 문서 인증 시스템(10)은 보안 문서(12)가 적절히 인증되었다는 표시(예를 들어, 청각적 및/또는 시각적 표시)를 제공할 수 있다. 참조 이미지가 캡처된 이미지 내에 존재하지 않는 경우, 문서 인증 시스템(10)은 보안 문서(12)가 자동으로 인증될 수 없고 거부될 수 있다는 표시를 제공한다.

동작에서, 사용자는 보안 문서(12)를 문서 판독기(11)의 관찰 프레임(view frame)(14) 상에 놓는다. 관찰 프레임(14)은 문서 인증 시스템(10)의 다른 구성요소에 대해 보안 문서(12)를 정확하게 위치시킨다. 도 1의 예시적인 실시예에서, 문서 인증 시스템(10)은 관찰 프레임(14) 상에 놓인 보안 문서(12)를 조명하는 광원(들)을 포함한다. 일부 실시예에서, 문서 인증 시스템(10)은 적외선(IR) 광원 및/또는 자외선(UV) 광원과 같은 1개 초과의 광원을 포함할 수 있다. 문서 인증 시스템(10)은 또한 보안 문서(12)로부터 이미지 데이터를 캡처하는 이미지 캡처 장치를 추가로 포함한다. 이미지 캡처 장치는 픽셀들의 어레이를 갖는 전하 결합 장치(CCD)와 같은 CMOS 이미지 센서, 카메라, 라인 스캐너 또는 다른 광 입력 장치일 수 있다. 호스트 시스템(20)은 이미지 데이터를 캡처하거나, RFID 칩을 판독하거나, 보안 문서(12)에 대한 다른 동작을 수행하라는 명령을 발생시키기 위해 보안 판독기(11)와 상호작용할 수 있다. 광원의 세기가 호스트 시스템(20)에 의해 자동적으로 또는 사용자로부터의 입력에 기초하여 최소값으로부터 최대값까지의 세기의 범위에 걸쳐 조정될 수 있다.

사용자가 보안 문서(12)를 관찰 프레임(14) 내에 배치한 후에, 문서 판독기(11)는 보안 문서(12)의 일련의 하나 이상의 이미지를 캡처한다. 캡처된 이미지는 보안 문서(12)의 전부 또는 일부를 나타낼 수 있지만, 전형적으로 캡처된 이미지는 보안 문서(12)의 전부를 나타낸다. 이미지 캡처 장치(11)는 캡처된 이미지 데이터를 이미지 처리를 위해 호스트 시스템(20)으로 전달한다. 호스트 시스템(20)에 의해 처리되는 캡처된 이미지(들)는 검사를 위해 호스트 시스템(20)과 연결된 디스플레이(도시 생략) 상에 표시될 수 있다. 호스트 시스템(20)은, 예를 들어 컴퓨터, 랩톱, 휴대용 개인 정보 단말기(PDA) 또는 캡처된 이미지(들)를 분석하기에 충분한 프로세서 및 메모리 자원을 갖는 다른 컴퓨팅 시스템을 포함할 수 있다. 호스트 시스템(20)의 예시적인 구성 및 동작에 대해 이하에서 더 상세히 기술한다.

도 2는 본 발명의 원리에 따른, 보안 문서(12)를 식별하기 위해 동적 문서 식별 프레임워크에 따라 도 1의 보안 문서(12)와 같은 물품을 인증하는 예시적인 호스트 시스템(20)을 나타낸 블록도이다. 호스트 시스템(20)은 보안 문서(12)를 동적으로 식별하기 위해 문서 판독기(11)(도 1)로부터 수신된 이미지 데이터(22) 및 선택적으로 다른 데이터(예를 들어, RFID 데이터)를 분석한다.

이러한 예에서, 호스트 시스템(20)은 문서 판독기(11)로부터 데이터(예를 들어, 이미지 및 RFID 데이터)를 수신하는 데이터 인터페이스(24)를 포함한다. 데이터 인터페이스(24)는, 예를 들어, 문서 판독기(11)와 통신하는 직렬 또는 병렬 하드웨어 인터페이스일 수 있다. 다른 예로서, 데이터 인터페이스(24)는 범용 직렬 버스(USB) 인터페이스일 수 있다.

도 2에 도시된 바와 같이, 문서 식별 프레임워크(34)는 복수의 노드들을 갖는 트리형 구조로서 표현될 수 있는데, 여기서 이 노드들은 보안 문서의 카테고리, 보안 문서의 서브-카테고리, 또는 보안 문서의 특정 유형을 나타낸다. 문서 식별 프레임워크(34)의 노드들의 각각은, 각각이 보안 문서의 하나 이상의 속성 또는 특성을 검사하기 위한 프로세스들을 정의하는 실행가능 명령어를 포함하는 분류기들(47), 검증기들(48) 및 유효성 확인기들(49)을 포함하는 한 세트의 문서 식별 소프트웨어 모듈(41)에 대한 하나 이상의 참조를 포함할 수 있다. 일 예로서, 부모 노드와 연관된 분류기들(47) 중 하나는 기계-판독가능 구역(MRZ)이 보안 문서의 일정 위치에 존재하는지 여부를 판단할 수 있으며, 이에 따라 보안 문서의 가능한 유형들을 특정의 부류로 축소시킬 수 있다. 부모 노드 또는 그의 자식 노드들 중 하나와 연관되어 있는 검증기(47) 중 하나는 특정한 일련의 텍스트 식별자들이 MRZ 텍스트 내에 존재하는지를 확인하기 위해 MRZ를 추가로 처리할 수 있다. 이러한 점에서, 검증기들(48)은, 한 세트의 가능한 문서 유형들을 오스트레일리아 문서로 추가적으로 축소시키기 위해 상기 특정의 텍스트 식별자 시퀀스, 예를 들어 "AU"가 존재하는지 여부와 같은, 문서 트리 계층구조에서 상위 분류기에 의해 추출된 속성을 확인한다. 궁극적으로, 리프 노드(즉, 어떠한 자식 노드도 갖지 않는 프레임워크 내의 노드)에 도달할 때, 그 리프 노드에 의해 참조되는 한 세트의 하나 이상의 유효성 확인기(49)가 보안 문서의 진위를 확인하기 위해 적용된다.

호스트 시스템(20)은 레이아웃 편집기(30)를 제공하는 사용자 인터페이스(28)를 포함하며, 그에 의해 사용자(도시 생략)는 데이터베이스(32) 내에 저장된 데이터를 편집할 수 있다. 특히, 사용자는 문서 식별 프레임워크(34)를 확장하여 상이한 문서 유형들을 지원하도록 데이터베이스(32)에 저장된 문서 유형들을 편집하기 위해 레이아웃 편집기(30)에 의해 제시되는 그래픽 사용자 인터페이스와 상호작용할 수 있다. 예를 들어, 어떤 경우에, 사용자는 문서 식별 프레임워크(34)에 삽입하기 위한 새로운 문서 유형 객체를 수동으로 지정하기 위해 레이아웃 편집기(30)와 상호작용할 수 있다. 이 때, 사용자는 카테고리, 서브-카테고리, 또는 개개의 문서 유형을 정의하기 위해 존재하는 속성을 정의할 수 있다. 더욱이, 사용자는 삽입되는 문서 객체를 분류기들(47), 검증기들(48) 및 유효성 확인기들(49)로서 저장하기 위한 하나 이상의 새로운 또는 기존의 알고리즘과 연관시킬 수 있다.

대안적으로, 호스트 시스템(20)은 이미지 데이터 및 새로운 유형의 보안 문서의 템플릿으로부터의 다른 데이터(22)를 수신하여 처리할 때 문서 식별 프레임워크(34)를 적응식으로 업데이트시키기 위해 "학습" 모드에 있을 수 있다. 이러한 모드에서, 호스트 시스템(20)은 데이터를 처리하고, 새로운 유형의 보안 문서의 임의의 식별된 속성에 부합하는 문서 식별 프레임워크(34) 내에 새로운 문서 유형 객체를 자동으로 삽입시킨다.

이에 따라, 사용자 입력부(26)는 사전 정의된 문서 유형 객체와 연관된 분류기들(47), 검증기들(48) 및 유효성 확인기들(49)을 추가하거나 제거하는 명령과 같은 문서 유형 객체를 편집하는 명령, 새로운 문서 유형 객체를 수동으로 또는 자동으로 삽입하는 명령, 문서 유형 객체를 제거하는 명령, 분류기들(47), 검증기들(48), 유효성 확인기들(49)의 적용의 우선순위를 정하기 위해 문서 식별 프레임워크의 노드들을 재정렬하는 명령, 및 다른 명령들을 지정하기 위해 사용자 인터페이스(28)와 상호작용할 수 있다. 그에 따라, 사용자는 보안 문서 유형을 보다 빠르게 식별하도록 문서 식별 프레임워크(34)를 조정하기 위해 레이아웃 편집기(30)를 사용할 수 있다.

데이터 인터페이스(24)에 의해 수신되는 이미지 데이터는 보안 문서(12)의 전부 또는 일부의 캡처된 이미지(들)를 나타낼 수 있다. 이상에서 언급한 바와 같이, 이미지 데이터는 하나 이상의 이미지, 텍스트, MRZ, 바코드, 워터마크, 또는 다른 정보를 포함할 수 있다. 호스트 시스템(20)은 캡처된 데이터를 수신하고 상기한 식별 및 차후의 인증 프로세스를 수행하는 문서 처리 엔진(36)을 포함한다. 이러한 예에서, 문서 처리 엔진(36)은 이미지 처리 모듈(38) 및 문서 식별 프로세스를 수행하는 문서 식별 모듈(40)을 포함한다. 문서 처리 엔진(36)은 또한, 일단 식별되면 보안 문서의 인증을 확인하는 문서 인증 모듈(42), 및 물품, 예를 들어, 검증되고 인증되는 보안 문서(12)로부터 관련 정보를 추출하는 데이터 수집 모듈(44)을 또한 포함한다. 특히, 데이터 수집 모듈(44)은 바코드를 판독하기 위해, RFID 칩을 판독하기 위해, 그리고 보안 문서(12) 상에 존재하는 자기 스트립을 판독하기 위해 문서 판독기(11)를 사용할 수 있으며, 그에 의해 이미지 데이터에 포함되어 있지 않을 수 있는 부가의 데이터를 수집할 수 있다.

캡처된 이미지 데이터를 수신할 때, 이미지 처리 모듈(38)은 캡처된 이미지 데이터로부터 보다 나은 품질의 그레이, 컬러 또는 이진화된 이미지를 발생하기 위해 이미지 전처리 알고리즘을 호출할 수 있다. 본 명세서에서의 목적을 위해, 이들의 처리된 캡처된 이미지는 캡처된 이미지라 하고, "캡처된 이미지"는 처리되었든 그렇지 않든 간에 기본 보안 문서(12)를 반영하는 임의의 이미지를 의미하는 것으로 해석되어야 한다. 이미지 처리 모듈(38)은 이미지를 캡처할 때 사용되는 광원의 유형에 기초하여(예를 들어, UV 광원은 일정한 이미지 처리 알고리즘을 필요로 할 수 있음) 또는 캡처된 이미지(들)의 일정 태양에 기초하여(예를 들어, 밝은 텍스트를 갖는 어두운 배경은 일정한 반전 이미지 알고리즘을 필요로 할 수 있음) 이미지 처리가 필요한지 여부를 판단할 수 있다. 이미지 데이터가 일단 전처리되면, 문서 식별 모듈(40)은 또한 보안 문서의 유형을 식별하기 위해 이미지 데이터는 물론 데이터 수집 모듈(44)에 의해 획득된 다른 데이터도 추가로 분석한다.

구체적으로는, 캡처된 이미지 데이터를 수신할 때, 문서 식별 모듈(40)은 보안 문서를 문서 식별 프레임워크(34)에 의해 지원되는 문서 유형 객체들 중 하나로서 식별하거나 보안 문서를 거부하기 위해 데이터베이스(32)에 저장된 문서 식별 프레임워크(34)를 순회한다. 데이터베이스(32)는 호스트 시스템(20)의 메모리 또는 컴퓨터-판독가능 매체 내에 국부적으로 존재할 수 있지만, 다른 실시예에서, 데이터베이스(32)는 호스트 시스템(20)으로부터 멀리 존재할 수 있고 네트워크 연결 또는 어떤 다른 원격 접속 방법, 예를 들어 공중망을 통한 가상 사설망을 통해 호스트 시스템(20)에 결합될 수 있다. 데이터베이스(32)는 관계형 데이터베이스와 같은 임의의 유형의 데이터베이스 또는 문서 식별 프레임워크(34)를 저장할 수 있는 임의의 다른 유형의 메모리를 포함할 수 있다.

문서 식별 프레임워크(34)는 용이한 확장성을 위해 트리형 데이터 구조로서 구성된다. 이하에서 더 상세히 기술되는 바와 같이, 문서 식별 모듈(40)은 보안 문서를 문서 식별 프레임워크(34)에 저장된 복수의 문서 유형 객체들 중 하나로서 분류하고 궁극적으로 식별하기 위해 복수의 분류기들(47), 검증기들(48) 및 유효성 확인기들(49)을 선택적으로 호출함으로써 문서 식별 프레임워크(34)를 순회한다.

문서 식별 프레임워크(34)를 순회한 후에, 문서 식별 모듈(40)은 보안 문서의 식별된 유형을 사용자 인터페이스(28)로 전달할 수 있으며, 이 때 사용자 인터페이스(28)는 사용자의 승인을 받기 위해 디스플레이(43)를 통해 사용자에게 선택된 문서 유형을 제시할 수 있다. 대안적으로, 사용자 확인이 필요하지 않을 수 있다. 어느 경우에, 보안 문서를 특정 문서 유형 객체로서 식별할 때, 문서 식별 모듈(42)은 전술한 바와 같이 인증 단계를 시작한다. 식별 단계 또는 인증 단계 중 어느 하나 전체에 걸쳐, 데이터 수집 모듈(44)은 데이터베이스(32)로부터 요청된 이미지(들)로부터 정보를 추출할 수 있다. 일단 인증되면, 문서 처리 엔진(36)은 전형적으로 인증의 결과를 사용자 인터페이스(28)로 전달하고, 이 때 사용자 인터페이스(28)는 이 결과를 디스플레이(43)에 나타낸다. 디스플레이(43)는 액정 디스플레이(LCD), 평판 패널 디스플레이, 플라즈마 디스플레이, 음극 선관(CRT) 디스플레이, 또는 그래픽, 텍스트 및 비디오를 나타낼 수 있는 임의의 다른 유형의 디스플레이를 포함할 수 있다.

호스트 시스템(20)은 최근에 식별된 문서 유형 객체들을 저장하는 큐 데이터 구조(queue data structure)(46)("큐(46)")를 또한 포함할 수 있다. 이에 따라, 예를 들어 보안 문서(12)를 미국 여권 문서 유형 객체로서 식별할 때, 문서 처리 엔진(36)은 미국 여권 문서 유형 객체 또는 그의 참조를 큐(46)에 저장할 수 있다. 다른 보안 문서를 식별하라는 요청을 수신하면, 문서 식별 모듈(40)은, 다른 가능성을 위해 문서 식별 프레임워크(34)를 순회하기 전에, 먼저 보안 문서를 큐(46)에 저장된 문서 유형 객체들 중 하나로서 식별하려고 시도할 수 있다. 일부 경우에, 그 다음의 식별된 문서는 동일한 문서의 다른 측면일 수 있다. 이러한 경우에, 문서 처리 엔진(36)은 그 정보를 자동으로 상관시키고 이들 2 세트의 정보를 하나의 출력으로서 조합시킨다. 도 2에 별개의 것으로 도시되어 있지만, 큐(46)는 데이터베이스(32) 내에 존재할 수 있다. 호스트 시스템(20)은 랜덤 액세스 메모리(RAM), 자기 디스크 또는 하드 드라이브, 디지털 비디오 디스크(DVD), 콤팩트 디스크(CD), 플래쉬 읽기 전용 메모리(ROM), 및 썸 드라이브(thumb drive)와 같은 큐 데이터 구조를 저장할 수 있는 임의의 유형의 메모리를 포함할 수 있다. 대안적으로, 문서 처리 엔진(36)은 보안 문서의 최근에 식별된 유형들에 우선순위를 부여하기 위해 문서 식별 프레임워크의 배열 및/또는 순회 경로를 변경할 수 있다.

도 3은 도 1의 문서 인증 시스템(10)의 예시적인 동작을 나타낸 흐름도이다. 먼저, 호스트 시스템(20)은 동적 문서 식별 프레임워크에 따른 도 2의 문서 식별 프레임워크(34)와 같은 데이터 구조에 하나 이상의 문서 유형 객체를 저장한다. 그 다음, 사용자는 여권과 같은 보안 문서(12)를 이미지 캡처 장치(11) 아래에 있는 관찰 프레임(14) 내에 배치한다(50). 호스트 시스템(20)은 보안 문서(12)의 일련의 하나 이상의 캡처된 이미지를 수신하고 저장한다(52).

일단 저장되면, 호스트 시스템(20)은 문서 식별 프레임워크(34)를 순회함으로써 캡처된 이미지(들)를 식별한다. 호스트 시스템(20)은 미지 문서를 문서 식별 프레임워크(34)에 저장된 복수의 문서 유형 객체들 중 하나로서 식별하기 위해 문서 식별 소프트웨어 모듈(41) 중 하나 이상을 선택적으로 호출함으로써 데이터 구조를 순회한다(54). 동적 문서 식별 프레임워크는 데이터 구조가 확장성 있고 융통성 있으며 효율적이도록 하기 위한 가이드라인을 지정한다. 즉, 동적 문서 식별 프레임워크는 객체들을 순회하고, 편집하거나 데이터 구조로부터 제거하며, 객체들을 데이터 구조에 삽입하기 위한 프로토콜, 또는 보다 일반적으로 문서 유형 데이터 구조(32)의 무결성을 유지하기 위한 프로토콜을 지정한다.

미지 문서를 식별할 때(불일치하는 것이 발견되지 않고 문서가 거부되지 않는 한), 호스트 시스템(20)은 검증 동안에 식별된 특정 문서 유형 객체에 특정한 일정 보안 특징들의 이용가능성에 기초하여 보안 문서를 인증할 수 있다(56). 예를 들어, 식별 프로세스의 결과 보안 문서를 미국 여권 문서 유형 객체로서 식별할 수 있다. 호스트 시스템(20)은, 인증 동안에, 미국 여권을 인증하는 것과 관련된 보안 특징을 결정하기 위해 데이터 구조(34) 내의 미국 여권 문서 유형 객체에 액세스할 수 있다. 그 다음, 호스트 시스템(20)은, 예를 들어 MRZ를 판독하고, 워터마크, 반사 표지 또는 다른 이러한 마킹을 검색하는 다양한 이미지 템플릿 매칭 알고리즘을 수행하고 일관성을 위해 텍스트를 스캔함으로써 모든 관련 보안 특징들의 인증을 시작하기 위해 문서 유형 객체에 의해 참조되는 올바른 프로세스들을 호출할 수 있다. 일단 완료되면, 호스트 시스템(20)은 식별 프로세스, 인증 프로세스 또는 둘 모두의 결과 및 다른 수집된 정보를 디스플레이(43)를 통해 사용자에게 표시하거나 임의의 다른 적당한 음성적 또는 시각적 표시자를 생성할 수 있다(58).

도 4는 도 2의 호스트 시스템(20)의 예시적인 동작을 더 상세히 나타낸 흐름도이다. 호스트 시스템(20)은 보안 문서(12)의 적어도 하나의 캡처된 이미지를 분석함으로써 도 1의 보안 문서(12)를 검증한다. 전술한 바와 같이, 호스트 시스템(20)은 문서 처리 이미지 엔진(36)에 의한 전처리를 위해 데이터 인터페이스(24)를 통해 보안 문서(12)의 캡처된 이미지(들)를 수신한다(60).

문서 처리 이미지 엔진(36)은 식별 및 인증 프로세스를 용이하게 해주기 위해 캡처된 이미지가 추가의 이미지 처리를 필요로 하는지 여부를 판단(62)할 수 있는 이미지 처리 모듈(38)을 포함한다. 캡처된 이미지가 부가의 이미지 처리를 필요로 하는 것으로 판단할 때(64에서 "예"로 분기됨), 이미지 처리 모듈(38)은 캡처된 이미지의 품질을 향상시키기 위해 하나 이상의 이미지 향상 알고리즘을 수행할 수 있고(66), 일단 완료되면, 캡처된 이미지를 식별을 위해 문서 식별 모듈(40)로 전송할 수 있다. 추가의 이미지 처리가 필요하지 않는 경우(64에서 "아니오"로 분기됨), 이미지 처리 모듈(38)은 캡처된 이미지를 직접 식별하기 위해 문서 식별 모듈(40)로 전송한다.

문서 식별 모듈(40)은 프레임워크의 루트 객체로부터 문서 식별 프레임워크(34)를 순회함으로써 식별 프로세스를 개시한다(68). 일반적으로, 문서 식별 모듈(40)은 더 높은 성능을 위해 3레벨 제어에 따라 문서 식별 프레임워크(34)를 순회할 수 있다. 제1 우선순위-기반 순회 방법 하에서, 문서 식별 모듈(40)은 문서 식별 프레임워크에 저장된 문서 유형 객체와 연관된 우선순위에 따라 문서 식별 프레임워크(34)를 순회할 수 있는데, 여기서 우선순위는 사용자에 의해 사전 정의될 수 있다. 제2 큐-기반 순회 방법 하에서, 문서 식별 모듈(40)은 어느 문서 유형 객체가 미리 처리되었는지를 판단하기 위해 큐 데이터 구조(46)에 액세스할 수 있고 문서 식별 프레임워크(34) 내에 저장된 이러한 문서 유형 객체들을 순회할 수 있다. 제3 동적 순회 방법 하에서, 문서 식별 모듈(40)은 문서 식별 프레임워크(34) 전체를 동적으로 순회한다. 즉, 문서 식별 모듈(40)은, 문서 식별 프레임워크(34)의 루트 객체로부터 시작하여, 프레임워크의 각각의 부모 노드 객체에서 참조되는 복수의 분류기들(47) 중 하나 이상을 호출할 수 있다. 이들 분류기들(47)을 호출하는 것으로부터 수신된 결과에 기초하여, 문서 식별 모듈(40)은 문서 식별 프레임워크(34)에 저장된 하위 레벨 객체까지 순회할 부모 노드의 자식 노드들 중 하나 이상을 선택할 수 있다. 문서 식별 모듈(40)은 보안 문서가 분류기에 의해 선택된 경로에 대한 적절한 특성을 갖는지를 확인하기 위해 부모 노드 또는 선택된 자식 노드(들)와 연관된 검증기들(48) 중 하나 이상을 적용할 수 있다.

이러한 순회 식별은 문서 식별 모듈(40)이 문서의 속성과 일치하는 한 세트의 하나 이상의 유효성 확인기를 참조하는 리프 노드에 도달하고, 따라서 캡처된 이미지(들)를 문서 식별 프레임워크(34)에 저장된 복수의 문서 유형 객체들에 대해 사전 정의된 문턱값을 초과하는 최상의 일치 또는 만족된 일치로 식별할 때까지, 계속될 수 있다.

문서 식별 모듈(40)은 이전의 순회 방법들 중 임의의 2개 이상을 (순차적으로 또는 협력하여) 적용할 수 있다. 이에 따라, 문서 식별 모듈(40)은, 예를 들어, 먼저 큐 데이터 구조(48)에 액세스하고, 큐에 따라 데이터 구조를 순회하며, 그 다음에, 복수의 분류기들(47) 중 하나 이상을 선택적으로 호출함으로써 데이터 구조(34)를 동적으로 순회할 수 있다.

문서 식별 프레임워크(34)의 순회에 기초하여, 문서 식별 모듈(40)은 캡처된 이미지(들)를 문서 식별 프레임워크(34)에 저장된 복수의 문서 유형 객체들 중 하나로서 식별한다(70). 이상에서 기술한 바와 같이, 문서 식별 프레임워크(34)의 동적 순회 동안에, 문서 식별 모듈(40)은 확실성 값을 계산하고, 캡처된 이미지(들)를 적절히 식별하기 위해 이들 확실성 값을 다른 확실성 값 또는 사전-지정된 최소 확실성 값과 비교할 수 있다. 일단 식별되면, 문서 식별 모듈(40)은 식별된 문서 유형 객체를 확실성 값과 함께 디스플레이(43)를 통해 승인을 위해 사용자에게 표시할 수 있다(72).

일단 식별되어 사용자에 의해 승인되면, 필요한 경우, 문서 식별 모듈(40)은 캡처된 이미지(들)를 식별된 문서 유형 객체 또는 그에 대한 참조와 함께 문서 인증 모듈(42)로 전송한다. 문서 인증 모듈(42)은 인증 프로세스를 수행하여, 앞서 개략적으로 기술한 바와 같이, 보안 이미지(12)의 진위를 판단하고(74) 이러한 인증 결과를 디스플레이(43)를 통해 표시한다(76).

도 5는 도 2의 문서 식별 프레임워크(34)를 더 상세히 나타낸 블록도이다. 도 5에 도시된 바와 같이, 문서 식별 프레임워크(34)는 트리 데이터 구조를 포함하지만, 문서 식별 프레임워크(34)는 복수의 문서 유형 객체들(78A 내지 78M)("문서 유형 객체들(78)")을 저장할 수 있는 임의의 다른 유형의 데이터 구조를 포함할 수 있다.

이러한 예에서, 문서 식별 프레임워크(34)는 루트 객체(80), 복수의 문서 유형 객체들(78), 및 복수의 문서 서브-유형 객체들(82A 내지 82M)("문서 서브-유형 객체들(82)")을 포함한다. 게다가, 이러한 트리는 서브-서브-유형(sub-sub-type) 문서 객체들에 의해 아래로 그리고 또한 동일한 구조에 의해 재귀적으로 확장될 수 있다. 루트 객체(80)는 예시적인 트리 문서 식별 프레임워크(34)의 루트, 또는 보다 일반적으로, 전술한 동적 순회 방법에 따라서만 순회하는 경우, 문서 식별 모듈(40)이 순회를 시작하는 객체를 나타낸다. 루트 객체(80)는 루트 객체(80)를 문서 유형 객체들(78)의 각각에 연결시키는 양방향 링크(84A 내지 84M)(예를 들어, 포인터)를 유지한다. 문서 유형 객체들(78)은 또한 문서 유형 객체들(78)을 문서 서브-유형 객체들(82)에 연결시키는 양방향 링크(84N 내지 84Z)를 유지한다. 링크들(84A 내지 84Z)("링크들(84)")은 주소에 대한 참조를 포함할 수 있으며, 이 경우 루트 객체(80), 문서 유형 객체들(78) 및 문서 서브-유형 객체들(82) 중 하나가 데이터베이스(32)에 저장된다. 일반적으로, 문서 유형 객체들(78) 및 문서 서브-유형 객체들은 보안 문서의 공통의 물리적 속성, 보안 특징 또는 레이아웃 특성에 기초한 보안 문서 카테고리, 서브-카테고리 및 개개의 문서 유형(리프 노드)의 계층적 구성을 나타낸다. 예를 위해 3개의 계층을 갖는 것으로 도시되어 있지만, 보안 문서의 유형을 분류하고 궁극적으로는 개별적으로 식별하기 위해 임의의 수의 레벨이 반복될 수 있다.

루트 객체(80)는 도 2의 복수의 분류기들(47) 중 하나 이상을 참조하는 적어도 하나의 분류기 객체(86N)를 포함한다. 이들 참조는 참조된 분류기들(47)이 존재하는 메모리에서의 위치의 고유의 식별자, 이름 또는 주소를 지정할 수 있다. 부모 노드로서, 문서 유형 객체들(78)은 다수의 분류기 객체들(86)을 포함하고, 분류기들 중 일부는 중복될 수 있다. 도 5에 도시된 바와 같이, 문서 유형 객체들(78)의 각각은 각각의 분류기 객체들(86A 내지 86M)에 대한 참조를 포함한다. 분류기 객체들(86A 내지 86M)("분류기 객체들(86)")의 각각은 식별되는 보안 문서의 하나 이상의 특성 또는 속성을 평가하기 위해 "분류기 프로세스"를 수행하는 실행가능 소프트웨어를 포함하는 복수의 분류기들(47) 중 하나 이상을 참조한다. 문서 유형 객체들(78)의 각각은 또한 각각의 우선순위값들(88A 내지 88M)("우선순위 값들(88)")을 가질 수 있지만, 다시 말하지만, 문서 유형 객체들(78)이 우선순위 값을 포함할 필요는 없다. 전술한 바와 같이, 우선순위 값들(88)은 문서 식별 모듈(40)이 문서 식별 프레임워크(34)를 순회하는 일정 순회 순서를 정할 수 있다.

도 5에 도시되어 있지는 않지만, 문서 유형 객체들(78) 또는 문서 서브-객체 유형들(82) 중 임의의 것이 보안 문서가 분류기들(86)에 의해 선택된 경로에 대한 적절한 특성들을 갖는지를 확인하기 위해 적용될 수 있는 검증기 객체들(90A 내지 90M)에 대한 참조를 포함할 수 있다. 리프 노드에 도달할 때, 한 세트의 하나 이상의 검증기가 보안 문서의 진위를 확인하기 위해 적용된다.

문서 서브-유형 객체들(82)은 리프 노드를 나타내며, 그에 따라 각각이 하나 이상의 유효성 확인기(49)를 참조하는 각각의 유효성 확인기 객체(93A 내지 93M)를 포함한다. 더욱이, 문서 서브-유형 객체들(82)은 각각의 템플릿 데이터(91A 내지 91M)("템플릿 데이터(91)"), 및 하나 이상의 각각의 최소 확실성 값(92A 내지 92M)("최소 확실성 값(92)")을 포함한다. 유효성 확인기 객체들(93A 내지 93M)은, 보안 문서(12)의 ID를 확인하기 위해, 비교를 하거나 또는 달리 부모 노드의 각각의 분류기 및 잠재적으로 임의의 검증기들에 의해 수집된 특정의 속성 또는 특성의 존재 또는 부존재를 확인하는 포인터 또는 고유의 식별자를 통해 복수의 유효성 확인기들(49) 중 하나 이상을 참조한다. 도 5에 도시되어 있지는 않지만, 일부 실시예에서, 문서 서브-유형 객체들(82)의 각각은 다수의 검증기 객체들을 포함할 수 있으며, 이들 다수의 검증기 객체들의 각각은 하나 이상의 검증기 프로세스를 참조한다. 템플릿 데이터(91)는 일반적으로 임의의 템플릿 이미지들, 레이아웃 특성들, 보안 특징들, 및 문서 서브-유형 객체들(82) 중 특정의 것을 분류 및/또는 검증할 때 사용될 필요가 있을 수 있는 연관된 임의의 다른 데이터를 정의한다. 일반적으로, 검증기들(48)은 문서 식별 프레임워크(34) 내의 문서 식별 모듈(40)의 현재 위치에 따라 가능한 문서 유형 또는 서브-유형 객체들의 분류기 프로세스들에 따른 특정 속성에 대한 확실성 값을 반환한다. 예를 들어, 기술되는 바와 같이, 문서 노드의 한 세트의 특정 분류기(들)(47) 및 각각의 검증기(들)는 분석되는 현재의 보안 문서의 유형에 대응할 수 있는 그의 서브-문서 유형 객체들(78)의 순위 집합(ranked set)을 반환할 수 있다. 문서 식별 모듈(40)은 반환된 확실성 값들을 최소 확실성 값들(92) 중 각각과 비교할 수 있다.

현재의 보안 문서(12)를 식별하기 위해, 문서 식별 모듈(40)은 전형적으로 동적 순회 방법에 따라 문서 식별 프레임워크(34)를 순회한다. 이러한 동적 방법을 통해, 문서 식별 모듈(40)은 분류기 객체(86N)에 의해 참조된 분류기들(47)을 호출하기 위해 루트 객체(80)에서 시작한다. 이러한 초기 분류기들(47)은 캡처된 이미지 및 보안 문서(12)로부터 획득된 다른 데이터를 분석하고, 자식 노드들에 의해 표현되는 한 세트의 가능한 문서 유형 객체들, 즉 문서 유형 객체들(78)을 반환한다. 이 세트는 문서 유형 객체들(78) 중 임의의 하나 이상을 지정할 수 있다.

문서 유형 객체들(78) 중 하나로 순회할 때, 문서 식별 모듈(40)은 연관된 분류기 객체들(86A 내지 86M)에 액세스하고, 참조된 분류기들(47)을 호출하며, 한 세트의 가능한 속성 또는 특성을 수신한다. 이어서, 자식 서브-문서 객체들의 각각에 대해, 각각의 검증기 객체들(90A 내지 90M)은 예상된 값들과 비교하여 유사성 확실성 인자를 생성하는 데 사용되고, 그에 기초하여, 일치하는 유사성은 문서 서브-유형 객체들(82)로의 경로들 중 하나 이상의 궁극적인 선택을 위해 보안 문서와 서브-문서 유형 사이의 순위를 부여받는다. 이러한 방식으로, 프레임워크(34)는 보안 문서를 분류하고 세분하며 궁극적으로는 식별하기 위해 수직으로 순회될 수 있다.

순회는 특정의 보안 문서를 나타내는 리프 노드에 도달할 때까지 트리 아래로 반복하여 행해질 수 있다. 이러한 분류기들(47) 및 검증기들(48)은 하나 이상의 확실성 값을 반환할 수 있고, 문서 식별 모듈(40)은 순회 중에 문서 서브-유형 객체(82) 내에 저장된 방정식에 따라 이러한 확실성 값들의 가중 평균을 계산할 수 있다. 이러한 가중 평균을 사용하여, 문서 식별 모듈(40)은 가중 평균을 순회 중인 문서 서브-유형 객체(82)와 연관된 최소 확실성 값(92)과 비교하여 보안 문서(12)가 실제로 그러한 특정의 보안 문서 유형인지 여부를 확인할 수 있다. 가중 평균이 연관된 최소 확실성 값(92)을 충족하지 않거나 초과하는 경우, 문서 식별 모듈(40)은 문서 서브-유형 객체(82)와 연관된 전체 분기를 추가의 고려로부터 제외시킬 수 있으며, 그에 의해 효율을 향상시킬 수 있다. 문서 식별 모듈(40)은, 확실성 값이 추가의 고려로부터 제외되거나 추가의 고려를 위해 저장될 때까지, 상기 분류기 객체(86)로부터 반환되는 가능한 문서 서브-유형들 중 나머지 세트에 걸쳐 계속 반복할 수 있다.

일단 세트 내의 모든 문서 서브-유형 객체들(82)이 분석되면, 문서 식별 모듈(40)은 나머지 문서 서브-유형 객체들(82)과 연관된 확실성 값들을 서로 비교하고, 예를 들어 최고 확실성 값을 선택함으로써, 최상의 확실성 값을 식별할 수 있어서, 문서 식별 프레임워크(34)의 순회를 종료한다. 문서 식별 모듈(40)은 이러한 식별된 확실성 값은 물론 연관된 문서 유형 객체(78) 또는 서브-유형 객체(82)를 디스플레이(43)를 통해 표시하기 위해 사용자 인터페이스(28)로 전송할 수 있다. 사용자는 이러한 식별된 문서 유형 객체(78) 또는 서브-유형 객체(82)를 승인하거나, 또는 달리 문서 식별 모듈(40)이 캡처된 이미지(들)의 분석으로부터 보안 문서(12)를 정확히 식별했다고 확인 응답할 필요가 있을 수 있다.

도 6은 동적 순회 방법에 따라 도 5에 도시된 바와 같이 재귀적으로 문서 식별 프레임워크(34)를 순회할 때 도 2의 문서 식별 모듈(40)의 예시적인 동작을 나타낸 흐름도이다. 이하에서 동적 순회 방법을 참조하여 기술되어 있지만, 문서 식별 모듈(40)은, 큐 데이터 구조(46)에 저장된 문서 유형 객체들(78)에 대한 참조에 따라 문서 식별 프레임워크(34)를 순회하는 것, 우선순위(88)에 따라 문서 식별 프레임워크를 순회하는 것, 및 이들 방법의 임의의 조합을 비롯한, 다른 방법들 또는 그들의 조합 중 임의의 것에 따라 문서 식별 프레임워크(34)를 순회할 수 있다.

먼저, 문서 식별 모듈(40)은 선택적으로 다른 데이터(예를 들어, RFID 데이터)와 함께 보안 문서(12)의 캡처된 이미지(들)를 수신하고, 문서 식별 모듈(40)을 순회하기 시작하기 위해 그리고 루트 객체를 현재의 처리 문서로서 취급하기 위해 문서 식별 프레임워크(34)의 루트 객체(80)에 액세스한다(94). 문서 식별 모듈(40)은, 예를 들어, 현재의 문서와 연관된 분류기 객체(86A)에 액세스할 수 있으며, 그에 의해 분류기 객체(86A), 즉 분류기 프로세스들에 의해 참조되는 복수의 분류기들(47) 중 하나 이상을 호출한다(95). 호출에 응답하여, 문서 식별 모듈(40)은 한 세트의 가능한 속성 또는 특성을 계산한다. 이러한 노드에 있는 이러한 문서 유형 객체로부터, 문서 식별 모듈(40)은 한 세트의 가능한 문서 서브-유형 객체들을 수신할 수 있고, 이러한 세트는 일반적으로 문서 서브-유형 객체들(78) 중 하나 이상을 포함한다(96). 예를 들어, 예시적인 한 세트의 가능한 문서 유형 객체들은 문서 유형 객체들(78A 및 78M)을 포함할 수 있다. 이러한 세트의 가능한 문서 유형 객체들, 즉 "서브-유형 세트 "가 주어진 경우, 문서 식별 모듈(40)은 유형 세트에 따라 문서 식별 프레임워크(34)를 계속 순회한다(96).

문서 식별 모듈(40)은 유형 세트 내의 반환된 제1 문서 유형 객체(78A) 및 그의 연관된 분류기 객체(86)에 액세스함으로써 문서 식별 프레임워크(34)를 한 레벨 아래로 순회한다. 문서 유형 객체(78A)에 대한 임의의 검증기가 분류기 객체(86)에 의해 추출된 속성을 확인하는 경우(또는 이러한 예에서와 같이 검증기 객체가 존재하지 않는 경우), 문서 식별 프레임워크(34)는 이제 문서 유형 객체(78A)를 현재의 문서로서 취급하고 분류기 객체(86A)를 사용하여 한 세트의 부가의 가능한 속성 또는 특징을 계산한다(95). 이어서, 문서 식별 모듈(40)은 한 레벨 더 아래로 순회하여 그의 자식 서브-문서들(82A 내지 82D), 즉 "서브-유형 세트"의 각각을 검사한다(96). 그 다음에, 문서 식별 모듈(40)은 이러한 새로운 서브-유형 세트에 따라 문서 식별 프레임워크(34)를 순회한다(96).

문서 식별 모듈(40)은 서브-유형 세트 내의 반환된 제1 문서 서브-유형 객체(82A) 및 그의 연관된 분류기 객체(90A)에 액세스함으로써 문서 식별 프레임워크(34)를 아래로 순회한다. 문서 식별 모듈(40)은 연관된 검증 객체(90A)에 의해 참조되는 하나 이상의 검증기(48)는 물론 유효성 확인기 객체(92A)에 의해 참조되는 하나 이상의 유효성 확인기(49)를 호출하고(왜냐하면 이는 리프 노드이기 때문임) 한 세트의 확실성 값을 수신한다(97). 확실성 값을 결정할 때, 검증기들(48)은 연관된 템플릿 데이터(91A)에 액세스할 수 있다. 확실성 값은 연관된 템플릿 데이터(91A)와 비교하여, 한 쌍의 호출된 분류기들(47) 및 검증기들(48)에 의해 캡처된 이미지(들)에 대해 수행되는 분석에 대한 유사성의 레벨을 반영한다. 예를 들어, 100의 확실성 값은 연관된 템플릿 데이터(91A)와 캡처된 이미지(들) 사이의 완벽한 일치를 반영할 수 있는 반면, 80의 확실성 값은 연관된 템플릿 데이터(91A)와 캡처된 이미지(들) 사이의 적절한 일치를 반영할 수 있지만 캡처된 이미지의 하나 이상의 특성이 연관된 템플릿 데이터(91)와 완벽하게 일치하지 않는다는 것을 나타낼 수 있고, 0은 완전히 일치하지 않는다는 것을 의미한다. 일부 실시예에서, 문서 식별 모듈(40)은 호출된 검증기들(48)에 의해 반환된 각각의 확실성 값을 최소 확실성 값(92A)과 비교하고, 실패할 시에 이러한 서브-문서 또는 이러한 노드로부터 시작하는 전체 분기를 검사하는 것을 중단하거나(98), 또는 서브-문서에 대한 조합 확실성 값을 0으로 설정한다. 다른 실시예에서, 문서 식별 모듈(40)은 캡처된 이미지(들)를 갖는 이러한 서브-문서에 대한 조합 확실성 값을 검증기들(48)의 모든 호출로부터 반환된 모든 확실성 값들의 가중 평균으로서 계산하고(102), 이러한 가중 평균을 최소 확실성 값(92A)과 비교하여, 최소 확실성 값(92A)을 초과하는 이들 가중 평균 확실성 값들만을 저장한다(104).

이러한 서브-문서가 최소 확실성 값을 만족시키는 것으로 확인되는 경우, 노드가 문서 트리에서의 분기 노드인지 그리고 자식 서브-문서를 갖는지, 즉 부모 노드인지 여부가 검사된다(106). 서브-문서가 그 아래에 부착된 어떤 자식 서브-문서를 갖는 경우, 이러한 서브-문서는 현재의 문서로서 취급되고, 문서 식별 모듈은 전술한 프로세스를 반복함으로써 문서 트리를 한 레벨 더 아래로 순회한다(95). 이는 리프 노드에 도달할 때까지 전체 문서 트리를 아래로 순회하기 위해 재귀적 깊이-우선 방식(recursively depth-first way)으로서 구현된다.

서브-유형 세트 내의 하나의 문서 서브-유형 객체(82)로 완료된 경우, 문서 식별 모듈(40)은 서브-유형 세트를 통해 반복하는 것을 완료했는지 여부를 판단할 수 있다(108). 서브-유형 세트를 통해 반복하는 것이 완료되지 않은 경우, 문서 식별 모듈(40)은 다른 문서 서브-유형 객체(82)에 액세스하고 그의 연관된 검증기 객체(90)에 의해 참조되는 검증기들(48)을 호출하고 확실성 값을 수신하고 비교에 기초하여 확실성 값을 저장함으로써 서브-유형 세트를 통해 계속하여 반복한다(96-108). 완료된 경우, 문서 식별 모듈(40)은 주어진 문서 노드에서의 경로 선택 처리의 사이클을 종료하기 위해 계산된 관련 확실성 값들에 의해 모든 서브-문서들에 순위를 부여한다(110). 그 다음 단계는 현재의 처리 문서가 루트 문서인지 또는 부모 문서 유형을 갖는지에 따라 결과를 어디로 반환할지를 결정한다(112). 자식 서브-문서인 경우, 제어는 문서 트리를 한 레벨 위로 올라가서 그의 부모 문서로 되돌아가고(114), 자식 서브-문서의 확실성 값이 부모 문서에 병합된다. 그렇지 않고, 문서 식별 모듈(40)은 전체 문서 트리에 걸쳐 반복하는 것을 완료한 경우, 문서 식별 모듈(40)은 저장된 확실성 값들에 기초하여 캡처된 이미지(들)를 식별한다(116). 문서 식별 모듈(40)은 모든 저장된 확실성 값들을 서로 비교하고 최고 확실성 레벨을 선택할 수 있어서, 캡처된 이미지(들)를 최고 확실성 값과 연관된 문서 서브-유형 객체(82)에 속하는 것으로 식별할 수 있다.

문서 식별 모듈(40)이 문서 식별 프레임워크(34)를 순회하는 동작에 대해 이상에서 기술하였다. 문서 식별 프레임워크(34)는 동적 문서 식별 프레임워크를 통해 문서 유형 객체들(78) 및 문서 서브-유형 객체들(82)을 저장한다. 프레임워크는 순회의 순서가 보안 문서의 속성 및 특성에 따라 변하고 프레임워크가 레이아웃 편집기(30)를 통해 각각 문서 유형 객체(78) 및 서브-유형 객체(80)의 업데이트, 삭제 및 삽입을 용이하게 한다는 점에서 "동적"이다. 동적 문서 식별 프레임워크는 이들 동적 업데이트, 삭제 및 삽입이 일어날 수 있게 하는 프로토콜을 제공하며, 그에 의해 보안 문서(12)를 식별하게 하는 융통성 있고 확장성 있는 프레임워크를 유지한다. 프레임워크는 미국 및 외국 여권, 미국 및 외국 운전 면허증, 미국 및 외국 ID 카드, 및 상업적 서류를 비롯한 많은 상이한 유형의 물품들이 식별될 수 있다는 점에서 융통성이 있다. 프레임워크는, 이하에서 더 상세히 기술되는 바와 같이, 문서 유형의 서브-유형을 비롯한 하나 이상의 문서 유형이 프레임워크에 신속하게 추가될 수 있고 문서 식별 프레임워크(34) 내에 삽입될 수 있다는 점에서 확장성이 있다.

도 7a 내지 도 7c는 레이아웃 편집기(30)에 의해 디스플레이(43)를 통해 사용자에게 제시되는 창(118)의 스크린 샷이다. 스크린(118)은 문서 탭(119), 확장가능한 문서 유형 객체들의 리스트(120)로서 표현되는 식별 프레임워크(34), 및 관찰 서브-창(121)을 포함한다. 문서 유형 객체 리스트(120)는, 각각이 도 5의 복수의 문서 유형 객체들(78) 중 하나를 참조하고 있는 하나 이상의 텍스트 영역을 포함한다. 예를 들어, 문서 유형 객체(78A)는 도 7a에 나타낸 바와 같이, 리스트(120) 상의 첫 번째 항목으로서 "Document-2Line44" 문서 유형을 포함할 수 있다. 따라서, 문서 유형 객체 리스트(120)는 문서 식별 프레임워크(34)에 의해 정의될 수 있는 예시적인 계층적 구성을 나타낸다. 관찰 서브-창(121)은 전형적으로, 데이터베이스(32)에 저장되어 있고 문서 유형 객체 리스트(120) 내의 항목들 중 선택된 항목과 연관되어 있는 임의의 관련 템플릿 데이터(91)를 나타낸다.

도 7b는 사용자가 이러한 문서 유형에 대한 식별 프로세스들의 항목(130)을 선택한 후의 창(118)을 나타낸다. 이러한 선택에 응답하여, 레이아웃 편집기(30)는 팝업창(132)을 창(118) 위에 오버레이하는데, 이 경우 팝업창(132)은 문서의 유형에 대한 식별 프로세스를 정의하기 위해 사용자가 항목(130)과 연관된 검증기 객체들(90) 중 하나를 편집할 수 있게 한다. 이러한 예에서, 팝업창(132)은 최소 확실성 값 입력부(134), 광원 선택 입력부(136), 현재의 검증기 프로세스 선택 박스(138A), 및 사용된 검증기 프로세스 선택 박스(138B)를 포함한다. 사용자는 최소 확실성 입력부(134)와의 상호작용을 통해 도 5의 문서 서브-유형 객체(82A)와 연관된 최소 확실성 값(92A)과 같은 최소 확실성 값을 이러한 문서 유형과 연관시킬 수 있다. 사용자는 또한 광 선택 입력부(136)를 통해 보안 문서(12)의 이미지를 캡처할 때 사용할 가시광, UV광, 및 적외선광과 같은 기준광을 지정할 수 있다. 사용자는 또한 현재의 검증기 프로세스 선택 박스(138)를 통해 검증기 객체들(90A) 중 하나에 의해 현재 참조되는 검증기들(48)을 편집할 수 있다. 마지막으로, 사용자는 사용된 검증기 프로세스 선택 박스(138B)를 통해 부가의 검증기들(48)을 사용자에 의해 검토 중인 검증기 객체(90A)에 연관시키거나 제거할 수 있다.

도 7c는 사용자가 분류기들(47) 또는 검증기들(48) 중 하나의 특정의 적용을 구성하기 위해 현재의 검증기 탭(140)을 선택한 후에 팝업창(132)에 의해 오버레이되는 창(118)을 나타낸다. 도 7c에 나타낸 바와 같이, 사용자는 현재 "CDocVerifierDominantColor" 프로세스를 편집하고 있고, 이 프로세스는 캡처된 이미지의 주요 색상을 분석하고 이 분석을 참조 입력부(142) 내에 지정된 참조와 비교한다. 팝업창(132)은 사용자가 이들 참조를 수동으로 편집할 수 있도록 참조 입력부(142)를 포함한다. 예를 들어, 주요 색상 프로세스는 캡처된 이미지의 분석을, 0.007의 마젠타 색상 퍼센트, 15.021의 적색 색상 퍼센트, 34.547의 황색 색상 퍼센트, 등을 지정하는 참조 입력부(142)에 정의된 색상 범위에 대해 비교한다. 사용자는 이들 개별 색상 퍼센트(청색으로 하이라이트된 영역으로 나타낸 바와 같음)를 수동으로 편집할 수 있거나, 대안적으로, 사용자는 학습(learn) 버튼(144)을 선택할 수 있고, 레이아웃 편집기(30)는, 사용자가 스캐닝 준비가 된 물리적 템플릿을 갖는 경우, 이전에 또는 동시적으로 시스템으로 스캔된 템플릿 이미지로부터 이들 참조를 학습할 것이다.

팝업창(132)은 또한 가중치 입력부(146) 및 특정의 최소 확실성 입력부(148)도 포함한다. 사용자는, 몇몇 호출된 검증기들(48)의 가중 평균을 계산할 때, 문서 식별 모듈(40)이 가중 평균을 계산하는 데에 이러한 지정된 가중치 값을 사용하도록 가중치 입력부(146)에 가중치 값을 입력할 수 있다. 유사하게, 사용자는, 도 6의 단계(98)에서 전술한 바와 같이, 순회 동안에 사용하기 위해 입력부(148)에 특정의 최소 확실성을 입력할 수 있다. 이와 같이, 사용자는 분류기들(47) 및 검증기들(48)을 동적으로 구성할 수 있고, 분류기들(47) 및 검증기들(48)을 특정의 객체들(86, 90)과 연관시킬 수 있고, 가중치 및 최소 확실성 값을 구성함으로써 프레임워크(34)의 순회를 동적으로 수정할 수 있다.

도 8a 및 도 8b는 호스트 시스템(20)이 식별 및 차후의 인증 둘 모두를 완료한 후에 도 2의 표시 사용자 인터페이스(demonstration user interface)(28)에 의해 디스플레이(43)를 통해 사용자에게 제시되는 창(150)의 스크린 샷이다. 이러한 문서는 미국의 뉴욕 운전 면허증의 현재 표준 버전의 전면으로서 식별된다. 창(150)은, 전형적으로 식별 프로세스 동안에 문서 식별 모듈(40)에 의해 계산되는 가중된 확실성 값을 표현하는 식별 신뢰도 수준 텍스트 출력부(152)를 포함한다. 창(150)은 또한 선택될 때 식별 프로세스의 결과를 제시하는 인증 및 식별 탭(156)의 결과를 보여주는 인증 상세 출력부(154)도 포함한다. 창(150)은 또한 캡처된 이미지(158) 및 캡처된 이미지(158)의 분석으로부터 해석된 보안 문서 상세(160)와 같은 다른 관련 정보도 제시한다.

도 8b는 사용자가 식별 탭(156)을 선택한 후의 창(150)을 나타낸다. 사용자 인터페이스(28)는 문서 식별 프레임워크(34)를 동적으로 순회한 결과를 보여주는 텍스트 출력부(162)를 창(150) 내에 제시한다. 텍스트 출력부(162)의 상부에서 시작하여, 문서 식별 모듈(40)은 먼저 "2line44"라고 표시된 문서 유형 객체들(78) 중 하나로 순회하였으며 그의 연관된 분류기 객체(86)에 액세스하였으며, 그에 의해 문서 식별 모듈(40)은 참조된 분류기들(47)을 호출하였다. 결과는 아무런 이용가능한 문서 서브-유형 객체들(82)을 반환하지 않았는데, 그 이유는 테스트가 "라인 카운트(line count)"(텍스트 출력부(162)의 두 번째 라인에 나타나 있는 바와 같음)에서 실패했기 때문이다.

그 다음에, 문서 식별 모듈(40)은 "us_dl"(텍스트 출력부(162)의 세 번째 라인에 나타나 있는 바와 같음)로 표시된 문서 유형 객체(82)로 순회하였지만, 텍스트 출력부(162)의 네 번째 라인에 따르면, 연관된 분류기 객체(86)가 일반적인 미국 운전 면허증에 대한 "식별 시에(on identification)" 또다시 실패하였다. 마지막으로, "us_dl_ny, "라고 표시된 문서 유형 객체(78)로 순회할 때, 문서 식별 모듈(40)은 일치를 발견하였고(텍스트 출력부(162)의 여섯 번째 라인에 나타나 있는 바와 같음) 한 세트의 문서 서브-유형 객체들을 수신하였다. 이러한 서브-유형 세트를 순회할 때, 문서 식별 모듈(40)은, 각각이 "cf" 값을 반환한 라인 7 내지 라인 13에 나타낸 참조된 분류기들(47) 및 검증기들(48)을 호출하였다. "cf" 값은 각각의 검증기에 의해 결정된 확실성 값을 반영하며, "min_cf" 값은 각각의 검증기를 통과하는 데 필요한 최소 확실성 값을 나타낸다. 텍스트 출력부(162)의 라인 6은, 캡처된 이미지(들)가 "identified as document [type object] us_dl_ny in Line 14," 및 "specific [sub-type object] standard front version]"이었는지를 확인함으로써, 이전의 "cf"값들, 또는 확실성 값들의 가중 평균을 비교한 결과를 보여준다.

도 9는 도 2의 호스트 시스템(20)의 메모리 구조의 일부를 더 상세히 나타낸 블록도이다. 이러한 제한된 예에서, 분류기들(47) 및 검증기들(48)은 레이아웃 매칭 프로세스(164A) 및 고유 이미지 문서 매칭 프로세스(164B)를 포함한다. 도 9에 추가로 도시된 바와 같이, 문서 데이터 구조(34)는 루트 객체(166), 문서 유형 객체(168), 및 문서 서브-유형 객체(170)를 포함한다. 문서 유형 객체(168)는 분류기 객체(172)를 포함하고, 문서 서브-유형 객체(170)는 분류기 객체(174), 템플릿 데이터(176) 및 최소 확실성 값(178)을 포함한다. 객체들(168 내지 174)의 각각, 템플릿 데이터(176) 및 최소 확실성 값(178)은 도 5를 참조하여 논의된 객체들과 거의 유사할 수 있다. 문서 식별 프레임워크(34)는 다수의 객체들(168 내지 174)의 각각, 템플릿 데이터(176) 및 최소 확실성 값(178)을 포함하며, 이러한 분류 구조는 또한 다수의 계층들에 재귀적으로 반복될 수 있지만, 설명의 편의상, 이들 부가의 객체들은 도 9에 도시되어 있지 않다.

문서 식별 모듈(40)에서 전개된 범용 식별 방법들 중 2개로서, 레이아웃 매칭 프로세스(164A) 및 고유 이미지 문서 매칭 프로세스가 가능한 후보들을 축소하는 데 매우 효율적이다. 이들 2개의 방법은 또한 문서를 식별하도록 구성되기가 매우 용이하다. 이들에 대해서는 이하에서 상세히 논의한다. 문서 식별 모듈(40)은 이들 2개의 방법들로만 제한되지 않으며, 새로운 방법들을 포함하기 위해 융통성 있는 프로그래밍 구조를 제공한다. 어떤 다른 통상적으로 사용가능한 식별 방법들은 문서 크기, 주요 색상, 공백, 그레이 히스토그램, 텍스트 및 바코드의 OCR 결과, 템플릿 매칭 등을 포함한다.

도 10은 도 9의 레이아웃 매칭 프로세스(164A)를 호출하기 위해 문서 식별 프레임워크(34)를 순회할 때의 도 2의 문서 식별 모듈(40) 중 하나에 이용되는 처리 단계들을 나타낸 흐름도이다. 이러한 일련의 처리 단계는 문서 유형을 식별하기 위해 문서 템플릿 또는 캡처된 라이브 이미지 데이터를 작성하기 위해 참조 이미지 데이터에 적용될 수 있다(180). 문서 참조 템플릿 데이터는 전술한 바와 같이 레이아웃 편집기(30)에 의해 수동으로 수정될 수 있다. 문서 레이아웃은, 일정 광원 하에서의 이미지 또는 그레이 또는 컬러 이미지의 평면에서, 밝은 배경 내의 연결된 어두운 영역들의 또는 그 반대로의 세그먼트화 및 분류에 의해 분석될 수 있다.

레이아웃 매칭 프로세스(164A)를 호출할 때, 문서 식별 모듈(40)은 한 세트의 가능한 문서 서브-유형 객체들, 즉 서브-유형 세트를 결정하기 위해 레이아웃 매칭 프로세스(164A)를 실행한다. 먼저, 어떤 이미지 품질 향상 후에, 이미지가 이진화되고(182), 이어서 어두운 픽셀들의 연결성에 기초하여 복수의 영역들로 세그먼트화된다(184). 그 다음, 분리된 영역들이 어떤 특징들에 의해, 텍스트, 바코드, 사진, 자기 스트립, 지문, 등의 어떤 카테고리들로 분류되고(186), 이어서 각각의 영역이 크기, 위치 및 방향과 같은 어떤 부가의 정보에 의해 특성화된다(188). 영역 참조는 바코드, 사진, 자기 스트립 및 정적 텍스트와 같은 대부분의 경우에 중심인 것이 더 나을 것이다. 그러나, 때때로 이름 및 주소의 동적 텍스트와 같은 가변적인 영역의 경우, 영역의 좌측이 사용되어야만 한다. 문서가 유형 및 다른 특성들을 갖는 영역 객체들의 트리 구조로 표현되고(190), 영역 객체들이 사람에게 더 의미가 있을 수 있는 참조 템플릿 표현에서 영역에 의해 계층 구조로 그룹화될 수 있다. 문서의 위치 또는 그의 내용이 인쇄 오프셋, 스캔 중인 문서의 변위, 또는 다른 이유로 인해 변할 수 있는 반면, 영역 객체들의 상대 위치는 문서 유형을 판단하는 데 더 엄격한 제약조건의 역할을 하지만, 이미지 이동 또는 회전이 판독기 스캐닝의 응용 환경에서 제한된다. 상이한 이미지 영역들이 캡처된 이미지에 대해 그래픽으로 표현되고 연결되면, 문서 식별 모듈(40)은 복수의 연결된 영역들을, 데이터베이스에 저장된 복수의 문서 유형 객체들 중 하나와 연관된 도 9의 템플릿 데이터(176)와 같은 템플릿 데이터와 추가로 비교할 수 있다(192). 일반적으로, 템플릿 데이터(176)는 사전 정의된 복수의 연결된 이미지 영역들 및 복수의 사전 정의된 연결된 이미지 영역들 사이의 관계를 정의하고, 문서 식별 모듈(40)은 결정된 연결된 영역들 및 관계들을 사전 정의된 연결된 영역들 및 관계들과 비교한다. 마지막으로, 이 비교에 기초하여, 문서 식별 모듈(40)은, 통합된 유사성 확실성 값(97), 예를 들어 0 내지 100에 의해, 캡처된 이미지(들)가 현재 비교 중인 복수의 문서 유형 객체들 중 하나, 즉 문서 유형 객체(178)에 속하는지 여부를 판단한다(194).

도 11a 내지 도 11c는 도 2의 문서 식별 모듈(40)이 도 9의 레이아웃 매칭 프로세스(164A)를 실행할 때 캡처된 이미지의 상태를 나타낸 예시적인 이미지이다. 도 11a는 이미지 처리 및 이진화(182)를 거친 후의 캡처된 이미지(194A)를 나타낸다. 레이아웃 매칭 프로세스(164A)를 구현하는 데 필요하지는 않지만, 이러한 이미지 처리를 수행함으로써 레이아웃 매칭 프로세스(164A)의 적용의 결과가 크게 향상될 수 있다. 도 11b는 문서 세그먼트화(184)를 거친 후의 캡처된 이미지(194B)를 나타낸다. 레이아웃 매칭 프로세스(164A)에 따라 실행되는 문서 식별 모듈(40)은 캡처된 이미지(194B)를 복수의 연결된 영역들(196A 내지 196N)로 세그먼트화한다. 도 11c는 캡처된 이미지의 그래픽 표현(194C)을 나타낸 것으로서, 복수의 연결된 영역들(196A 내지 196N)의 각각은 노드들(198A 내지 198N) 중 하나에 매핑된다(190). 노드들(198A 내지 198N)의 각각은 또한 다른 노드들 사이의 관계를 지정할 수 있다.

캡처된 이미지가 그래픽으로 표현되면, 문서 식별 모듈(40)은 이 그래픽 표현(194C)을, 도 9의 템플릿 데이터(176)와 같은 템플릿 데이터와 비교할 수 있다. 레이아웃 매칭 프로세스(164A)에 따른 문서 식별 모듈(40)은 하나 이상의 상이한 비교를 수행할 수 있다. 예를 들어, 문서 식별 모듈(40)은 그래픽 표현(194C)에서의 동일한 유형의 영역들의 존재를 템플릿 데이터(176)에서의 영역들의 존재와 단순히 비교할 수 있다. 대안적으로 또는 이러한 영역 유형 비교에 부가하여, 문서 식별 모듈(40)은 크기 및 위치 또는 보다 엄격하게는 영역들의 공간 관계와 같은 어떤 부가의 제약조건에 의해 그래픽 표현(194C)을 템플릿 데이터(176) 내에 저장된 그래픽 표현과 비교할 수 있다. 이러한 종류의 그래픽 비교는, 예를 들어 동적 프로그래밍 알고리즘에 의한 부정확한 그래픽 매칭(Inexact Graphic Matching by Dynamic Programming algorithm)에 의해 신속하게 구현될 수 있다. 그래픽 표현 비교의 어떤 경우에, 문서 식별 모듈(40)은, 제한된 병진 및 회전 제한, 마스킹된 매칭 제한, 누락된 또는 가외의 영역 제한, 동적 내용 제한, 및 부정확한 세그먼트화 및 인쇄 오배치(misplacement) 제한과 같은, 도 1의 이미지 캡처 장치(11) 및 문서 유형(12)의 환경에 대해 지정된 비교에 대한 제한을 암시할 수 있다. 이들 제한 중 하나 이상을 적용하는 것은 레이아웃 매칭 식별 프로세스(164A)를 수행하는 데 필요한 시간을 상당히 감소시킬 수 있다.

제한된 병진 및 회전 제한은 비교를 하기 전에 영역 또는 전체적인 문서가 얼마나 회전될 수 있는지를 제한한다. 마스킹된 매칭 제한은 필요한 비교 횟수를 감소시키기 위해 특정의 문서의 어떤 영역들을 필터링 제거할 수 있다. 누락된 또는 가외의 영역 제한은 캡처된 이미지 내의 불량 또는 노이즈 많은 이미지들에 대한 커스터마이즈된 인쇄 또는 불량 이미지 처리에 의해 야기된 누락된, 병합된 또는 가외의 영역들에 대한 비교를 중단시킬 수 있다. 동적 내용 제한은 이름 및 주소 텍스트 영역과 같은 동적 내용을 포함하는 영역들에 대해 측정될 필요가 있는 관계의 수를 감소시킬 수 있다. 부정확한 세그먼트화 및 인쇄 오배치 제한은 잘못 세그먼트화된 2개 이상의 텍스트 영역들을 조합시킬 수 있으며, 그에 의해 비교되는 영역들의 수를 감소시킨다.

도 12의 우측에는 레이아웃 편집기(30)에 의해 고유 이미지 분류기(47)를 트레이닝시키는 동작 단계들(200-208)을 나타낸 흐름도이다. 주 성분 분석(PCA)으로 또한 알려진 정보 압축 방식으로서, 고유 이미지 방법은 빠른 객체 인식 및 다른 작업들을 달성하기 위해, 많은 이미지들의 집단의 표현 복잡도를 몇개의 정규직교 고유 이미지(orthonormal eigenimage)로 감소시킬 수 있다. 관심의 영역은 전체 문서 영역 또는 동적 내용을 배제하는 것이 나은 부분일 수 있다. 더욱이, 문서의 전처리는 임의의 동적 내용의 영향을 감소시키기 위해 사용될 수 있다.

임의의 경우에, 제1 단계는 모든 가능한 또는 선택적으로 전형적인 이미지 템플릿을 수집하는 것이다(200). 수집된 이미지 템플릿에 대한 템플릿 데이터는 0-평균(zero-mean)으로서 정규화될 수 있다. 그 다음에, 각각의 열(column)이 상이한 이미지 템플릿에 대한 이미지 데이터를 저장하는 데이터 행렬이 형성된다(202). 각각의 열 내의 엔트리들의 각각이 이미지 템플릿의 동일한 부분적인 또는 전체적인 이미지 영역을 나타낼 수 있다. 한 세트의 고유 벡터(Eigen vector)가 이러한 데이터 행렬의 공분산 행렬에 의해 계산되고 각각의 고유값들에 의해 정렬된다(204). 고유 벡터들은 템플릿으로부터의 원래 이미지 데이터로부터의 데이터 행렬로부터 계산되거나 이러한 데이터 행렬의 전치(transpose)에 의해 더 낮은 차원성(dimensionality)으로 감소될 수 있으며, 이들 기법 둘 모두는 수학적으로 등가인 결과를 생성한다. 충분히 큰 고유값, 즉 미리 정의된 문턱값을 초과하는 고유값을 갖는 이들 고유 벡터만을 선택하기 위해 문턱값이 사용될 수 있다(206). 일 예로서, 최대 고유값의 10% 내에 있는 고유값만이 선택되도록 차단(cut-off)이 적용될 수 있다. 이러한 선택된 고유 벡터들의 각각은, 전치된 데이터 행렬로부터 계산되어 저장되는 것처럼, 다시 각각의 고유 이미지로서 매핑될 수 있다. 전술한 프로세스는, 원래 이미지가 전형적으로 매우 높은 차원성을 갖고 정규직교 고유 벡터를 보다 빠르게 찾기 위해 더 낮은 차원성으로 감소된다는 점에서, 수학적으로 간략화하는 프로세스로서 볼 수 있다. 이어서, 이러한 고유 벡터는 다시 원래 이미지의 더 높은 차원성으로 매핑된다. 고유 이미지 형태에서의 마지막 표현은, 이하에 기술된 바와 같이, 캡처된 이미지를 궁극적으로 적용하기 더 쉬울 수 있다. 이러한 세트의 선택된 정규직교 고유 이미지는 최소 자승 오차(least square error)의 의미에서 원래의 템플릿 이미지 데이터 세트를 가장 잘 표현하는 것으로 볼 수 있다.

도 12의 좌측은 도 9의 고유 이미지 문서 매칭 프로세스(164B)를 호출하기 위해 문서 식별 프레임워크(34)를 순회할 때의 도 2의 문서 식별 모듈(40)의 동작 단계들을 나타낸 흐름도이다(210 내지 216). 이러한 일련의 처리 단계들은 (i) 문서 템플릿을 작성하고 데이터베이스에 저장된 각각의 문서 서브-유형 객체들에 대한 참조 가중치 계수 벡터를 사전-계산하기 위해 참조 이미지 데이터에 또는 (ii) 문서 유형을 식별하기 위해 캡처된 이미지 데이터에 적용될 수 있다(210).

고유 이미지 문서 매칭 프로세스(164B)를 호출할 때, 문서 식별 모듈(40)은 상기 선택된 정규직교 고유 이미지에 의해 표현되는 캡처된 이미지의 가중 계수 벡터를 계산(212)하기 위해 고유 이미지 문서 매칭 프로세스(164B)를 실행한다. 이는 캡처된 이미지에 대한 가중 계수 벡터를 생성하기 위해 캡처된 이미지 데이터 벡터(또는 참조 이미지 데이터)를 선택된 정규직교 고유 이미지에 의해 구성된 데이터 행렬에 곱함으로써 행해진다. 즉, 데이터 행렬의 각각의 열은 고유 이미지들 중 하나를 나타내고, 캡처된 이미지 데이터 벡터와의 곱은 계수들의 벡터를 생성하는데, 이 경우 각각의 계수는 정규직교 고유 이미지에 의해 형성된 다차원 공간에서의 캡처된 이미지의 표현을 나타낸다. 그 다음, 문서 식별 모듈(40)은 캡처된 이미지 데이터의 가중치 계수 벡터를, 데이터베이스에 저장된 복수의 문서 서브-유형 객체들 중 하나, 즉 각각의 가능한 참조 문서 유형과 연관된 각각의 사전 계산된 참조 가중치 계수 벡터와 비교한다(214). 이는 캡처된 이미지의 가중치 계수 벡터 및 사전 계산된 참조 가중치 계수 벡터에 대한 2개 벡터의 거리 또는 유사성을 계산한다. 전형적으로, 문서 식별 모듈(40)은 이하의 4가지 표준 거리 계산 알고리즘들 중 하나에 따라 이러한 거리를 계산할 수 있다. 즉, 1) 유클리드 거리, 2) 해밍 거리, 3) 정규 상호 상관도(NCC), 및 4) 마하나로비스(Mahanalobis) 거리. 이들 거리에 기초하여, 고유 이미지 문서 매칭 프로세스(164B)에 따른 문서 식별 모듈(40)은 물품이 현재 비교 중인 복수의 문서 서브-유형 객체들 중 하나, 즉 문서 서브-유형 객체(170)에 속하는지 여부를 판단하고(216), 이 분류는 통상적으로 가장 가까운 이웃(NN)에 기초한다. 이 판단은, 예를 들어, 0 내지 100의 통합된 스케일로 거리를 나타내는 각각의 가능한 참조 문서 유형 객체에 대한 확실성 값의 형태로 나올 수 있다. 이와 같이, 확실성 값은 캡처된 이미지의 가중치 계수 벡터와 가능한 참조 문서들의 각각에 대한 각각의 가중치 계수 벡터 사이의 거리가 사전 정의된 문턱값보다 작은지 여부를 나타낸다.

도 13a 내지 도 13c는, 도 2의 문서 식별 모듈(40)과 같은 문서 식별 모듈이 도 9의 고유 이미지 문서 매칭 프로세스(164B)와 같은 고유 이미지 문서 매칭 프로세스를 실행할 때, 도 13c의 캡처된 이미지(230)의 상태를 나타내는 예시적인 이미지이다. 도 13a 및 도 13b는 이 문서를 식별하기 전에 사용되는 예시적인 트레이닝 이미지 및 결과를 나타낸다. 도 13a는 미국 운전 면허증의 7개 샘플 한 세트를 나타낸 것이다. 즉, 캘리포니아 및 뉴욕으로부터의 2가지 유형, 미네소타, 몬타나 및 주들로부터의 하나이다. 실제 응용에서, 이러한 세트의 템플릿 이미지는 수백개 이상의 이미지에 가까울 수 있다. 레이아웃 편집기(30)는 도 13b에 나타낸 그들 고유 이미지 및 값을 계산한다. 7개 고유 이미지의 이러한 세트는 원래의 7개 템플릿 이미지들을 대략적으로 표현하기 위해 더 높은 고유 값을 갖는 이미지들의 일부만을 사용하여 선택될 수 있다. 이어서, 도 13a의 7개 템플릿 이미지들의 각각은 선택된 고유 이미지들에 의해 구성된 행렬에 곱해져, 데이터베이스(32)에 저장된 이러한 문서 서브-유형에 대한 템플릿 데이터로서 참조 가중치 계수 벡터를 생성한다.

도 13c의 새로 캡처된 이미지(230)에 대해, 문서 식별 모듈(40)이 도 9의 고유 이미지 문서 매칭 프로세스(164B)를 호출하면, 이미지 데이터는 선택된 고유 이미지들에 의해 구성된 동일한 상기 행렬에 곱해져서, 가중치 계수 벡터를 생성한다. 고유 이미지 문서 매칭 프로세스는 이러한 새로운 가중치 계수 벡터를, 현재 비교 중인 복수의 문서 서브-유형 객체들, 즉 트레이닝을 위해 사용된 도 13a의 7개 미국 운전 면허증과 연관된 사전 계산된 참조 가중치 계수 벡터들의 각각과 비교한다. 예를 들어, 문서 식별 모듈(40)은 해밍 거리 계산 알고리즘 또는 다른 알고리즘을 사용하여 새로 캡처된 이미지 데이터와 7개 템플릿 이미지 데이터 사이의 거리를 결정하여 도 13c에 도시된 예시적인 결과(232)를 생성할 수 있다.

새로 캡처된 이미지 데이터에 대한 결과(232)는 해밍 거리 알고리즘에 따라 선택된 고유 이미지들에 의해 결정된 다차원 공간에서 미네소타의 문서 서브-유형 객체와 연관된 템플릿 데이터로부터 518.21의 최단 거리를 나타낸다. 다른 6개 문서 서브-유형 객체들과 연관된 거리보다 이 비교적 훨씬 더 작은 거리는 가장 가까운 이웃(NN)에 기초한 문서 분류에서의 더 나은 일치를 나타낸다.

문서 식별 모듈(40)에 의해 특정 문서 유형을 식별한 후에 도 2의 문서 처리 엔진(36)에 의해 진위를 제공하는 다음 단계는 요구된 특징들이 존재하는지 여부를 확인하기 위해 문서 인증 모듈(42)을 호출하는 것이다. 실제로, 인증 특징은 상기한 식별 특징과 교환가능한 개념으로서, 이는 이미지 분석 방법이 유효성 확인기, 검증기 또는 심지어 분류기의 구현에서 적용될 수 있다는 것을 의미한다. 기본적인 가이드라인은 정확한 문서 유형의 더 낮은 거부율로 최단 시간 내에 식별하기 위해 가능한 한 적은 특징을 사용하는 것이며, 소위 인증 프로세스에 대한 다른 것들은 위조의 더 낮은 오수락율로 단지 식별된 문서로부터만 호출된다.

3가지 방법들은 위조를 식별하기 위해 이용된 인쇄 기술들의 특성들을 획득하기 위한 예시적인 유효성 확인기 방법으로서 여기에 제시되어 있다. 원래의 문서를 복제하기 위해 복사기와 같은 대안의 인쇄 기법을 사용하는 것이 통상의 위조 형태이다. 실제로, 문서 인증 모듈(42)은 여기에 제시된 예시적인 이들 3가지 기법들 이외의 더 많은 방법들을 사용할 수 있다.

예를 들어, 요판 인쇄(Intaglio printing)는 원본 문서를 인쇄하기 위해 1430년대에 독일에서 발명되어 여전히 널리 사용되는 방법이다. 요판 인쇄는 홈을 파거나 절단하여 함몰된 평판을 얻고, 이 평판을 잉크로 채우고 압력을 주어 종이의 인쇄 영역을 밀어올려 3D 효과를 갖는 돋을새김된 외관을 생성한다. 위조에 종종 사용되는 저렴한 대안은 흔히 사용되는 명함과 같은 인쇄에서 사용되는 서모그래프(thermograph)(융기된 잉크)이다.

예를 들어 쓰리엠(3M) 문서 판독기의 CCD 카메라를 갖는 투시 환경 하에서 보는 동안, 어떤 상당한 3D 시각 효과가 캡처될 수 있다. 쓰리엠 명함의 샘플에서와 같이, 도 14a에서의 이미지(240)는 평상형 스캐너로부터 생성된 것이고, 도 14b의 이미지(244)는 도 1의 문서 판독기(11)에 의해 캡처된다. 도 14b에 도시된 바와 같이, 이미지(240)는 문자들로부터의 그림자를 포함하는 3D 효과를 나타낸다.

상기 2개의 이미지에서 문자 "M"의 우측 발 부분을 수평으로 가로질러 이동하는 그레이 변화의 프로파일을 취할 때, 도 14a의 사진(242) 및 도 14b의 사진(246)에서 어떤 중요한 차이를 볼 수 있으며, 스캐너에서 스트로크에 걸쳐 그레이 레벨 변화가 도 14a의 프로파일(242)에서 항상 대칭인 반면, CCD 카메라로부터의 경우는 도 14b의 프로파일(246)에 나타낸 바와 같이 대칭이 아니다. 어두운 골은 카메라의 원래 위치로 내측을 향해 이동한다. 전체적인 시야에 걸쳐 측정함으로써, 각각의 골이 보여주는 비대칭 이동의 양이 변하며, 도 14c의 쓰리엠 명함에 대해서와 같이, 시야의 원점으로부터의 거리 오프셋에 대해 정량화될 수 있다. 예시된 예에서 오프셋에 대한 측정 단위는 밀(mil)이다.

기법들은 도 14c에서 기울기가 얼마나 가파른지에 의해 결정될 수 있는, 스트로크가 얼마나 높이 융기해 있는지와 같은 이미지로부터 정확한 3D 파라미터들을 측정함으로써 비대칭이 존재하는지 여부를 확인하는 소위 "명암으로부터의 스테레오(Stereo from Shading)" 기술로부터 용이하게 적용될 수 있다.

다른 인쇄 기술은 인쇄 표면 상에 절개(incision)를 생성하는 제판술(engraving)이며, 그에 따라서 전술한 방법과 반대의 광학적 효과를 생성한다. 상기한 프로파일링 기법은 마찬가지로 이러한 인쇄 기법들에 의해 생성되는 이미지들 및/또는 문자들의 3D 특성들을 분석하는 데 이용될 수 있다.

이미지를 종이 또는 다른 매체 상에 인쇄할 때, 연속적인 이미지(예를 들어, 사진 및 ID 프린터)에 더하여, 다른 2개의 가장 흔히 사용되는 복사 기법들은 연속적인 톤 이미지를 이진법의 1(들)에 의해 시뮬레이트하고, 하프톤 스크리닝(halftone screening) 기법(진폭 변조)은 다양한 크기의 등간격 도트들을 사용하는 반면, 확률적 스크리닝(stochastic screening)(주파수 변조)은 변화하는 위치 및 밀도로 동일한 크기의 도트들을 적용한다. 이들 인쇄 기법의 샘플이 도 15a의 샘플 이미지(250, 252, 254)에 나타나 있다.

텍스처 분석으로부터의 공분산 행렬의 방법은 하프톤 스크리닝에서의 등간격 도트들에 대한 양호한 측정이고, 고주파 노이즈 또는 에지 검출은 확률적 스크리닝에 대한 이상적인 지표이다.

다른 예로서, 컬러 이미지가 보통 다수의 스크린에 의해 재구성될 수 있으며, 하프톤 스크리닝에서, 상이한 각도의 CMYK 4개의 컬러 평면이 도 15b의 샘플(256) 및 도 15b의 확대 이미지(258)에 나타낸 바와 같은 로제트(rosette) 패턴을 조합한다.

도 15c는 컬러 CCD 카메라에 의해 캡처된 이미지(256)의 RGB 평면을 분해함으로써 발생된 한 세트의 샘플 이미지(260, 262, 264)를 나타낸다. 도 15c의 한 세트의 이미지는 유사하게 처리될 수 있는 도 15c의 샘플 이미지(260, 262, 264)에서의 앵글 스크린(angled screen)을 나타낸다.

복제가 문서 위조의 가장 흔한 경우들 중 하나이기 때문에, 스캐닝된 텍스트는 또한 각각 연속 톤, 하프톤 및 확률적 스크리닝 방법에 의한 것인 도 15d의 이미지들(266, 268, 270)에서의 비교와 같이 상이한 스크리닝 방법을 사용함으로써 변한다. 이 경우에, 스트로크 폭 및 에지 곡률의 변동이 원본 문서의 복제에서 스크리닝 방법들에 의해 야기되는 문자 왜곡의 양호한 척도일 수 있다.

상기 종래의 인쇄 기법들에 더하여, 이미지의 매체 상으로의 복제를 제한할 뿐만 아니라 위조의 방지를 추가로 돕기 위해 마이크로 구조에 다른 정보를 담기 위해 많은 새로운 방법들이 설계되고 있다. 이들 방법의 대부분이 그들 자신의 독점 알고리즘에 의해서만 디코딩될 수 있는 반면, 가격-효율적인 해결책에서 진위 확인을 위한 특징이 존재하는지 여부를 확인하기 위해 이미지 처리에서 어떤 간단한 특징 추출 방법을 여전히 사용할 수 있다. 일부 예들이 이하에서 논의된다.

예를 들어, 일부 회사들은 기계-판독가능 코드 및 사람-판독가능 내용 둘 모두가 식별될 수 있도록 사람-판독가능 내용에 의해 오버레이되어 있는 기계-판독가능 코드를 포함하는 문서를 인코딩 및 디코딩한다. 동작에서, 배경 이미지가 발생되는데, 여기에서 배경 이미지는 그레이스케일 이미지 데이터 값에 기초한 코딩된 글리프톤 셀(glyphtone cell)을 포함하며, 하프톤 셀의 각각은 도 16a에 나타낸 바와 같이 적어도 2개의 구분가능한 패턴들 중 하나를 포함한다.

다른 최근에 제안된 방법은, 도 16b의 이미지(280)에 나타낸 바와 같이, 도트들 중 일부를 이동시킴으로써 정규의 하프톤 스크리닝에 대한 위상 변조에 기초하고 있다. 이 경우에, 렌티큘러 디코딩 렌즈들을 동일한 스크리닝 주파수로 배치시킴으로써 인코딩된 글자 "SI"가 도 16b의 이미지(282)에서 보이게 된다. 본 명세서에 기술된 기법들은 이러한 이미지들에 용이하게 적용될 수 있다.

다른 방법은 컬러 또는 그레이스케일 이미지 평면(들)을 마이크로타입 문자(microtype character) 층들로 변환하는데, 각각의 층은 다른 층에 대해 다른 각도로 배열되어 있다. 마이크로타입 문자 폭은, 다중 컬러인 경우, 도 16c에 나타낸 바와 같이 그레이스케일 또는 컬러 값에 기초하여 오버레이된 확대된 이미지에 의해 폭이 변조된다. 본 명세서에 기술된 기법들은 이러한 이미지들에 용이하게 적용될 수 있다.

본 시스템이 높은 정확도를 갖는 문서들을 신속하고 효율적으로 식별하는 방법을 보여주는 일 예로서, 도 17a 내지 도 17c는 ICAO-호환 MRZ 구역을 사용하지 않고 한 세트의 206개의 상이한 US 운전 면허증으로부터 현재 버전의 뉴욕 운전 면허증을 식별하고 유효성 확인하는 프로세스를 나타낸다. 이미지들의 속성을 추출하고 재귀적으로 처리하기 위해 호출되어 적용되는 구현된 분류기들 및 검증기들이 이하의 표 I에 열거되어 있다.

[표 I]

표 I의 우측 열은 각각의 광원을 나타내고 있다. 이 리스트는 계산 효율성의 순서로 되어 있고 순차적으로 실행된다. 마지막 2개는 문서에서 예상되는 2개의 이미지 패턴 매치에 의해 정의된다.

도 17b는 한번의 테스트에서 분류기들 또는 검증기들의 각각에 대해 이러한 예에서 얼마나 많은 문서 객체들이 검사되었는지를 나타낸다. 도시된 바와 같이, 공백 분류기/검증기는 테스트의 시작에서 206개 후보들 전부를 검사하였으며, 가시선 패턴 매칭 분류기/검증기는 정확한 문서 유형의 단지 하나의 가능성으로만 제한되었다. 도 17b의 곡선은 후보 가능성이 약 200 밀리초 내에 효율적으로 축소되는 방법을 나타낸다. 도 17c는 이러한 유형의 문서에 대해 문서 식별 프레임워크에 대한 식별 성능을 나타내는 각각의 동작의 거부율을 나타낸다. 로고 패턴 매칭 분류기/검증기가 15개의 후보 중에서 정확한 문서를 식별하고 다른 14개를 폐기한다는 점에서 93% 거부율의 최고 성능을 갖기 때문에, 이는 비교적 시간이 걸리는 동작이다.

도 17a는, 각각 적외선, 가시선, 자외선 및 재귀-반사로부터 4개의 이미지 내의 예상된 보안 이미지 패턴을 검색할 때, 이 문서가 현재의 뉴욕 운전 면허증으로서 식별된 후에 호출된 성공적인 유효성 확인 결과의 일부를 나타낸다. 결과는 본 시스템이 식별 및 차후의 유효성 확인 둘 모두를 완료한 후의 도 8a에 나타낸 것과 유사하다.

본 발명의 다양한 실시예들에 대해 기술하였다. 이들 및 다른 실시예들은 이하의 특허청구범위의 범주 내에 속한다.

Claims (31)

1. 미지 문서의 하나 이상의 캡처된 이미지를 수신하는 단계;
   복수의 문서 유형 객체들 - 복수의 문서 유형 객체들은 캡처된 이미지로부터 속성을 추출하여 미지 문서를 문서 유형 객체들 중 하나에 의해 표현되는 문서 유형으로서 분류하고 검증하기 위해 복수의 재귀적 프로세스들을 참조함 - 을 동적 문서 식별 프레임워크에 따른 데이터 구조 내에 저장하는 단계;
   미지 문서에 대하여, 미지 문서의 캡처된 이미지에 재귀적 프로세스들을 적용함으로써 추출된 속성에 기초하여 달라지는 순서로 데이터 구조를 순회하고 문서 유형 객체들을 액세스하는 단계; 및
   데이터 구조를 순회할 때 미지 문서를 복수의 문서 유형 객체들 중 하나로서 식별하는 단계
   를 포함하는 방법.
2. 보안 문서 인증 장치로서,
   미지 문서로부터 하나 이상의 이미지를 캡처하는 이미지 캡처 인터페이스;
   캡처된 이미지로부터 속성을 추출하기 위해 복수의 재귀적 프로세스들을 참조하는 복수의 문서 유형 객체들을 동적 문서 식별 프레임워크에 따른 데이터 구조 내에 저장하는 메모리;
   미지 문서의 캡처된 이미지에 재귀적 프로세스들을 적용함으로써 추출된 속성에 기초하여 달라지는 순서로 데이터 구조를 순회하고 문서 유형 객체들을 액세스하고, 데이터 구조를 순회할 때 미지 문서를 복수의 문서 유형 객체들 중 하나로서 식별하는 문서 처리 엔진
   을 포함하는 보안 문서 인증 장치.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제

Images