[go: up one dir, main page]

KR101904203B1 - 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법 - Google Patents

시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법 Download PDF

Info

Publication number
KR101904203B1
KR101904203B1 KR1020120066061A KR20120066061A KR101904203B1 KR 101904203 B1 KR101904203 B1 KR 101904203B1 KR 1020120066061 A KR1020120066061 A KR 1020120066061A KR 20120066061 A KR20120066061 A KR 20120066061A KR 101904203 B1 KR101904203 B1 KR 101904203B1
Authority
KR
South Korea
Prior art keywords
image
tile
source image
feature point
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020120066061A
Other languages
English (en)
Other versions
KR20130142661A (ko
Inventor
태용민
문영수
조정욱
차준혁
박현상
이시화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120066061A priority Critical patent/KR101904203B1/ko
Priority to JP2013129468A priority patent/JP6121810B2/ja
Priority to US13/922,449 priority patent/US9171227B2/en
Priority to EP13173009.5A priority patent/EP2677463A3/en
Priority to CN201310246567.2A priority patent/CN103514451B/zh
Publication of KR20130142661A publication Critical patent/KR20130142661A/ko
Application granted granted Critical
Publication of KR101904203B1 publication Critical patent/KR101904203B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법에 관한 것으로서, 일실시예에 따른 특징점 정보 추출 장치는 대용량 임시기억장치에 저장된 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 제1 마스터 인터페이스부, 및 상기 생성되는 적어도 하나 이상의 타일 이미지를 입력받고, 상기 입력되는 적어도 하나 이상의 타일 이미지로부터 특징점 정보를 추출하는 특징점 정보 추출부를 포함하고, 상기 제1 마스터 인터페이스부는 상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 상기 적어도 하나 이상의 타일 이미지를 생성할 수 있다.

Description

시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법{APPARATUS AND METHOD OF EXTRACTING FEATURE INFORMATION OF LARGE SOURCE IMAGE USING SCALAR INVARIANT FEATURE TRANSFORM ALGORITHM}
아래의 실시예들은 소스 이미지를 적어도 하나 이상의 타일 이미지로 분할하여 리딩함으로써, 대용량 소스 이미지에 대해서도 시프트 코어의 처리 용량에 관계없이 시프트 알고리즘을 적용하여 특징점 정보를 추출하는 장치 및 방법에 관한 것이다.
시프트(SIFT, Scale-Invariant Feature Transform) 알고리즘은 영상처리 분야에서 널리 이용되는 방법으로서, 영상 내에서 특징점(feature)의 위치를 추출하고 특징점 주변의 정보(descriptor)를 저장할 수 있다.
시프트 알고리즘으로부터 생성되는 특징점의 위치와 특징점 주변의 정보를 포함하는 특징점 정보는 조명 변화(illumination), 회전(rotation), 크기 변화(scaling), 시점(viewpoint)에도 강인한 성질을 나타낸다.
이로 인해 시프트 알고리즘은 영상 처리 분야에서 2개 이상의 영상을 사용하는 경우 영상 사이의 매칭(matching)을 위해서 사용되고 있다.
즉, 시프트 알고리즘은 영상의 크기 변화, 회전, 조명변화에 강인한 특징점을 추출하기 때문에, 영상에 있어 정확한 매칭이 필요한 경우 사용될 수 있다.
시프트 알고리즘으로 특징점 정보를 추출하기 위해서는 비교적 많은 계산량이 필요하다.
시프트 알고리즘을 하드웨어로써 구현하고 상위 알고리즘에 대해서는 소프트웨어로 구현하는 접근방식은　고화질의 대용량 영상을 처리하는데 유리할 수 있다.
시프트 알고리즘 자체도 하드웨어와 소프트웨어로 나누어 분산처리가 가능하지만, 고화질의 대용량 영상을 고속 처리하기 위해서는 하드웨어 비용을 감수하더라도 모든 기능을 하드웨어로 처리하는 것이 바람직하다.
일실시예에 따른 특징점 정보 추출 장치는, 대용량 임시기억장치에 저장된 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 제1 마스터 인터페이스부, 및 상기 생성되는 적어도 하나 이상의 타일 이미지를 입력받고, 상기 입력되는 적어도 하나 이상의 타일 이미지로부터 특징점 정보를 추출하는 특징점 정보 추출부를 포함하고, 상기 제1 마스터 인터페이스부는 상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 상기 적어도 하나 이상의 타일 이미지를 생성할 수 있다.
일실시예에 따른 상기 제1 마스터 인터페이스부는, 상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 제1 타일 이미지 및 제2 타일 이미지를 생성하되, 상기 제1 타일 이미지와 상기 제2 타일 이미지가 선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 상기 제1 타일 이미지와 상기 제2 타일 이미지를 생성할 수 있다.
일실시예에 따른 상기 특징점 정보 추출부는 상기 적어도 하나 이상의 타일 이미지의 특징점 위치 및 상기 특징점 위치에 대응되는 디스크립터(descriptor) 중에서 적어도 하나를 상기 특징점 정보로서 추출할 수 있다.
일실시예에 따른 상기 특징점 정보 추출부는, 상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 적어도 하나 이상의 제1 옥타브(octave)와 가우시안 필터를 컨볼루션 연산하여 적어도 하나 이상의 가우시안 영상을 생성하며, 상기 생성된 적어도 하나 이상의 가우시안 영상으로부터 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상을 생성하고, 상기 생성된 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상으로부터 후보 특징점들을 생성하고, 상기 생성된 후보 특징점들 중에서 상기 특징점 정보를 추출할 수 있다.
일실시예에 따른 상기 특징점 정보 추출부는, 상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 결정된 적어도 하나 이상의 제1 옥타브(octave)로부터 제1 후보 특징점을 결정하고, 상기 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징(downsizing)하여 적어도 하나 이상의 제2 옥타브(octave)를 생성하고 상기 생성된 적어도 하나 이상의 제2 옥타브(octave)에 기초하여 제2 후보 특징점을 결정하며, 상기 결정된 제1 후보 특징점과 상기 결정된 제2 후보 특징점을 비교하여 상기 특징점 정보를 추출할 수 있다.
일실시예에 따른 특징점 정보 추출 장치는, 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징하여 적어도 하나 이상의 리듀스드 이미지(reduced image)를 생성하고, 상기 생성된 적어도 하나 이상의 리듀스드 이미지(reduced image) 간에 겹침 영역을 제거하여 제2 소스 이미지를 생성하고, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리하는 제2 마스터 인터페이스부를 더 포함할 수 있다.
일실시예에 따른 상기 제1 마스터 인터페이스부는, 상기 대용량 임시기억장치에 저장된 상기 제2 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하고, 상기 특징점 정보 추출부는, 상기 제2 소스 이미지로부터 생성되는 적어도 하나 이상의 타일 이미지를 제2 옥타브(octave)로서 입력받아 상기 제2 후보 특징점을 결정할 수 있다.
일실시예에 따른 특징점 정보 추출 장치는, 대용량 임시기억장치에서 제1 소스 이미지로부터 분할된 적어도 하나 이상의 제1 타일 이미지를 리딩하는 리딩부, 상기 리딩한 적어도 하나 이상의 제1 타일 이미지에 시프트 알고리즘을 적용하여 제1 후보 특징점을 생성하고, 상기 적어도 하나 이상의 제1 타일 이미지를 다운사이징(downsizing)하여 적어도 하나 이상의 제2 타일 이미지를 출력하는 시프트 알고리즘 연산부, 및 상기 출력되는 적어도 하나 이상의 제2 타일 이미지를 합성하여 제2 소스 이미지를 생성하고, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리하는 쓰기부를 포함하고, 상기 리딩부는, 상기 제2 소스 이미지로부터 분할된 적어도 하나 이상의 제2 타일 이미지를 리딩하고, 상기 시프트 알고리즘 연산부는 상기 리딩된 적어도 하나 이상의 제2 타일 이미지로부터 제2 후보 특징점을 생성하며, 상기 생성한 제1 후보 특징점과 상기 생성한 제2 후보 특징점에 기초하여 특징점 정보를 생성할 수 있다.
일실시예에 따른 상기 리딩부는, 상기 제1 소스 이미지의 수평 해상도를 기준으로 분할하여 상기 적어도 하나 이상의 제1 타일 이미지로서 리딩하고, 상기 제2 소스 이미지의 수평 해상도를 기준으로 분할하여 상기 적어도 하나 이상의 제2 타일 이미지로서 리딩할 수 있다.
일실시예에 따른 상기 리딩부는, 선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 상기 적어도 하나 이상의 제1 타일 이미지 각각을 리딩하거나, 상기 적어도 하나 이상의 제2 타일 이미지 각각을 리딩할 수 있다.
일실시예에 따른 상기 쓰기부는, 상기 겹침 영역을 고려하여 상기 적어도 하나 이상의 제2 타일 이미지를 합성하여 상기 제2 소스 이미지를 생성할 수 있다.
일실시예에 따른 소스 영상의 특징점 정보 추출 방법은 제1 마스터 인터페이스부에서, 대용량 임시기억장치에 저장된 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 단계, 및 특징점 정보 추출부에서, 상기 생성되는 적어도 하나 이상의 타일 이미지를 입력받고, 상기 입력되는 적어도 하나 이상의 타일 이미지로부터 특징점 정보를 추출하는 단계를 포함하고, 상기 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 상기 단계는, 상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 제1 타일 이미지 및 제2 타일 이미지를 생성하되, 상기 제1 타일 이미지와 상기 제2 타일 이미지가 선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 상기 제1 타일 이미지와 상기 제2 타일 이미지를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 상기 특징점 정보를 추출하는 단계는, 상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 결정된 적어도 하나 이상의 제1 옥타브(octave)로부터 제1 후보 특징점을 결정하는 단계, 상기 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징(downsizing)하여 적어도 하나 이상의 제2 옥타브(octave)를 생성하고 상기 생성된 적어도 하나 이상의 제2 옥타브(octave)에 기초하여 제2 후보 특징점을 결정하는 단계, 및 상기 결정된 제1 후보 특징점과 상기 결정된 제2 후보 특징점을 비교하여 상기 특징점 정보를 추출하는 단계를 포함할 수 있다.
일실시예에 따른 소스 영상의 특징점 정보 추출 방법은 제2 마스터 인터페이스부에서, 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징하여 적어도 하나 이상의 리듀스드 이미지(reduced image)를 생성하고, 상기 생성된 적어도 하나 이상의 리듀스드 이미지(reduced image) 간에 겹침 영역을 제거하여 제2 소스 이미지를 생성하고, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리하는 단계를 더 포함할 수 있다.
일실시예에 따른 소스 영상의 특징점 정보 추출 방법은 상기 제1 마스터 인터페이스부에서, 상기 대용량 임시기억장치에 저장된 상기 제2 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 단계를 더 포함하고, 상기 제2 후보 특징점을 결정하는 단계는, 상기 제2 소스 이미지로부터 생성되는 적어도 하나 이상의 타일 이미지를 제2 옥타브(octave)로서 입력받아 상기 제2 후보 특징점을 결정하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 특징점 정보 추출 장치를 설명하는 도면이다.
도 2는 일실시예에 따른 적어도 하나 이상의 타일 이미지로 분할되는 소스 이미지를 설명하는 도면이다.
도 3은 시프트 알고리즘을 이용하여 후보 특징점을 추출한 적어도 하나 이상의 타일 이미지에 대해서 다운사이징(downsizing) 후 합성하여 쓰기 처리하는 실시예를 설명하는 도면이다.
도 4는 일실시예에 따른 특징점 정보 추출부를 구체적으로 설명하는 도면이다.
도 5는 일실시예에 따른 특징점 정보 추출부에서 각 옥타브(octave) 별로 생성하는 가우시안(Gaussian) 영상 및 가우시안 차이값(Difference of Gaussian) 영상을 생성하는 것을 설명하는 도면이다.
도 6은 일실시예에 따른 특징점 정보 추출 장치를 설명하는 도면이다.
도 7은 일실시예에 따른 소스 이미지를 설명하는 도면이다.
도 8은 도 7의 소스 이미지로부터 생성되는 적어도 하나 이상의 타일 이미지를 설명하는 도면이다.
도 9는 일실시예에 따른 특징점 정보 추출 방법을 설명하는 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 실시예들을 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 해당 기술이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 특징점 정보 추출 장치(100)를 설명하는 도면이다.
일실시예에 따른 특징점 정보 추출 장치(100)는 대용량 임시기억장치(110)에 저장된 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 제1 마스터 인터페이스부(120), 및 상기 생성되는 적어도 하나 이상의 타일 이미지를 입력받고, 상기 입력되는 적어도 하나 이상의 타일 이미지로부터 특징점 정보를 추출하는 특징점 정보 추출부(130)를 포함할 수 있다.
예를 들어, 일실시예에 따른 대용량 임시기억장치(110)는 임의접근기억장치(Random Access Memory)의 한 종류로서, 컴퓨터 등의 기기에서 기억장치로 흔히 사용되는 DRAM(dynamic random access memory)으로 해석될 수 있다.
또한, 제1 마스터 인터페이스부(120)는, 상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 상기 적어도 하나 이상의 타일 이미지를 생성할 수 있다.
상기 적어도 하나 이상의 타일 이미지는 상기 제1 소스로부터 분할되는 이미지로 해석될 수 있다.
보다 구체적으로, 상기 적어도 하나 이상의 타일 이미지는 제1 소스 이미지의 수평 해상도를 기준으로 분할되는 부분 이미지로 해석될 수 있다.
다시 말해, 제1 마스터 인터페이스부(120)는 상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 제1 타일 이미지 및 제2 타일 이미지를 생성할 수 있다.
이때, 제1 마스터 인터페이스부(120)는 상기 제1 타일 이미지 및 상기 제2 타일 이미지를 생성하되, 상기 제1 타일 이미지와 상기 제2 타일 이미지가 선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 생성할 수 있다.
상기 겹침 영역은 상기 제1 타일 이미지와 상기 제2 타일 이미지가 연속되지 않아, 시프트 알고리즘을 통해서 추출이 어려울 수 있는 특징점 정보에 대해서도 추출할 수 있도록 하기 위한 마진(margin)으로 해석될 수 있다.
상기 추출되는 특징점 정보는 디스크립터로 해석될 수 있다.
이때, 제3 마스터 인터페이스부(150)는 상기 추출되는 특징점 정보, 즉 디스크립터를 DRAM(dynamic random access memory) 등, 외부의 대용량 SRAM 버퍼(SPM: Scratch PAD memory)로 저장하기 위한 마스터 인터페이스로 해석될 수 있다.
상기 적어도 하나 이상의 타일 이미지, 상기 제1 타일 이미지, 상기 제2 타일 이미지, 및 상기 소스 이미지 등에서 대해서는 도 2를 통해 상세히 설명한다.
도 2는 일실시예에 따른 적어도 하나 이상의 타일 이미지로 분할되는 소스 이미지(200)를 설명하는 도면이다.
도 2에서 보는 바와 같이, 소스 이미지(200)는 'H1 x V1'의 해상도의 크기를 갖는 영상으로 해석될 수 있다.
즉, 소스 이미지(200)의 수평 해상도는 H1이고, 수직 해상도 V1일 수 있다.
일실시예에 따른 소스 이미지(200)는 제1 마스터 인터페이스부에서 제1 타일 이미지(210)와 제2 타일 이미지(220)를 포함하는 상기 적어도 하나 이상의 타일 이미지로 분할하여 리딩될 수 있다.
이때, 제1 타일 이미지(210)와 제2 타일 이미지(220)는 Ho의 폭으로 형성되는 겹침 영역(230)에서 공통의 이미지를 갖는다.
다시 말해, 일실시예에 따른 제1 마스터 인터페이스부는 소스 이미지(200)에 대해서 Ho의 폭으로 형성되는 겹침 영역(230)이 존재하도록 제1 타일 이미지(210)와 제2 타일 이미지(220)를 분할할 수 있다.
마찬가지로 일실시예에 따른 제1 마스터 인터페이스부는 다른 타일 이미지들에 대해서도 Ho의 폭으로 형성되는 겹침 영역(230)이 존재하도록 소스 이미지(200)를 분할하여 생성할 수 있다.
상기 제1 타일 이미지(210)와 상기 제2 타일 이미지(220)는 수평 해상도 Hs와 수직 해상도 V1의 크기를 갖는 이미지로서, 소스 이미지(200)의 일부분일 수 있다.
또한, Ho의 폭으로 형성되는 겹침 영역(230)에서 상기 제1 타일 이미지(210)와 상기 제2 타일 이미지(220) 간에 공통된 이미지를 포함할 수 있다.
또한, 상기 제1 타일 이미지(210)는 Hs - H0의 수평 해상도에 해당하는 면적에서 다른 타일 이미지와 겹치지 않는 이미지를 포함할 수 있다.
또한, 상기 제2 타일 이미지(220)는 Hs - 2H0의 수평 해상도에 해당하는 면적에서 다른 타일 이미지와 겹치지 않는 이미지를 포함할 수 있다.
다시 도 1을 참고하면, 일실시예에 따른 특징점 정보 추출부(130)는 상기 적어도 하나 이상의 타일 이미지의 특징점 위치 및 상기 특징점 위치에 대응되는 디스크립터(descriptor) 중에서 적어도 하나를 상기 특징점 정보로서 추출할 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 상기 적어도 하나 이상의 타일 이미지로부터 상기 특징점 위치 및 상기 특징점 위치에 대응되는 디스크립터(descriptor)를 생성하기 위해서, 시프트 알고리즘을 이용할 수 있다.
구체적으로, 일실시예에 따른 특징점 정보 추출부(130)는 상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정할 수 있다.
또한, 일실시예에 따른 특징점 정보 추출부(130)는 상기 적어도 하나 이상의 제1 옥타브(octave)와 가우시안 필터를 컨볼루션 연산하여 적어도 하나 이상의 가우시안 영상을 생성할 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 [수학식 1]을 이용하여, 상기 제1 옥타브(octave)와 가우시안 필터로부터 가우시안 영상을 생성할 수 있다.
[수학식 1]
Figure 112012049006578-pat00001

Figure 112012049006578-pat00002
는 가우시안 영상이고,
Figure 112012049006578-pat00003
는 가우시안 필터이며,
Figure 112012049006578-pat00004
는 입력되는 상기 적어도 하나 이상의 타일 이미지, 즉 제1 옥타브(octave)로 해석될 수 있다.
이때, 일실시예에 따른 특징점 정보 추출부(130)는 상기 가우시안 필터의 시그마 값(
Figure 112012049006578-pat00005
)을 변경하면서 블러(blur)의 정도가 달라지도록 상기 적어도 하나 이상의 가우시안 영상을 생성할 수 있다.
상기 가우시안 필터의 시그마 값(
Figure 112012049006578-pat00006
)은 입력 영상, 즉 소스 이미지에 대해서 미리 정해진 다양한 표준편차 계수 값으로 해석될 수 있다.
다시 말해, 일실시예에 따른 특징점 정보 추출부(130)는 상기 가우시안 필터의 시그마 값(
Figure 112012049006578-pat00007
)을 변경하면서
Figure 112012049006578-pat00008
와
Figure 112012049006578-pat00009
를 컨볼루션 연산하여
Figure 112012049006578-pat00010
를 생성할 수 있다.
예를 들어, 상기 가우시안 필터의 초기 시그마 값(
Figure 112012049006578-pat00011
)은 1.6으로 결정되고,
Figure 112012049006578-pat00012
배씩 상기 가우시안 필터의 초기 시그마 값(
Figure 112012049006578-pat00013
)을 변경하면서 상기 적어도 하나 이상의 가우시안 영상을 생성할 수 있다.
또한, 일실시예에 따른 특징점 정보 추출부(130)는 상기 [수학식 1]을 이용하여 [수학식 2]와 같이
Figure 112012049006578-pat00014
를 생성할 수 있다.
[수학식 2]
Figure 112012049006578-pat00015

[수학식 2]에서
Figure 112012049006578-pat00016
는 가우시안 필터이고,
Figure 112012049006578-pat00017
,
Figure 112012049006578-pat00018
는 입력되는 옥타브(octave)의 위치 정보이고,
Figure 112012049006578-pat00019
는 가우시안 영상의 블러를 변경하기 위한 정보로 해석될 수 있다.
다음으로, 일실시예에 따른 특징점 정보 추출부(130)는 상기 생성된 적어도 하나 이상의 가우시안 영상으로부터 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상을 생성할 수 있다.
이를 위해, 일실시예에 따른 특징점 정보 추출부(130)는 [수학식 3]을 이용하여 상기 가우시안 차이값(Difference of Gaussian) 영상을 생성할 수 있다.
즉, 일실시예에 따른 특징점 정보 추출부(130)는 각 옥타브(octave)를 구성하는 상기 생성된 적어도 하나 이상의 가우시안 영상 간의 차이를 이용해서 상기 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상을 생성할 수 있다.
[수학식 3]
Figure 112012049006578-pat00020

Figure 112012049006578-pat00021
는 입력되는 타일 이미지의 위치 중에서
Figure 112012049006578-pat00022
,
Figure 112012049006578-pat00023
로 식별되는위치에서의 가우시안 차이값(Difference of Gaussian) 영상으로 해석될 수 있다.
Figure 112012049006578-pat00024
와
Figure 112012049006578-pat00025
는 가우시안 영상의 생성에 이용된 가우시안 필터로 해석될 수 있다. 이때,
Figure 112012049006578-pat00026
는 가우시안 필터의 시그마 값(
Figure 112012049006578-pat00027
)을 갖는 필터로 해석될 수 있고,
Figure 112012049006578-pat00028
는 가우시안 필터의 시그마 값(
Figure 112012049006578-pat00029
)을 갖는 필터로 해석될 수 있다.
Figure 112012049006578-pat00030
는
Figure 112012049006578-pat00031
에 의해서 생성되는 가우시안 영상 이후에 연이은 가우시안 영상을 생성하기 위한 가우시안 필터로 해석될 수 있다.
또한, 상기
Figure 112012049006578-pat00032
는 가우시안 필터의 시그마 값을 일정 배수로 증가시킴으로써, 생성되는 가우시안 영상들의 블러를 변경시키기 위한 상수로서 예를 들어
Figure 112012049006578-pat00033
일 수 있다.
Figure 112012049006578-pat00034
는 입력되는 상기 적어도 하나 이상의 타일 이미지, 즉 제1 옥타브(octave)로 해석될 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 [수학식 1] 내지 [수학식 3]을 이용해서 제1 옥타브(octave)에 해당하는 가우시안 차이값(Difference of Gaussian) 영상을 생성할 수 있다.
또한 상기 생성한 가우시안 차이값(Difference of Gaussian) 영상으로부터 특징점으로 결정될 수 있는 제1 후보 특징점들을 추출할 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 [수학식 1] 내지 [수학식 3]을 이용해서 제2 옥타브(octave)에 해당하는 가우시안 차이값(Difference of Gaussian) 영상을 생성할 수 있다.
또한 상기 제2 옥타브(octave)에서 생성한 가우시안 차이값(Difference of Gaussian) 영상으로부터 제2 후보 특징점을 추출할 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 이와 같이 선정된 횟수만큼 옥타브(octave)를 달리하여 후보 특징점들을 추출하고, 추출된 후보 특징점들로부터 특징점 정보를 추출할 수 있다.
즉, 일실시예에 따른 특징점 정보 추출부(130)는 상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 결정된 적어도 하나 이상의 제1 옥타브(octave)로부터 제1 후보 특징점을 결정할 수 있다.
다음으로, 일실시예에 따른 특징점 정보 추출부(130)는 상기 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징(downsizing)하여 리듀스드 이미지(reduced image)를 생성할 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 상기 리듀스드 이미지(reduced image)로부터 생성된 제2 소스 이미지를 분할하여 적어도 하나 이상의 타일 이미지로 리딩하고, 상기 리딩되는 적어도 하나 이상의 타일 이미지를 제2 옥타브(octave)로서 생성할 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 상기 생성된 적어도 하나 이상의 제2 옥타브(octave)에 기초하여 제2 후보 특징점을 결정하며, 상기 결정된 제1 후보 특징점과 상기 결정된 제2 후보 특징점을 비교하여 상기 특징점 정보를 추출할 수 있다.
이때, 상기 제2 옥타브(octave)는, 상기 적어도 하나 이상의 제1 옥타브(octave)로부터 다운사이징 후 생성된 리듀스드 이미지(reduced image) 중에서, 특정 리듀스드 이미지(reduced image)가 2개씩 결합하여 생성되는 적어도 하나 이상의 타일 이미지로 해석될 수 있다.
또한, 제2 소스 이미지는 상기 제2 옥타브에 포함되는 적어도 하나 이상의 타일 이미지의 겹침 영역을 제거하여 합성하여 생성되는 전체의 이미지로 해석될 수 있다.
다시 말해, 상기 제2 소스 이미지는 상기 제1 소스 이미지의 수평 해상도와 수직 해상도를 선정된 비율로 축소한 이미지로 해석될 수 있다.
예를 들어, 상기 제2 소스 이미지는 상기 제1 소스 이미지의 수평 해상도와 수직 해상도를 각각 1/2배 축소한 이미지로 해석될 수 있다.
일실시예에 따른 특징점 정보 추출 장치(100)는 제1 소스 이미지로부터 다운사이징된 제2 소스 이미지를 생성하기 위해서 제2 마스터 인터페이스부(140)를 더 포함할 수 있다.
일실시예에 따른 제2 마스터 인터페이스부(140)는 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징하여 적어도 하나 이상의 리듀스드 이미지(reduced image)를 생성할 수 있다.
또한, 일실시예에 따른 제2 마스터 인터페이스부(140)는 상기 생성된 적어도 하나 이상의 리듀스드 이미지(reduced image) 간에 겹침 영역을 제거하여 제2 소스 이미지를 생성하며, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리할 수 있다.
제2 마스터 인터페이스부(140)가 합성하는 상기 제2 소스 이미지는 도 3을 이용하여 상세히 설명한다.
도 3은 시프트 알고리즘을 이용하여 후보 특징점을 추출한 적어도 하나 이상의 타일 이미지에 대해서 다운사이징(downsizing) 후 합성하여 쓰기 처리하는 실시예를 설명하는 도면이다.
일실시예에 따른 제2 마스터 인터페이스부(140)는 적어도 하나 이상의 제2 옥타브(octave)를 입력받을 수 있다.
이에, 일실시예에 따른 제2 마스터 인터페이스부(140)는 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징하여 적어도 하나 이상의 리듀스드 이미지(310, reduced image)를 생성할 수 있다.
상기 리듀스드 이미지(310, reduced image)는 제1 소스 이미지에 대한 타일 이미지로부터 수평 해상도 및 수직 해상도가 1/2배의 비율로 축소된 적어도 하나 이상의 타일 이미지 세트로 해석할 수 있다.
즉, 상기 리듀스드 이미지(310, reduced image)는 수평 해상도 Hs'를 갖고, 수직 해상도 V2를 갖는다.
일실시예에 따른 제2 마스터 인터페이스부(140)는 제1 소스 이미지에 대한 각각의 타일 이미지 별로부터 다운사이징(downsizing)하여 생성되는 상기 리듀스드 이미지(310, reduced image)를 합성하여 제2 소스 이미지(320)를 생성할 수 있다.
제2 소스 이미지(320)는 제1 소스 이미지로부터 수평 해상도 및 수직 해상도가 1/2배만큼 축소된 것으로서, H1/2된 크기의 수평 해상도(H2)와 V1/2된 크기의 수직 해상도(V2)로 표현될 수 있다.
일실시예에 따른 제2 마스터 인터페이스부(140)는 상기 리듀스드 이미지(310, reduced image)가 다른 인접한 리듀스드 이미지(reduced image)와 겹치는 영역, 즉 겹침 영역을 고려하여 제2 소스 이미지(320)를 생성할 수 있다.
일실시예에 따른 제2 마스터 인터페이스부(140)는 각각의 리듀스드 이미지(reduced image)에서, 수평 해상도 Ho'로 구별되는 겹침 영역을 삭제하여 합성함으로써 겹침 영역이 중복되지 않게 하여 제2 소스 이미지(320)를 합성할 수 있다.
즉, 일실시예에 따른 제2 마스터 인터페이스부(140)가 합성하는 각각의 리듀스드 이미지(reduced image)에서 실제 합성에 이용되는 수평 해상도의 크기는 (Hs' - Ho')로 해석될 수 있다.
일실시예에 따른 특징점 정보 추출 장치(100)에서 처리가 가능한 라인 버퍼의 용량이 제1 소스 이미지의 수평 해상도인 경우, 즉, Hs인 경우를 살펴볼 수 있다.
일실시예에 따른 특징점 정보 추출 장치(100)에서 처리가 가능한 라인 버퍼의 용량이 Hs인 경우, Hs = 2Hs'의 관계에 따라서 상기 리듀스드 이미지(310, reduced image) 두 개가 합쳐진 것이 제2 소스 이미지(320)에 대한 타일 이미지가 될 수 있다.
즉, 소스 이미지가 달라져도 타일 이미지에 대한 수평 해상도는 동일할 수 있다. 다시 말해, 소스 이미지가 달라져도 타일 이미지에 대한 수평 해상도는 라인 버퍼의 용량을 고려하는 것이기 때문에 동일할 수 있다.
일실시예에 따른 제1 마스터 인터페이스부(120)는, 대용량 임시기억장치(110)에 저장된 상기 제2 소스 이미지(320)로부터 적어도 하나 이상의 타일 이미지를 생성할 수 있다.
또한, 일실시예에 따른 특징점 정보 추출부(130)는, 상기 제2 소스 이미지(320)로부터 생성되는 적어도 하나 이상의 타일 이미지를 입력받아 상기 제2 후보 특징점을 결정할 수 있다.
이때, 상기 제2 소스 이미지(320)로부터 생성되는 적어도 하나 이상의 타일 이미지는 제2 옥타브(octave)로 해석될 수 있다.
또한, 제2 옥타브(octave)는 제2 이미지 소스(320)로부터 라인 버퍼가 처리 가능한 용량만큼 분할되는 타일 이미지의 세트로서, 제1 옥타브(octave)에 포함되는 적어도 하나 이상의 타일 이미지와 제2 옥타브(octave)에 포함되는 적어도 하나 이상의 타일 이미지의 수평 해상도의 크기는 동일할 수 있다.
이후, 일실시예에 따른 특징점 정보 추출부(130)는 선정된 횟수만큼 반복하여 상기 제1 후보 특징점과 상기 제2 후보 특징점을 포함하는 후보 특징점들을 생성하고, 상기 생성한 후보 특징점들로부터 특징점 정보를 추출할 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 상기 적어도 하나 이상의 타일 이미지의 특징점 위치 및 상기 특징점 위치에 대응되는 디스크립터(descriptor) 중에서 적어도 하나를 상기 특징점 정보로서 추출할 수 있다.
결국, 일실시예에 따른 특징점 정보 추출 장치(100)를 이용하면, 소스 이미지의 해상도에 의존하지 않고 시프트 알고리즘을 처리하는 하드웨어를 제공할 수 있다.
또한, 일실시예에 따른 특징점 정보 추출 장치(100)를 이용하면, SRAM(static random access memory)과 DRAM(dynamic random access memory)을 병행 사용하여, SRAM 용량을 크게 확장하지 않고서도 대용량의 해상도를 갖는 영상의 처리가 가능하다.
또한, 일실시예에 따른 특징점 정보 추출 장치(100)를 이용하면, 전체 영상을 DRAM에 저장하고, SRAM에서 수용할 수 있는 용량의 영상만을 DRAM에서 리딩하여 반복적으로 처리할 수 있다.
도 4는 일실시예에 따른 특징점 정보 추출부(400)를 구체적으로 설명하는 도면이다.
일실시예에 따른 특징점 정보 추출부(400)는 코어가 처리 가능한 수평방향 크기만큼 소스 이미지를 적어도 하나 이상의 타일 이미지로 분할하여 리딩하고, 상기 리딩된 적어도 하나 이상의 타일 이미지로부터 특징점 정보를 생성할 수 있다.
이를 위해, 일실시예에 따른 특징점 정보 추출부(400)는 가우시안 영상 생성부(410), 가우시안 차이값 영상 생성부(420), 후보 특징점 위치 계산부(430), 데이터 수집부(440), 특징점 결정부(450), 디스크립터 생성부(460), 및 다운사이져(470)를 포함할 수 있다.
가우시안 영상 생성부(410)는 상기 소스 이미지로부터 분할된 상기 적어도 하나 이상의 타일 이미지를 제1 옥타브로서 리딩하여 가우시안 영상을 생성할 수 있다.
이때 가우시안 영상 생성부(410)는 입력되는 상기 적어도 하나 이상의 타일 이미지와 가우시안 필터를 컨볼루션 연산하여 적어도 하나 이상의 가우시안 영상을 생성할 수 있다.
상기 적어도 하나 이상의 가우시안 영상은 상기 가우시안 필터의 가우시안 필터의 시그마 값을 변경하면서 이미지에 대한 블러(blur)의 정도가 달라지도록 상기 적어도 하나 이상의 가우시안 영상을 생성할 수 있다.
일실시예에 따른 가우시안 차이값 영상 생성부(420)는 상기 생성된 적어도 하나 이상의 가우시안 영상으로부터 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상을 생성할 수 있다.
구체적으로, 일실시예에 따른 가우시안 차이값 영상 생성부(420)는 각 옥타브(octave)를 구성하는 상기 생성된 적어도 하나 이상의 가우시안 영상 간의 차이를 이용해서 상기 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상을 생성할 수 있다.
일실시예에 따른 후보 특징점 위치 계산부(430)는 하고, 상기 생성된 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상으로부터 후보 특징점들을 생성할 수 있다.
일실시예에 따른 데이터 수집부(440)는 상기 생성된 가우시안 영상으로부터 디스크립터의 생성에 필요한 데이터를 획득할 수 있다.
일실시예에 따른 특징점 결정부(450)는 후보 특징점 위치 계산부(430)가 생성하는 후보 특징점들중에서 강인한 특징점만을 추출함으로써, 특징점을 추출할 수 있다.
다음으로, 일실시예에 따른 디스크립터 생성부(460)는 데이터 수집부(440)에서 획득한 디스크립터 생성에 필요한 데이터와, 특징점 결정부(450)에서 추출된 특징점을 이용하여 상기 디스크립터를 생성할 수 있다.
이때, 상기 생성하는 디스크립터는 본 명세서에서 사용되는 특징점 정보로서 해석될 수 있다.
일실시예에 따른 다운사이져(470)는 소스 이미지로부터 리딩되는 옥타브의 크기를 선정된 비율로 줄여 리듀스드 이미지(reduced image)로서 출력할 수 있다.
이에, 상기 리듀스드 이미지(reduced image)는 출력 이후에 겹침 영역을 고려하여 합성되어 제2 소스 이미지로서 DRAM 등의 대용량 임시기억장치에 기록될 수 있다.
도 5는 일실시예에 따른 특징점 정보 추출부(130)에서 각 옥타브(octave) 별로 생성하는 가우시안 영상 및 가우시안 차이값(Difference of Gaussian) 영상을 생성하는 것을 설명하는 도면이다.
소스 이미지는 라인 버퍼의 용량에 기초하여 적어도 하나 이상의 타일 이미지로 분할될 수 있다.
이렇게 분할되는 적어도 하나 이상의 타일 이미지에 대한 세트는 제1 옥타브로 해석될 수 있다.
제1 옥타브는 가우시안 필터와의 컨볼루션에 의해서 적어도 하나 이상의 가우시안 영상(510)으로 생성될 수 있다.
적어도 하나 이상의 가우시안 영상(510)은 제1 옥타브에 포함되어 있는 적어도 하나 이상의 타일 이미지와 상기 가우시안 필터와의 컨볼루션에 의해서 생성될 수 있다.
일실시예로 적어도 하나 이상의 가우시안 영상(510)은 상기 가우시안 필터의 시그마(
Figure 112012049006578-pat00035
) 값을 순차적으로 변경하여 제1 옥타브와 컨볼루션 연산 함으로써 생성될 수 있다.
구체적으로, 시그마 값은
Figure 112012049006578-pat00036
를 초기 값으로 하여,
Figure 112012049006578-pat00037
배씩 증가하도록 순차적으로 변경될 수 있다.
일례로, 상기
Figure 112012049006578-pat00038
는 가우시안 필터의 시그마 값을 일정 배수로 증가시킴으로써, 생성되는 가우시안 영상들의 블러를 변경시키기 위한 상수로서 예를 들어
Figure 112012049006578-pat00039
일 수 있다.
일실시예에 따른 특징점 정보 추출부(130)는 상기 제1 옥타브에서 생성된 상기 가우시안 영상(510)으로부터 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상(520)을 생성할 수 있다.
또한, 일실시예에 따른 특징점 정보 추출부(130)는 가우시안 차이값(Difference of Gaussian) 영상(520)으로부터 제1 후보 특징점들을 추출할 수 있다.
다음으로, 일실시예에 따른 특징점 정보 추출부(130)는 1/2배 축소된 제2 소스 이미지로부터 리딩되는 제2 옥타브의 가우시안 영상(530)를 생성할 수 있다.
마찬가지로, 일실시예에 따른 특징점 정보 추출부(130) 상기 생성된 제2 옥타브의 가우시안 영상(530)으로부터 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상(540)을 생성할 수 있다.
또한, 일실시예에 따른 특징점 정보 추출부(130)는 상기 생성한 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상(540)으로부터 제2 후보 특징점들을 추출할 수 있다.
이에, 일실시예에 따른 특징점 정보 추출부(130)는 상기 추출한 제1 후보 특징점들과 상기 제2 후보 특징점들로부터 특징점 정보를 생성할 수 있다.
도 6은 일실시예에 따른 특징점 정보 추출 장치를 설명하는 도면이다.
일실시예에 따른 특징점 정보 추출 장치(600)는 리딩부(620), 시프트 알고리즘 연산부(630), 및 쓰기부(640)를 포함할 수 있다.
일실시예에 따른 리딩부(620)는 대용량 임시기억장치에서 제1 소스 이미지로부터 분할된 적어도 하나 이상의 제1 타일 이미지를 리딩할 수 있다.
일실시예에 따른 시프트 알고리즘 연산부(630)는 상기 리딩한 적어도 하나 이상의 제1 타일 이미지에 시프트 알고리즘을 적용하여 제1 후보 특징점을 생성하고, 상기 적어도 하나 이상의 제1 타일 이미지를 다운사이징하여 적어도 하나 이상의 제2 타일 이미지를 출력할 수 있다.
일실시예에 따른 쓰기부(640)는 상기 출력되는 적어도 하나 이상의 제2 타일 이미지를 합성하여 제2 소스 이미지를 생성하고, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리할 수 있다.
또한, 일실시예에 따른 리딩부(620)는 상기 제2 소스 이미지로부터 분할된 적어도 하나 이상의 제2 타일 이미지를 리딩할 수 있다.
또한, 일실시예에 따른 시프트 알고리즘 연산부(630)는 상기 리딩된 적어도 하나 이상의 제2 타일 이미지로부터 제2 후보 특징점을 생성하며, 상기 생성한 제1 후보 특징점과 상기 생성한 제2 후보 특징점에 기초하여 특징점 정보를 생성할 수 있다.
시프트 알고리즘을 하드웨어로 구현할 때 큰 장애 요소가 되는 부분은 처리하는 영상의 크기이다.
즉, 시프트 알고리즘에서는 가우시안 차이값(Difference of Gaussian) 영상, 다중의 옥타브(octave), 다중의 스케일 등에 대해서 연산하기 때문에 처리하려는 영상의 크기가 커지면 큰 장애가 된다. 이때, 상기 옥타브(octave)는 영상의 크기에 대응될 수 있고, 상기 스케일(scale)은 상기 영상에 가해진 가우시안 필터의 단계로 해석될 수 있다.
이에, 일실시예에 따른 특징점 정보 추출 장치(600)의 리딩부(620)는 특징점의 위치를 추출하기 위해, 대용량 임시기억장치(610)에 저장되어 있는 소스 이미지를 선정된 크기의 타일 이미지의 형태로 리딩할 수 있다.
즉, 일실시예에 따른 리딩부(620)는 제1 소스 이미지의 수평 해상도를 기준으로 분할하여 적어도 하나 이상의 제1 타일 이미지로서 리딩하고, 제2 소스 이미지의 수평 해상도를 기준으로 분할하여 적어도 하나 이상의 제2 타일 이미지로서 리딩할 수 있다.
이때, 일실시예에 따른 리딩부(620)는 선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 상기 적어도 하나 이상의 제1 타일 이미지 각각을 리딩하거나, 상기 적어도 하나 이상의 제2 타일 이미지 각각을 리딩할 수 있다.
또한, 시프트 알고리즘 연산부(630)는 상기 리딩된 타일 이미지에 대해서 미리 정해진 다양한 표준편차 계수 값의 가우시안 필터를 적용하여 다양한 가우시안 영상들을 생성할 수 있다.
또한, 시프트 알고리즘 연산부(630)는 상기 생성된 다양한 가우시안 영상들의 차이를 이용하여 가우시안 차이값 영상들을 생성할 수 있다.
또한, 시프트 알고리즘 연산부(630)는 상기 생성된 가우시안 차이값 영상들로부터 초기 특징점 위치를 찾고, 이로부터 강인한 특징점들만 추출할 수 있다.
상기 생성된 가우시안 영상들 중에 하나는 영상의 크기를 줄여 다음 옥타브의 입력 영상으로 사용될 수 있다.
도 7은 일실시예에 따른 소스 이미지를 설명하는 도면이다.
일실시예에 따른 소스 이미지(700)는 1600(수평 해상도) x 1200(수직 해상도)의 대용량 영상일 수 있다.
일실시예에 따른 특징점 정보 추출 장치는 적은 하드웨어 비용으로 소스 이미지(700)와 같은 고화질의 대용량 영상의 멀티프레임 후처리를 준실시간으로 처리할 수 있다.
또한, 일실시예에 따른 특징점 정보 추출 장치는 SRAM에서 수용할 수 있는 용량의 영상만을 DRAM에서 가져와서 반복적으로 처리하는 구조로서, 수평방향 분할 처리가 가능하며, 분할 처리 반복으로 임의의 크기 영상에 대해서 시프트 알고리즘을 적용하여 특징점 정보를 추출할 수 있다.
이를 위해, 일실시예에 따른 특징점 정보 추출 장치는 소스 이미지(700)를 타일 이미지로 분할하여 리딩할 수 있다.
도 8은 도 7의 소스 이미지(700)로부터 생성되는 적어도 하나 이상의 타일 이미지(800)를 설명하는 도면이다.
적어도 하나 이상의 타일 이미지(800)는 제1 타일 이미지(810), 제2 타일 이미지(820), 및 제3 타일 이미지(830)를 포함할 수 있다.
소스 이미지(700)가 1600 x 1200의 해상도일 때, 제1 타일 이미지(810), 제2 타일 이미지(820), 및 제3 타일 이미지(830)는 각각 666, 666, 333의 수평 해상도로 분할될 수 있다. 또한 이때, 각각의 타일 이미지 간에 겹침 영역(840)의 수평 해상도는 13으로 결정될 수 있다.
시프트 코어에서는 소스 이미지를 타이리 이미지 단위로 리딩해서 디스크립터와 리듀스드 이미지를 출력할 수 있다.
출력된 디스크립터는 제3 마스터 인터페이스부를 통해 외부의 대용량 SRAM 버퍼(SPM: Scratch PAD memory)에 저장될 수 있다.
또한, 출력된 리듀스드 이미지는 수평 해상도와 수직 해상도가 모두 1/2 크기씩 줄어든 영상인데, DRAM으로 저장될 수 있다.
영상의 해상도에 의존하지 않는 시프트 알고리즘의 처리를 위해서 소스 이미지를 타일 이미지의 형태로 리딩할 수 있다.
전체 영상을 타일 이미지의 형태로 리딩하기 위해서 시프트 코어는 [수학식 4]와 같이 R회 반복적으로 구동될 수 있다.
[수학식 4]
Figure 112012049006578-pat00040

이때, 상기 H는 소스 이미지의 수평해상도, 상기 V는 상기 소스 이미지의 수직해상도, 상기 Hs는 시프트 코어가 처리할 수 있는 최대 수평 해상도, 상기 Ho는 필터링을 위해 타일 이미지들 간에 겹치는 영역의 폭, 즉 겹침 영역으로 해석될 수 있다.
소스 이미지에서 1번째 타일 이미지를 DRAM에서 읽는 수평 방향 부분은 1 ~ (Hs - Ho)이 된다.
또한, 상기 1번째 타일 이미지에 이은 2번째 타일 이미지를 DRAM에서 읽는 수평 방향 부분은 (Hs - 3Ho) ~ (2 Hs - Ho)으로 결정될 수 있다.
N번째 타일을 DRAM에서 읽는 수평 방향 부분은 ((N-1) * (Hs - 2Ho) - Ho) ~ (N * (Hs - 2Ho) + Ho)으로 결정될 수 있다.
R번째 타일 이미지를 DRAM에서 읽는 수평 방향 부분은 ((R-1) * (Hs - 2Ho) - Ho) ~ (H)로 일반화될 수 있다.
이때, 수직방향은 항상 1 ~ V 만큼 리딩할 수 있다.
도 9는 적어도 하나 이상의 타일 이미지를 이용하여 소스 이미지(900)로부터 검출된 적어도 하나 이상의 특징점 정보(910)를 표시하는 도면이다.
추출된 소스 이미지(900) 내의 특징점 정보(910)는 특징점의 위치와 상기 특징점 주변의 정보에 관한 정보를 포함한다.
이러한 특징점 정보(910)는 조명 변화(illumination), 회전(rotation), 크기 변화(scaling), 시점(viewpoint)에도 강인한 성질을 가지고 있다. 이로써, 영상 처리 분야에서 2개 이상의 영상을 사용하는 경우 영상 사이의 매칭(matching)을 위해서 널리 사용될 수 있다.
도 10은 일실시예에 따른 특징점 정보 추출 방법을 설명하는 도면이다.
일실시예에 따른 특징점 정보 추출 방법은 대용량 임시기억장치에 저장된 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성할 수 있다(단계 1001).
상기 생성되는 적어도 하나 이상의 타일 이미지를 입력받고, 상기 입력되는 적어도 하나 이상의 타일 이미지로부터 후보 특징점들을 결정할 수 있다(단계 1002).
구체적으로, 일실시예에 따른 특징점 정보 추출 방법은 상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 결정된 적어도 하나 이상의 제1 옥타브(octave)로부터 제1 후보 특징점을 결정할 수 있다.
일실시예에 따른 특징점 정보 추출 방법은 상기 소스 이미지에 대해 선정된 회수만큼 다운사이징을 반복하였는지를 확인하여, 다운사이징을 다시 할 것인지 판단할 수 있다(단계 1003).
만약, 다운사이징하는 경우, 일실시예에 따른 특징점 정보 추출 방법은 상기 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징하여 적어도 하나 이상의 리듀스드 이미지(Reduced image)를 생성하고, 상기 생성된 적어도 하나 이상의 리듀스드 이미지(Reduced image)를 합성하여 새로운 소스 이미지로 생성할 수 있다(단계 1004).
이때, 일실시예에 따른 특징점 정보 추출 방법은 상기 생성된 적어도 하나 이상의 리듀스드 이미지(Reduced image)의 겹침 영역을 고려하여 상기 새로운 소스 이미지로 생성할 수 있다.
다음으로, 일실시예에 따른 특징점 정보 추출 방법은 상기 단계 1001에서, 상기 새로운 소스 이미지로부터 생성되는 적어도 하나 이상의 타일 이미지를 제2 옥타브로서 생성할 수 있다. 또한, 일실시예에 따른 특징점 정보 추출 방법은 상기 단계 1002에서, 상기 제2 옥타브로부터 제2 후보 특징점들을 결정할 수 있다.
선정된 회수 동안 반복된 경우, 일실시예에 따른 특징점 정보 추출 방법은 단계 1003에서 다운사이징 하지 않도록 판단할 수 있다.
이에, 일실시예에 따른 특징점 정보 추출 방법은 결정된 후보 특징점들로부터 최종적으로 특징점 정보를 추출할 수 있다.
시프트 알고리즘을 적용한 기존의 하드웨어 시스템은 제한된 영상의 해상도에서만 특징점을 추출할 수 있다. 하지만, 카메라의 성능이 향상됨에 따라 점차 높은 해상도의 영상을 사용하게 되고, 고해상도에 대한 영상처리가 필수적인 부분이 되었다. 따라서, 영상의 해상도에 의존하지 않는 시프트 알고리즘을 처리하는 하드웨어 구조는 고해상도 영상처리에서 중요한 요소가 될 수 있다.
일실시예에 따른 특징점 정보 추출 장치 및 방법을 이용하면, SRAM와 DRAM을 병행 사용하여, SRAM 용량을 크게 확장하지 않고서도 임의의 해상도를 가지는 영상을 처리 가능하게 하여 시프트 알고리즘을 수행할 수 있다.
즉, 일실시예에 따른 특징점 정보 추출 장치 및 방법은 전체 영상을 DRAM에 저장하고, SRAM에서 수용할 수 있는 용량의 영상만을 타일 이미지 단위로 DRAM에서 가져와서 반복적으로 처리하는 구조를 이용할 수 있다.
이로써, 고해상도 영상에 대한 시프트 코어를 효과적으로 하드웨어화함으로써, 고부가가치 영상처리 알고리즘의 실시간 처리가 가능하다.
또한, 일실시예에 따른 특징점 정보 추출 장치 및 방법을 응용하면, 시프트 알고리즘뿐만 아니라 메모리를 대용량으로 사용하는 영상 처리 알고리즘에서도 영상의 해상도 제약 없이 시프트 알고리즘을 처리할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 특징점 정보 추출 장치 110: 대용량 임시기억장치
120: 제1 마스터 인터페이스부 130: 특징점 정보 추출부
140: 제2 마스터 인터페이스부 150: 제3 마스터 인터페이스부

Claims (16)

  1. 대용량 임시기억장치에 저장된 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 제1 마스터 인터페이스부; 및
    상기 생성되는 적어도 하나 이상의 타일 이미지를 입력받고, 상기 입력되는 적어도 하나 이상의 타일 이미지로부터 특징점 정보를 추출하는 특징점 정보 추출부
    를 포함하고,
    상기 제1 마스터 인터페이스부는,
    상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 상기 적어도 하나 이상의 타일 이미지를 생성하고,
    상기 수평 해상도는 라인 버퍼의 용량을 고려하여 결정되는,
    특징점 정보 추출 장치.
  2. 제1항에 있어서,
    상기 제1 마스터 인터페이스부는,
    상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 제1 타일 이미지 및 제2 타일 이미지를 생성하되, 상기 제1 타일 이미지와 상기 제2 타일 이미지가 선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 상기 제1 타일 이미지와 상기 제2 타일 이미지를 생성하는 특징점 정보 추출 장치.
  3. 제1항에 있어서,
    상기 특징점 정보 추출부는,
    상기 적어도 하나 이상의 타일 이미지의 특징점 위치 및 상기 특징점 위치에 대응되는 디스크립터(descriptor) 중에서 적어도 하나를 상기 특징점 정보로서 추출하는 특징점 정보 추출 장치.
  4. 제1항에 있어서,
    상기 특징점 정보 추출부는,
    상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 적어도 하나 이상의 제1 옥타브(octave)와 가우시안 필터를 컨볼루션 연산하여 적어도 하나 이상의 가우시안 영상을 생성하며, 상기 생성된 적어도 하나 이상의 가우시안 영상으로부터 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상을 생성하고, 상기 생성된 적어도 하나 이상의 가우시안 차이값(Difference of Gaussian) 영상으로부터 후보 특징점들을 생성하고, 상기 생성된 후보 특징점들 중에서 상기 특징점 정보를 추출하는 특징점 정보 추출 장치.
  5. 제1항에 있어서,
    상기 특징점 정보 추출부는,
    상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 결정된 적어도 하나 이상의 제1 옥타브(octave)로부터 제1 후보 특징점을 결정하고,
    상기 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징(downsizing)하여 적어도 하나 이상의 제2 옥타브(octave)를 생성하고 상기 생성된 적어도 하나 이상의 제2 옥타브(octave)에 기초하여 제2 후보 특징점을 결정하며,
    상기 결정된 제1 후보 특징점과 상기 결정된 제2 후보 특징점을 비교하여 상기 특징점 정보를 추출하는 특징점 정보 추출 장치.
  6. 제5항에 있어서,
    적어도 하나 이상의 제1 옥타브(octave)를 다운사이징하여 적어도 하나 이상의 리듀스드 이미지(reduced image)를 생성하고, 상기 생성된 적어도 하나 이상의 리듀스드 이미지(reduced image) 간에 겹침 영역을 제거하여 제2 소스 이미지를 생성하며, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리하는 제2 마스터 인터페이스부
    를 더 포함하는 특징점 정보 추출 장치.
  7. 제6항에 있어서,
    상기 제1 마스터 인터페이스부는, 상기 대용량 임시기억장치에 저장된 상기 제2 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하고,
    상기 특징점 정보 추출부는, 상기 제2 소스 이미지로부터 생성되는 적어도 하나 이상의 타일 이미지를 제2 옥타브(octave)로서 입력받아 상기 제2 후보 특징점을 결정하는 특징점 정보 추출 장치.
  8. 대용량 임시기억장치에서 라인 버퍼 용량을 고려하여 결정되는 수평 해상도를 기준으로 제1 소스 이미지로부터 분할된 적어도 하나 이상의 제1 타일 이미지를 리딩하는 리딩부;
    상기 리딩한 적어도 하나 이상의 제1 타일 이미지에 시프트 알고리즘을 적용하여 제1 후보 특징점을 생성하고, 상기 적어도 하나 이상의 제1 타일 이미지를 다운사이징(downsizing)하여 적어도 하나 이상의 제2 타일 이미지를 출력하는 시프트 알고리즘 연산부; 및
    상기 출력되는 적어도 하나 이상의 제2 타일 이미지를 합성하여 제2 소스 이미지를 생성하고, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리하는 쓰기부
    를 포함하고,
    상기 리딩부는, 상기 제2 소스 이미지로부터 분할된 적어도 하나 이상의 제2 타일 이미지를 리딩하고,
    상기 시프트 알고리즘 연산부는 상기 리딩된 적어도 하나 이상의 제2 타일 이미지로부터 제2 후보 특징점을 생성하며, 상기 생성한 제1 후보 특징점과 상기 생성한 제2 후보 특징점에 기초하여 특징점 정보를 생성하는 특징점 정보 추출 장치.
  9. 제8항에 있어서,
    상기 리딩부는,
    상기 제1 소스 이미지의 수평 해상도를 기준으로 분할하여 상기 적어도 하나 이상의 제1 타일 이미지로서 리딩하고, 상기 제2 소스 이미지의 수평 해상도를 기준으로 분할하여 상기 적어도 하나 이상의 제2 타일 이미지로서 리딩하는 특징점 정보 추출 장치.
  10. 제8항에 있어서,
    상기 리딩부는,
    선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 상기 적어도 하나 이상의 제1 타일 이미지 각각을 리딩하거나, 상기 적어도 하나 이상의 제2 타일 이미지 각각을 리딩하는 특징점 정보 추출 장치.
  11. 제10항에 있어서,
    상기 쓰기부는,
    상기 겹침 영역을 고려하여 상기 적어도 하나 이상의 제2 타일 이미지를 합성하여 상기 제2 소스 이미지를 생성하는 특징점 정보 추출 장치.
  12. 제1 마스터 인터페이스부에서, 대용량 임시기억장치에 저장된 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 단계; 및
    특징점 정보 추출부에서, 상기 생성되는 적어도 하나 이상의 타일 이미지를 입력받고, 상기 입력되는 적어도 하나 이상의 타일 이미지로부터 특징점 정보를 추출하는 단계
    를 포함하고,
    상기 제1 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 상기 단계는,
    상기 제1 소스 이미지의 수평 해상도를 기준으로 상기 제1 소스 이미지를 분할하여 제1 타일 이미지 및 제2 타일 이미지를 생성하되, 상기 제1 타일 이미지와 상기 제2 타일 이미지가 선정된 면적에서 겹침 영역(overlapped area)이 존재하도록 상기 제1 타일 이미지와 상기 제2 타일 이미지를 생성하는 단계
    를 포함하고,
    상기 수평 해상도는 라인 버퍼의 용량을 고려하여 결정되는,
    소스 영상의 특징점 정보 추출 방법.
  13. 제12항에 있어서,
    상기 특징점 정보를 추출하는 단계는,
    상기 입력되는 적어도 하나 이상의 타일 이미지를 적어도 하나 이상의 제1 옥타브(octave)로 결정하고, 상기 결정된 적어도 하나 이상의 제1 옥타브(octave)로부터 제1 후보 특징점을 결정하는 단계;
    상기 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징(downsizing)하여 적어도 하나 이상의 제2 옥타브(octave)를 생성하고 상기 생성된 적어도 하나 이상의 제2 옥타브(octave)에 기초하여 제2 후보 특징점을 결정하는 단계; 및
    상기 결정된 제1 후보 특징점과 상기 결정된 제2 후보 특징점을 비교하여 상기 특징점 정보를 추출하는 단계
    를 포함하는 소스 영상의 특징점 정보 추출 방법.
  14. 제13항에 있어서,
    제2 마스터 인터페이스부에서, 적어도 하나 이상의 제1 옥타브(octave)를 다운사이징하여 적어도 하나 이상의 리듀스드 이미지(reduced image)를 생성하고, 상기 생성된 적어도 하나 이상의 리듀스드 이미지(reduced image) 간에 겹침 영역을 제거하여 제2 소스 이미지를 생성하고, 상기 생성된 제2 소스 이미지를 상기 대용량 임시기억장치에 쓰기(write) 처리하는 단계
    를 더 포함하는 소스 영상의 특징점 정보 추출 방법.
  15. 제14항에 있어서,
    상기 제1 마스터 인터페이스부에서, 상기 대용량 임시기억장치에 저장된 상기 제2 소스 이미지로부터 적어도 하나 이상의 타일 이미지를 생성하는 단계
    를 더 포함하고,
    상기 제2 후보 특징점을 결정하는 단계는, 상기 제2 소스 이미지로부터 생성되는 적어도 하나 이상의 타일 이미지를 제2 옥타브(octave)로서 입력받아 상기 제2 후보 특징점을 결정하는 단계
    를 포함하는 소스 영상의 특징점 정보 추출 방법.
  16. 제12항 내지 제15항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020120066061A 2012-06-20 2012-06-20 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법 Expired - Fee Related KR101904203B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120066061A KR101904203B1 (ko) 2012-06-20 2012-06-20 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법
JP2013129468A JP6121810B2 (ja) 2012-06-20 2013-06-20 シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法
US13/922,449 US9171227B2 (en) 2012-06-20 2013-06-20 Apparatus and method extracting feature information of a source image
EP13173009.5A EP2677463A3 (en) 2012-06-20 2013-06-20 Apparatus and method for extracting feature information of a source image
CN201310246567.2A CN103514451B (zh) 2012-06-20 2013-06-20 提取高容量源图像的特征信息的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120066061A KR101904203B1 (ko) 2012-06-20 2012-06-20 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130142661A KR20130142661A (ko) 2013-12-30
KR101904203B1 true KR101904203B1 (ko) 2018-10-05

Family

ID=48793870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120066061A Expired - Fee Related KR101904203B1 (ko) 2012-06-20 2012-06-20 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법

Country Status (5)

Country Link
US (1) US9171227B2 (ko)
EP (1) EP2677463A3 (ko)
JP (1) JP6121810B2 (ko)
KR (1) KR101904203B1 (ko)
CN (1) CN103514451B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10559125B2 (en) 2015-12-02 2020-02-11 Samsung Electronics Co., Ltd. System and method of constructing bounding volume hierarchy tree
US9959661B2 (en) 2015-12-02 2018-05-01 Samsung Electronics Co., Ltd. Method and device for processing graphics data in graphics processing unit
CN111401330B (zh) * 2020-04-26 2023-10-17 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜
CN113643341B (zh) * 2021-10-12 2021-12-28 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法
CN117934532B (zh) * 2024-03-22 2024-06-04 西南石油大学 一种图像边缘检测并行优化方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006111B1 (en) 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
JP2007067499A (ja) * 2005-08-29 2007-03-15 Olympus Corp 画像処理装置
WO2008073854A1 (en) 2006-12-13 2008-06-19 Adobe Systems Incorporated Robust feature extraction for color and grayscale images
JP2010086540A (ja) * 2008-10-01 2010-04-15 Fuji Xerox Co Ltd 特徴記述子ベクトル生成方法、システムおよびプログラム
US20100246976A1 (en) 2009-02-20 2010-09-30 Samsung Electronics Co., Ltd. Method of creating a composite image
US20120045117A1 (en) * 2009-04-24 2012-02-23 Sony Corporation Method and device for training, method and device for estimating posture visual angle of object in image

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW439380B (en) 1995-10-09 2001-06-07 Hitachi Ltd Terminal apparatus
JPH1093819A (ja) 1996-09-12 1998-04-10 Canon Inc 画像処理装置
US7373012B2 (en) 2005-02-01 2008-05-13 Mitsubishi Electric Research Laboratories, Inc. Detecting moving objects in videos with corner-based background model
DE602006014803D1 (de) * 2006-04-28 2010-07-22 Eidgenoess Tech Hochschule Robuster Detektor und Deskriptor für einen Interessenspunkt
JP4208895B2 (ja) 2006-05-30 2009-01-14 株式会社東芝 キャッシュメモリ装置および処理方法
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
KR101270173B1 (ko) 2007-08-23 2013-05-31 삼성전자주식회사 디지털 이미지에서 특징점을 추출하는 방법 및 장치
JP4958228B2 (ja) 2007-09-12 2012-06-20 公立大学法人大阪府立大学 文書および／または画像のデータベースへの登録方法およびその検索方法
US8233716B2 (en) 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties
KR100986809B1 (ko) 2008-07-17 2010-10-08 인하대학교 산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
KR101637229B1 (ko) 2008-12-23 2016-07-08 고려대학교 산학협력단 Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템
US8441489B2 (en) * 2008-12-31 2013-05-14 Intel Corporation System and method for SIFT implementation and optimization
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
KR101069602B1 (ko) 2009-09-29 2011-10-05 한국과학기술원 뉴로-퍼지 시스템과 병렬처리 프로세서를 결합한 컴퓨터 시스템 및 이를 이용한 물체 인식 시스템
KR20110037183A (ko) 2009-10-06 2011-04-13 한국과학기술원 뉴로-퍼지 시스템과 병렬처리 프로세서가 결합된 전력 제어 가능한 컴퓨터 시스템, 이를 이용하여 영상에서 물체를 인식하는 방법 및 장치
KR20110060454A (ko) 2009-11-30 2011-06-08 한국전자통신연구원 영상 식별 장치 및 방법
KR101206213B1 (ko) 2010-04-19 2012-11-28 인하대학교 산학협력단 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법
WO2012006578A2 (en) * 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
US20120051647A1 (en) * 2010-09-01 2012-03-01 Hong Kong Applied Science and Technology Research Institute Company Limited Icon design and method of icon recognition for human computer interface
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
EP2724295B1 (en) * 2012-02-27 2017-03-22 Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi System and method for identifying scale invariant features of object outlines on images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006111B1 (en) 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
JP2007067499A (ja) * 2005-08-29 2007-03-15 Olympus Corp 画像処理装置
WO2008073854A1 (en) 2006-12-13 2008-06-19 Adobe Systems Incorporated Robust feature extraction for color and grayscale images
JP2010086540A (ja) * 2008-10-01 2010-04-15 Fuji Xerox Co Ltd 特徴記述子ベクトル生成方法、システムおよびプログラム
US20100246976A1 (en) 2009-02-20 2010-09-30 Samsung Electronics Co., Ltd. Method of creating a composite image
US20120045117A1 (en) * 2009-04-24 2012-02-23 Sony Corporation Method and device for training, method and device for estimating posture visual angle of object in image

Also Published As

Publication number Publication date
EP2677463A2 (en) 2013-12-25
US20130343655A1 (en) 2013-12-26
CN103514451B (zh) 2019-01-04
JP2014002747A (ja) 2014-01-09
EP2677463A3 (en) 2015-12-16
US9171227B2 (en) 2015-10-27
CN103514451A (zh) 2014-01-15
KR20130142661A (ko) 2013-12-30
JP6121810B2 (ja) 2017-04-26

Similar Documents

Publication Publication Date Title
Sinha et al. GPU-based video feature tracking and matching
KR101904203B1 (ko) 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법
CN101681503B (zh) 信息处理方法及装置
Barnes et al. Patchtable: Efficient patch queries for large datasets and applications
JP2012506647A (ja) 高解像度映像獲得装置およびその方法
WO2012070474A1 (ja) 物体または形状の情報表現方法
JP7333520B2 (ja) 学習プログラム、学習方法、及び情報処理装置
KR20100077307A (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN116128792A (zh) 图像处理方法及相关设备
KR102885765B1 (ko) 기하학적 표현 학습을 위한 스케치 변환 방법 및 장치
CN111164645A (zh) 图像分割方法及装置
Griwodz et al. Popsift: A faithful SIFT implementation for real-time applications
US11288534B2 (en) Apparatus and method for image processing for machine learning
KR20110032537A (ko) 배경 제거와 그래프 컷을 이용한 비교사 영상 분할 방법 및 시스템
CN116645513B (zh) 水印提取方法、模型训练方法、装置、电子设备及介质
CN102096817A (zh) 图像稳定特征点的提取方法及其装置
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
CN109961061A (zh) 一种边缘计算视频数据结构化方法及系统
CN115565191A (zh) 一种倾斜文本行识别方法、系统及设备
JP6539469B2 (ja) 特徴量抽出装置、特徴量抽出方法及び特徴量抽出用プログラム
KR102485872B1 (ko) 컨텍스트 벡터를 활용하여 이미지 화질을 개선시키는 이미지 화질 개선 방법 및 이를 수행하는 이미지 화질 개선 모듈
CN120411749B (zh) 图像篡改定位方法、计算机装置及存储介质
CN112132031A (zh) 车款识别方法、装置、电子设备及存储介质
KR102244457B1 (ko) 시멘틱 구역화를 위한 상향샘플링 방법 및 시스템
CN118038087B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20210928

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210928