Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-4540(Print)
ISSN : 2287-8211(Online)
Journal of Korea Game Society Vol.12 No.3 pp.87-96
DOI : https://doi.org/10.7583/JKGS.2012.12.3.87

기준 평면의 설정에 의한 확장 칼만 필터 SLAM 기반 카메라 추적 방법

남보담, 홍현기
중앙대학교 첨단영상대학원 영상학과

초록

본 논문에서는 시퀀스 상에서 확장 칼만필터(Extended Kalman Filter) 기반의 SLAM(SimultaneousLocalization And Mapping) 시스템의 안정적인 카메라 추적과 재위치(re-localization)방법이 제안된다. SLAM으로 얻어진 3차원 특징점에 들로네(Delaunay) 삼각화를 적용하여 기준(reference) 평면을 설정하며, 평면상에 존재하는 특징점의 BRISK(Binary Robust InvariantScalable Keypoints) 기술자(descriptor)를 생성한다. 기존 확장 칼만필터의 오차가 누적되는 경우를 판단하여 기준 평면의 호모그래피로부터 카메라 정보를 해석한다. 또한 카메라가 급격하게 이동해서 특징점 추적이 실패하면, 저장된 강건한 기술자 정보를 매칭하여 카메라의 위치를다시 추정한다.

EKF SLAM-based Camera Tracking Method by Establishing the Reference Planes

Hyunki Hong, Bodam Nam
Dept. of Imaging Science and Arts, GSAIM, Chung-Ang University

Abstract

This paper presents a novel EKF(Extended Kalman Filter) based SLAM(SimultaneousLocalization And Mapping) system for stable camera tracking and re-localization. Theobtained 3D points by SLAM are triangulated using Delaunay triangulation to establish areference plane, and features are described by BRISK(Binary Robust Invariant ScalableKeypoints). The proposed method estimates the camera parameters from the homographyof the reference plane when the tracking errors of EKF SLAM are much accumulated.Using the robust descriptors over sequence enables us to re-localize the camera positionfor matching over sequence even though the camera is moved abruptly.

9 남보담 홍현기.pdf890.0KB

1. 서 론

 입력된 영상 시퀀스로부터 장면의 3차원 공간 정보를 해석하고 카메라의 움직임 정보를 추정하는 카메라 추적(camera tracking) 연구는 컴퓨터비전에서 중요한 주제이며, 차량 및 로봇의 위치와 이동정보를 추정하는 시각 오도메트리(visual odometry)와 시각 SLAM(Simultaneous Localization And Mapping), 증강현실(augmented reality) 등 의 분야에서 꾸준히 활용되고 있다[1,2,3].

 SLAM은 단일 또는 다수의 센서로 입력된 정보를 취합하여 현재 관찰자의 위치를 파악 (localization)하고 장면 및 물체에 대한 맵을 구축(mapping)하는 기술로서 레이저, 초음파, 가속도 및 중력 센싱 등의 다양한 방법이 활용된다. 특히 시각기반 SLAM은 단일 또는 다수 카메라의 입력 이미지의 코너, 에지(edge) 특징 등을 분석하고 이로부터 카메라의 이동 정보와 주변 지형(landmark)의 3차원 정보를 실시간에 추정한다.

 A. Davision은 단일 카메라로 얻어진 이미지에 확률적 해석 방법을 확장 칼만 필터(Extended Kalman Filter) 상에 적용한 모노 SLAM 시스템을 제안하였다[2]. 그러나 추정된 카메라 정보를 시퀀스 상에 순차적으로 적용하는 과정에서 특징점의 잘못된 매칭(matching)으로 인해 칼만필터에 오차가 누적되며, 이후 장면 맵이 넓어짐에 따라 카메라 추적이 실패한다. 또한 카메라 추적과정을 안정화하기 위해 파티클(particle) 필터[4] 등이 적용되었으며, 3차원 정보가 바로 얻어지는 스테레오
SLAM[5], 컬러 및 적외선 카메라를 이용하는 방법 등도 있다[6].

 카메라 추적 연구는 시퀀스 상에서 특징점의 대응관계를 기반으로 하기 때문에 검출 및 매칭의 정확도에 의해 시스템 성능이 크게 영향 받는다.기존 매칭과정에서는 특징 주변의 이미지 패치(patch)간의 상관도(correlation)를 구하거나 카메라 변환 등을 고려한 다해상도 패치의 차분(difference) 연산을 적용한다[7]. 보다 정확한 매칭과 대상 장면의 기술을 위해 SIFT, SURF등의 특징 기술자(descriptor)를 적용하지만[8,9,10], 특징점의 추출과 기술자의 생성에는 많은 연산이 요구
되기 때문에 실시간 응용분야에는 적합하지 않다.

[그림 1] 제안된 시스템 흐름도

 일반적으로 실내 환경에는 벽면, 책상, 천장 등의 다양한 평면이 존재한다. 본 논문에서는 확장 칼만필터 SLAM 시스템으로부터 얻어진 3차원 정보를 이용하여 대상 장면의 기준 평면(referenceplane)을 설정하며, 시퀀스 상에서 주요 특징에 대한 기술자를 생성한다. SLAM에서 카메라 추정 오차가 누적되는 경우에 평면의 호모그래피를 이용하여 카메라 정보를 추정한다[11]. 그리고 카메라가 급격하게 이동하여 추적이 실패하는 경우에는 기존의 맵에 대한 기술자를 매칭하여 카메라의 위치를 재추정하는 재위치(re-localization) 방법이 제안된다. 이를 위해 특징에 대한 기술 정보를 빠르게 생성하고 정확하게 매칭하는 BRISK(Binary RobustInvariant Scalable Keypoint)[12] 기술자를 이용한다. 그러나 BRISK 기술자는 카메라의 시점 변화에 따라 많은 영향을 받기 때문에 이미지 시퀀스에 적용하기 어렵다는 단점이 있다. 제안된 방법은 주요 특징점에 대한 BRISK 기술자를 키 프레임 상에서 저장하는 온라인 학습(on-line learning)을 통해 이후 프레임에 대해 강건하게 대응할 수 있다. 제안된 시스템의 흐름도를 [그림 1]에 나타내었다.

2. 기존 연구

 기존의 확장 칼만필터 SLAM 카메라 추적 시스템[2,13]은 특징점 주변의 일정 패치를 예측된 카메라 정보에 따라 워핑(warping)하여 이전 프레임의 패치의 밝기값에 대한 상관(correlation) 정보를 검사하는 매칭 방식이 일반적이다. 그러나 패치의 워핑과 상관 계수의 계산과정은 연산량이 많으며, 특징에 대한 정확한 기술보다는 시퀀스 상에서 연속된 매칭에 보다 적합하다. 따라서 급격한 카메라의 움직임에 대처하기 위한 재위치 과정에는 부정확한 매칭 결과가 얻어진다. 이후 특징점에 대해 다해상도의 기술자[8]를 적용하였지만, 본 논문에서는 보다 정확한 매칭과 효율적인 계산을 위하여 이진(binary) 기술자[12,14]를 활용한다. 특히 BRISK는 코너의 크기와 방향 값을 효율적으로 추출하므로 크기와 회전 변환에 강건한 장점이 있다.

 William et al.의 연구[15]에서는 확장 칼만필터 SLAM시스템에서 오차가 누적되거나 급격하게 카메라를 이동하는 경우를 판단하여 이전 프레임까지 구축된 맵 정보를 전역적(exhaustive)으로 탐색하여 카메라 정보를 재 초기화하는 방법이 제안되었다. [16]에서는 오차 누적으로 인한 추정값의 신뢰도 감소와 카메라의 드리프트(drift) 오차에 따른 특징점의 추적 실패를 판단하고 이전 프레임까지 구축한 특징점 정보를 다시 검색하여 3점 자세(three-point pose) 알고리즘으로 카메라 파라미터를 추정한다. 본 논문에서는 확장 칼만필터 시스템이 추적 실패 및 필터 붕괴의 경우에 기준 평면상에 존재하는 학습된 특징점들의 기술자만을 검사하여 대응관계(correspondence)를 설정한다. 호모그래피 정보를 기반으로 LM(Levenberg-Marquadt) 알고리즘과 추정된 특징점의 신뢰도를 사전 정보로 반영하면서 재사영 오차를 최소화하는 효율적인 RANSAC 알고리즘을 제안한다.

 사전에 구조화되지 않은 환경에서 평면 등의 기하 정보를 추정하는 기술은 증강현실에서 실제 및 가상 물체간의 상호작용을 위해 중요하다. Chekhlov은 재구성된 3차원 점 클라우드(cloud)로부터 평면 구조를 유추하여 SLAM 맵에 결합하였다[17]. 그러나 장면에 대한 맵이 증가하면서 발생하는 누적 오차나 잘못된 매칭 등으로 인한 오차 등은 고려되지 않았다. 시퀀스에서 자동적으로 평면을 검출하기 위한 방법은 일반적으로 호모그래피의 변환 오차를 비교하지만, 이를 판단하기 위한 문턱치(threshold)를 결정하기 어렵다[18]. 또한 특징 집합으로 구성되는 동일 평면들을 구별하는 반복 투표(voting) 방법은 계산이 많기 때문에 실시간 분야에 활용되기 어렵다. Simon은 게임 등의 실시간 활용을 위해 평면을 검출하고 이를 재구성하는 방법을 제안했다[19]. 대상 영상을 격자(grid)로 나누고 허프(hough) 변환의 국소 최대치(local maxima)를 구하여 동일 평면에 해당하는 사각형을 선택한다. 동일 사각형의 클러스터(cluster)와 참조 평면과의 교차선 영역을 구하며, 이를 이용해3차원 위치와 방향정보를 구한다. 그러나 참조 평면을 구성하는 이미지의 2차원 다각형은 사용자의 수작업을 통해 설정하며, 실제 공간에 적용한 결과를 제시하지 못했다. 본 논문에서는 확장 칼만필터 SLAM으로 재구성된 3차원 특징점에 들로네(Delaunay) 삼각화를 적용하여 참조 평면을 점진적으로 재구성하며, 설정된 기준 면의 특정점에 대한 이진 기술자를 생성하여 급격한 카메라의 움직임에도 재위치가 가능한 시스템이 제안된다.

3. 제안된 알고리즘

3.1 BRISK 이용한 특징 매칭

 BRISK는 빠른 계산 성능과 회전 및 크기 변환에 불변성을 지닌 반면, 카메라의 이동에 따라 특징들은 다양하게 원근(perspective) 사영 변환되기때문에 이미지 시퀀스에 그대로 적용하기는 어렵다[12]. 본 논문에서는 키 프레임에서 기준 평면 위의 특징에 대한 BRISK 기술 정보를 저장하는 온라인 학습 방법이 제안된다. 동일한 특징점에 대해 시퀀스 상에서 연속적으로 매칭되지 않는 경우를 고려하기 위해 일정한 키 프레임 구간 동안에 매칭된 특징 기술자들을 저장하고, 이후 프레임에서 입력되는 기술자를 검사한다. [그림 2]에서 임의 특징점에 대한 n번째 키 프레임에서의 기술자(fdn)는 이후 n+1 키 프레임 이후에 검출된 후보 기술자와의 해밍(hamming) 거리를 검사하고, 매칭된 기술자(초록색 원)를 저장한다. 그리고 새로운 프레임에서의 특징 기술자(fdn+5)와 매칭 여부를 비교하여 특징에 대한 기술 정보를 추가한다.

[그림 2] 특징 기술자의 저장 및 갱신

 카메라의 이동 및 방향 변환의 정도를 설정된 임계치와 비교하여 키 프레임을 결정한다. 여기서 임계치는 (식 1)과 같이 카메라 파라미터의 예측값과 실제 추정된 x와의 차이를 정규 추정 자승오차(normalized estimation error squared) D2에 가중치 w를 곱한 값이다. 계산된 오차는 카메라의 비선형적 움직임의 크기를 의미하며, k번째 프레임과 이전 프레임의 차분이 계산된 오차보다 큰 경우에 카메라가 많이 변화한다고 판단하여 키 프레임으로 결정한다. 여러 키 프레임에서 동일 특징점의 원근 변환된 다양한 기술자를 누적하여 저장하는 온라인 학습을 진행한다. 이후 매칭과정에서 카메라의 기저선 baseline)이 크게 변화하는 경우에도 저장된 BRISK 기술 정보를 이용하여 특징점을 강건하게 추적할 수 있다.

[그림 3] 카메라 이동 및 회전에 따른 특징 추적 결과

 기술자를 이용한 매칭 성능을 비교하기 위해 널리 쓰이는 Wall, Graf 시퀀스[12,14]를 대상으로 기존 BRISK와 제안된 방법의 실험결과를 [표 1]에 제시하였다. 첫번째 프레임을 대상으로 이후 시퀀스가 진행됨에 따라 매칭 정확도가 급격히 떨어지지만, 제안된 방법의 성능이 상대적으로 우수함을 확인하였다. 카메라가 회전 및 이동되는 경우에 대해 제안된 특징 추적 방법의 결과를 [그림 3]에 나타내었다. 추적에 성공한 점을 붉은 상자로 표시하였으며, 기술자의 학습을 통해 강건하게추적된다.

[표 1] 시퀀스에서 매칭 성능 비교

3.2 기준 평면의 생성

확장 칼만필터 SLAM 시스템은 예측 및 측정루프를 활용하여 카메라 파라미터와 3차원 특징점을 동시에 추정한다. 그러나 카메라의 비선형적인 움직임을 정확하게 예측할 수 없으며, 이러한 문제로 인해 예측과 측정 과정에서 발생하는 오차가 추적과정에서 누적된다. 누적된 오차는 이후 프레임에서 새롭게 추적 및 추정되는 특징점 좌표의 불확실성을 높이게 되어 결국 추적필터의 붕괴(corruption)에 이르게 된다. 이를 해결하기 위해서 RANSAC 알고리즘을 활용하여 확률적인 예측을 이용하는 1-point RANSAC 알고리즘[20]이 제안되었지만, 카메라의 이동과 특징점 추적의 실패에 의한 붕괴 문제는 피할 수 없다.

[그림 4] 들로네 삼각화를 이용한 특징점 그룹핑

 논문에서는 확장 칼만필터 SLAM 시스템의 오차 누적 문제를 해결하고 보다 효율적으로 필터를 재 초기화하기 위해 실내 환경에 흔히 존재하는 평면의 제약 조건을 이용한다. 여기서 평면 조건이 존재하는 기준 평면은 절대 좌표계의 각 축에 각각 평행한 평면으로 정의한다. 제안된 방법은 계산 복잡도를 줄이기 위해 2차원 평면으로 사영된 특징점들을 대상으로 들로네 삼각화를 수행한다. SLAM의 초기 마커가 위치한 수직 평면에서부터 이후 특징점이 추가로 검출되어 기준 평면이 확장되는 과정을 [그림 4]에 나타내었다. 기준 평면에 속하는 특징점은 이후 SLAM에서 3차원 좌표를 재 추정하는데 활용되며, 기준 평면이 확장됨에 따라 추가되는 특징점의 좌표를 이용하여 다시 기준 평면의 방정식을 재귀적으로 수정함으로써 3차원평면을 정확하게 구한다.

 들로네 삼각화로 연결된 세 점의 특징점 중에서 두 개의 점과 세 점의 중심 좌표가 기존의 기준 평면 위에 존재하는 경우, 그리고 기준 평면의 법선 벡터와 후보 평면의 법선 벡터의 내적의 결과가 특정 임계치 이상인 경우를 모두 만족하면, 세점으로 구성된 후보 평면은 기준 평면 위에 존재한다고 판단한다. 기준 평면 위의 점은 카메라의 사영 방향에 따라 기준 평면 위의 3차원 좌표로 변환하여 SLAM 시스템에 반영된다.

3.3 호모그래피 기반 카메라 정보 계산 및 SLAM의 재위치

 확장 칼만필터 SLAM에서 오차 누적으로 인한 불확실성 문제를 해결하기 위해 설정된 기준 평면의 호모그래피 정보를 이용하여 카메라 파라미터를 추정하고 SLAM 시스템을 재 초기화한다. 여기서 카메라의 재사영 오차와 이전 프레임의 오차간의차이가 임계값 이상으로 증가하는 경우, 그리고 예측된 카메라 정보에 따라 사영된 2차원 위치에 실제 특징점이 존재하는 비율이 임계값 이하인 경우를 모두 만족하면 SLAM 시스템을 재 초기화한다.

 기준 평면상에 존재하는 임의 특징점의 3차원 좌표 X와 사영된 이미지의 2차원 좌표 x간의 대응관계는 x = PX이며, LM 알고리즘을 이용하여 카메라의 원근 사영 행렬 P를 최적화한다[21]. 여기서 기준 평면의 조건에 따라 평면에 존재하는 3차원 점의 X, Y, Z 좌표축 성분 중에 하나는 0으로 설정되고 3차원 기준 평면의 호모그래피로부터 카메라 정보를 추정한다. 제안된 방법은 확장 칼만필터 시스템이 추적 실패 및 필터 붕괴의 경우에 입력 영상에서의 특징점과 기준 평면 위의 기술자 정보를 매칭한다. 대응관계를 이용하여 LM 알고리즘과 특징점의 신뢰도를 사전 정보로 반영하며, 재사영 오차를 최소화하는 RANSAC 알고리즘을 적용하여 카메라의 외부 파라미터를 계산한다. 보다 구체적으로 RANSAC에서 수렴 속도 및 정확도를 높이기 위해 기준 평면을 구성하는 3차원 특징점의 공분산이 낮고, 전역 매칭시에 매칭 거리가 낮은 특징점들에 상대적으로 높은 가중치를 부여한다. 또한 1-point RANSAC과 같이 추정된 카메라 파라미터로 구한 재 사영 오차가 임계값 이하인 인라이어(inlier)의 비율을 계산하여 RANSAC의 반복 횟수를 조정한다

4. 실 험

 BRISK와 기준 평면을 이용하는 제안된 방법과 특징점 패치의 워핑을 적용하는 기존 SLAM 시스템[2]을 특징점에 대한 매칭 소요시간과 추정된 정확도로 비교한다. 여기서 정확도는 SLAM 시스템에서 예측 및 추정된 특징점 위치에 대한 정규 자승오차의 평균값과 추정된 카메라 시점에 따른 특징점의 재사영 오차를 그래프([그림 5])로 각각 제시한다.

 BRISK를 이용하는 제안된 방법은 하나의 특징점을 매칭하는 과정에 0.3msec가 소요되며, 기존의 패치 기반 추적 방식(3.1msec)에 비해 처리속도가 크게 개선되었음을 확인하였다. 패치를 이용하는 방법은 카메라 움직임에 따라 사전 워핑 정보를 계산하고 실제 이미지 변환을 수행하며, 패치에 대한 정규 상호상관의 계산 복잡도가 상대적으로 높기 때문이다. 반면에 BRISK 기술자는 Exclusive-OR 연산과 해밍 거리로 특징간의 매칭을 간단히 처리할 수 있다. 또한 기존 SLAM 시스템과 제안된 방법의 예측 및 추정 위치간의 평균오차는 각각 12.70과 2.92 픽셀이다.

[그림 5] 제안된 방법과 기존 SLAM 시스템의 재사영 오차비교

[그림 6] 제안된 시스템의 영상 추적 (좌 : 3차원 공간에서 카메라 궤적, 특징점 및 기준평면, 우 : 특징점과 삼각화 맵)

[그림 7] 기준 평면 위의 추적점을 이용한 카메라 재정렬 결과 (좌 : 기준 평면 추적 중, 중간 : 추적 실패, 우 : 재정렬 후 특징점 추적 계속)

 두 개의 시퀀스 상에서 기존 SLAM 시스템과 기준 평면을 이용하는 제안된 방법의 재사영 오차를 유클리디언 거리(cm 단위)로 [그림 5]에 나타내었다. 제안된 방법은 추적 오차가 누적되는 경우에 설정된 기준 평면을 이용하기 때문에 카메라정보를 보다 안정적으로 추정하며, 따라서 이후 맵 붕괴의 가능성이 적다.

[그림 8] 카메라 재정렬 결과 (1 : 기준평면 추적, 2 : 추적 실패, 3: 전역 탐색 과정, 4: 필터 재 정렬 후 재 추적)

 확장 칼만필터 SLAM은 대상 공간에 대한 스케일 등의 초기 설정을 위해 기본적으로 마커를 이용하며, 제안된 방법을 이용한 카메라 추적 결과를 [그림 6]에 나타내었다. 마커를 중심으로 하는 월드 좌표축에 평행한 기준 평면을 3차원 공간에 표시하였으며, 이를 추적하는 카메라 궤적을 표시하였다. 카메라 추적이 진행됨에 따라 기준 평면의 영역이 확장되고, 기준 평면이 추가되는 것을 확인하였다.

 카메라의 추적 실패로 인해 맵 붕괴가 발생하였을 때 기준 평면 위의 대응관계로부터 LM과 RANSAC을 결합한 제안된 시스템을 활용하여 카메라의 위치를 재위치하는 과정을 [그림 7]에 제시하였다. 여기서 상단 및 하단은 추적결과 영상과 3차원 공간에서의 카메라의 움직임 궤적 및 기준 평면을 각각 나타낸다.

 두 개의 기준 평면에 대한 필터의 재 정렬하는 과정을 [그림 8]에 나타내었다. 위 실험에서 기준 평면의 특징점 추적이 실패하는 경우에 제안된 방법으로 확장 칼만필터 SLAM 시스템을 재위치하였으며, 이미 저장된 기준 평면의 특징점들의 다수가 입력 영상에 나타나는 경우에 카메라의 위치를 정확하게 추정함을 확인하였다.

 시퀀스에 대한 실험을 통해 확장 칼만필터를 기반으로 하는 제안된 방법은 카메라의 움직임이 선형 모델의 예측을 크게 벗어나는 경우를 해결하기 어렵다. 또한 카메라 추적이 실패하여 재조정을 하는 경우, 입력 영상에서 기준 평면이 관찰되지 않은 경우에는 이후 카메라 정보를 해석하기 어렵다. 그러나 카메라 추적을 위해 사전에 3차원 맵이 구성된 위치로 복귀하는 것이 일반적이므로 이런 경우는 고려하지 않는다.

5. 결 론

 본 논문에서는 확장 칼만필터 SLAM 시스템의 오차 누적 문제를 해결하기 위해 BRISK 연산자를 이용한 온라인 학습과 대상 공간의 평면 조건 기반의 카메라 추적 방법이 제안된다. 먼저 키 프레임에서 BRISK 연산자로 특징점을 기술하고 저장하여 이후 프레임에서 빠르고 정확하게 특징을 추적한다. 또한 재구성된 특징점을 들로네 삼각화하면서 월드 좌표계에 평행한 기준 평면을 결정한다. 기준 평면과 해당 특징점을 저장하고, 카메라를 정확하게 해석하기 어려운 경우에 기준 평면의 호모그래피를 활용하여 카메라 정보를 추정한다. 실내환경의 실험결과로부터 제안된 방법이 기존 SLAM 시스템의 오차 누적 등의 문제를 해결하였음을 확인하였다.

Reference

1.G. Klein and D. Murray, "Parallel trackingand mapping for small AR workspaces,"Proc. of ISMAR, pp. 225-234, 2007.
2.A. J. Davison, I. D. Reid, N. D. Molton, andO. Stasse, "MonoSLAM: real-time single camera SLAM," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 29,no. 6, pp. 1052-1067, 2007.
3.D. Nistér, O. Naroditsky and J. Bergen,"Visual odometry," Proc. of CVPR, pp.652-659, 2004.
4.M. Pupilli and A. Calway, "Real-time cameratracking using a particle filter," Proc. of BMVC, pp. 519-528, 2005.
5.L. M. Paz, P. Pinies, J. D. Tardos, and J.Neira, "Large scale 6DOF SLAM with astereo camera in hand," IEEE Transactionson Robotics, vol. 24, no. 5, pp. 946-957, 2008.
6.N. Engelhard, F. Endres, J. Hess, J. Sturmand W. Burgard, "Real-time visual odometry from dense RGB-D images," Proc. of Workshop on Live Dense Reconstruction with Moving Cameras at ICCV, 2011.
7.G. Klein and D. Murray, "Parallel tracking and mapping for small AR workspaces," Proc. of ISMAR, pp. 225-234, 2007.
8.D. Chekhlov, M. Pupilli, W. Mayol-Cuevas, and A. Calway, "Real-time and robust monocular SLAM using predictivemulti-resolution descriptors," Proc. of Int'l. Symposium on Visual Computing, pp.276-285, 2006.
9.D. G. Lowe, "Distinctive image features from scale-invariant keypoints," IJCV, Vol. 60, No.2, pp. 91-110, 2004.
10.H. Bay, A. Ess, T. Tuytelaars, L. V. Gool, "SURF: speeded up robust features," Proc. of CVIU, Vol. 110, No. 3, pp. 346-359, 2008.
11.Z. Zhang, "A flexible new technique forcamera calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, no. 11, pp. 1330-1334, 2000.
12.S. Leutenegger, M. Chli and R. Siegwart, "BRISK: binary robust invariant scalable keypoints," Proc. of the IEEE Int. Conf. on Computer Vision, 2011.
13.N. Molton, A. J. Davison and I. Reid, "Locally planar patch features for real-time structure from motion", Proc. of BMVC, 2004.
14.M. Calonder, V. Lepetit, C. Strecha, P. Fua, "BRIEF: binary robust independent elementary features," Proc. of ECCV, 2010.
15.B. Williams, G. Klein, I. Reid, "Real-time SLAM relocalisation," IEEE Int. Conf. on Computer Vision pp. 1-8. 2007.
16.B. Williams, P. Smith, and I. D. Reid, "Automatic relocalisation for a single-camera simultaneous localisation and mapping system," Proc. of Int'l. Conf. on Robotics and Automation, pp. 2784-2790, 2007.
17.D. Chekhlov, A. P. Gee, A. Calway, and W.M. Cuevas, "Ninja on a plane: automatic discovery of physical planes for augmented reality using visual SLAM," Proc. of ISMAR, pp. 153-156, 2007.
18.M. I. A. Lourakis, A. A. Argyros, and S. C.Orphanoudakis, "Detecting planes in an uncalibrated image pair," Proc. of BMVC, pp.587-596, 2002.
19.G. Simon, "Automatic online walls detection for immediate use in AR tasks," Proc. of ISMAR, pp. 39-42, 2006.
20.J. Civera, O. C. Grasa, A. J. Davison, and J. M. M. Motiel, "1-Point RANSAC for EKF-based structure from motion," Proc. of Intelligent Robots and System, pp. 3498-3504,2009.
21.R. Hartely, and A. Zisserman, "Multiple View Geometry in Computer Vision," Cambridge University Press, Cambridge, 2003.