( PDF ) Calibração Robusta de Video para Realidade Aumentada

Download PDF

ads:

Disserta¸c˜ao para obten¸c˜ao do grau de mestre em matem´atica pelo

INSTITUTO NACIONAL DE MATEM

ATICA PURA E APLICADA

Calibra¸c˜ao Robusta de V´ıdeo Para Realidade Aumentada

por

BRUNO EDUARDO MADEIRA

Orientador: LUIZ VELHO

Co-Orientador: PAULO CEZAR PINTO CARVALHO

18 de Dezembro de 2006

ads:

Livros Grátis

http://www.livrosgratis.com.br

Milhares de livros grátis para download.

Abstract

One of the problems that must be solved for the development of an augmented reality

system is the calibration problem. This problem consists in estimating camera parame-

ters used to capture video frames that we need to combine with synthetic images. In this

thesis we present an algorithm that solves this problem combining diﬀerent computer

vision techniques. The solution relies on correspondences from 3D scene points through

frame-to-frame associations between 2D image points over the video sequence. Because

even short videos are made by hundreds of frames, the correspondence must be done

automatically. Kanade-Lucas-Tomasi (KLT) algorithm is used for tracking characteris-

tic points. The algorithm developed is robust to outliers and assumes that the scene is

rigid which makes the camera parameters estimation possible.

ads:

Resumo

Um dos problemas que precisa ser resolvido para o desenvolvimento de um sistema de re-

alidade aumentada ´e o problema de calibra¸c˜ao. Este problema consiste na determina¸c˜ao

dos parˆametros da cˆamera utilizados na capta¸c˜ao dos quadros do v´ıdeo que se deseja com-

binar com image ns sint´eticas. Nesta disserta¸c˜ao apresentamos um algoritmo que resolve

esse problema combinando diversos procedimentos baseados em vis˜ao computacional.

A solu¸c˜ao ´e obtida utilizam-se correspondˆencias entre proje¸c˜oes de diversos pontos da

cena sobre os diversos quadros do v´ıdeo. Tendo em vista que, mesmo v´ıdeos de curta

dura¸c˜ao s˜ao formados por centenas de quadros, ´e nec es s´ario que a correspondˆencia entre

as proje¸c˜oes seja feita de forma autom´atica. O algoritmo Kanade-Lucas-Tomasi (KLT)

´e utilizado no acompanhamento de pontos caracter´ısticos. O algoritmo desenvolvido ´e

robusto e assume que a cena ´e r´ıgida, o que torna poss´ıvel a solu¸c˜ao do problema de

estima¸c˜ao dos parˆametros da cˆamera.

Agradecimentos

Aos professores Luiz Velho e Paulo Cezar, pelos ensinamentos, pela aten¸c˜ao e

paciˆencia dispensadas a mim, desde meu ingresso no IMPA, como aluno de inicia¸c˜ao

cient´ıﬁca em 1998. A importˆancia desses dois mestres em minha forma¸c˜ao acadˆemica

extrapola o trabalho apresentado neste texto.

Aos professores Jonas Gomes, Ralph Teixeira, e Luiz Henrique, que junto com

os professores Luiz Velho e Paulo Cezar, despertaram em mim o gosto pela pesquisa em

Computa¸c˜ao Gr´aﬁca e Vis˜ao Computacional.

Aos demais professores do IMPA, por terem mudado minha maneira de ver a

Matem´atica, transformando-a em uma aliada poderosa na busca de solu¸c˜oes para pro-

blemas.

Aos meus pais, pelo apoio durante todos os anos de minha vida.

Sum´ario

1 Introdu¸c˜ao 12

1.1 Caracteriza¸c˜ao do problema . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.2 Estrutura da disserta¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.3 Nota¸c˜ao e conven¸c˜oes matem´aticas . . . . . . . . . . . . . . . . . . . . . . 15

1.3.1 S´ımbolos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.3.2 Coordenadas homogˆeneas . . . . . . . . . . . . . . . . . . . . . . . 16

2 Cˆamera virtual 17

2.1 Modelo b´asico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.1.1 Cˆamera na origem . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.1.2 Cˆamera em posi¸c˜ao gen´erica . . . . . . . . . . . . . . . . . . . . . . 19

2.1.3 Cˆamera digital . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.1.4 Parˆametros intr´ınsecos . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.1.5 Dimens˜ao do espa¸co de cˆameras virtuais . . . . . . . . . . . . . . . 20

2.2 Cˆamera para s´ıntese de imagens . . . . . . . . . . . . . . . . . . . . . . . . 21

2.2.1 Terminologias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.2.2 Recorte e visibilidade . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.3 Transforma¸c˜ao de visualiza¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . 23

2.3.1 Posicionamento da cˆamera . . . . . . . . . . . . . . . . . . . . . . . 23

2.3.2 Transforma¸c˜ao de normaliza¸c˜ao . . . . . . . . . . . . . . . . . . . . 23

2.3.3 Proje¸c˜ao p erspectiva . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.3.4 Coordenadas do dispositivo . . . . . . . . . . . . . . . . . . . . . . 25

2.4 Compara¸c˜ao com o modelo b´asico . . . . . . . . . . . . . . . . . . . . . . 25

SUM

ARIO 6

2.4.1 Parˆametros intr´ınsecos . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.4.2 Dimens˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.4.3 Vantagens sobre o modelo b´asico . . . . . . . . . . . . . . . . . . . 26

2.5 Cˆameras para calibra¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.5.1 Modelo projetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.5.2 Nota¸c˜ao K [R|t] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.5.3 Cˆamera projetiva gen´erica . . . . . . . . . . . . . . . . . . . . . . . 28

2.6 Cˆamera no OpenGL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.6.1 Especiﬁca¸c˜ao dos parˆametros extr´ınsecos . . . . . . . . . . . . . . . 30

2.6.2 Especiﬁca¸c˜ao dos parˆametros intr´ınsecos . . . . . . . . . . . . . . . 30

3 Parˆametros intr´ınsecos 32

3.1 Calibra¸c˜ao em rela¸c˜ao ao objeto calibrador . . . . . . . . . . . . . . . . . 33

3.1.1 Calibra¸c˜ao usando seis correspondˆencias . . . . . . . . . . . . . . . 33

3.1.2 Encontrar x ∈ S

que minimiza Ax . . . . . . . . . . . . . . . . 34

3.1.3 Calibra¸c˜ao usando mais de seis correspondˆencias . . . . . . . . . . 35

3.2 Isolamento dos parˆametros da cˆamera . . . . . . . . . . . . . . . . . . . . 35

3.3 Cˆamera para s´ıntese de imagens . . . . . . . . . . . . . . . . . . . . . . . . 39

3.4 Calibra¸c˜ao por otimiza¸c˜ao restrita . . . . . . . . . . . . . . . . . . . . . . 40

3.4.1 M´etodo Gauss-Ne wton . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.4.2 Algoritmo Levenberg-Marquardt . . . . . . . . . . . . . . . . . . . 42

3.4.3 Adapta¸c˜ao dos algoritmos ao problema . . . . . . . . . . . . . . . . 43

3.4.4 Parametriza¸c˜ao de rota¸c˜oes . . . . . . . . . . . . . . . . . . . . . . 44

3.4.5 Parametriza¸c˜ao do espa¸co de cˆameras . . . . . . . . . . . . . . . . 44

3.4.6 Pontos problem´aticos da parametriza¸c˜ao . . . . . . . . . . . . . . . 45

4 Calibra¸c˜ao de pares de cˆameras 47

4.1 Representa¸c˜ao do posicionamento relativo . . . . . . . . . . . . . . . . . . 47

4.2 Movimento r´ıgido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4.3 Outro modelo de proje¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4.4 Geometria Epipolar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

4.4.1 Matriz essencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

SUM

ARIO 7

4.4.2 Matriz fundamental . . . . . . . . . . . . . . . . . . . . . . . . . . 49

4.5 Algoritmo de 8 pontos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

4.5.1 C´alculo de F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

4.5.2 Usando mais de 8 pontos . . . . . . . . . . . . . . . . . . . . . . . 51

4.5.3 C´alculo de

F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

4.6 Algoritmo de 8 pontos normalizado . . . . . . . . . . . . . . . . . . . . . . 52

4.7 Determinando os parˆametros extr´ınsecos . . . . . . . . . . . . . . . . . . . 53

4.7.1 Adicionando recorte ao modelo . . . . . . . . . . . . . . . . . . . . 54

4.7.2 Reconstru¸c˜ao tridimensional . . . . . . . . . . . . . . . . . . . . . . 55

5 Acompanhamento de pontos 57

5.1 Deﬁni¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

5.2 Algoritmo Kanade-Lucas-Tomasi . . . . . . . . . . . . . . . . . . . . . . . 58

5.3 Acompanhamento de janelas . . . . . . . . . . . . . . . . . . . . . . . . . 58

5.4 Escolha das janelas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

5.5 Descarte de janelas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

5.6 Problemas no uso do KLT . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

6 Calibra¸c˜ao de fam´ılias de cˆameras 63

6.1 Deﬁni¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

6.2 Calibrando aos pares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

6.3 Calibra¸c˜ao em trˆes passos . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

6.4 Problemas da calibra¸c˜ao em trˆes passos . . . . . . . . . . . . . . . . . . . 65

6.4.1 Algoritmo RANSAC . . . . . . . . . . . . . . . . . . . . . . . . . . 66

6.4.2 Solu¸c˜ao para o problema do passo 1 . . . . . . . . . . . . . . . . . 67

6.4.3 Solu¸c˜ao para o problema do passo 2 . . . . . . . . . . . . . . . . . 67

6.4.4 Solu¸c˜ao para o problema do passo 3 . . . . . . . . . . . . . . . . . 68

6.5 Escolha das colunas base . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

6.6 Calibra¸c˜ao via Levenberg-Marquardt . . . . . . . . . . . . . . . . . . . . . 69

6.7 Representa¸c˜ao de uma conﬁgura¸c˜ao . . . . . . . . . . . . . . . . . . . . . . 70

6.8 Ciclos de reﬁnamento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

6.9 Decomposi¸c˜ao do v´ıdeo em fragmentos . . . . . . . . . . . . . . . . . . . . 72

SUM

ARIO 8

6.10 Jun¸c˜ao de fragmentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

6.10.1 Alinhamento de fragmentos . . . . . . . . . . . . . . . . . . . . . . 73

6.10.2 Compatibiliza¸c˜ao de escalas . . . . . . . . . . . . . . . . . . . . . . 73

6.10.3 Compatibiliza¸c˜ao robusta de escalas . . . . . . . . . . . . . . . . . 74

7 Experimentos computacionais 75

7.1 Bibliotecas utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

7.2 Arquitetura do sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

7.3 Estima¸c˜ao de parˆametros intr´ınsecos . . . . . . . . . . . . . . . . . . . . . 77

7.4 Calibra¸c˜ao de fragmentos . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

7.5 Jun¸c˜ao de fragmentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

7.6 Modelagem geom´etrica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

7.7 Resultados ﬁnais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

7.8 Considera¸c˜oes sobre desempenho . . . . . . . . . . . . . . . . . . . . . . . 88

8 Conclus˜oes e trabalhos futuros 89

8.1 Problemas pendentes na calibra¸c˜ao . . . . . . . . . . . . . . . . . . . . . . 89

8.2 Propostas para trabalhos futuros . . . . . . . . . . . . . . . . . . . . . . . 90

8.2.1 Problema de visibilidade . . . . . . . . . . . . . . . . . . . . . . . . 90

8.2.2 Ferramenta de modelagem para realidade aumentada . . . . . . . . 90

8.2.3 Fotorrealismo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

8.2.4 Acompanhamento espacial de corpos r´ıgidos em v´ıdeo . . . . . . . 92

Lista de Figuras

1.1 Quadros de um v´ıdeo em que foi aplicado o algoritmo apresentado nessa

disserta¸c˜ao. Os pontos marcados nas imagens foram escolhidos e acompa-

nhados automaticamente, sendo utilizados por um processo de calibra¸c˜ao,

que estimou as cˆameras empregadas na s´ıntese das imagens do cubo. . . 13

2.1 Cˆamera de furo (a); Modelo de cˆamera (b) . . . . . . . . . . . . . . . . . . 19

2.2 Pirˆamide de vis˜ao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.3 Transforma¸c˜oes que comp˜oem o modelo de cˆamera usado em s´ıntese de

imagens. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.1 Objeto com marca¸c˜oes em posi¸c˜oes conhecidas, usado para calibra¸c˜ao . . 33

3.2 (a) exibe a imagem de um cubo correspondente `a descri¸c˜ao da cena apre-

sentada em (b). O sistema de coordenadas da imagem (a) ´e deﬁnido com

uma orienta¸c˜ao diferente do sistema da cˆamera apresentado em (b). Com

essa deﬁni¸c˜ao o sinal de f

precisa ser negativo. . . . . . . . . . . . . . . . 39

4.1 Embora existam quatro conﬁgura¸c˜oes que e xplicam projetivamente o par

de p ontos hom´ologos, apenas em (a) o ponto projetado est´a posicionado

`a frente de ambas as cˆameras. . . . . . . . . . . . . . . . . . . . . . . . . . 55

LISTA DE FIGURAS 10

5.1 Exemplos de pontos que n˜ao s˜ao proje¸c˜oes de pontos ﬁxos da cena. No

caso do ponto 1, o KLT est´a ac ompanhando uma regi˜ao de brilho de uma

superf´ıcie. O problema ´e que ess a regi˜ao se move com a movimenta¸c˜ao da

cˆamera. No caso do ponto 2, o KLT est´a acompanhado a superposi¸c˜ao da

proje¸c˜ao dos bordos de duas superf´ıcies distintas da cena. . . . . . . . . . 61

7.1 Arquitetura do sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

7.2 Imagens do objeto calibrador obtidas por uma mesma cˆamera p os icionada

de formas diferentes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

7.3 Quadros de v´ıdeos ilustrando o acompanhamento realizado pelo m´odulo

Perseguidor de Pontos. Temos respectivamente em (a), (b) e (c) um

acompanhamento de 10, 50 e 100 pontos. . . . . . . . . . . . . . . . . . . 81

7.4 Quantidade de pontos selecionados nas diversas etapas da calibra¸c˜ao de

fragmentos dos v´ıdeos (a) e (c) da Figura 7.3. Cada curva representa um

experimento feito com uma quantidade diferente de pontos iniciais. No

eixo horizontal temos: A - Pontos selecionados no in´ıcio do fragmento; B

- Pontos acompanhados pelo KLT por todo o fragmento; C - Pontos per-

tencentes ao conjunto de consenso do RANSAC utilizado pelo algoritmo

de calibra¸c˜ao em trˆes passos; D - Pontos re constru´ıdos pelo primeiro ciclo

de reﬁnamento; E - Pontos reconstru´ıdos pelo segundo ciclo de reﬁnamento. 82

7.5 Essas imagens localizam espacialmente os pontos associados `as letras A e

E dos gr´aﬁcos da Figura 7.4. Os pontos vermelhos s˜ao aqueles que foram

aceitos no ´ultimo ciclo de reﬁnamento, e os azuis s˜ao aqueles que foram

descartados. (a), (b) e (c) exibem os resultados utilizando-se respectiva-

mente uma sele¸c˜ao inicial de 50, 100 e 150 pontos. (d), (e) e (f) fazem o

mesmo para o outro v´ıdeo. Vˆe-s e que, o ponto destacado em (a), embora

seja m´ovel, n˜ao foi descartado. . . . . . . . . . . . . . . . . . . . . . . . . 83

LISTA DE FIGURAS 11

7.6 A curva vermelha indica a fra¸c˜ao do n´umero de pontos reconstru´ıdos no

fragmento indicado, cujos erros de reproje¸c˜ao nos quadros do fragmento

consecutivo s˜ao inferiores `a 5 pixels. A c urva verde indica o erro m´edio

cometido nessa reproje¸c˜ao. As informa¸c˜oes s˜ao parametrizadas pelas esco-

lhas de escalas na solu¸c˜ao do problema 6.1. O resultado obtido aplicando-

se o algoritmo deﬁnido em 6.10.3 sobre (a) ´e de 0,368. O resultado da

letra (b) est´a mal determinado. . . . . . . . . . . . . . . . . . . . . . . . 84

7.7 Interface gr´aﬁca do Modelador Geom´etrico. . . . . . . . . . . . . . . . . . 86

7.8 Quadros de v´ıdeos gerados pelo m´odulo Combinador de Imagens. . . . . . 87

8.1 Composi¸c ˜ao da imagem de um cubo gerado pelo YafRay com alguns qua-

dros de um v´ıdeo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

8.2 O cubo ao redor do boneco ilustra o uso da calibra¸c˜ao na estima¸c˜ao do

movimento realizado por um corpo r´ıgido. . . . . . . . . . . . . . . . . . 92

Cap´ıtulo 1

Introdu¸c˜ao

1.1 Caracteriza¸c˜ao do problema

Um dos principais problemas que precisa ser resolvido para o desenvolvimento de

um sistema de realidade aumentada ´e a dete rmina¸c˜ao dos parˆametros da cˆamera utili-

zados na capta¸c˜ao dos quadros do v´ıdeo que se deseja combinar com imagens sint´eticas.

Nesta disserta¸c˜ao apresentamos um algoritmo, composto por diversos procedimentos

heur´ısticos baseados em vis˜ao computacional, que resolve esse problema. Para isso

utilizam-se correspondˆencias entre proje¸c˜oes de diversos pontos da cena sobre os diversos

quadros do v´ıdeo.

A cena precisa ser predominantemente r´ıgida, ou seja, a maioria dos pontos da

cena n˜ao podem ter sua posi¸c˜ao modiﬁcada, pois as restri¸c ˜oes impostas pela rigidez sobre

suas proje¸c˜oes ´e que tornam poss´ıvel a determina¸c˜ao dos parˆametros da cˆamera.

Tendo em vista que, mesm o v´ıdeos de curta dura¸c˜ao s˜ao formados por centenas

de quadros, ´e necess´ario que a correspondˆencia entre as proje¸c˜oes seja feita de forma

autom´atica. Para isso ´e utilizado o algoritmo Kanade-Lucas-Tomasi (KLT), descrito

detalhadamente em [16]. O pre¸co pago pela automatiza¸c˜ao ´e a possibilidade de falha

nas medi¸c˜oes das proje¸c˜oes dos pontos, que torna necess´ario o uso de t´ecnicas robustas.

Uma vez que tenham sido estabelecidas as correspondˆencias entre as proje¸c˜oes

de pontos da cena nos diversos quadros do v´ıdeo, aplicam-se t´ecnicas de calibra¸c˜ao, que

permitem dete rminar as cˆameras associadas a cada quadro. Com o conhecimento dessas

CAP

ITULO 1. INTRODUC¸

AO 13

Figura 1.1: Quadros de um v´ıdeo em que foi aplicado o algoritmo apresentado nessa

disserta¸c˜ao. Os pontos marc ados nas imagens foram escolhidos e ac ompanhados auto-

maticamente, sendo utilizados por um processo de calibra¸c˜ao, que estimou as cˆameras

empregadas na s´ıntese das imagens do cubo.

cˆameras, pode-se inserir um objeto virtual na cena, como ilustrado na Figura 1.1.

Muitas das id´eias utilizadas aqui s˜ao baseadas em [6]. Existem, entretanto, gran-

des diferen¸cas no que diz respeito `a estrat´egia de robustecimento empregada. Al´em

disso, no nosso caso, os parˆametros da cˆamera s˜ao determinados em dois est´agios. No

primeiro est´agio, utiliza-se um objeto com marca¸c˜oes feitas em posi¸c˜oes conhecidas para

estimar os parˆametros intr´ınsecos da cˆamera, e, em um segundo est´agio, faz-se a deter-

mina¸c˜ao dos parˆametros extr´ınsecos utilizando-se os parˆametros intr´ınsecos estimados

anteriormente. Essa estrat´egia elimina a necessidade de se utilizar um algoritmo de

auto-calibra¸c˜ao.

1.2 Estrutura da disserta¸c˜ao

O assunto tratado na disserta¸c˜ao foi dividido em cap´ıtulos da seguinte maneira:

Cap´ıtulo 2: S˜ao descritos modelos de cˆamera utilizados na solu¸c˜ao de problemas

de calibra¸c˜ao e s´ıntese de imagens. S˜ao apresentadas as rela¸c˜oes existentes entre os

dois tipos de modelos atrav´es da identiﬁca¸c˜ao dos parˆametros comuns ao modelos

deﬁnidos em [7] e [8], sendo o primeiro usado em s´ıntese de imagens, e o segundo

usado em calibra¸c˜ao. No ﬁnal, explica-se detalhadamente o processo de compati-

CAP

ITULO 1. INTRODUC¸

AO 14

biliza¸c˜ao dos parˆametros da API do OpenGL com os parˆametros de uma cˆamera

estimada por um processo de calibra¸c˜ao.

Cap´ıtulo 3:

E descrito um m´etodo para estimar os parˆametros intr´ınsecos de uma

cˆamera a partir da imagem de um objeto com marca¸c˜oes em posi¸c ˜oes conhecidas.

Como parte da solu¸c˜ao do problema, ´e descrito um algoritmo que resolve o pro-

blema de calibra¸c˜ao de uma cˆamera a partir de um conjunto de correspondˆencias

3D-2D.

Cap´ıtulo 4:

E descrito um algoritmo capaz de calibrar um par de cˆameras, sendo

conhecidas as proje¸c˜oes de um conjunto de pontos da cena sobre um par de ima-

gens captado por elas. Des creve-se tamb´em um algoritmo capaz de realizar a

reconstru¸c˜ao tridimensional de um conjunto de pontos a partir de um conjunto de

proje¸c˜oe s obtidas por um par de cˆameras calibradas.

Cap´ıtulo 5:

E desc rito o algoritmo Kanade-Lucas-Tomasi (KLT), que ´e utilizado

na automatiza¸c˜ao da correspondˆencia entre pontos hom´ologos nos quadros de um

v´ıdeo. Assim como os dois cap´ıtulos anteriores, esse cap´ıtulo ajuda a preparar o

terreno para o Cap´ıtulo 6.

Cap´ıtulo 6: Esse ´e o principal cap´ıtulo da disserta¸c˜ao. Faz-se inicialmente um

conjunto de deﬁni¸c˜oes, visando caracterizar o problema de calibra¸c˜ao de fam´ılias

de cˆameras. Em seguida, apresenta-se um algoritmo para resolver esse problema

de calibra¸c˜ao, combinando os algoritmos descritos nos cap´ıtulos 3, 4 e 5 com o

algoritmo RANSAC, que ´e explicado no cap´ıtulo.

Cap´ıtulo 7:

E descrita a arquitetura de um sistema implementado, que tem a ca-

pacidade de inserir, de forma geometricamente consistente, objetos virtuais sobre

os quadros de um v´ıdeo capturado por uma cˆamera. Para fazer isso, ele com-

bina os resultados sobre especiﬁca¸c˜ao de parˆametros do OpenGL, apresentados no

Cap´ıtulo 2, com o algoritmo de calibra¸c˜ao de fam´ılias de cˆameras apresentado no

Cap´ıtulo 6. No ﬁnal, s˜ao apresentados exemplos de resultados produzidos pelo

sistema.

CAP

ITULO 1. INTRODUC¸

AO 15

1.3 Nota¸c˜ao e conven¸c˜oes matem´aticas

1.3.1 S´ımbolos

A maioria dos s´ımbolos matem´aticos empregados no texto s˜ao de uso consagrado

na literatura. Adotamos os mesmos signiﬁcados para os s´ımbolos feito em [10], e assu-

mimos tamb´em o seguinte:

a, b ∈ U signiﬁca que a ∈ U e b ∈ U;

f : W ⊂ U → V signiﬁca f : W → V , onde W ⊂ U;

(X)

´e uma n-upla de eleme ntos indexados (X

, ··· , X

);

a ≈ b signiﬁca que a ´e aproximadamente igual a b;

Se M ´e uma matriz ent˜ao M

´e o ele mento da i-´esima linha e j-´esima coluna;

∇f (x) ´e o vetor gradiente no ponto x asso ciado a uma aplica¸c˜ao f : U ⊂

→

diferenci´avel em x ∈ U ;

(x) ´e a matriz jacobiana no ponto x associada a uma aplica¸c˜ao f : U ⊂

→

diferenci´avel em x ∈ U ;

(x) ´e a matriz hessiana no ponto x associada a uma aplica¸c˜ao f : U ⊂

→ duas

vezes diferenci´avel em x ∈ U;

diag (λ

, ··· , λ

) ´e a matriz diagonal deﬁnida de forma que se M = diag (λ

, ··· , λ

)

ent˜ao M

= λ

;

d (x, y) ´e a distˆancia euclidiana entre os pontos x e y.

CAP

ITULO 1. INTRODUC¸

AO 16

1.3.2 Coordenadas homogˆeneas

Em muitas partes da disserta¸c˜ao faz-se uso de geometria projetiva, mais especi-

ﬁcamente, utilizam-se os espa¸cos projetivos P

e P

Temos que coordenadas de pontos projetados nas image ns s˜ao especiﬁcados tanto

como pares ordenados

como em coordenadas homogˆeneas de P

. Essa identiﬁca¸c˜ao

´e dada pela transforma¸c˜ao

(x, y, z)

→





deﬁnida quando z = 0.

O mesmo ocorre com coordenadas de pontos da cena: elas s˜ao especiﬁcadas tanto

como em coordenadas homogˆeneas de P

, seguindo um processo an´alogo. Para

evitar confus˜oes, procurou-se indicar explicitamente a que conjunto os pontos pertencem.

Por exemplo, para indicar um ponto da cena dizemos “um ponto X ∈

da cena” ou

“um ponto X ∈ P

da cena”.

Existe no texto avalia¸c˜oes de distˆancias entre pontos c ujas coordenadas s˜ao es-

peciﬁcadas de forma homogˆeneas, ou seja, d (x, y) deﬁnida com x, y ∈ P

. Neste caso,

assumiremos que, antes de ser avaliada a fun¸c˜ao distˆancia, faz-se implicitamente a con-

vers˜ao das coordenadas de x e de y para

, como descrito anteriormente.

Os conhecimentos de geometria projetiva necess´arios para a compreens˜ao da

disserta¸c˜ao s˜ao bastante elementares. Uma boa referˆencia ´e [7]. Uma apresenta¸c˜ao um

pouco mais detalhada sobre o mesmo assunto pode ser encontrada em [8].

Cap´ıtulo 2

Cˆamera virtual

Uma cˆamera virtual ´e um objeto matem´atico que descreve o funcionamento de

uma cˆamera ´optica, ou seja, estabelece a correspondˆencia existente entre elementos do

mundo tridimensional e suas proje¸c˜oes em uma imagem.

No contexto de Realidade Aumentada

s˜ao necess´arios modelos de cˆamera que

permitam resolver dois tipos de problemas:

1. Problemas de S´ıntese de Imagens.

2. Problemas de Calibra¸c˜ao.

Neste cap´ıtulo abordaremos modelos de cˆameras apropriados para a resolu¸c˜ao

destes problemas. Inicialmente aprese ntaremos um modelo de cˆamera b´asico, que ser´a

deﬁnido sem fazer uso de geometria projetiva. Este servir´a de base para a deﬁni¸c˜ao de

dois modelos criados com geometria projetiva, sendo um utilizado na resolu¸c˜ao de pro-

blemas de s´ıntese de imagens, e outro utilizado na resolu¸c˜ao de problemas de calibra¸c˜ao.

Ser˜ao apresentadas parametriza¸c˜oes para esses modelos. De forma semelhante a

outros textos, agruparemos os parˆametros em duas categorias: os parˆametros extr´ınsecos

e os parˆametros intr´ınsecos.

Realidade Aumentada ´e o processo de composi¸c˜ao de imagens captadas por uma cˆamera com imagens

de objetos geradas por computador. Este processo pode ser feito em tempo real, ou n˜ao. Estamos

tratando na disserta¸c˜ao de um processo de realidade aumentada que n˜ao ´e feito em tem po real.

CAP

ITULO 2. C

AMERA VIRTUAL 18

Os parˆametros extr´ınsecos descrevem o posicionamento e a orienta¸c˜ao da cˆamera.

J´a os parˆametros intr´ınsecos, estes descrevem o efeito da cˆamera sobre os raios lumin-

sosos, e a a¸c˜ao dos sensores da cˆamera na forma¸c˜ao da imagem. As propriedades da

cˆamera controladas pelos parˆametros intr´ınsecos incluem: a distˆancia focal, a resolu¸c˜ao

da imagem, as dimens˜oes dos pixels, a distor¸c˜ao radial causada pela lente, ... etc.

O mapeamento de m odelos de cˆameras usados em calibra¸c˜ao sobre os modelos

usados em s´ıntese de imagens ser´a feito implicitamente, pela ado¸c˜ao de uma mesma

nomeclatura na parametriza¸c˜ao de ambos. Por exemplo, a letra d ser´a utilizada para

especiﬁcar a distˆancia focal tanto nos modelos usados em s´ıntese de imagens como nos

modelos usados em calibra¸c˜ao.

No ﬁnal do cap´ıtulo ser´a deﬁnido o mapeamento dos parˆametros dos modelos

usados em calibra¸c˜ao sobre os parˆametros utilizados na especiﬁ¸c˜ao de cˆameras pela

biblioteca OpenGL. A importˆancia deste mapeamento deve-se ao fato do OpenGL ser

um dos padr˜oes de s´ıntese de imagens mais utilizados na atualidade [19], e de ter sido

utilizado no desenvolvimento do sistema descrito no Cap´ıtulo 7.

2.1 Modelo b´asico

Ser´a apresentado agora um modelo de cˆamera b´asico, que ser´a posteriormente

especializado na resolu¸c˜ao de problemas de s´ıntese de imagens e calibra¸c˜ao.

Uma hip´otese adotada em todo o texto ´e que o efeito sobre os raios luminosos

produzido por uma cˆamera que possui lentes, pode ser aproximado pelo efeito produzido

por uma cˆamera de furo [4], que ´e o tip o de cˆamera considerado nos modelos que ser˜ao

apresentados. Um tratamento mais geral, que leva em considera¸c˜ao a distor¸c˜ao radial

causada pelas lentes, pode ser encontrado em [1].

Uma cˆamera de furo realiza uma proje¸c˜ao perspectiva dos pontos de uma c ena

sobre um anteparo. Como o centro ´optico da cˆamera encontra-se entre o anteparo e os

objetos projetados, ocorre uma invers˜ao da imagem captada. Embora isso n˜ao gere gran-

des problemas do ponto de vista matem´atico, ´e comum descrever o efeito de uma cˆamera

de furo por uma proje¸c˜ao perspectiva, em que o plano de proje¸c˜ao encontra-se entre o

centro de proje¸c˜ao e os objetos projetados, obtendo assim um resultado equivalente,

CAP

ITULO 2. C

AMERA VIRTUAL 19

Figura 2.1: Cˆam era de furo (a); Modelo de cˆamera (b)

por´em, se m a invers˜ao, como ilustrado na Figura 2.1.

A seguir ser˜ao deﬁnidas trˆes transforma¸c˜oes, chamadas de T

, T

e T

, que ser˜ao

combinadas para formar o modelo de cˆamera b´asico.

2.1.1 Cˆamera na origem

Para uma proje¸c˜ao perspectiva cujo centro de proje¸c˜ao est´a posicionado em

(0, 0, 0)

, e cujo plano de proje¸c˜ao ´e perpendicular ao eixo-z, temos que a transforma¸c˜ao

associada ´e T

: S ⊂

→

, deﬁnida por

{(x, y, z)

} =



, d



, (2.1)

onde S ´e o conjunto formado pelos pontos de

que n˜ao possuem a coordenada z = 0,

e d corresponde `a distˆancia entre o centro e o plano de proje¸c˜ao. Essa distˆancia ´e

denominada distˆancia focal.

2.1.2 Cˆamera em posi¸c˜ao gen´erica

A transforma¸c˜ao correspondente a uma cˆamera posicionada de maneira arbitr´aria

´e dada pela composi¸c˜ao T

◦ T

: T

−1

(S) →

, onde T

→

´e um movimento

r´ıgido deﬁnido por

(x) = R (x −c) , (2.2)

em que c ´e a posi¸c˜ao do centro de proje¸c˜ao, e R ´e uma matriz de rota¸c˜ao, que determina

a orienta¸c˜ao da cˆamera.

CAP

ITULO 2. C

AMERA VIRTUAL 20

A matriz de rota¸c˜ao R e o vetor c podem ser parametrizados por 6 n´umeros reais,

que correspondem aos parˆametros extr´ınsecos da cˆamera.

2.1.3 Cˆamera digital

No caso de cˆameras digitais, temos que a imagem ´e projetada sobre uma matriz

de sensores, que realizam uma amostragem da mesma. Essa amostragem deﬁne um

novo sistema de coordenadas para a imagem projetada. A mudan¸ca de coordenadas da

imagem ´e deﬁnida por uma transforma¸c˜ao aﬁm do plano T

→

, da forma,

(x) = diag (m

, m

) + (x

, y

)

, (2.3)

onde m

e m

correspondem ao n´umero de sensores por unidade de comprimento na

dire¸c˜ao x e y respectivamente, e o par (x

, y

)

corresponde ao ponto principal, que

deﬁne as coordenadas em escala de pixels, da proje¸c˜ao ortogonal do centro de proje¸c˜ao

sobre o plano de proje¸c ˜ao.

2.1.4 Parˆametros intr´ınsecos

Vamos analisar agora a composi¸c˜ao T

◦ T

: S →

. Essa transforma¸c˜ao ´e

deﬁnida por

◦ T



(x, y, z)





+ x

, dm

+ y



. (2.4)

E imediato veriﬁcar, pela express˜ao acima, que cˆameras digitais com distˆancias

focais diferentes podem produzir o mesmo resultado, bastando para isso escolher uma

resolu¸c˜ao espacial apropriada. Isso ocorre pois esses valores aparece m combinadas na

forma dos produtos dm

e dm

Os valores x

, y

, dm

e dm

deﬁnem os parˆametros intr´ınsecos do modelo de

cˆamera b´asico.

2.1.5 Dimens˜ao do espa¸co de cˆameras virtuais

Temos que as transforma¸c˜oes T

◦ T

: T

−1

(S) →

deﬁnem um espa¸co de

cˆameras virtuais que possui 10 graus de liberdade, sendo 3 graus de liberdades ass ociados

`a rota¸c˜ao R, 3 graus de liberdade associados `a posi¸c˜ao do c entro de proje¸c˜ao c, e os demais

4 graus de liberdades deﬁnidos pelos parˆametros intr´ınsecos.

CAP

ITULO 2. C

AMERA VIRTUAL 21

Figura 2.2: Pirˆamide de vis˜ao.

Observamos que ao considerarmos um modelo com 10 graus de liberdade, esta-

mos desconsiderando que as dimens˜oes do anteparo da cˆamera de furo s˜ao parˆametros

intr´ınsecos. Do ponto de vista de calibra¸c˜ao, isso n˜ao gera nenhum problema pois as

limita¸c˜oes do anteparo est˜ao sendo aplicadas ﬁsicamente pela cˆamera, por outro lado,

do ponto de vista de s´ıntese de imagens, essas dimens˜oes s˜ao importantes.

2.2 Cˆamera para s´ıntese de imagens

O problema de s´ıntese de imagens pode ser deﬁnido como o de criar imagens

a partir de descri¸c˜oes de cenas tridimensional. Esta se¸c˜ao e a pr´oxima tratam de um

modelo de cˆamera apropriado para s´ıntese de imagens a partir de cenas cuja descri¸c˜ao

da geometria dos objetos ´e feita por uma representa¸c˜ao poliedral.

2.2.1 Terminologias

Ser˜ao apresentados agora os principais termos usados na especiﬁca¸c˜ao de cˆameras

em computa¸c˜ao gr´aﬁca. A Figura 2.2 ilustra cada um deles.

Tela virtual ´e o retˆangulo do plano de proje¸c˜ao que cont´em a imagem projetada. Essa

limita¸c˜ao deﬁnida sobre o plano de proje¸c˜ao corresponde ﬁsicamente `as limita¸c˜oes

nas dimens˜oes do anteparo onde os raios luminosos s˜ao projetados.

Pirˆamide de vis˜ao ´e a pirˆamide deﬁnida pelo centro de proje¸c˜ao e pela tela virtual.

CAP

ITULO 2. C

AMERA VIRTUAL 22

Plano anterior ´e um plano posicionado a frente do centro de proje¸c˜ao. Apenas pontos

que est˜ao a frente do plano anterior s˜ao projetados na imagem.

Plano posterior ´e um plano posicionado a frente do plano anterior. Apenas pontos

que est˜ao atr´as do plano posterior s˜ao projetados na imagem .

Volume de vis˜ao ´e o tronco de pirˆamide deﬁnido pela por¸c˜ao da pirˆamide de vis˜ao

delimitada pelo plano anterior e pelo plano posterior.

2.2.2 Recorte e visibil idade

O modelo de cˆamera b´asico deﬁnido pela transforma¸c˜ao T

◦T

: T

−1

(S) →

´e capaz de descrever a posi¸c˜ao na imagem de todos os pontos da cena que s˜ao projetados.

Por outro lado, ele deﬁne proje¸c˜oes para pontos da cena que n˜ao seriam projetados pela

cˆamera de furo c orrespondente. Mais precisamente, para que um ponto da cena X ∈

seja projetado por uma cˆamera e le precisa satisfazer as seguintes propriedades:

1. X deve estar `a frente da cˆamera;

2. A proje¸c˜ao de X deve estar contida no anteparo da cˆamera;

3. X n˜ao deve sofrer oclus˜ao de outro ponto da cena.

A pirˆamide de vis˜ao ´e o lugar geom´etrico dos pontos que satisfazem as propri-

edades 1 e 2. A determina¸c˜ao dos pontos da cena que pertencem `a pirˆamide de vis˜ao

´e chamada de recorte em rela¸c˜ao `a pirˆamide de vis˜ao. J´a o problema de determinar os

pontos que satisfazem a propriedade 3 ´e conhecido com o nome de problema de visibili-

dade.

Em computa¸c˜ao gr´aﬁca, exige-se, al´em dessas trˆes propriedades, que X perten¸ca

a regi˜ao do espa¸co delimitada pelos planos anterior e posterior, substituindo a opera¸c˜ao

de recorte em rela¸c˜ao a pirˆamide de vis˜ao pelo recorte em rela¸c˜ao ao volume de vis˜ao.

O objetivo da restri¸c˜ao dada pelo plano anterior ´e evitar problemas num´ericos

ao se realizar divis˜oes por n´umeros muito pequenos. Esse tipo de erro pode ocorrer,

por exemplo, se aplicarmos a transforma¸c˜ao T

, deﬁnida pela equa¸c˜ao (2.1), a um ponto

muito pr´oximo do centro de proje¸c˜ao. J´a o objetivo da restri¸c˜ao dada pelo plano posterior

CAP

ITULO 2. C

AMERA VIRTUAL 23

Figura 2.3: Transforma¸c˜oes que comp˜oem o modelo de cˆamera usado em s´ıntese de

imagens.

´e limitar a profundidade da regi˜ao da cena que ser´a projetada, permitindo que se possa

empregar o algoritmo Z-buﬀer na resolu¸c˜ao de problemas de visibilidade.

Uma an´alise de algoritmos que resolvem problemas de visibilidade e rec orte est˜ao

fora do escopo desta disserta¸c˜ao. Tal assunto ´e abordado detalhadamente em [7].

2.3 Transforma¸c˜ao de visualiza¸c˜ao

Normalmente, utiliza-se em s´ıntese de imagens um modelo de cˆamera formado

por uma seq ¨uˆencia de transforma¸c˜oes projetivas em P

que s˜ao aplicadas de forma su-

cessiva, intercaladas com algoritmos que resolvem os problemas de recorte e visibilidade.

Trataremos de uma seq¨uˆencia em particular que ´e apresentada na Figura 2.3.

As transforma¸c˜oes apresentadas a seguir s˜ao uma adapta¸c˜ao do modelo deﬁnido

em [7] `a nota¸c˜ao estabelecida na se¸c˜ao 2.1.

2.3.1 Posicionamento da cˆamera

A transforma¸c˜ao V : P

→ P

faz a mudan¸ca do sistema de coordenadas da

cena para o sistema de coordenadas da cˆamera, ou seja, ´e uma vers˜ao projetiva para o

movimento r´ıgido deﬁnido por T

na se¸c˜ao 2.1.2. Sua representa¸c˜ao matricial ´e

V =





R −Rc





. (2.5)

2.3.2 Transforma¸c˜ao de normaliza¸c˜ao

A transforma¸c˜ao N : P

→ P

faz a mudan¸ca do sistema de coordenadas da

cˆamera para um sistema de coordenadas normalizado, onde o problema de recorte ﬁca

CAP

ITULO 2. C

AMERA VIRTUAL 24

simpliﬁcado. Sua represe nta¸c˜ao matricial ´e

N =







− m

0 0

0 0 0 1







, (2.6)

onde temos respectivame nte que n e f s˜ao as distˆancias do plano anterior e posterior ao

centro de proje¸c˜ao, e 2s

e 2s

s˜ao as dimens˜oes horizontal e vertical da tela virtual.

O problema de recorte em rela¸c˜ao `a pirˆamide de vis˜ao ﬁca simpliﬁcado, pois

no sistema de coordenadas normalizado, a pirˆamide de vis˜ao ´e mapeada na pirˆamide

deﬁnida como



(x, y, z)

∈

: −z < x < z, −z < y < z, 0 < z



2.3.3 Proje¸c˜ao perspectiva

A transforma¸c˜ao P : P

→ P

faz a mudan¸ca do sistema de coordenadas

normalizado para o sistema de coordenadas de ordena¸c˜ao. Sua representa¸c˜ao matricial

´e

P =







1 0 0 0

0 1 0 0

0 0

f−n

−n

f−n

0 0 1 0







. (2.7)

Ao descrevermos a ce na no sistema de coordenadas de ordena¸c˜ao, obtemos duas

propriedades interessantes, que s˜ao:

1. Nesse referencial, ao aplicarmos uma transforma¸c˜ao Π : P

→

, deﬁnida por

, a

, 1)

→ (a

, a

)

, obtemos a proje¸c˜ao perspectiva feita pela cˆamera vir-

tual correspondente;

2. Nesse referencial, um ponto A = (a

, a

, 1)

exerce uma oclus˜ao sobre um ponto

B = (b

, b

, 1)

, se e somente se, Π (A) = Π (B) e a

< b

CAP

ITULO 2. C

AMERA VIRTUAL 25

Essas duas propriedades mostram que tanto o c´alculo de perspectiva, como a

solu¸c˜ao para o problema de visibilidade podem ser realizados de maneira trivial no

sistema de coordenadas de ordena¸c˜ao.

2.3.4 Coordenadas do disposit ivo

A transforma¸c˜ao D : P

→ P

faz a mudan¸ca do sistema de coordenadas de

ordena¸c˜ao para o sistema de coordenadas do dispositivo. Esse sistema de coordenadas

possui algumas propriedades interessantes:

1. As duas propriedades do referencial de ordena¸c˜ao continuam v´alidas;

2. As coordenadas dos eixos x e y s˜ao dadas em escala de pixels;

3. O volume de vis˜ao, na dire¸c˜ao do eixo-z, corresponde exatamente ao intervalo de

representa¸c˜ao do Z-buﬀer.

A representa¸c˜ao matricial da transforma¸c˜ao D ´e dada por:

D =







0 0 s

0 s

0 0 Z

max

0 0 0 1







, (2.8)

onde, [0, Z

max

] ´e o intervalo de representa¸c˜ao do Z-buﬀer.

2.4 Compara¸c˜ao com o modelo b´asico

2.4.1 Parˆametros intr´ınsecos

A matriz associada `a composi¸c ˜ao DP N : P

→ P

´e dada por

DP N =







0 x

0 dm

0 0

max

f−n

−nfZ

max

f−n

0 0 1 0







. (2.9)

CAP

ITULO 2. C

AMERA VIRTUAL 26

A restri¸c˜ao da imagem de DP N ao plano-xy ´e igual ao efeito da transforma¸c˜ao

◦ T

deﬁnida em pela equa¸c˜ao (2.4). Mais precisamente, Π ◦ DP N = T

◦ T

, onde

Π : P

→

´e deﬁnida como na se¸c˜ao 2.3.3. J´a o efeito de DP N na dire¸c˜ao do eixo-z

´e um ajuste aﬁm do volume de vis˜ao sobre o intervalo [0, Z

max

Embora essa matriz n˜ao apare¸ca explicitamente em um sistema gr´aﬁco, pois

n˜ao se pode compor DP com N , pois ´e necess´ario realizar a opera¸c ˜ao de recorte ap´os

a aplica¸c˜ao de N, temos que ela ´e interessante pois deixa evidente que o efeito dos

parˆametros intr´ınsecos x

, y

, dm

e dm

na proje¸c˜ao dos pontos da cena ´e o mesmo do

modelo b´asico. Al´em disso, essa matriz exibe dois parˆametros intr´ınsecos extras n e f ,

que n˜ao correspondem a parˆametros de cˆameras do mundo real, e cujo efeito na imagem

gerada ´e a elimina¸c˜ao de superf´ıcies projetadas.

O valor Z

max

n˜ao ´e determinado pelo estado da cˆamera, mas pelo dispositivo

utilizado pelo algoritmo Z-buﬀer, logo, n˜ao ´e um parˆametro da cˆamera, e n˜ao causa

nenhuma inﬂuˆencia na imagem gerada pelo modelo.

Outra observa¸c˜ao importante ´e que DP N ´e livre em s

e em s

, que ´e um fato

esperado, visto que esses valores n˜ao aparecem em T

◦ T

. No entanto s

e s

s˜ao

valores relevantes pois deﬁnem as dimens˜oes da imagem, logo s˜ao parˆametros intr´ınsecos

da cˆamera.

2.4.2 Dimens˜ao

Conclui-se que o modelo de cˆamera usado em s´ıntese de imagens possui 14 graus

de liberdade. Al´em dos 10 graus de liberdade do modelo b´asico, existem outros quatro

parˆametros intr´ınsecos, sendo dois correspondentes `as dimens˜oes da tela virtual e os

outros dois correspondentes `as distˆancias do centro de proje¸c˜ao aos planos anterior e

posterior.

2.4.3 Vantagens sobre o modelo b´asico

Os motivos que tornam vantajoso o uso de transforma¸c˜oes projetivas no P

, na

constru¸c˜ao de siste mas gr´aﬁcos, no lugar da formula¸c˜ao feita no modelo b´asico s˜ao os

seguintes:

CAP

ITULO 2. C

AMERA VIRTUAL 27

1. Transforma¸c˜oes projetivas em P

permitem representar tanto movimentos r´ıgidos

no espa¸co como opera¸c˜oes de proje¸c˜ao.

2. O problema de visibilidade ﬁca simpliﬁcado escolhendo-se um sistema de coordena-

das apropriado de P

, como nos casos dos sistemas de coordenadas de ordena¸c˜ao

e do dispositivo.

2.5 Cˆameras para calibra¸c˜ao

O problema de calibra¸c˜ao consiste e m determinar os parˆametros extr´ınsecos e

intr´ınsecos de um conjunto de cˆameras. Esses problema gen´erico pode ser especializado

em diferentes modalidades. No nosso caso estamos interessados na seguinte formula¸c˜ao

em particular:

Dado um conjunto de n imagens, determinar os parˆametros extr´ınsecos e intr´ın-

secos das n cˆameras que captaram essas imagens.

Nesse caso, diremos que as n cˆam eras s˜ao consistentes c om as n imagens, e que

as n cˆameras fornecem uma explica¸c˜ao para as n imagens.

Na pr´atica, o problema de calibra¸c˜ao ´e formulado sob um ponto de vista de oti-

miza¸c˜ao, tendo em vista que erros de medi¸c˜oes nas imagens geralmente fazem com que

n˜ao exista um conjunto de cˆameras consistente. Dessa forma, o problema de calibra¸c˜ao

passa a ser reformulado como:

Dado um conjunto de n imagens, determinar os parˆametros extr´ınsecos e intr´ın-

secos das n cˆameras que melhor explicam as n imagens.

A formaliza¸c˜ao matem´atica desse problema de otimiza¸c˜ao, e um algoritmo que o

resolve, s˜ao apresentados no Cap´ıtulo 6.

CAP

ITULO 2. C

AMERA VIRTUAL 28

2.5.1 Modelo projetivo

O modelo de cˆamera empregado em calibra¸c˜ao pode ser obtido reescrevendo-

se as transforma¸c˜oes T

, T

e T

deﬁnida na se¸c˜ao 2.1 como transforma¸c˜oes projetivas

: P

→ P

, T

: P

→ P

e T

: P

→ P

, obtendo as seguintes repre-

senta¸c˜oes matriciais:







d 0 0 0

0 d 0 0

0 0 1 0







, T





R −Rc





e T







0 x

0 m

0 0 1







2.5.2 Nota¸c˜ao K [R|t]

E imediata a veriﬁca¸c˜ao que as transforma¸c˜oes projetivas T

◦T

: P

→ P

podem ser representadas pelo produto de uma matriz 3 ×3 por uma matriz 3 ×4, como

mostrado abaixo:

◦ T







0 x

0 dm

0 0 1









R −Rc



. (2.10)

Nesse caso, ´e comum utilizar a nota¸c˜ao compacta K [R| − Rc] para expressar

esse produto. Nessa nota¸c˜ao, K corresponde `a matriz 3 ×3 que especiﬁca os parˆametros

intr´ınsecos da cˆamera, e [R| − Rc] corresponde `a matriz 4×3 que especiﬁca os parˆametros

extr´ınsecos.

E comum tamb´em o uso da nota¸c˜ao K [R|t] cuja ´unica diferen¸ca para a

nota¸c˜ao anterior ´e que a posi¸c˜ao do centro de proje¸c˜ao n˜ao ´e explicitada, tendo em vista

que o produto −Rc ´e substitu´ıdo por um vetor t ∈

, que representa a transla¸c˜ao da

cˆamera.

2.5.3 Cˆamera projetiva gen´erica

Temos que as transforma¸c˜oes T

◦T

: P

→ P

deﬁnem um conjunto de

matrizes 4×3 que possui 10 graus de liberdade. Considerando que o conjunto formado

por todas as transforma¸c˜oes projetivas deﬁnidas em P

→ P

possui 11 graus de

liberdade, conclui-se que certamente existem transforma¸c˜oes projetivas desse conjunto

que n˜ao correspondem a nenhuma cˆamera.

CAP

ITULO 2. C

AMERA VIRTUAL 29

Ser´a mostrado na se¸c˜ao 3.2 que esse grau de liberdade extra pode ser obtido

considerando-se um modelo para cˆameras deﬁnido por transforma¸c˜oes projetivas da

forma







s x

0 f

0 0 1









R −Rc



Esse modelo caracteriza uma cˆamera projetiva gen´erica [8], que possui 5 parˆa-

metros intr´ınsecos: f

, f

, s, x

e y

. O grau de liberdade extra permite que o ˆangulo θ

deﬁnido pelos eixos x e y, que e speciﬁcam o s istem a de coordenadas da imagem, possa

ser modiﬁcado. Fisicamente isso pode ser interpretado como um cisalhamento na matriz

de sensores de uma cˆamera digital.

Os parˆametros f

, f

e s relacionam-se com os parˆametros do modelo de 10 graus

de liberdade [4]:

= dm

, (2.11)

senθ

, (2.12)

s = −f

cotgθ. (2.13)

O par (x

, y

)

possui a mesma interpreta¸c˜ao do modelo de 10 graus de liberdade,

especiﬁcando as coordenadas, em escala de pixels, do ponto principal.

2.6 Cˆamera no OpenGL

Mostramos nas se¸c˜oes anteriores como os parˆametros intr´ınsecos e extr´ınsecos

s˜ao inseridos nas transforma¸c˜oes projetivas que comp˜oem modelos de cˆameras utilizados

em calibra¸c˜ao de cˆameras e em s´ıntese de imagens. Apresentaremos agora como esses

parˆametros podem ser utilizados na especiﬁca¸c˜ao de uma cˆamera da biblioteca OpenGL.

Mais precisamente, mostraremos as chamadas de fun¸c˜oes da biblioteca OpenGL ne-

cess´arias para deﬁnir os parˆametros de uma cˆamera K [R|t], possivelmente estimados

por um processo de calibra¸c˜ao. Detalhes sobre as fun¸c˜oes dessa biblioteca podem ser

encontrados em [20].

CAP

ITULO 2. C

AMERA VIRTUAL 30

2.6.1 Especiﬁca¸c˜ao dos parˆametros extr´ınsecos

Os parˆametros extr´ınsecos de uma cˆamera K [R|t] podem ser especiﬁcados no

OpenGL realizando-se as se guintes chamadas de fun¸c˜oes

1. gluLookAt(0, 0, 0, 0, 0, 1, 0, 1, 0), para deﬁnir um sistema de coordena-

das canˆonico;

2. glLoadMatrixd(m), onde o argumento m ´e um vetor que representa a matriz





R t





2.6.2 Especiﬁca¸c˜ao dos parˆametros intr´ınsecos

A especiﬁca¸c˜ao dos parˆametros intr´ınsecos ´e menos imediata. Observamos inici-

almente que as cˆameras deﬁnidas pelo OpenGL n˜ao apresentam cisalhamento na matriz

de sensores, ou seja, se desejarmos especiﬁcar os parˆametros intr´ınsecos de uma cˆamera

K[R|t] ´e necess´ario que a matriz K seja da forma

K =







0 u

0 f

0 0 1







Nesse caso, pode-se utilizar a fun¸c˜ao glFrustum, c ujo prot´otipo ´e deﬁnido por

void glFrustum( GLdouble left, GLdouble right, GLdouble bottom,

GLdouble top, GLdouble near, GLdouble far );

Os argumentos da fun¸c˜ao glFrustum deﬁnem no referencial da cˆamera as coorde-

nadas em

dos v´ertices esquerdo inferior e direito superior da tela virtual, como sendo

(left, bottom, near)

e (right, top, near)

respectivamente. Os parˆametros near e far

deﬁnem a distˆancia do centro de proje¸c˜ao aos plano anterior e posterior. Al´em disso, o

plano anterior ´e coincidente como o plano de proje¸c˜ao, ou seja, a distˆancia focal ´e near.

Precisamos determinar os argumentos que devem ser passados para glFrustum de

forma que o volume de vis˜ao seja compat´ıvel com os parˆametros intr´ınsecos da matriz K.

CAP

ITULO 2. C

AMERA VIRTUAL 31

Observando as equa¸c˜oes (2.11) e (2.12) temos que o n´umero de sensores por uni-

dade de comprimento na horizontal e vertical, medidos sobre a tela virtual, s˜ao deﬁnidos

respectivamente por

near

, (2.14)

near

. (2.15)

As coordenadas do ponto principal, medidas no sistema de coordenadas da ima-

gem, s˜ao (u

, v

)

. Como as coordenadas do ponto principal sobre a tela virtual s˜ao

(0, 0, near)

, conclui-se que deve-se chamar a fun¸c˜ao Frustum passando os seguintes ar-

gumentos

left =

−u

, right =

w − u

, bottom =

−v

e top =

h − v

onde w e h correspondem respectivamente `a resolu¸c˜ao horizontal e vertical da im agem

captada pela cˆamera.

Cap´ıtulo 3

Parˆametros intr´ınsecos

O objetivo deste cap´ıtulo ´e des crever um m´etodo para encontrar os parˆametros

intr´ınsecos de uma cˆamera. O m´etodo descrito pode ser encontrado em [17]. Ele utiliza

um objeto, chamado de objeto calibrador. Tal objeto possui um conjunto de marca¸c˜oes

cujas posi¸c˜oes, deﬁnidas em rela¸c˜ao a um referencial associado a ele, s˜ao conhecidas.

Nos experimentos foi utilizado o objeto da Figura 3.1.

O m´etodo ´e composto por duas etapas:

1. Calibra¸c˜ao em rela¸c˜ao ao objeto calibrador.

2. Isolamento dos parˆametros da cˆamera.

A calibra¸c˜ao em rela¸c˜ao ao objeto calibrador corresponde `a determina¸c˜ao da

transforma¸c˜ao projetiva P : P

→ P

que deﬁne a cˆamera em rela¸c˜ao ao referencial

associado ao objeto c alibrador.

O isolamento dos parˆametros da cˆamera corresponde `a determina¸c˜ao das matri-

zes, 3 × 3, K e R, e do vetor t ∈

, tais que P = K [R|t]. Ficando ent˜ao determinada

a matriz K, que ´e a resposta ao problema.

Essa estrat´egia ´e interessante pois n˜ao exige nenhuma restri¸c˜ao sobre o posiciona-

mento da cˆamera em rela¸c˜ao ao referencial associado ao objeto calibrador. Analogamente

tem-se que escolhas diferentes de referenciais sobre o objeto calibrador n˜ao alteram a

matriz K.

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 33

Figura 3.1: Objeto com marca¸c˜oes e m p osi¸c˜oes conhecidas, usado para calibra¸c˜ao

No ﬁnal do cap´ıtulo, ´e apresentado um m´etodo para determinar os parˆametros

intr´ınsecos impondo a restri¸c˜ao de n˜ao cisalhamento da matriz de sensores. Saber im-

por essa restri¸c˜ao ´e importante, pois ela ´e exigida pela maioria dos sistemas gr´aﬁcos

comerciais, como ilustrado na se¸c˜ao 2.6.2, no caso do OpenGL.

3.1 Calibra¸c˜ao em rela¸c˜ao ao objeto calibrador

O problema de calibra¸c˜ao em rela¸c˜ao ao objeto calibrador pode ser deﬁnido por

Problema 3.1. Sendo conhecidas as proje¸c˜oes x

, ..., x

, com x

∈ P

, correspondentes

aos pontos X

, ..., X

, com X

∈ P

, deﬁnidas no referencial do objeto calibrador.

Determinar a transforma¸c˜ao P : P

→ P

tal que P X

= x

, i ∈ {1, 2, ..., n}.

3.1.1 Calibra¸c˜ao usando seis correspondˆencias

Considerando os elementos da matriz associada a P como vari´aveis, temos que

cada senten¸ca da forma P X

= x

deﬁne duas equa¸c˜oes lineares com 12 vari´aveis. Con-

seq¨uentemente, se forem estabelecidas 6 correspondˆencias entre pontos e proje¸c˜oes, tem-

se que o sistema possui solu¸c˜ao caso n˜ao existam linhas linearmente dependentes.

Como as coordenadas de cada x

s˜ao normalmente corrompidas por ru´ıdo, por

serem obtidas por uma cˆamera, ´e introduzido erro na solu¸c˜ao do sistema, tornando

interessante o uso de um n´umero maior de correspondˆencias em uma formula¸c˜ao super-

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 34

determinada. Al´em disso, o sistema obtido com 6 correspondˆencias embora possa parecer

bem determinado, n˜ao o ´e. Trata-se de um siste ma super-determinado, pois P ´e deﬁnido

a menos de uma multiplica¸c˜ao por um escalar. Mostraremos a seguir como esse problema

pode ser resolvido utilizando-se uma quantidade arbitr´aria de correspondˆencias.

3.1.2 Encontrar x ∈ S

que minimiza Ax

Seja A uma matriz m × n. Uma maneira de reformular um sistemas da forma

Ax = 0, com x ∈ P

, no caso em que o n´umero de equa¸c˜oes ´e maior do que n − 1,

´e considerar como solu¸c˜ao a resposta ao problema de encontrar x ∈ S

que minimiza

Ax. Denotaremos esse problema por min

x=1

Ax. Sua solu¸c˜ao pode ser facilmente de-

terminada pela proposi¸c˜ao abaixo.

Proposi¸c˜ao 3.1. Seja Udiag(λ

, λ

, ..., λ

, com λ

 λ

 ...  λ

 0, a de-

composi¸c˜ao SVD de uma matriz A , m × n , em que m  n. Se v ∈

´e o vetor

correspondente a n-´esima coluna de V , tem-se que v ´e o vetor que minimiza a fun¸c˜ao

x → Ax, deﬁnida sobre os pontos de

que satisfazem x = 1.

Demonstra¸c˜ao

min

x=1

Ax = min

x=1

USV

x, (3.1)

onde S = diag(λ

, λ

, ..., λ

Como U ´e uma isometria temos que

min

x=1

USV

x = min

x=1

SV

x. (3.2)

Deﬁnindo y = V

x obtemos

min

x=1

SV

x = min

y=1

Sy. (3.3)

Usando a deﬁni¸c˜ao de S temos que

min

y=1

Sy = min

+...+y



+ . . . λ

. (3.4)

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 35

Como λ

 λ

 ...  λ

 0 conclu´ımos que a solu¸c˜ao para e ss e problema de

otimiza¸c˜ao ´e o vetor y = (0, . . . , 0, 1)

. Logo o vetor v que resolve min

x=1

Ax ´e dado por

V (0, . . . , 0, 1)

, que corresponde a n-´esima coluna de V .

3.1.3 Calibra¸c˜ao usando mais de seis correspondˆencias

Para adequar o resultado anterior ao nosso problema, basta veriﬁcar que encon-

trar P que satisfaz

∀i ∈ {1, . . . , n}, P X

= (u

, v

, 1)

(3.5)

´e equivalente a resolver o sistema AP = 0, onde

A =







−u

−v

−u

−v

−u

−v







, (3.6)

e P = (P

, P

, ..., P

, P

)

´e um vetor cujos elementos s˜ao os 12 elementos da matriz

P , a serem determinados.

Podemos utilizar a proposi¸c˜ao 3.1 para resolver o problema min

P=1

AP, que

fornece uma estimativa para os elementos da matriz P .

3.2 Isolamento dos parˆam etr os da cˆamera

Consideremos que estamos de posse de uma matriz P , 3 × 4, que representa

uma transforma¸c˜ao projetiva. Mostraremos agora um processo para fatorar P na forma

K [R|t]. Esse processo ´e importante por dois motivos. Por um lado funciona como uma

demonstra¸c˜ao, por constru¸c˜ao, que transforma¸c˜oes projetivas deﬁnidas em P

→ P

s˜ao sempre modelos para cˆameras projetivas gen´ericas. Por outro lado, serve como um

algoritmo para determinar os parˆametros intr´ınsecos e extr´ınsecos de uma cˆamera.

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 36

Seja P = λK [R|t], onde λ ´e uma constante que pode assumir qualquer valor em

− {0}. Assumindo as seguintes deﬁni¸c˜oes:

P =













, K =







s u

0 f

0 0 1







e [R|t] =













temos que













= λ







+ sR

+ u

+ st

+ u

+ v







Mostraremos agora como determinar todos os parˆametros intr´ınsecos e extr´ınsecos

associados a P .

Determinando λ

Podemos determinar |λ| usando que |λ| = |λ|R

 = a

. Assumiremos por

enquanto que λ > 0, no ﬁnal iremos concluir se essa escolha foi ou n˜ao apropriada. Ou

seja, vamos assumir que

λ = a

. (3.7)

Determinando R

e t

Deﬁnindo P



P obtemos



= K [R|t] =





















+ sR

+ u

+ st

+ u

+ v







CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 37

Como conseq¨uˆencia temos que

= a



, (3.8)

= b



. (3.9)

Determinando v

Para determinar v

basta observar que

+ v

= a



⇒ f

+ v

= a



Como R

⊥ R

e R

= 1 temos que

= a



. (3.10)

Determinando u

Para determinar u

basta observar que

+ sR

+ u

= a



⇒ f

+ sR

+ u

= a



Como R

⊥ R

, R

⊥ R

e R

= 1 temos que

= a



. (3.11)

Determinando f

, R

e t

Temos que

+ v

= a



⇒ f

= a



− v

f

 = a



− v



Podemos escolher o sinal de f

. Optamos por escolher f

positivo, ou seja

= a



− v

. (3.12)

Para determinarmos R

e t

utilizamos que





− v



(3.13)

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 38





− v



. (3.14)

Determinando R

pode ser obtido diretamente a partir de R

e R

considerando-se que R ´e uma

rota¸c˜ao. Temos ent˜ao que

= R

× R

. (3.15)

Determinando f

, s e t

Temos que

+ sR

+ u

= a



⇒ f

+ sR

+ u

= a



(3.16)

Como R

⊥ R

, R

⊥ R

e R

= 1 temos que

s = a



. (3.17)

Com um racioc´ınio an´alogo podemos concluir que

= a



. (3.18)

O valor de t

pode ser obtido observando-se que





− u

− st



. (3.19)

Corrigindo o sinal de λ

Estamos interessados em deﬁnir um sistema de coordenadas associado `a cˆamera

que satisfa¸ca ˆı × ˆ =

k, onde

k especiﬁca a dire¸c˜ao e o se ntido de visada da cˆamera. Por

outro lado, queremos que o sistema de co ordenadas da image m seja deﬁnido com origem

no canto esquerdo inferior, como ilustrado na ﬁgura 3.2. Para que essas deﬁni¸c˜oes sejam

consistentes ´e preciso que tenhamos f

> 0 e f

< 0

Aqui estamos considerando que a orienta¸c˜ao dos sistemas de coordenadas da cˆamera e da cena

s˜ao opostas. Essa considera¸c˜ao n˜ao foi feita no cap´ıtulo anterior, isso signiﬁca que, se f

for estimado

como descrito nesta se¸c˜ao, deve-se trocar o seu sinal na equa¸c˜ao (2.14) para que o OpenGL funcione

apropriadamente.

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 39

Figura 3.2: (a) exibe a imagem de um cubo correspondente `a descri¸c˜ao da cena apresen-

tada em (b). O sistema de coordenadas da imagem (a) ´e deﬁnido com uma orienta¸c˜ao

diferente do sistema da cˆamera apresentado em (b). Com essa deﬁni¸c˜ao o sinal de f

precisa ser negativo.

O procedimento de c´alculo de parˆametros intr´ınsecos descrito anteriormente en-

contra uma solu¸c˜ao que satisfaz f

> 0, j´a o sinal de f

pode ser tanto positivo como

negativo. Se f

for negativo podemos interpretar esse fato como uma escolha inapro-

priada para o sinal de λ em (3.7). Essa mudan¸ca do sinal de λ corresponde `a seguinte

transforma¸c˜ao sobre a resposta encontrada:







s u

0 f

0 0 1



















→







−f

s u

0 f

0 0 1













−R

−t

−R

−t







3.3 Cˆamera para s´ıntese de imagens

Os parˆametros intr´ınsecos obtidos pela fatora¸c˜ao de uma cˆamera projetiva gen´erica

apresentam um grau de liberdade que n˜ao existe nos modelos de cˆamera empregados em

s´ıntese de imagens. Se a matriz dos parˆametros intr´ınsecos de uma cˆame ra for

K =







s u

0 f

0 0 1







(3.20)

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 40

temos que ela s´o pode ser enquadradas nos modelos tradicionais de s´ıntese de imagens no

caso em que s = 0. Como estimamos a cˆamera projetiva gen´erica a partir de medi¸c˜oes

feitas por uma cˆamera que foi manufaturada com o objetivo de apresentar a propriedade

s = 0, temos que a matriz K obtida ser´a deﬁnida com um valor pequeno para |s|. Sendo

assim, o efeito da transforma¸c˜ao K



obtida pela substitui¸c˜ao do valor de s por zero em

K, ´e semelhante ao da transforma¸c˜ao K, sendo que a primeira pode ser adaptada ao

prop´osito de s´ıntese de imagens. N˜ao utilizaremos a matriz K



diretamente, mostraremos

como utiliza-la como ponto de partida para um algoritmo de otimiza¸c˜ao que encontrar´a

a solu¸c˜ao que procuramos.

3.4 Calibra¸c˜ao por otimiza¸c˜ao restrita

Consideremos o seguinte problema

Problema 3.2. Seja Ω o espa¸co das cˆameras projetivas tais que suas matrizes de

parˆametros intr´ınsecos satisfazem a restri¸c˜ao s = 0, seguindo a nota¸c˜ao da equa¸c˜ao

(3.20). Conhecidas as proje¸c˜oes x

, ..., x

, com x

∈ P

, correspondentes aos pontos

, ..., X

, com X

∈ P

, deﬁnidas no referencial do objeto calibrador. Determinar a

transforma¸c˜ao P = K [R|t] ∈ Ω, tal que



i=0

d (P X

, x

)

´e m´ınimo.

Essa formula¸c˜ao para o problema de calibra¸c˜ao de uma cˆamera apresenta dois

aspectos importantes

1. A fun¸c˜ao objetivo possui um signiﬁcado geom´etrico baseado no erro de reproje¸c˜ao

dos pontos X

, ..., X

, que ´e mais natural do que o erro alg´ebrico deﬁnido na se¸c˜ao

3.1.3.

2. A solu¸c˜ao encontrada ´e ´otima no espa¸co Ω, ou s eja, a matriz K ´e a melhor escolha de

parˆametros intr´ınsecos que pode ser feita para explicar as proje¸c˜oes de X

, ..., X

mantendo a compatibilidade com o modelo empregado em s´ıntese de imagens.

Descreveremos a seguir os m´etodos de otimiza¸c˜ao Gauss-Newton e Levenberg-

Marquardt, que podem ser utilizados para resolver esse problema. Na pr´atica o al-

goritmo empregado ´e o Levenberg-Marquardt por apresentar uma melhor condi¸c˜ao de

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 41

convergˆencia. Para utiliza-los ´e necess´ario que seja conhecido um elemento de Ω pr´oximo

da solu¸c˜ao ´otima. Uma cˆamera com essa propriedade pode ser encontrada da seguinte

maneira:

1. Estima-se uma cˆame ra projetiva gen´erica P , como descrito na se ¸c˜ao 3.1.3;

2. Fatora-se P na forma K [R|t], como descrito na se¸c˜ao 3.2;

3. Faz-se a substitui¸c˜ao do parˆametro intr´ınseco s da matriz K por zero, como descrito

na se¸c˜ao 3.3, obtendo-se assim a cˆamera K



[R|t] ∈ Ω.

Descreveremos primeiro o m´etodo Gauss-Newton pois Levenberg-Marquardt ´e

uma modiﬁca¸c˜ao do m es mo.

3.4.1 M´etodo Gauss-Newton

O m´etodo Gauss-Newton tem por objetivo encontrar um m´ınimo ˆx ∈

para

uma fun¸c˜ao g :

→ deﬁnida por g(x) =

f(x) −x



, onde x

∈

, e f :

→

´e uma fun¸c˜ao deﬁnida de forma que pr´oximo de ˆx ela ´e de classe C

. Tem-se como

hip´otese que ´e conhecido um ponto κ

∈

, que ´e uma estimativa para o m´ınimo, ou

seja, κ

− ˆx ´e pequeno.

Podemos deﬁnir um polinˆomio de Taylor associado a g no ponto κ por

g (κ

+ h) ≈ g (κ

) + g



(κ

) · h +



(κ

) · h · h (3.21)

Como g ´e diferenci´avel, temos que g assume um m´ınimo em κ

+ h se e somente

se g



(κ

+ h) = 0. Utilizando uma aproxima¸c˜ao de primeira ordem para g obtemos



(κ

+ h) = g



(κ

) ·h + g



(κ

). Logo para encontrar o vetor h que minimiza g (κ

+ h)

basta resolver o sistema

(κ

) h = −∇g (κ

) . (3.22)

Usando o fato que g(x) =

f(x) − x



, temos que g



(x) · u = f



(x) · u, f(x),

e conseq¨uentemente



(x) · u · v = f



(x) · u · v, f(x) + f



(x) · u, f



(x) · v. (3.23)

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 42

Utilizando uma aproxima¸c˜ao de primeira ordem para f, obtemos



(x) · u · v = f



(x) · u, f



(x) · v. (3.24)

Podemos reescrever matricialmente as rela¸c˜oes para a primeira e segunda deri-

vadas obtendo ∇g (κ

) = J

(κ

) f (κ

), e H

(κ

) = J

(κ

) J

(κ

). Substituindo em

(3.22) temos que h pode s er e stimado pela resolu¸c˜ao do sistema

(κ

) J

(κ

) h = −J

(κ

) f (κ

) . (3.25)

Devido as aproxima¸c˜oes que est˜ao sendo feitas, tem-se em geral que κ

+ h n˜ao

´e um m´ınimo de g. O que se faz ´e deﬁnir κ

= κ

+ h como uma nova estimativa

para o m´ınimo, e re pete-se o processo at´e que se obtenha um κ

tal que ∇g (κ

)  seja

considerado suﬁcientemente pequeno.

A convergˆencia, ou n˜ao, da seq¨uˆencia (κ

) para ˆx vai depender da qualidade da

estimativa inicial κ

. Entretanto, quando essa convergˆencia ocorre, pode-se mostrar,

como pode ser visto em [5], que ela ´e de ordem dois, ou seja, ∃c ∈ tal que κ

i+1

−ˆx 

cκ

− ˆx

3.4.2 Algoritmo Levenber g-Mar quardt

O algoritmo Levenberg-Marquardt ´e uma adapta¸c˜ao do m´etodo Gauss-Newton

utilizada quando a estimativa inicial para o m´ınimo n˜ao ´e suﬁcientemente boa para

garantir sua convergˆencia. A id´eia do algoritmo ´e fazer uma transi¸c˜ao gradativa de

uma otimiza¸c˜ao por descida pelo gradiente para o m´etodo Gauss-Newton, conforme a

estimativa do ponto ´otimo se torna cada vez melhor. No algoritmo Levenberg-Marquadt

tem-se que κ

i+1

= κ

+ h, onde h ´e solu¸c˜ao do sistema



(κ

) J

(κ

) + λI



h = −J

(κ

) f (κ

) . (3.26)

Tem-se que λ ∈ ´e um valor que pode ser modiﬁcado a cada itera¸c˜ao. λ ´e

inicializado com um certo valor, e a cada itera¸c˜ao λ pode ser multiplicado ou dividido

por um certo fator, com o objetivo de garantir que o vetor h obtido produza uma redu¸c˜ao

no valor fun¸c˜ao objetivo.

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 43

O aumento no valor de λ, faz com que o termo λI aumente sua importˆancia,

quando comparado com J

(κ

) J

(κ

). Isso faz com que a solu¸c˜ao do sistema se apro-

xime de −λ

−1

(κ

) f (κ

) = −λ

−1

∇g (κ

), fazendo com que o algoritmo passe a ter um

comportamento semelhante a de um algoritmo de descida pelo gradiente.

Quando κ

se torna mais pr´oximo da solu¸c˜ao ´otima, o valor de λ vai se reduzindo,

fazendo com que o algoritmo passe a ter um comportamento semelhante ao m´etodo

Gauss-Newton, o que acelera a convergˆencia.

3.4.3 Adapta¸c˜ao dos algoritmos ao problema

Podemos empregar o algoritmo Levenberg-Marquardt na solu¸c˜ao do problema

3.2. Para isso, usando a nota¸c˜ao estabelecida nesse problema, vamos deﬁnir uma

aplica¸c˜ao ψ : U ⊂

→





como

(z) = P (z) X

, (3.27)

para i ∈ {1, ··· , m}, onde U e P : U → Ω s˜ao deﬁnidos de forma que P seja uma

aplica¸c˜ao sobrejetora no subconjunto de Ω das cˆameras que aplicadas a X

, ··· , X

geram proje¸c˜oes que s˜ao pontos aﬁns de P

Para resolver o problema 3.2 basta utilizar o algoritmo Levenberg-Marquardt

para encontrar o m´ınimo da fun¸c˜ao g : U → deﬁnida por

g(z) =

ψ(z) − (x

, ··· , x

)



. (3.28)

Destacamos que quando consideramos a imagem de cada ψ

como um vetor de

estamos colocando embutida a transforma¸c˜ao deﬁnida por (x, y, z)

→





, que faz

a convers˜ao de coordenadas de pontos aﬁns de P

para coordenadas do

, e estamos

fazendo o mesmo com as coordenadas homogˆeneas de x

, ··· , x

Apresentaremos na se¸c˜ao 3.4.5 uma deﬁni¸c˜ao de P que faz com que a aplica¸c˜ao

ψ seja de classe C

para quase todos os pontos de U. Possibilitando o emprego do

algoritmo Levenberg-Marquardt. Antes mostraremos como obter uma parametriza¸c˜ao

para uma rota¸c˜ao via especiﬁca¸c˜ao de um eixo e de um ˆangulo de rota¸c˜ao.

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 44

3.4.4 Parametriza¸c˜ao de ro ta¸c˜oes

A rota¸c˜ao de ˆangulo θ ∈ , ao redor de um eixo especiﬁcado pelo vetor ω =

(ω

, ω

)

∈

, com ω = 1, ´e dada pela transforma¸c˜ao linear R :

→

cuja

representa¸c˜ao matricial ´e [2]:

R =







+ C



1 − ω



(1 − C) − ω

S ω

(1 − C) + ω

S ω

+ C



1 − ω



(1 − C) − ω

S ω

(1 − C) + ω

S ω

+ C



1 − ω









, (3.29)

onde C = cosθ, e S = senθ.

Reciprocamente, pode-s e obter o eixo de rota¸c˜ao ω e o ˆangulo θ a partir da

transforma¸c˜ao R. Para isso, basta observar que o sub-espa¸co gerado por esse eixo ´e

invariante por R, ou seja, ω ´e um auto-vetor de R. Al´em disso, a restri¸c˜ao de R ao

subespa¸co gerado por ω ´e a transforma¸c˜ao identidade, logo o auto-valor associado a ω

´e unit´ario. Ou seja, para determinar ω basta encontrar uma solu¸c˜ao n˜ao trivial para a

equa¸c˜ao (R − I) ω = 0, que pode ser obtida pela proposi¸c˜ao 3.1.

O ˆangulo θ, pode ser determinado utilizando-se que

cosθ =

(tr(R) − 1) , (3.30)

senθ =

ω, τ, (3.31)

onde τ = (R

− R

, R

− R

, R

− R

)

Para se obter uma representa¸c˜ao expl´ıcita para os trˆes graus de liberdade asso-

ciados a uma rota¸c˜ao, basta utilizar o vetor ω



∈

deﬁnido por ω



= θω.

A obten¸c˜ao de ω e θ a partir de ω



´e feita da seguinte maneira

1. Caso ω



 = 0, ent˜ao ω =



ω





e θ = ω



;

2. Caso ω



 = 0, ent˜ao θ = 0 e ω pode ser qualquer vertor unit´ario.

3.4.5 Parametriza¸c˜ao do espa¸co de cˆameras

Utilizando a parametriza¸c˜ao das matrizes de rota¸c˜ao apresentada acima podemos

deﬁnir a aplica¸c˜ao P : U ⊂

→ Ω, utilizada para deﬁnir ψ na equa¸c˜ao (3.27),

satisfazendo as propriedades exigidas na se¸c˜ao 3.4.3.

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 45

P (f

, f

, u

, v

, t

, ω

) =







(ω) + u

(ω) f

+ u

(ω) + v

(ω) f

+ v

(ω) t







, (3.32)

onde







(ω)







´e a matriz que, para ω = 0, representa uma rota¸c˜ao no sentido anti-

hor´ario de ω radianos ao redor do eixo ω = (ω

, ω

)

. E para ω = 0 ´e a matriz

identidade.

Como ∀z ∈ U, P (z) X

´e um ponto aﬁm de P

, temos que ψ

(z) ﬁca sendo

deﬁnida por



(ω) X

+ u

(ω) X

+ f

+ u

(ω) X

+ t

(ω) X

+ v

(ω) X

+ f

+ v

(ω) X

+ t



Temos ent˜ao que, ψ ´e de classe C

∞

para os pontos de U que satisfazem ω =

0, pois as coordenadas de cada ψ

s˜ao fra¸c˜oes em que o numerador e o denominador

s˜ao formados por polinˆomios somados a produtos de polinˆomios por fatores da forma

ω

, cosω,

senω

ω

ou (1 − cosω).

3.4.6 Pontos problem´aticos da parametriza¸c˜ao

O algoritmo Levenberg-Marquardt avalia P em uma seq¨uˆencia de elementos do

espa¸co euclidiano

. Em princ´ıpio, n˜ao podemos garantir que ele n˜ao tentar´a avaliar

P fora de seu dom´ınio. Al´em disso, para que ele possa ser aplicado no nosso caso,

precisamos garantir que ψ seja de classe C

nas proximidades da regi˜ao de convergˆencia

da seq¨uˆencia.

Na se¸c˜ao anterior mostramos que ψ ´e de classe C

∞

para os pontos de U − W ,

onde W s˜ao os pontos de U correspondentes a cˆameras cuja orienta¸c˜ao ´e descrita por

um vetor ω = (0, 0, 0)

. Veremos agora porque n˜ao precisamos nos preocupar com o

fato de ψ n˜ao ser deﬁnida fora de U, e de n˜ao ser de classe C

em W .

CAP

ITULO 3. PAR

AMETROS INTR

INSECOS 46

Pontos fora de U

As cˆameras que n˜ao s˜ao parametrizadas por pontos de U s˜ao aquelas que satis-

fazem R

(ω) X

+ t

= 0, para algum i ∈ {1, ··· , m}. Essas s˜ao as conﬁgura¸c˜oes que

fazem com que algum dos X

n˜ao possuam proje¸c˜ao, que ocorre quando a coordenada z

de X

´e nula no referencial da cˆamera. Com efeito, basta lembrar que t

= −R

c, onde

c ´e a posi¸c˜ao do centro de proje¸c˜ao, e observar que

(ω) X

+ t

= 0 ⇔ R

(ω) (X

− c) = 0 ⇔ [R (ω) (X

− c)]

= 0.

Essa regi˜ao de

em que ψ n˜ao ´e deﬁnida, e nem suas derivadas, n˜ao gera

problemas durante a execu¸c˜ao do algoritmo Levenberg-Marquardt, pois a fun¸c˜ao objetivo

assume valores muito elevados nos pontos de U que pertencem a pequenas vizinhan¸cas

dessas conﬁgura¸c˜oes, pois o erro de re proje¸c˜ao associado a algum dos X

´e muito grande.

Conseq¨uentemente as seq¨uˆencias de conﬁgura¸c˜oes geradas pelas itera¸c˜oes do algoritmo

n˜ao devem se aproximar dessa regi˜ao.

Pontos pertencentes a W

Em rela¸c˜ao ao conjunto W temos o seguinte:

1. W tem medida nula em

, logo ´e improv´avel que a seq¨uˆencia gerada pelo algo-

ritmo Levenberg-Marquardt contenha algum elemento desse conjunto;

2. Pode-se escolher o sistema de coordenadas do objeto calibrador de forma que a

cˆamera esteja afastado de uma conﬁgura¸c˜ao da forma K[I|t], como nos exemplos da

Figura 7.2, do Cap´ıtulo 7. Dessa forma, a estimativa inicial fornecida ao Levenberg-

Marquardt deve estar muito afastada de W , e a seq¨uˆencia provavelmente deve

convergir sem se aproximar do conjunto W ;

3. Para representar cˆameras da forma K[I|t], n˜ao ´e necess´ario utilizar um elemento

de W . Pode-se escolher outro elemento de U cuja rota¸c˜ao seja da forma 2kπ, com

k ∈ .

Cap´ıtulo 4

Calibra¸c˜ao de pares de cˆameras

O objetivo desse cap´ıtulo ´e descrever um algoritmo que determina o posiciona-

mento relativo entre as cˆameras que foram utilizadas na capta¸c˜ao de duas imagens. Mais

precisamente, estamos interessados em resolver o seguinte problema

Problema 4.1. Dado um conjunto {(x

, ˆx

) , (x

, ˆx

) , ..., (x

, ˆx

)}, com (x

, ˆx

) ∈ P

, que correspondem `as proje¸c˜oes em um par de imagens I

e I

, de um conjunto de

pontos da cena {X

, X

, ..., X

}, com X

∈ P

. Determinar o posicionamento relativo

entre as cˆameras que captaram I

e I

, supondo-se que os parˆametros intr´ınsecos de

ambas s˜ao conhecidos.

Os elementos do par (x

, ˆx

) s˜ao chamados de pontos hom´ologos associados a X

4.1 Representa¸c˜ao do posicionamento relativo

Para representar o posicionamento relativo entre duas cˆameras assumiremos, sem

perda de generalidade, que uma das cˆameras ´e K

[I|0], que corresponde a uma cˆamera

posicionada na origem com dire¸c˜ao de visada na dire¸c˜ao do eixo-z. Dessa maneira os

parˆametros extr´ınsecos da outra cˆamera, K

[R|t], especiﬁcam o posicionamento relativo

entre elas.

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 48

Um fato importante ´e que as proje¸c˜oes de um c onjunto de pontos da cena

, X

, ··· , X

}, com X

∈

, relativas `as cˆameras K

[I|0] e K

[R|t] s˜ao iguais `as

proje¸c˜oe s do conjunto {λX

, λX

, ··· , λX

} relativas `as cˆameras K

[I|0] e K

[R|λt],

com λ ∈

. Com efeito, basta observar as seguintes igualdades:

[I|0]



λX

, 1



= K

(λX

) = K

[I|0]



, 1



[R|λt]



λX

, 1



= K

(R (λX

) + λt) = K

λ (RX

+ t) =

= K

(RX

+ t) = K

[R|t]



, 1



Isso mostra que o problema 4.1 ´e deﬁnido com uma ambig¨uidade de escala, pois

o valor de t n˜ao pode ser determinado.

4.2 Movimento r´ıgido

A proposi¸c˜ao abaixo, apresentada em [14], estabelece uma restri¸c˜ao para as coor-

denadas deﬁnidas em dois referenciais do

, que est˜ao relacionados por um movimento

r´ıgido.

Proposi¸c˜ao 4.1. Seja X,

X ∈

deﬁnidos de forma que

X = RX + t, onde R ´e

uma matriz de rota¸c˜ao, e t ∈

. Se [t]

→

´e o operador linear deﬁnido por

[t]

(x) = t × x, ent˜ao vale a rela¸c˜ao



[t]



X = 0.

Demonstra¸c˜ao

Usando o fato do vetor

X ×t ser perp endicular tanto a

X quanto a t, temos que



X ×t



X = 0 e



X ×t



· t = 0.

Como conseq¨uˆencia vale



[t]



X =

X ·(t × RX) =



X ×t



·RX =



X ×t



·(RX + t) =



X ×t



X = 0.

4.3 Outro modelo de proje¸c˜ao

O efeito obtido pela cˆamera projetiva, deﬁnida pela transforma¸c˜ao [I|0], ´e equi-

valente ao efeito da transforma¸c˜ao T :

→ P

, que aplica cada ponto x ∈

em um

ponto de P

, cujas coordenadas homogˆeneas s˜ao λx, onde λ ∈ − {0}.

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 49

Em ambos os casos o efeito ´e o mesmo da proje¸c˜ao perspectiva T :

→

deﬁnida por (x, y, z) →





4.4 Geometria Epipolar

Geometria Epipolar ´e o e studo das rela¸c˜oes geom´etricas existentes entre as proje-

¸c˜oes de um conjunto de pontos sobre duas imagens obtidas por cˆameras projetivas.

Ser´a feito a seguir um desenvolvimento alg´ebrico da Geometria Epipolar. Inici-

almente ser´a considerado o caso em que as cˆameras s˜ao da forma [I|0] e [R|t], ou seja,

a matriz dos parˆametros intr´ınsecos de ambas as cˆameras ´e a matriz identidade. Nesse

caso as rela¸c˜oes de epipolaridade ser˜ao caracterizadas pela Matriz Essencial.

Posteriormente ser´a tratado o caso geral, em que as cˆameras s˜ao da forma K

[I|0]

e K

[R|t]. Nesse caso as rela¸c˜oes de epipolaridade ser˜ao caracterizadas pela Matriz

Fundamental.

4.4.1 Matriz essencial

Deﬁnindo E = [t]

R, temos pela prop os i¸c˜ao 4.1 que vale a express˜ao

EX = 0,

que relaciona as coordenadas, em

, de um ponto da cena nos referenciais associados as

cˆameras [I|0] e [R|t]. Para se obter uma rela¸c˜ao entre as coordenadas das proje¸c˜oes desse

ponto nas imagens captadas por essas cˆameras basta observar que para todo λ

, λ

∈

− {0} vale

EX = 0 ⇐⇒





E (λ

X) = 0. (4.1)

Temos ent˜ao, pelo que foi apresentado na se¸c˜ao 4.3, que se x ∈ P

e ˆx ∈ P

s˜ao

as coordenadas homogˆeneas das proje¸c˜oes de um ponto da cena obtidas pelas cˆameras

[I|0] e [R|t] respectivamente, ent˜ao vale a rela¸c˜ao ˆx

Ex = 0, onde nesse caso tem-se que

a matriz E, chamada de matriz essencial, ﬁca deﬁnida a menos de um produto por um

escalar.

4.4.2 Matriz fundamental

Consideremos agora que x ∈ P

´e a proje¸c˜ao de um p onto X ∈ P

obtida

pela cˆamera K [R | t]. A proje¸c˜ao do mesmo ponto X obtida pela cˆamera [R | t] ´e dada

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 50

por K

−1

x. Com es se resultado podemos generalizar a rela¸c˜ao estabelecida pela matriz

essencial para o caso em que as cˆameras n˜ao possuem a matriz dos parˆametros intr´ınsecos

iguais a I. Mais precisamente, dadas duas cˆameras K

[I | 0] e K

[R | t], temos que se as

proje¸c˜oe s de um ponto X relativas a essas cˆameras forem respectivamente x e ˆx, ent˜ao

vale a rela¸c˜ao



−1

ˆx





[t]



−1



= 0. (4.2)

Essa rela¸c˜ao pode ser rees crita com o

ˆx

F x = 0, (4.3)

onde

F = K

−T

[t]

−1

(4.4)

´e uma matriz 3 × 3, denominada matriz fundamental.

4.5 Algoritmo de 8 pontos

O algoritmo de 8 pontos foi apresentado inicialmente em [11]. Sua entrada ´e um

conjunto de pares de pontos hom´ologos {(x

, ˆx

) , (x

, ˆx

) , ..., (x

, ˆx

)} deﬁnidos sobre

duas imagens, e sua resposta ´e a matriz fundamental associada ao par de imagens. Seu

nome deve-se ao fato de serem necess´arios, no m´ınimo, 8 pares de pontos hom´ologos

para que o algoritmo possa ser executado. Ele ´e composto por duas etapas:

1. Etapa 1: Determina¸c˜ao da m atriz F , que melhor satisfaz ˆx

F x

= 0, para todo

i ∈ {1, 2, ··· , n}.

2. Etapa 2: Determina¸c˜ao da matriz

F que ´e mais pr´oxima de F , e que satisfaz

det





= 0. A matriz

F ´e a sa´ıda do algoritmo.

Os detalhes de execu¸c˜ao das duas etapas, bem como o signiﬁcado preciso das

express˜oes “melhor satisfaz”e “mais pr´oxima”, ser˜ao apresentados a seguir.

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 51

4.5.1 C´alculo de F

Considerando que cada um dos elementos de F ´e uma vari´avel, e que os valores de

e ˆx

s˜ao conhecidos para cada i ∈ {1, 2, 3, ··· , n}, tem-se que a express˜ao ˆx

F x

= 0

deﬁne uma equa¸c˜ao linear sobre 9 vari´aveis.

Se F

´e uma solu¸c˜ao para a equa¸c˜ao anterior, ent˜ao λF

tamb´em ´e solu¸c˜ao para

todo λ ∈ −{0}. Isso mostra que ´e s uﬁciente utilizar um conjunto de 8 pares de pontos

hom´ologos para formar um sistema linear que permita determinar o valor de F . Por

motivos an´alogos aos apresentados na estima¸c˜ao de cˆameras, na se¸c˜ao 3.1.1, tem-se que

a solu¸c˜ao obtida utilizando-se apenas 8 pares de pontos hom´ologos n˜ao ´e boa, sendo

interessante utilizar-se de um conjunto maior de pontos, convertendo o problema em um

problema de otimiza¸c˜ao.

4.5.2 Usando mais de 8 pontos

Para resolver o sistema linear deﬁnido pelas equa¸c˜oes ˆx

F x

= 0, utilizando

mais de 8 pares de pontos hom´ologos, pode-se reformular o problema como sendo o de

encontrar a matriz F

que minimiza a fun¸c˜ao objetivo

F →



i=1



ˆx

F x



que pode ser resolvido pela proposi¸c˜ao 3.1, bastando para isso ser reescrito na forma

min

F=1

AF, com F = (F

, F

)

e A deﬁnida por















onde ˆx

= (u

, v

, 1)

e x

= (u



, v



, 1)

A restri¸c˜ao F = 1 faz sentido pois as matrizes fundamentais s˜ao deﬁnidas a

menos de uma multiplica¸c˜ao por um escalar.

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 52

4.5.3 C´alculo de

O objetivo do c´alculo de

F ´e obrigar que a resposta do algoritmo de 8 pontos

satisfa¸ca uma propriedade importante das matrizes fundamentais, que ´e o fato delas

serem matrizes singulares [8]. Essa restri¸c˜ao n˜ao ´e imposta durante o c´alculo de F .

Pode-se deﬁnir

F como sendo a matriz singular tal que 

F − F  assume o valor

m´ınimo. Considerando a norma utilizada c omo sendo a norma de Frobenius, existe uma

maneira simples de calcular

F , que consiste em utilizar diretamente a proposi¸c˜ao abaixo,

cuja demostra¸c˜ao pode ser encontrada em [18].

Proposi¸c˜ao 4.2. Se Udiag(r, s, t)V

´e a decomposi¸c˜ao SVD de F , com r  s  t,

ent˜ao a matriz singular

F , tal que 

F −F  ´e m´ınima, ´e dada por

F = Udiag(r, s, 0)V

4.6 Algoritmo de 8 pontos normalizado

O algoritmo de 8 pontos ´e mal c ondicionado. Uma modiﬁca¸c˜ao simples que

o torna melhor condicionado ´e descrita em [9]. A modiﬁca¸c˜ao consiste em aplicar

duas transforma¸c˜oes H

: P

→ P

e H

: P

→ P

aos pontos hom´ologos do

conjunto de entrada A = {(x

, ˆx

) , (x

, ˆx

) , ..., (x

, ˆx

)}, transformando-o no conjunto

B = {(H

, H

ˆx

) , (H

, H

ˆx

) , ..., (H

, H

ˆx

)}, onde H

e H

s˜ao deﬁnidas de

forma a satisfazerem as seguintes propriedades:

1. H

e H

s˜ao transforma¸c˜oes aﬁns que realizam uma transla¸c˜ao e um escalamento

;

2. Ambos os conjuntos, {H

, H

, ··· , H

} e {H

ˆx

, H

ˆx

, ··· , H

ˆx

}, tˆem o

ponto (0, 0)

∈

como sendo o centr´oide;

3. O valor de RMS das distˆancias dos pontos de ambos os conjuntos, {H

, H

, ··· ,

} e {H

ˆx

, H

ˆx

, ··· , H

ˆx

}, ao ponto (0, 0)

´e

√

O algoritmo de 8 pontos estima uma matriz fundamental F



de forma bem condi-

cionada ao utilizar B como entrada. Temos ent˜ao que para todo par de pontos hom´ologos

(x, ˆx) ∈ A vale a e xpress˜ao

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 53

ˆx







x = (H

ˆx)



x) = 0.

Isso mostra que a matriz fundamental que estabelece a epipolaridade dos pontos

de A ´e deﬁnida por F = H



4.7 Determinando os parˆametros extr´ınsecos

Se os parˆametros intr´ınsecos de uma cˆamera s˜ao conhecidos, ´e poss´ıvel, a partir

de uma matriz fundamental F , determinar as poss´ıveis posi¸c˜oes relativas entre duas

cˆameras que explicam essa matriz fundamental.

Dada a matriz fundamental F = K

−T

[t]

−1

que estabelece a rela¸c˜ao de

epipolaridade das proje¸c˜oes obtidas pelas cˆameras K

[I | 0] e K

[R | t], podemos deﬁnir

uma matriz essencial

E = K

F K

, (4.5)

que relaciona as proje¸c˜oes obtidas pelas c ˆameras [I | 0] e [R | t].

Sendo assim, a matriz E = [t]

R ´e o produto da matriz anti-sim´etrica [t]

, pela

matriz de rota¸c˜ao R. A determina¸c˜ao dos poss´ıveis valores de t e R ﬁca resolvida pela

proposi¸c˜ao abaixo, cuja demonstra¸c˜ao pode ser encontrada em [8].

Proposi¸c˜ao 4.3. Supondo que a decomposi¸c˜ao SVD de uma matriz essencial E ´e igual

a U diag (1, 1, 0) V

, existem duas maneiras de fatorar E, de forma que E = SR, onde

S ´e uma matriz ainti-sim´etrica e R ´e uma matriz de ro ta¸c˜ao. Tem-se que S = UZU

R = UW V

ou R = U W

, onde

W =







0 −1 0

1 0 0

0 0 1







e Z =







0 1 0

−1 0 0

0 0 0







A proposi¸c˜ao 4.3 mostra que existem duas poss´ıveis escolhas para a matriz de

rota¸c˜ao R. Para determinarmos quais s˜ao os poss´ıveis vetores t, basta levar em conta os

seguintes fatos:

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 54

1. [t]

t = t × t = 0;

2. O vetor t ´e deﬁnido a menos de uma multiplica¸c˜ao por um escalar.

Usando a nota¸c˜ao da proposi¸c˜ao, temos pelo primeiro fato que, todo vetor t deve

pertencer ao n´ucleo de [t]

. Tendo em vista que [t]

= S = U ZU

, conclui-se que todo

vetor t deve ser da forma

t = λU (0, 0, 1)

, (4.6)

onde λ ∈ .

O segundo fato, demonstrado na se¸c˜ao 4.1, implica que t pode ser qualquer

elemento da forma λU (0, 0, 1)

, com λ ∈ . Se nos restringirmos aos casos em que

t = 1, temos que t pode ser U (0, 0, 1)

ou −U (0, 0, 1)

4.7.1 Adicionando recorte ao modelo

Podemos concluir que, sendo conhecida uma matriz fundamental F , que relaciona

proje¸c˜oe s obtidas por um par de cˆameras P

e P

, cujos parametros intr´ınsecos s ˜ao

deﬁnidos por matrizes K

e K

. Se P

= K

[I | 0] ent˜ao P

pode ser deﬁnida de quatro

maneiras:



UW V

| U (0, 0, 1)





| U (0, 0, 1)





UW V

| −U (0, 0, 1)





| −U (0, 0, 1)



onde U e W podem s er calculados a partir de F utilizando-se a equa¸c˜ao (4.5) e a

proposi¸c˜ao 4.3. Ao aﬁrmarmos que existem apenas essas quatro solu¸c˜oes, estamos con-

siderando que est´a impl´ıcita a indetermina¸c˜ao da distˆancia entre os centros de proje¸c˜ao

de P

e P

O modelo de cˆamera que estamos utilizando n˜ao descreve a opera¸c˜ao de recorte

em rela¸c˜ao `a pirˆamide de vis˜ao. O resultado disso ´e que, apenas uma dessas quatro

conﬁgura¸c˜oes de cˆameras ´e ﬁsicamente realiz´avel, como exempliﬁcado pela Figura 4.1.

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 55

a) b)

Figura 4.1: Embora existam quatro conﬁgura¸c˜oes que explicam projetivamente o par de

pontos hom´ologos, apenas em (a) o ponto projetado est´a posicionado `a frente de ambas

as cˆameras.

A solu¸c˜ao para e ss e problema consiste em descartar as solu¸c˜oes que fazem com

que a reconstru¸c˜ao tridimensional de pontos hom´ologos possua a coordenada z negativa

para algum dos referenciais deﬁnidos pelas cˆameras [8]. Mostraremos como obter a

reconstru¸c˜ao tridimensional de um ponto a partir de suas proje¸c˜oes na pr´oxima se¸c˜ao.

4.7.2 Reconstru¸c˜ao tridimensional

Sejam x

∈ P

e x

∈ P

as proje¸c˜oes de um ponto X ∈ P

relativas as

cˆameras P

e P

, ou seja, x

= P

X e x

= P

X. Mostraremos agora como determinar

X quando x

, x

, P

e P

s˜ao conhecidos.

Interpretando x

= (u, v, 1)

e P X como vetores do

, temos que x

×(P

X) =

0. Chamando de P

a n-´esima linha de P

, pode-se reescrever essa express˜ao como o

seguinte conjunto de trˆes equa¸c˜oes lineares em X, onde duas s˜ao linearmente indepen-

dentes





−





= 0, (4.7)





−





= 0, (4.8)





− v





= 0. (4.9)

Analogamente temos que x

= (u, v, 1)

pode ser utilizado para obtermos mais

outras duas equa¸c˜oes lineares em X, e linearmente independentes, bastando observar

que x

× (P

X) = 0. Agrupando quatro dessas equa¸c˜oes obtemos um sistema linear

CAP

ITULO 4. CALIBRAC¸

AO DE PARES DE C

AMERAS 56

homogˆeneo da forma AX = 0 onde

A =







− P

uP

− P

vP

− P







. (4.10)

Esse ´e um sistema linear de quatro equa¸c˜oes sobre as quatro coordenadas ho-

mogˆeneas de X, logo ´e um sistema linear super-determinado, que pode ser convertido

para o problema de otimiza¸c˜ao min

X=1

AX, c uja solu¸c˜ao ´e dada pela proposi¸c˜ao 3.1.

Cap´ıtulo 5

Acompanhamento de pontos

O pr´oximo cap´ıtulo apresentar´a um processo de calibra¸c˜ao para fam´ılias de

cˆameras. Tal processo precisa que seja realizada a correspondˆencia entre proje¸c˜oes de

diversos pontos da cena sobre diversos quadros de um v´ıdeo. Tendo em vista que mesmo

v´ıdeos de curta dura¸c˜ao s˜ao formados por centenas de quadros, ´e necess´ario que essa cor-

respondˆencia seja feita de forma autom´atica. Descreveremos neste cap´ıtulo o algoritmo

Kanade-Lucas-Tomasi, que ser´a utilizado para resolver esse problema. Uma descri¸c˜ao

mais detalhada pode ser encontrada em [16] e [12].

5.1 Deﬁni¸c˜oes

Adotaremos as seguintes deﬁni¸c˜oes:

1. Imagem

Uma imagem ´e uma fun¸c˜ao I : [a, b]×[c, d] → . Nesse caso, estamos considerando

um modelo para imagens de tons de cinza, em que para cada ponto do suporte

[a, b] × [c, d] associa-se um valor de brilho.

2. V´ıdeo

Um v´ıdeo ´e uma fam´ılia ﬁnita de imagens (I)

= (I

, ..., I

), onde cada imagem

corresponde a um quadro captado por uma cˆamera. Tem-se ainda que a ordem

deﬁnida pela indexa¸c˜ao dos quadros corresponde a ordem em que os quadros foram

captados pela cˆamera.

CAP

ITULO 5. ACOMPANHAMENTO DE PONTOS 58

3. Janela

Uma janela de uma imagem I : [a, b] × [c, d] → ´e uma imagem I |

obtida pela

restri¸c˜ao do dom´ınio de I a um pequeno retˆangulo w = [a



, b



]×[c



, d



] ⊂ [a, b]×[c, d].

5.2 Algoritmo Kanade-Lucas-To masi

Kanade-Lucas-Tomasi (KLT) ´e um algoritmo capaz de acompanhar janelas em

um v´ıdeo. Dado um v´ıdeo (I)

, ele procura localizar janelas em um quadro I

j+1

que

estejam correlacionadas por uma transla¸c˜ao com janelas de I

. Mais precisamente, o

algoritmo ´e capaz de determinar um vetor h ∈

, chamado de disparidade, tal que

∀x ∈ w, I

j+1



(x + h) = I

(x) + η (x) , (5.1)

onde w



´e o retˆangulo obtido adicionando h aos v´ertices de w, e η : w →

´e uma

fun¸c˜ao que deﬁne o erro pontual de correla¸c˜ao entre as janelas. O algoritmo busca ent˜ao

determinar a disparidade h que minimiza esse erro sobre toda a janela.

A utilidade do correlacionamento de janelas para os nossos objetivos decorre do

fato de que janelas que sejam semelhantes, e estejam pr´oximas em quadros consecutivos,

possuem uma grande chance de corresponderem `a proje¸c˜ao de um mesmo conjunto de

pontos da cena tridimensional. Isso signiﬁca que, sendo x

∈ w, ´e razo´avel utilizar x

como estimativa para seu hom´ologo em I

j+1

. No processo de calibra¸c˜ao apresentado

no pr´oximo cap´ıtulo s˜ao utilizados os centros de janelas correlacionadas pelo KLT como

pontos hom´ologos. Dessa forma, o problema de acompanhamento de pontos ´e convertido

em um problema de acompanhamento de janelas.

5.3 Acompanhamento de janelas

Usando a nota¸c˜ao estabelecida na equa¸c˜ao (5.1), e tendo sido ﬁxado um vetor

disparidade h, po de- se deﬁnir uma medida para o erro de correlacionamento

E =



η (x)

dx. (5.2)

Dessa forma, o problema de determina¸c˜ao da disparidade pode ser formalizado

atrav´es do seguinte problema de otimiza¸c˜ao:

CAP

ITULO 5. ACOMPANHAMENTO DE PONTOS 59

Problema 5.1. Encontrar um vetor h ∈

que minimiza



j+1

(x + h) − I

(x)]

dx,

onde w ´e o retˆangulo que deﬁne a janela em I

Realizando a mudan¸ca de vari´aveis ν = x + h, temos que esse problema ´e equi-

valente ao de encontrar o vetor h ∈

que minimiza



j+1

(ν) − I

(ν − h)]

dν. (5.3)

Assumindo que I

j+1

´e diferenci´avel, e que a disparidade entre quadros consecu-

tivos ´e pequena, podemos fazer a seguinte aproxima¸c˜ao

(ν − h) ≈ I

(ν) − I



(ν) · h. (5.4)

Com isso temos que a fun¸c˜ao objetivo pode ser reescrita como

h →





Φ (ν) − I



(ν) · h



dν, onde Φ (ν) = I

j+1

(ν) − I

(ν) .

Essa aplica¸c˜ao possui um m´ınimo em um ponto cr´ıtico h = (h

, h

)

que satisfaz

∀u ∈





Φ (ν) − I



(ν) · h





· u



dν = 0. (5.5)

Em particular, essa propriedade vale quando u s˜ao os vetores da base canˆonica

(1, 0)

e (0, 1)

, permitindo que ree sc revamos a express˜ao acima em termos de derivadas

parciais, obtendo o seguinte sistema linear, que nos permite determinar h:







∂I

∂x

(ν)



dν







∂I

∂x

(ν)

∂I

∂x

(ν) dν





Φ (ν)

∂I

∂x

(ν) dν (5.6)







∂I

∂x

(ν)



dν







∂I

∂x

(ν)

∂I

∂x

(ν) dν





Φ (ν)

∂I

∂x

(ν) dν (5.7)

CAP

ITULO 5. ACOMPANHAMENTO DE PONTOS 60

5.4 Escolha das janelas

Al´em de deﬁnir um algoritmo de acompanhamento de janelas, temos que o algo-

ritmo KLT deﬁne um processo autom´atico de sele¸c˜ao de janelas a serem acompanhadas.

Esse processo de sele¸c˜ao ´e baseado em um crit´erio deﬁnido de forma que a solu¸c˜ao do

sistema linear formado pelas equa¸c˜oes (5.6) e (5.7) possa ser obtida com precis˜ao.

Consideremos o sistema escrito na forma Ah = b. Para que sua solu¸c˜ao possa ser

obtida com precis˜ao ´e necess´ario que ele seja bem condicionado, e que os coeﬁcientes da

matriz A estejam deﬁnidos acima do n´ıvel de ru´ıdo da imagem.

Para que o sistema seja bem condicionado ´e necess´ario que os dois auto-valores

de A, λ

e λ

, sejam da mesma ordem de grandeza. Na pr´atica, isso sempre ocorre,

tendo em vista que o valor do brilho em cada ponto da imagem ´e limitado.

Para que os coeﬁcientes de A estejam deﬁnidos acima do n´ıvel de ru´ıdo da imagem

´e necess´ario que λ

e λ

n˜ao sejam pequenos. Sendo assim, o algoritmo KLT utiliza o

valor min {λ

, λ

} como medida de qualidade para o acompanhamento de uma janela.

A escolha das m janelas do quadro I

: U → que s˜ao mais bem acom-

panh´aveis faz-se atrav´es da compara¸c˜ao dos valores de qualidade de acompanhamento

considerando-se todas as poss´ıveis escolhas de janelas w ⊂ U. S˜ao escolhidas as ja-

nelas de melhor qualidade, e que s˜ao delimitadas por retˆangulos w

, ..., w

que n˜ao se

sobrep˜oem, ou seja, w

∩ w

= ∅, para i, j ∈ {1, ..., n}.

5.5 Descarte de janelas

Ap´os determinar o vetor disparidade, o algoritmo avalia o erro de correlaciona-

mento, deﬁnido na equa¸c˜ao (5.2). Se esse valor for superior a um certo limiar, ele para de

acompanhar a janela a partir desse quadro, pois a disparidade obtida relaciona janelas

que s˜ao muito diferentes. Essa janela pode ser substitu´ıda por uma nova, que deve ser

escolhida como sendo a mais bem acompanh´avel no quadro, e que n˜ao se sobreponha `as

outras janelas que ainda est˜ao sendo acompanhadas.

CAP

ITULO 5. ACOMPANHAMENTO DE PONTOS 61

Figura 5.1: Exemplos de pontos que n˜ao s˜ao proje¸c˜oes de pontos ﬁxos da cena. No

caso do ponto 1, o KLT est´a acompanhando uma regi˜ao de brilho de uma superf´ıcie. O

problema ´e que essa regi˜ao se move com a movimenta¸c˜ao da cˆamera. No cas o do ponto

2, o KLT est´a ac ompanhado a superposi¸c˜ao da proje¸c˜ao dos bordos de duas superf´ıcies

distintas da cena.

5.6 Problemas no uso do KLT

O nosso interesse pelo algoritmo KLT ´e utiliz´a-lo para determinar as proje¸c˜oes

de um conjunto de pontos de uma cena tridimensional em um v´ıdeo. Infelizmente, n˜ao

existem garantias de que as proje¸c˜oes encontradas por ele satisfazem essa propriedade.

Um dos problemas ´e que a estrat´egia de descarte do algoritmo KLT evita ape-

nas erros grosseiros cometidos em quadros consecutivos. Ela n˜ao impede o ac´umulo de

pequenos erros ao longo de um acompanhamento sobre uma seq¨uˆencia de quadros. Isso

signiﬁca que os resultados podem ser imprecisos, principalmente no caso de acompanha-

mentos feitos sobre seq¨uˆencias longas.

Outro problema pode ser compreendido analisando-se a Figura 5.1, que exibe trˆes

quadros de um v´ıdeo no qual se aplicou o algoritmo KLT para acompanhar a proje¸c ˜ao

de 20 pontos da cena. Vˆe-se claramente que os dois pontos indicados nas imagens s˜ao

problem´aticos, pois n˜ao correspondem `as proje¸c˜oes de pontos ﬁxos da cena.

Uma modiﬁca¸c˜ao do algoritmo KLT que procura resolver o primeiro problema

pode ser encontrada em [15]. Nessa modiﬁca¸c˜ao, al´em de ser feito o acompanhamento

de pontos em quadros consecutivos, faz-se a compara¸c˜ao da vizinha¸ca de cada ponto

com a vizinhan¸ca de seu correspondente no quadro em que ele foi selecionado para

ser ac ompanhado. Se as vizinhan¸cas se tornam muito diferentes o ponto deixa de ser

CAP

ITULO 5. ACOMPANHAMENTO DE PONTOS 62

acompanhado. Essa vers˜ao de KLT n˜ao foi utilizada neste trabalho, pois a hip´otese

de rigidez da c ena nos permite resolver tanto o primeiro como o segundo problema

simultaneamente. Uma maneira de fazer isso ser´a apresentada no pr´oximo cap´ıtulo.

Cap´ıtulo 6

Calibra¸c˜ao de fam´ılias de cˆameras

Neste cap´ıtulo descrevemos um algoritmo robusto, capaz de determinar os pa-

rˆametros extr´ınsecos assumidos por uma cˆamera na c apta¸c˜ao dos quadros de um v´ıdeo,

dado que os parametros intr´ınsecos foram previamente estimados, usando o que foi visto

no Cap´ıtulo 3. A cena que ´e apresentada no v´ıdeo precisa ser predominantemente r´ıgida,

ou seja, a maioria dos pontos da cena n˜ao podem ter sua posi¸c˜ao modiﬁcada, pois as res-

tri¸c˜oes impostas pela rigidez sobre suas proje¸c˜oes ´e que tornam poss´ıvel a determina¸c˜ao

dos parˆametros da cˆamera.

6.1 Deﬁni¸c˜oes

Adotaremos as seguintes deﬁni¸c˜oes:

1. Fam´ılia de pontos hom´ologos

Dado um v´ıdeo (I)

= (I

, ..., I

), dizemos que a fam´ılia (x)

= (x

, ..., x

), onde

∈ P

, ´e uma fam´ılia de pontos hom´ologos associada ao v´ıdeo (I)

se existe

um ponto X ∈ P

, da cena, tal que a proje¸c˜ao de X em I

´e x

, para todo

j ∈ {1, ..., n}.

2. Matriz de pontos hom´ologos

Uma matriz M, m × n, formada por elementos de P

, ´e uma matriz de pontos

hom´ologos associada a um v´ıdeo (I)

se cada uma de suas linhas deﬁne uma fam´ılia

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 64

de pontos hom´ologos associada a (I)

. Com es sa deﬁni¸c˜ao temos tamb´em que a

j-´esima coluna de M corresponde aos pontos hom´ologos do quadro I

3. Conﬁgura¸c˜ao

Uma conﬁgura¸c˜ao ´e um par ((P )

, Ω), onde (P )

= (P

, . . . , P

) ´e uma fam´ılia de

cˆameras e Ω = {X

, . . . , X

}, com X

∈ P

, ´e um conjunto de pontos da cena.

4. Explica¸c˜ao para fam´ılias de pontos hom´ologos

Estabelecida uma tolerˆancia ε ∈

, deﬁnimos que uma explica¸c˜ao projetiva para

uma fam´ılia de pontos hom´ologos (x)

= (x

, ..., x

) ´e uma conﬁgura¸c˜ao ((P )

, Ω)

tal que ∀i ∈ {1, ..., n}, ∃X

∈ Ω que satisfaz d (P

, x

) < ε. Nesse caso, dizemos

tamb´em que a conﬁgura¸c˜ao ((P )

, Ω) explica projetivamente a fam´ılia de pontos

hom´ologos (x)

5. Explica¸c˜ao para matrizes de pontos hom´ologos

Uma explica¸c˜ao projetiva para uma matriz de pontos hom´ologos M ´e uma con-

ﬁgura¸c˜ao que e xplica todas as fam´ılias de pontos hom´ologos das linhas de M .

Nesse caso, dizemos tamb´em que a conﬁgura¸c˜ao e xplica projetivamente a matriz

de pontos hom´ologos M.

6.2 Calibrando aos pares

N˜ao ´e poss´ıvel es tender, de maneira imediata, o processo de calibra¸c˜ao de pares

de cˆameras, apresentado no Cap´ıtulo 4, para uma calibra¸c˜ao de diversas cˆameras, via

calibra¸c˜ao par a par. O motivo ´e a indetermina¸c˜ao da escala existente em cada calibra¸c˜ao

par a par, como foi apresentado na se¸c˜ao 4.1.

Por exemplo, s e considerarmos que estamos de posse de um v´ıdeo (I)

, e apli-

carmos a t´ecnica de calibra¸c˜ao do Cap´ıtulo 4, usando os pontos hom´ologos dos pares

, I

) , (I

, I

) , ..., (I

, I

), obteremos como resposta pares de cˆameras (K [I|0] , K [R

]) ,

(K [I|0] , K [R

]) , ..., (K [I|0] , K [R

n−1

]), onde as dire¸c˜oes e os sentidos dos veto-

res t

, t

, ..., t

n−1

, podem ser determinados, mas os valores de t

, t

, ..., t

n−1

 n˜ao

podem.

A possibilidade de determinar apenas as dire¸c˜oes e os sentidos dos vetores t

, t

, ...,

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 65

n−1

, ´e uma limita¸c˜ao do processo de calibra¸c˜ao realizado par a par. A verdadeira in-

determina¸c˜ao de escala, que ´e inerente ao problema de calibra¸c˜ao de v´arias cˆameras, ´e

mais fraca. Embora os valores de t

, t

, ..., t

n−1

 n˜ao possam ser determinados,

as rela¸c˜oes

t



t



podem, ou se ja, ´e poss´ıvel encontrar como resposta, uma fam´ılia de n

cˆameras da forma (K [I|0] , K [R

|λt

] , K [R

|λt

] , ..., K [R

n−1

|λt

n−1

]), onde λ ∈

´e

um fator que n˜ao pode ser determinado.

6.3 Calibra¸c˜ao em trˆes passos

Apresentaremos agora um algoritmo que encontra uma explica¸c˜ao projetiva

((P )

, {X

, ..., X

}) para uma matriz de pontos hom´ologos M associada a um v´ıdeo

(I)

. Embora n˜ao tenha sido foco de destaque, este algoritmo aparece c omo parte do

processo de calibra¸c˜ao descrito em [6].

O algoritmo ´e formado pelos seguintes passos:

1. Passo 1: Utilizar as colunas de M correspondentes aos pontos hom´ologos de um

par de quadros I

e I

para determinar P

e P

2. Passo 2: Utilizar o par P

e P

e a matriz M para determinar o conjunto {X

, ..., X

3. Passo 3: Utilizar o conjunto {X

, ..., X

} e a matriz M para determinar a fam´ılia

de cˆameras (P )

Como apresentado nos cap´ıtulos anteriores, tem-se que cada um dos trˆes passos

pode ser resolvido utilizando-se a proposi¸c˜ao 3.1.

Este processo de calibra¸c˜ao em trˆes passos ´e interessante, pois evita o uso de

uma modelagem matem´atica soﬁsticada baseada em tensores trifocais. Um estudo sobre

calibra¸c˜ao feita com tensores trifocais pode ser encontrado em [8] e [4].

6.4 Problemas da calibra¸c˜ao em trˆes passos

Uma implementa¸c˜ao ingˆenua da calibra¸c˜ao em trˆes passos apresenta resultados

ruins devido aos seguintes problemas:

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 66

1. Problema do passo 1: Podem o correr erros grosseiros durante a execu¸c˜ao do

passo 1, pois a matriz fundamental ´e estimada utilizando-se um conjunto de pon-

tos hom´ologos que pode apresentar erros grosseiros, j´a que estamos considerando

que esses s˜ao determinados automaticamente pe lo algoritmo KLT, que n˜ao oferece

garantias sobre sua precis˜ao ou corre¸c˜ao.

2. Problema do passo 2: Podem o c orrer erros grosseiros durante a execu¸c˜ao do passo 2

devido a problemas de condicionamento do processo de reconstru¸c˜ao, pois ´e poss´ıvel

que algum ponto da cena, reconstru´ıdo, seja tal que uma grande perturba¸c˜ao de

sua posi¸c˜ao em uma dire¸c˜ao cause uma pequena modiﬁca¸c˜ao nas coordenadas das

proje¸c˜oe s obtidas pelas cˆameras.

3. Problema do passo 3: O passo 3 n˜ao imp˜oe a restri¸c˜ao dada pelo fato dos parˆametros

intr´ınsecos serem conhecidos. Tais parˆametros s˜ao utilizados no passo 1 quando se

obt´em a matriz essencial a partir da equa¸c˜ao (4.5).

Mostraremos como resolver esses problemas de maneira a tornar robusta a cali-

bra¸c˜ao feita em trˆes passos. Para tal, faremos uso do algoritmo RANSAC.

6.4.1 Algoritmo RANSAC

O algoritmo RANSAC (Random Sample Consensus), foi proposto por Fischler e

Bolles em [3], onde foi apresentado nos seguintes termos

“Dados um modelo que precisa de um m´ınimo de n pontos para ter seus parˆa-

metros livres instanciados, e um conjunto de pontos P , tal que o n´umero de pontos de

P ´e maior do que n, isto ´e  (P )  n. Selecione aleatoriamente um subconjunto S

, de

n pontos de P e instancie o modelo. Utilize o modelo instanciado M

para determinar

um subconjunto S

∗

de pon tos de P , que satisfazem um crit´erio de tolerˆancia de erro em

rela¸c˜ao a M

. O conjunto S

∗

´e chamado de conjunto de consenso de S

Se  (S

∗

) for maior que um certo limiar t, que ´e fun¸c˜ao de uma estimativa

do n´umero de erros grosseiros em P . Use S

∗

para computar ( possivelmente usando

m´ınimos quadrados ) um novo modelo M

∗

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 67

Se  (S

∗

) for menor que t, selecione aleatoriamente um novo subconjunto S

e repita o processo acima. Caso depois de um n´umero pr´e-determinado de itera¸c˜oes,

nenhum conjunto de consenso com t ou mais elementos tiver sido encontrado, encontre

o modelo correspondente ao maior conjunto de consenso, ou termine acusando um erro.”

Apresentaremos a seguir como ´e poss´ıvel utilizar o RANSAC para resolver os

problemas dos passos 1 e 2. Utilizaremos a nota¸c˜ao deﬁnida acima para tornar simples a

identiﬁca¸c˜ao dos princ´ıpios do paradigma RANSAC. As duas colunas de M , correspon-

dentes aos pontos hom´ologos utilizados na reconstru¸c˜ao tridimensional feita no passo 2,

ser˜ao chamadas de colunas base.

6.4.2 Solu¸c˜ao para o problema do passo 1

Podemos, nesse caso, considerar que o algoritmo de oito pontos fornece uma

maneira de se obter uma matriz fundamental, que corresponde ao modelo M

, a partir

de um conjunto formado por oito pares de pontos hom´ologos correspondentes a S

obtidos nas colunas base de M.

Pode-se utilizar um crit´erio de tolerˆancia para deﬁnir o c onjunto de consenso S

∗

baseado na fun¸c˜ao objetivo do algoritmo de oito pontos, mais precisamente, dado um li-

miar η

∈

estabelecido empiricamente, incluimos em S

∗

os pares de pontos hom´ologos

, x

) das colunas base de M, se |x

T

F x

| < η

, onde F ´e a matriz fundamental es-

timada usando o conjunto S

. O modelo M

∗

´e uma matriz fundamental que pode ser

obtida aplicando-se o pr´oprio algoritmo de oito pontos sobre os pontos hom´ologos de S

∗

6.4.3 Solu¸c˜ao para o problema do passo 2

Seja Q o conjunto formado pelas reconstru¸c˜oes tridimensionais dos pares de pon-

tos hom´ologos das colunas base de M que fazem parte do conjunto de consenso encon-

trado durante a aplica¸c˜ao do RANSAC na estima¸c˜ao da matriz fundamental.

Para resolvermos o problema de condicionamento do passo 2 vamos utilizar o

RANSAC durante a execu¸c˜ao do passo 3. Para isso temos que o conjunto Γ, formado

por seis pares (X, m), faz o papel do modelo S

, onde X ´e um elemento de Q, e m ´e a

linha de M correspondente `a fam´ılia de pontos hom´ologos asso ciada a X. O modelo M

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 68

corresponde a uma fam´ılia de cˆameras (P )

obtida pela aplica¸c˜ao do passo 3 utilizando-

se apenas os elementos de Γ. O crit´erio de tolerˆancia usado para deﬁnir S

∗

´e baseado

na medida do erro de reproje¸c˜ao. Mais precisamente, dado um limiar η

∈

escolhido

empiricamente, inserimos em S

∗

os pares (X



, m), com X



∈ Q, que satisfazem, ∀j ∈

{1, ..., n}, d (P



, m

) < η

. O modelo M

∗

corresponde a uma fam´ılia de cˆameras

∗

)

, estimada a partir do conjunto S

∗

Dessa forma, temos que o conjunto formado pelos pontos X



inseridos em S

∗

, e

a fam´ılia de cˆameras (P

∗

)

, deﬁnem uma explica¸c˜ao projetiva, de tolerˆancia η

, para

uma matriz de pontos hom´ologos M



, formada por linhas de M .

6.4.4 Solu¸c˜ao para o problema do passo 3

Considerando que a matriz de pontos hom´ologos M possui n colunas, temos que

existem



− n



/2 poss´ıveis escolhas para o par de colunas base. Sendo assim, pode-se

tentar resolver o problema do passo 3, descartando-se a solu¸c˜ao, caso os parˆametros

intr´ınsecos de alguma das cˆame ras encontradas seja muito diferente dos parˆametros

que estamos assumindo como conhecidos. Os trˆes passos s˜ao repetidos considerando

escolhas diferentes de colunas bases at´e que uma solu¸c˜ao satisfat´oria seja encontrada.

Mais precisamente, dado um limiar η

∈

escolhido empiricamente, recusamos a

fam´ılia (P

∗

)

caso K

− K > η

, para algum j ∈ {1, . . . , n}, onde K

´e matriz

dos parˆametros intr´ınsecos obtida pela fatora¸c˜ao de P

na forma K

], e K ´e a

matriz dos parˆametros intr´ınsecos que estamos assumindo como conhecida.

6.5 Escolha das colunas base

Como temos a possibilidade de escolher



− n



/2 pares de colunas bases para

usarmos nos passos 1 e 2, faz sentido escolhermos aquele que forne¸ca o melhor resultado.

Foram realizados experimentos bem sucedidos utilizando tanto a norma de Frobenius, como a norma

deﬁnida por A = max|A

|. Uma estrat´egia de descarte melhor, por´em computacionalmente mais

cara, seria avaliar o erro de reproje¸c˜ao introduzido ao se substituir K

por K, e depois comparar esse

valor com um li mi ar.

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 69

Podemos ent˜ao deﬁnir que, o melhor resultado ´e a conﬁgura¸c˜ao que n˜ao foi descartada

por problemas de parˆametros intr´ınsecos no passo 3 e que explica o maior n ´umero de

linhas da matriz de pontos hom´ologos M. Uma maneira bastante eﬁciente para deter-

minar esse par foi obtida utilizando-se a seguinte estrat´egia:

1. N˜ao se deve tentar utilizar colunas bases cuja distˆancia m´edia dos pontos hom´ologos

n˜ao supere um certo limiar.

2. Se o n´umero de pares de pontos hom´ologos obtido pelo RANSAC aplicado ao

passo 1 for menor que o n´umero de linhas de M explicadas por uma conﬁgura¸c˜ao

C, j´a calculada utilizando-se uma outra escolha de colunas base, deve-se abortar a

execu¸c˜ao, pois ´e imposs´ıvel que a conﬁgura¸c˜ao C seja melhorada. Com iss o evita-

mos a realiza¸c˜ao do RANSAC no passo 2, que ´e o de maior custo computacional.

3. Devemos utilizar primeiro colunas afastadas de M como colunas base, pois normal-

mente ess as fornecem um resultado melhor que as colunas pr´oximas. Isso faz com

que os bons resultados sejam determinados antes dos ruins, e com isso aumentamos

o efeito do item anterior.

6.6 Calibra¸c˜ao via Levenberg-Marquardt

Seja ((P )

, {X

, . . . , X

}) uma explica¸c˜ao projetiva para uma matriz de pontos

hom´ologos M. Podemos deﬁnir o erro de reproje¸c˜ao associado a essa explica¸c˜ao como



k=1



i=1

d (P

, M

)

Temos que, quanto menor o erro de reproje¸c˜ao, melhor ´e a explica¸c˜ao. Com isso,

faz sentido deﬁnirmos o problema de encontrar uma explica¸c˜ao projetiva ´otima para

uma matriz de pontos hom´ologos M. Esse problema pode ser atacado utilizando-se o

algoritmo Levenberg-Marquardt. Nesse caso, a fun¸c˜ao objetivo ´e dada por

g(x) =

f(x) − x



, (6.1)

onde x

∈

2mn

´e um vetor cujas componentes s˜ao as coordenadas das proje¸c˜oes dos

n pontos, nas m imagens obtidas pelas cˆameras, e a fun¸c˜ao f : E

→

2mn

´e

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 70

deﬁnida por

, ··· , P

, X

, ··· , X

) → (P

, ··· , P

) ,

onde E ⊂

´e um es pa¸co de representa¸c˜ao de cˆameras virtuais.

O conjunto E

´e formado por representa¸c˜oes de conﬁgura¸c˜oes de n cˆameras

e m pontos.

6.7 Representa¸c˜ao de uma conﬁgura¸c˜ao

Pode-se representar uma c onﬁgura¸c˜ao de m pontos e n cˆameras por um vetor

12n+3m

, onde 12n coordenadas correspondem aos elementos de n matrizes 3 × 4

associadas `as n cˆameras, e 3m coordenadas correspondem `as coordenadas de m p ontos

da cena tridimensional. O problema dessa representa¸c˜ao, no nosso contexto, ´e que ela

n˜ao imp˜oe a restri¸c˜ao caracterizada pelo fato dos parˆametros intr´ınsecos das cˆameras

serem conhecidos. Uma maneira de impor essa restri¸c˜ao ´e utilizar um vetor de

6n+3m

como representa¸c˜ao para uma conﬁgura¸c˜ao. Nessa representa¸c˜ao, as cˆameras possuem

apenas seis graus de liberdade, que correspondem aos parˆametros extr´ınsecos. Desses

seis graus de liberdade, trˆes especiﬁcam a rota¸c˜ao, que deﬁne a orienta¸c˜ao do referencial

da cˆamera, e trˆes esp ec iﬁcam o posicionamento do centro de proje¸c˜ao. Essa forma

de parametriza¸c˜ao ´e semelhante `aquela feita na se¸c˜ao 3.4.5, com a diferen¸ca que os

parˆametros intr´ınsecos s˜ao ﬁxados.

6.8 Ciclos de reﬁnamento

Um dos problemas existentes na calibra¸c˜ao em trˆes passos ´e a possibilidade de

alguma fam´ılia de pontos hom´ologos ser descartada por apresentar um erro de reproje¸c˜ao

muito elevado em algum quadro, devido ao fato da reconstru¸c˜ao tridimensional realizada

pelo passo 2 s´o levar em considera¸c˜ao um ´unico par de quadros do v´ıdeo. A solu¸c˜ao

adotada para esse problema foi combinar a calibra¸c˜ao em trˆes passos com uma calibra¸c˜ao

feita com Levenberg-Marquardt.

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 71

Inicialmente ´e determinada uma explica¸c˜ao projetiva ((P )

, Ω

) obtida pela

execu¸c˜ao da calibra¸c˜ao em trˆes passos utilizando-se um limiar η

, deﬁnido na se¸c˜ao

6.4.3, relativamente alto, escolhido de maneira que uma grande quantidade de fam´ılias

de pontos hom´ologos seja aceita mesmo que alguns pontos com erros grosseiros possam

contaminar a solu¸c˜ao. Essa solu¸c˜ao ´e ent˜ao reﬁnada por um algoritmo formado por

ciclos de quatro passos que s˜ao apresentados a seguir, com o objetivo de selecionar de

maneira mais criteriosa as fam´ılias de pontos hom´ologos que devem ser consideradas na

estima¸c˜ao da explica¸c˜ao projetiva.

1. Executam-se algumas itera¸c˜oes do algoritmo Levenbeg-Marquardt, utilizando como

estimativa inicial a explica¸c˜ao projetiva ((P )

, Ω

), determinando-se uma outra

explica¸c˜ao projetiva ((P



)

, Ω

) de menor erro de reproje¸c˜ao associado.

2. Utilizam-se pares de cˆameras de (P



)

para determinar uma nova reconstru¸c˜ao Ω

para todos os pontos hom´ologos de M. Esse processo pode ser realizado escolhendo-

se pares de cˆameras diferentes para reconstruir cada ponto de Ω

, de forma que,

cada par utilizado seja aquele que minimiza o erro de reproje¸c˜ao associado a cada

ponto.

3. Descartam-s e os pontos de Ω

cujo erro de reproje¸c˜ao em rela¸c˜ao `as cˆameras de



)

s˜ao maiores que um limiar η



, escolhido de forma mais rigorosa que que η

ou seja, η



< η

. Obt´em-se assim um novo c onjunto de pontos Ω

4. Estima-se uma nova fam´ılia de cˆameras (P



)

a partir do conjunto de pontos Ω

das respectivas linhas da matriz de pontos hom´ologos M . Com isso, obtemos uma

explica¸c˜ao projetiva ((P



)

, Ω

) que pode ser utilizada para alimentar um novo

ciclo de reﬁnamento.

A cada ciclo pode-se utilizar um limiar de tolerˆancia para o erro de reproje¸c˜ao

cada vez menor, tendo em vista, que como a solu¸c˜ao ﬁca cada vez mais correta, podemos

ser cada vez mais rigorosos.

Ap´os executarmos um determinado n´umero de ciclos de reﬁnamentos podemos

aplicar o algoritmo Levenberg-Marquardt at´e sua convergˆencia, obtendo uma explica¸c˜ao

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 72

projetiva, cujo erro de reproje¸c˜ao associado `as fam´ılias de pontos hom´ologos selecionadas

´e um m´ınimo local.

6.9 Decomposi¸c˜ao do v´ıdeo em fragmentos

Em um v´ıdeo (I)

´e poss´ıvel que existam quadros I

e I

que n˜ao admitam

nenhum par de pontos hom´ologos, no caso de nenhum ponto da cena ser projetado em

ambas as imagens. Al´em disso, o algoritmos KLT pode n˜ao conseguir acompanhar com

precis˜ao pontos em longas seq¨uˆencias de imagens. Como conseq¨uˆencia, tem-se que n˜ao

´e poss´ıvel, em geral, deﬁnir uma matriz de pontos hom´ologos para um v´ıdeo completo.

Valendo-se do fato do movimento da cˆamera ser c ont´ınuo, pode-se realizar uma

decomposi¸c ˜ao do v´ıdeo (I)

em fragmentos, de forma que todos os fragmentos admitam

uma matriz de pontos hom´ologos. Sendo mais preciso, estamos deﬁnindo como um

fragmento, de k + 1 quadros, de um v´ıdeo (I

, ..., I

), como sendo um v´ıdeo da forma

, ..., I

j+k

), onde {j, j + 1, ..., j + k} ⊂ {1, 2, ..., n}.

Nos experimentos realizados, os fragmentos foram determinados por uma heur´ıs-

tica. A solu¸c˜ao adotada foi que c ada fragmento seria obtido comparando-se um quadro

com seus sucessores at´e que fosse encontrado um quadro I

j+k

, em que os pontos

hom´ologos de I

e I

j+k

, apresentassem uma distˆancia m´edia acima de um limiar ε ∈

, escolhido experimentalmente, obtendo-se assim um fragmento de k + 1 quadros

, I

j+1

, ..., I

j+k

Para que os fragmentos possam ser unidos posteriormente, tem-se que a decom-

posi¸c˜ao ´e feita de forma que exista a superposi¸c˜ao de um quadro entre cada par de

fragmentos adjacentes. Ou seja, o v´ıdeo (I)

´e decomposto em fragmentos da forma

, ..., I

), (I

, ..., I

) , ...,



n−2

, ..., I

n−1





n−1

, ..., I



, onde cada fragmento ´e ob-

tido como explicado acima.

E poss´ıvel que, ao tentar determinar o ´ultimo fragmento, n˜ao seja poss´ıvel satisfa-

zer a restri¸c˜ao do limiar ε, devido ao encontro do ﬁnal do v´ıdeo. Nesse caso, descartam-se

esse ´ultimos quadros, para evitar problemas de calibra¸c˜ao causados pela pequena mo-

diﬁca¸c˜ao das coordenadas dos pontos das fam´ılias de pontos hom´ologos associadas ao

fragmento.

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 73

6.10 Jun¸c˜ao de fragmentos

Consideremos que foram determinadas explica¸c˜oes projetivas para as matrizes

de pontos hom´ologos dos fragmentos de um v´ıdeo (I)

. Mostraremos agora como uti-

lizar essas explica¸c˜oes para determinar uma fam´ılia de cˆameras (P )

correspondente

`as cˆameras que foram utilizadas para captar (I)

E preciso levar em considera¸c˜ao que

cada e xplica¸c˜ao projetiva foi deﬁnida em um referencial pr´oprio, e em uma escala pr´opria.

Sendo assim, vamos dividir o problema em dois:

1. Alinhamento de fragmentos.

2. Compatibiliza¸c˜ao de escalas.

6.10.1 Alinhamento de fragmentos

Dadas duas conﬁgura¸c˜oes E

= ((G)

, Ω) e E

= ((Q)

, Ψ), que explicam pro-

jetivamente as matrizes de pontos hom´ologos M

e M

, associadas respectivamente aos

fragmentos consecutivos F

= (I

, I

k+1

, ..., I

k+r

), e F

= (I

k+r

, I

k+r+1

, ..., I

k+r+s

) de um

v´ıdeo (I)

, queremos determinar um movimento r´ıgido que transforma (Q)

em uma

fam´ılia de cˆameras (Q



)

tal que G

= Q



. Diremos nesse caso que (G)

e (Q



)

est˜ao

alinhadas.

Sejam Q

= K [R

] e G

= K [R

]. Podemos determinar a fam´ılia (Q



)

aplicando a seguinte transforma¸c˜ao aos elementos de (Q)

K [R|t] → K





|RR

− t

) + t



Podemos usar repetidas vezes essa transforma¸c˜ao para alinharmos todas as fa-

m´ılias de cˆameras associadas a cada um dos fragmentos de (I)

6.10.2 Compatibiliza¸c˜ao de escalas

O fato de duas fam´ılias de cˆameras (G)

e (Q)

, associadas a fragmentos consecu-

tivos, estarem alinhadas, n˜ao signiﬁca que elas estejam prontas para serem concatenadas

de forma a gerar a fam´ılia de cˆam eras utilizada na capta¸c˜ao dos dois fragmentos. Isso

ocorre pois, geralmente (G)

e (Q)

est˜ao calibradas em escalas diferentes.

CAP

ITULO 6. CALIBRAC¸

AO DE FAM

ILIAS DE C

AMERAS 74

Podemos resolver o problema de compatibiliza¸c˜ao de escalas explorando o fato

que dadas duas explica¸c˜oes projetivas E

= ((G)

, Ω) e E

= ((Q)

, Ψ) associadas a

fragmentos consecutivos, normalmente existe um conjunto n˜ao vazio S ⊂ Ω cujos ele-

mentos s˜ao pontos da cena que tamb´em aparecem em Ψ. O fator de escala λ pode ser

obtido como resposta do seguinte problema de otimiza¸c˜ao

Problema 6.1. Determinar λ ∈

tal que aplicando-se a t ransforma¸c˜ao K [R|t] →

K [R|λt] sobre todas as cˆameras em (Q)

, obt´em-se uma nova fam´ılia de cˆameras que ao

ser alinhada com a fam´ılia (G)

deﬁne uma fam´ılia de cˆameras (Q



)

que faz com que o

erro de reproje¸c˜ao associado `a explica¸c˜ao projetiva ((Q



)

, S) seja m´ınimo.

6.10.3 Compatibiliza¸c˜ao robusta de escalas

Resolver o problema 6.1 n˜ao ´e simples, pois como as coordenadas dos elementos de

S s˜ao estimadas atrav´es de um processo de minimiza¸c˜ao do erro de reproje¸c˜ao associado

a ((G)

, Ω), ´e poss´ıvel que algum dos pontos de S apresente erros grosseiros de reproje¸c˜ao

quando feitas por cˆameras de (Q



)

. Isso pode ocorrer caso grandes modiﬁca¸c˜oes das

coordenadas de pontos de S, em alguma dire¸c˜ao, n˜ao produzam altera¸c˜oes signiﬁcativas

sobre as proje¸c˜oes obtidas pelas cˆameras de (G)

Com o objetivo de resolver o problema 6.1 de forma robusta, aplicamos id´eias

presentes no algoritmo RANSAC, obtendo uma solu¸c˜ao em dois passos:

1. Passo 1: Encontra-se o conjunto Λ ⊂

formado pelos valores de λ que, ao serem

utilizados na compatibiliza¸c˜ao de escalas maximizam o n´umero de pontos de S

cujo erro de reproje¸c˜ao por cˆameras de (Q



)

s˜ao inferiores a um limiar ξ ∈

Esses pontos de S deﬁnem o conjunto Θ;

2. Passo 2: Resolve-se o problema 6.1 modiﬁcado pela substitui¸c˜ao do conjunto S

pelo seu subconjunto Θ.

Cap´ıtulo 7

Experimentos computacionais

Esse cap´ıtulo descreve experimentos realizados com um sistema des envolvido a

ﬁm de testar o algoritmo de calibra¸c˜ao de fam´ılias de cˆameras apresentado no cap´ıtulo

anterior. O sistema ´e capaz de inserir objetos virtuais sobre um v´ıdeo digital de forma

geometricamente consistente, ou seja, ´e um sistema capaz de fazer realidade aumentada

sobre um v´ıdeo. Para fazer isso, os parˆametros estimados na calibra¸c˜ao s˜ao utilizados na

especiﬁca¸c˜ao de uma cˆamera do OpenGL equivalente, como apresentado na se¸c˜ao 2.6,

que ´e empregada na cria¸c˜ao do objeto virtual.

7.1 Bibliotecas utilizadas

Apresentamos aqui a lista de bibliotecas e programas que foram empregados no

desenvolvimento do sistema, junto com uma descri¸c˜ao resumida das respectivas funcio-

nalidades utilizadas.

1. GNU Scientiﬁc Library

Foi a principal biblioteca utilizada, foram explorados seus recursos de ´algebra li-

near num´erica, sua implementa¸c˜ao do algoritmo Levenberg-Marquardt, e seu al-

goritmo de otimiza¸c˜ao de fun¸c˜oes de uma vari´avel real. Serviu de base para a

implementa¸c˜ao de todos os algoritmos de calibra¸c˜ao de cˆameras apresentados nos

Cap´ıtulos 3, 4 e 6.

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 76

Calibrador

Intrinseco

Modelador

Geometrico

Combinador

de Imagens

Perseguidor

de Pontos

Calibrador

Extrinseco

Figura 7.1: Arquitetura do sistema

2. KLT

Essa biblioteca forneceu a implementa¸c˜ao do algoritmo Kanade-Lucas-Tomasi, que

foi utilizado para obter fam´ılias de pontos hom´ologos sobre os quadros de um v´ıdeo.

3. MPEG Library

Essa biblioteca foi utilizada na decodiﬁca¸c˜ao de v´ıdeos codiﬁcados no formato

MPEG.

4. MPEG2 Encoder

Esse programa foi utilizado na codiﬁca¸c˜ao do v´ıdeo de sa´ıda no formato MPEG.

5. OpenGL

Essa biblioteca foi utilizada na implementa¸c˜ao dos processos de s´ıntese e com-

posi¸c˜ao de imagens.

6. S3D

Foram utilizadas estruturas deﬁnidas nessa biblioteca na representa¸c˜ao de imagens

e objetos poliedrais.

7.2 Arquitetura do sistema

O sistema ´e composto por um conjunto de m´odulos combinados em uma arqui-

tetura de ﬁltros e canais como ilustrada na Figura 7.1.

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 77

O processamento realizado por cada m´odulo ´e o seguinte

1. Calibrador Intr´ınseco

Recebe como entrada um conjunto de correspondˆencias de pontos 3D-2D e for-

nece como sa´ıda uma m atriz de parˆametros intr´ınsecos obtida pela aplica¸c˜ao do

algoritmo apresentado no Cap´ıtulo 3.

2. Perseguidor de Pontos

Recebe como entrada um v´ıdeo digital e fornece como sa´ıda um conjunto de fam´ılias

de pontos hom´ologos estimados pelo algoritmo KLT, como explicado no Cap´ıtulo 5.

3. Calibrador Extr´ınseco

Recebe como entrada uma matriz de parˆametros intr´ınsecos e um conjunto de

pontos hom´ologos associados aos quadros de um v´ıdeo, e fornece como sa´ıda os

parametros extr´ınsecos associados a cada quadro, como explicado no Cap´ıtulo 6.

4. Modelador Geom´etrico

Recebe como entrada um v´ıdeo digital, os parˆametros intr´ınsecos da cˆamera que o

captou, os parametros extr´ınsecos associados a cada quadro do v´ıdeo, e um objeto

poliedral P . Esse m´odulo apresenta uma interface gr´aﬁca que permite que um

usu´ario modiﬁque a posi¸c˜ao e as dimens˜oes de P observando interativamente o

efeito correspondente sobre um conjunto de quadros do v´ıdeo. A sa´ıda do m´odulo

´e o objeto P modiﬁcado.

5. Combinador de Imagens

Recebe como entrada um v´ıdeo digital, os parˆametros intr´ınsecos da cˆamera que o

captou, os parametros extr´ınsecos associados a cada quadro do v´ıdeo, e um objeto

poliedral. A sa´ıda ´e o v´ıdeo formado pela composi¸c˜ao dos quadros do v´ıdeo de

entrada com o objeto virtual.

7.3 Estima¸c˜ao de parˆametros intr´ınsecos

Foram estimados os parˆametros intr´ınsecos de uma cˆamera fotogr´aﬁca modelo

SONY MVC-FD85, capaz de capturar v´ıdeos de 15 segundos com resolu¸c˜ao espacial

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 78

Figura 7.2: Imagens do objeto calibrador obtidas por uma mesma cˆamera posicionada

de formas diferentes.

320 × 240. Tendo em vista que tal cˆamera n˜ao fornece essa baixa resolu¸c˜ao para a

captura de fotograﬁas, utilizou-se uma resolu¸c˜ao 640 × 480 na captura das imagens do

objeto calibrador, e p oste riormente fez-se os ajustes necess ´arios aos resultados.

As Tabelas 1, 2 e 3 exibem os parˆametros intr´ınsecos e extr´ınsecos estimados

pelo m´odulo Calibrador Intr´ınseco, utilizando as correspondˆencias 3D-2D obtidas com

as imagens (a) e (b) da Figura 7.2. O sistema de coordenadas 3D adotado ´e o indicado

nas imagens, assumindo-se que os lados das quadr´ıculas s˜ao unit´arios.

As coordenadas das proje¸c˜oes dos v´ertices de cada quadr´ıcula n˜ao s˜ao dete rmi-

nadas de forma automatizada, ou seja, o usu´ario ´e respons´avel por fornecer as corres-

pondˆencias 3D-2D ao s istem a.

A Tabela 1 mostra os resultados obtidos aplicando-se diretamente a proposi¸c˜ao 3.1,

como desc rito na se¸c˜ao 3.1.3. A Tabela 2 mostra os resultados obtidos por uma pequena

modiﬁca¸c˜ao desse mesmo algoritmo com a adi¸c˜ao de um process o de normaliza¸c˜ao de

coordenadas semelhante ao feito com os pontos hom´ologos na se¸c˜ao 4.6. A descri¸c˜ao

dessa modiﬁca¸c˜ao pode ser encontrada em [8] e seu objetivo ´e a melhoria do condicio-

namento do algoritmo. Essa foi a vers˜ao utilizada na implementa¸c˜ao da calibra¸c˜ao em

trˆes passos.

A Tabela 3 mostra os resultados obtidos aplicando-se o algoritmo Levenberg-

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 79

Marquardt impondo a restri¸c˜ao de n˜ao cisalhamento da matriz de sensores da cˆamera,

como explicado na se¸c˜ao 3.4. Neste caso, os erros de reproje¸c˜ao encontrados para os

pontos marcados em (a) e (b) foram 1,1 e 1,0 pixels respectivamente, que na resolu¸c˜ao

320 × 240 corresponde a um erro de aproximadamente 0,5 pixel.

Tabela 1 Calibra¸c˜ao sem restri¸c˜ao

Imagem K [R|t]

(a)







−799.316 1.406 322.985

0.000 796.551 223.889

0.000 0.000 1.000













0.658 −0.752 −0.024 0.583

−0.050 −0.076 0.995 −4.532

−0.751 −0.654 −0.088 25.351







(b)







−790.628 −1.348 325.534

0.000 792.078 235.334

0.000 0.000 1.000













−0.073 −0.071 0.994 −4.529

−0.677 0.735 0.002 0.204

−0.732 −0.673 −0.102 28.535







Tabela 2 Calibra¸c˜ao sem restri¸c˜ao ( normalizada )

Imagem K [R|t]

(a)







−801.825 0.303 323.708

0.000 798.297 227.076

0.000 0.000 1.000













0.657 −0.752 −0.024 0.611

−0.047 −0.074 0.996 −4.637

−0.751 −0.654 −0.085 25.419







(b)







−787.428 −0.430 321.565

0.000 788.703 232.649

0.000 0.000 1.000













−0.072 −0.069 0.994 −4.670

−0.678 0.734 0.001 0.302

−0.731 −0.674 −0.100 28.385







CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 80

Tabela 3 Calibra¸c˜ao restrita feita com Levenberg-Marquardt

Imagem K [R|t]

(a)







−801.744 0.000 323.703

0.000 798.296 227.075

0.000 0.000 1.000













0.657 −0.753 −0.024 0.613

−0.047 −0.074 0.996 −4.637

−0.752 −0.652 −0.085 25.418







(b)







−787.594 0.000 321.570

0.000 788.709 232.663

0.000 0.000 1.000













−0.072 −0.069 0.994 −4.670

−0.677 0.735 0.001 0.301

−0.731 −0.674 −0.100 28.388







Os resultados ilustram a inﬂuˆencia do posicionamento da cˆamera em (a) e (b)

sobre a estima¸c˜ao dos parˆametros extr´ınsecos e intr´ınsecos. Enquanto os parˆametros

extr´ınsecos s˜ao modiﬁcados drasticamente, os parˆametros intr´ınsecos sofrem uma modi-

ﬁca¸c˜ao pequena.

Em todas as tabelas, os parˆametros intr´ınsecos f

, f

, x

e y

associados `as

imagens (a) e (b) sofreram modiﬁca¸c˜oes inferiores a 2%. J´a o parˆame tro s se comportou

como uma pequena varia¸c˜ao no ˆangulo de cisalhamento da matriz de sensores. No caso

da tabela 1, em que n˜ao se aplicou a normaliza¸c˜ao de coordenadas, a varia¸c˜ao foi de

aproximadamente 0,2 graus. J´a no caso da tabela 2, em que as coordenadas foram

normalizadas, o ˆangulo variou aproximadamente 0,05 graus.

As modiﬁca¸c˜oes existentes nos parˆametros intr´ınsecos s˜ao justiﬁcadas pela n˜ao

adequa¸c˜ao e xata do modelo de cˆamera de furo ao caso de cˆameras com lente, e pelas

imprecis˜oes inseridas na confec¸c˜ao do objeto calibrador e na avalia¸c˜ao das coordenadas

dos pontos projetados.

7.4 Calibra¸c˜ao de fragmentos

A Figura 7.3 exibe quadros de v´ıdeos sobrepostos por pontos acompanhados

pelo m´odulo Perseguidor de Pontos. Como explicado no Cap´ıtulo 6, nem todos os pontos

acompanhados s˜ao aproveitados em todas as etapas da calibra¸c˜ao de um fragmento. Eles

s˜ao submetidos a testes que podem descarta-los ou readimiti-los. De forma resumida,

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 81

Figura 7.3: Quadros de v´ıdeos ilustrando o acompanhamento realizado pelo m´odulo

Perseguidor de Pontos. Temos respectivamente em (a), (b) e (c) um acompanhamento

de 10, 50 e 100 pontos.

essa varia¸c˜ao na quantidadede de pontos pode ocorrer nos seguintes momentos:

1. Durante a execu¸c˜ao do KLT, quando pontos podem ser eliminados, caso n˜ao sejam

acompanhados com sucesso, devido a uma grande modiﬁca¸c˜ao de suas vizinhan¸cas

em quadros consecutivos;

2. Durante a execu¸c˜ao do algoritmo de calibra¸c˜ao em trˆes passos, quando pontos

podem ser eliminados, por n˜ao fazerem parte do conjunto de consenso deﬁnido

pelo algoritmo RANSAC;

3. Durante os ciclos de reﬁnamento, quando pontos podem ser descartados ou read-

mitidos, de acordo com seus erros de reproje¸c˜ao nos quadros do fragmento.

A Figura 7.4 apresenta dois gr´aﬁcos que indicam a quantidade de pontos utilizada

nas diversas etapas da calibra¸c˜ao de dois fragmentos, extra´ıdos dos v´ıdeos (a) e (c), da

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 82

Figura 7.4: Quantidade de pontos selecionados nas diversas etapas da calibra¸c˜ao de

fragmentos dos v´ıdeos (a) e (c ) da Figura 7.3. Cada curva representa um experimento

feito com uma quantidade diferente de pontos iniciais. No eixo horizontal temos: A -

Pontos selecionados no in´ıcio do fragmento; B - Pontos acompanhados pelo KLT por todo

o fragmento; C - Pontos pertencentes ao conjunto de consenso do RANSAC utilizado

pelo algoritmo de calibra¸c˜ao em trˆes passos; D - Pontos reconstru´ıdos pelo primeiro ciclo

de reﬁnamento; E - Pontos reconstru´ıdos pelo segundo ciclo de reﬁnamento.

Figura 7.3. Cada gr´aﬁco exibe trˆes curvas, que correspondem aos resultados associados

a sele¸c˜oes de 50, 100 e 150 pontos, no primeiro quadro do fragmento.

Os fragmentos foram obtidos como descrito na se¸c˜ao 6.9, escolhendo-se um des-

locamento m´edio de 10 pixels por ponto. Com es sa escolha, foram obtidos fragmentos

de aproximadamente 2 segundos em todos os casos apresentados nos gr´aﬁcos.

O limiar de ace ita¸c˜ao para o erro de reproje¸c˜ao e stabelecido para o RANSAC,

durante a execu¸c˜ao do algoritmo de calibra¸c˜ao em trˆes passos, foi de 5 pixels. Ap´os o

t´ermino deste algoritmo foram executados dois ciclos de reﬁnamento, o primeiro acei-

tando um erro de reproje¸c˜ao de 3 pixels, e um s egundo aceitando um erro de 2 pixels.

Esses gr´aﬁcos evidenciam o efeito dos ciclos de reﬁnamento, que permitiram

um melhor aproveitamento dos pontos acompanhados pelo KLT. Basta observar que,

normalmente, no ﬁnal de ambos os ciclos de reﬁnamento, a quantidade de pontos satis-

fazendo um erro de reproje¸c˜ao de 2 pixels foi maior do que a dos pontos que satisﬁzeram

o limiar de 5 pixels aplicado pelo RANSAC na calibra¸c˜ao em trˆes passos.

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 83

Figura 7.5: Essas imagens localizam espacialmente os pontos associados `as letras A e E

dos gr´aﬁcos da Figura 7.4. Os pontos vermelhos s˜ao aqueles que foram aceitos no ´ultimo

ciclo de reﬁnamento, e os azuis s˜ao aqueles que foram descartados. (a), (b) e (c) exibem

os resultados utilizando-se respectivamente uma sele¸c˜ao inicial de 50, 100 e 150 pontos.

(d), (e) e (f) fazem o mesmo para o outro v´ıdeo. Vˆe-se que, o ponto destacado em (a),

embora seja m´ovel, n˜ao foi descartado.

Fica evidente tamb´em que, quanto maior ´e o n´umero de pontos escolhidos pelo

KLT no primeiro quadro, maior ´e a importˆancia do uso de ciclos de reﬁnamento. Isso

pode ser explicado pelo fato do KLT escolher os pontos seguindo uma ordem de expec-

tativa de precis˜ao do processo de acompanhamento. Conseq¨uentemente, conjuntos com

muitos pontos selecionados pelo KLT devem ter muitos pontos acompanhados de forma

pouco precisa. Essa imprecis˜ao prejudica a reconstru¸c˜ao tridimensional feita durante

a calibra¸c˜ao em trˆes passos, aumentando o descarte indevido de pontos, explicado na

se¸c˜ao 6.8.

Os resultados da calibra¸c˜ao de fragmentos foram bons. Normalmente a grande

maioria dos pontos c onsegue satisfazer o limiar de 2 pixels ap´os os ciclos de reﬁnamento,

como ilustrado nas ﬁguras 7.4 e 7.5. Al´em disso, quando se aplica posteriormente o

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 84

Figura 7.6: A curva vermelha indica a fra¸c˜ao do n´umero de pontos reconstru´ıdos no

fragmento indicado, cujos erros de reproje¸c˜ao nos quadros do fragmento consecutivo s˜ao

inferiores `a 5 pixels. A curva verde indica o erro m´edio cometido nessa reproje¸c˜ao. As

informa¸c˜oes s˜ao parametrizadas pelas escolhas de escalas na solu¸c˜ao do problema 6.1.

O resultado obtido aplicando-se o algoritmo deﬁnido em 6.10.3 sobre (a) ´e de 0,368. O

resultado da letra (b) est´a mal determinado.

algoritmo Levenberg-Marquardt at´e sua convergˆencia, obt´em-se erros de reproje¸c˜ao in-

feriores a um pixel por ponto. Por outro lado, a Figura 7.5 mostra que, o processo de

descarte pode n˜ao eliminar todos os pontos m´oveis da cena. Um exemplo disso ´e o ponto

selecionado sobre a reﬂex˜ao especular ocorrida na pia; mesmo sendo m´ovel, ele admite

uma reconstru¸c˜ao tridimensional com erro de reproje¸c˜ao inferior a 2 pixels sobre todos

os quadros do fragmento. Problemas desse tipo ocorrem com freq¨uˆencia em fragmentos

muito pequenos. Um caso extremo ´e apresentado na pr´oxima se¸c˜ao.

7.5 Jun¸c˜ao de fragmentos

Com o objetivo de simpliﬁcar nota¸c˜ao, no que se segue, chamaremos de [a, b] o

fragmento cujos quadros v˜ao de um ´ındice a at´e um ´ındice b.

A Figura 7.6 exibe dois gr´aﬁcos que apresentam informa¸c˜oes sobre fragmentos

do v´ıdeo (c), da Figura 7.3. Eles ilustram o processo de resolu¸c˜ao deﬁnido em 6.10.3

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 85

para o problema de compatibiliza¸c˜ao de escalas entre fragmentos.

Na letra (a), temos que a curva vermelha indica a fra¸c˜ao do n´umero de pontos

reconstru´ıdos durante a calibra¸c˜ao de [0, 54] e acompanhados pelo KLT em [54, 95],

cujos erros de reproje¸c˜ao nos quadros de [54, 95] s˜ao inferiores a 5 pixels. A curva verde

indica o erro m´edio de reproje¸c˜ao, medido em es cala de pixels, apresentado pelos pontos

indicados pela linha vermelha. Temos uma interpreta¸c˜ao an´aloga na letra (b), sendo

que os fragmentos considerados s˜ao [0, 3] e [3, 6]. Os valores exibidos nos gr´aﬁcos s˜ao

parametrizados pelas escolhas de escalas utilizadas na solu¸c˜ao do problema 6.1.

Analisando esses gr´aﬁcos ﬁca evidente que o algoritmo de compatibiliza¸c˜ao ro-

busta de escalas, deﬁnido na se¸c˜ao 6.10.3, funciona de forma apropriada em (a), mas

funciona muito mal em (b). Esse resultado indica que n˜ao se pode realizar uma decom-

posi¸c˜ao do v´ıdeo em fragmentos muito curtos, como no exemplo (b).

Nos experimentos que produziram (a) e (b) foram acompanhados 50 pontos pelo

algoritmo KLT, dos quais 35 foram selecionados pelos ciclos de reﬁnamento executados

em (a), e 49 foram selecionados pelos ciclos executados em (b). A pouca elimina¸c˜ao de

pontos ocorrida em (b) indica que muitos pontos m´oveis deixaram de ser descartados

durante a calibra¸c˜ao do fragmento, sendo este outro problema dos fragmentos curtos.

Por outro lado, veriﬁcou-se que tamb´em existem motivos para evitar os fragmen-

tos longos. Os experimentos com v´ıdeos de realidade aumentada mostraram que, embora

o aumento no comprimento dos fragmentos reduza o n´umero de jun¸c˜oes destes em um

v´ıdeo, os erros inseridos pelas jun¸c˜oes se tornam cada vez mais percept´ıveis. Ao utilizar

fragmentos mais curtos, o erro passa a ser melhor distribu´ıdo ao longo da trajet´oria da

cˆamera, gerando resultados como os da Figura 7.8.

7.6 Modelagem geom´etrica

Para que fosse poss´ıvel posicionar objetos virtuais na cena real, foi desenvolvido o

m´odulo Modelador Geom´etrico, que permite que um usu´ario modiﬁque o posicionamento

de um objeto poliedral codiﬁcado no formato PLY, de maneira interativa.

O m´odulo fornece uma interface gr´aﬁca que permite ao usu´ario visualizar simul-

taneamente o objeto virtual sobre um conjunto de quadros do v´ıdeo, e modiﬁcar sua

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 86

Figura 7.7: Interface gr´aﬁca do Modelador Geom´etrico.

posi¸c˜ao, bastando para isso utilizar teclas para redimensionar, transladar ou rotacionar

o objeto. A Figura 7.7 exibe a interface gr´aﬁca do Modelador Geom´etrico.

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 87

7.7 Resultados ﬁnais

Figura 7.8: Quadros de v´ıdeos gerados pelo m´odulo Combinador de Imagens.

CAP

ITULO 7. EXPERIMENTOS COMPUTACIONAIS 88

7.8 Considera¸c˜oes sobre desempenho

O trabalho experimental teve por objetivo ilustrar o processo de sele¸c˜ao de pon-

tos do algoritmo apresentado na disserta¸c˜ao, e mostrar sua aplicabilidade em realidade

aumentada. N˜ao foi feita uma an´alise detalhada do desempenho deste algoritmo. Os

motivos desta omiss˜ao foram os seguintes:

1. O algoritmo apresentado utiliza muitos parˆametros especiﬁcados pelo usu´ario de

forma emp´ırica. Como a escolha destes parˆametros inﬂuencia signiﬁcativamente

no desempenho do algoritmo, acreditamos que seja necess´ario reduzir o n´umero de

parˆametros antes de relaciona-los com o tempo gasto para calibrar v´ıdeos. Deixa-

mos esse problema para um trabalho futuro.

2. Foi utilizado o algoritmo Levenberg-Marquardt da biblioteca GNU Scientiﬁc Li-

brary. Esta biblioteca n˜ao explora particularidades do problema de calibra¸c˜ao, que

podem ser utilizadas para reduzir a complexidade deste algoritmo [8]. Por esse mo-

tivo, o tempo de execu¸c˜ao do prot´otipo tem seu tempo aumentado, n˜ao reﬂetindo

o tempo que seria alcan¸cado com o uso de uma implementa¸c˜ao de Levenberg-

Marquardt otimizada.

A grosso modo, obtivemos uma rela¸c˜ao da ordem de dezenas de minutos para

calibrar cada segundo de v´ıdeo. Nestes testes foi utilizando um computador com pro-

cessador Pentium IV de 3GHz.

Cap´ıtulo 8

Conclus˜oes e trabalhos futuros

Apresentamos nesta disserta¸c˜ao um algoritmo capaz de determinar os parˆametros

extr´ınsecos das cˆameras utilizadas na capta¸c˜ao de um v´ıdeo, sem a necessidade de rea-

lizar nenhum tipo de marca¸c˜ao sobre os objetos da cena. Os resultados obtidos foram

suﬁcientemente bons para fazer realidade aumentada em v´ıdeos de curta dura¸c˜ao.

Foi descrito de forma mais detalhada que em [6] a resolu¸c˜ao do problema de

estima¸c˜ao de uma explica¸c˜ao projetiva por uma solu¸c˜ao em trˆes passos, sem o uso de

tensores trifocais. Foram explicitados os poss´ıveis problemas durante a execu¸c ˜ao desses

trˆes passos, tendo sido apresentadas solu¸c˜oes, que foram testadas no prot´otipo imple-

mentado. Apresentou-se tamb´em um m´etodo de reﬁnamento para a solu¸c˜ao obtida em

trˆes passos, que foi chamado de ciclo de reﬁnamento, e cujo efeito positivo foi avaliado

no cap´ıtulo anterior.

8.1 Problemas pendentes na calibra¸c˜ao

O m´etodo de calibra¸c˜ao apresentado ainda possui as seguintes deﬁciˆencias, que

esperamos que sejam resolvidas em trabalhos futuros:

1. Existem muitos limiares independentes que precisam ser ajustados para que o

algoritmo funcione apropriadamente;

CAP

ITULO 8. CONCLUS

OES E TRABALHOS FUTUROS 90

2. N˜ao existem garantias de que em todos os passos do algoritmo existir´a um conjunto

suﬁciente de fam´ılias de pontos hom´ologos para que se possa aplicar a proposi¸c˜ao

3.1;

3. O resultado ﬁnal n˜ao ´e uma otimiza¸c˜ao global sobre o erro de reproje¸c˜ao em todos

os quadros do v´ıdeo. O que o algoritmo faz ´e uma otimiza¸c˜ao em cada fragmento,

seguida de uma jun¸c˜ao ´otima das fam´ılias de cˆameras estimadas.

8.2 Propostas para trabalhos futuros

Apresentamos agora algumas propostas de poss´ıveis trabalhos que po dem ser

desenvolvidos como continua¸c˜ao deste. Foram feitos alguns experimentos iniciais de

algumas dessas continua¸c˜oes, como ser´a mostrado.

8.2.1 Problema de visibilidade

O processo de calibra¸c˜ao de cˆameras n˜ao produz informa¸c˜ao suﬁciente para que

se possa em geral combinar objetos virtuais de forma geometricamente consistente com

um v´ıdeo. Isso se deve ao fato do objeto virtual poder ser parcialmente ocludido pela

cena. Nos experimentos esse problema foi solucionado posicionando o objeto virtual de

forma a ﬁcar entre a cˆamera e a cena em todos os quadros. Neste caso ´e necess´ario

apenas sobrepor a imagem do objeto virtual sobre os quadros do v´ıdeo.

Uma poss´ıvel continua¸c˜ao para o trabalho seria estimar a geometria da cena

a partir dos quadros do v´ıdeo, e da fam´ılia de cˆameras obtida pela calibra¸c˜ao. Com

isso seria poss´ıvel atacar o problema de visibilidade levando em considera¸c˜ao tanto as

superf´ıcies dos objetos virtuais como as superf´ıcies da cena.

8.2.2 Ferramenta de modelagem para realidade aumentada

Os experimentos realizados com o m´odulo Modelador Geom´etrico mostraram que

´e dif´ıcil posicionar objetos virtuais apenas observando suas proje¸c˜oes em um conjunto de

quadros. Essa tarefa ﬁcaria muito mais f´acil se fosse poss´ıvel para o usu´ario estabelecer

algum tipo de rela¸c˜ao entre o objeto virtual e a cena, com o apoiar ou alinhar o objeto

virtual com objetos reais.

CAP

ITULO 8. CONCLUS

OES E TRABALHOS FUTUROS 91

Em sistemas de realidade aumentada que utilizam marca¸c˜oes na cena pode-se

normalmente deﬁnir um sistema de coordenadas onde ´e f´acil encostar o objeto virtual

na cena. Isso ocorre, por exemplo, em sistemas baseados na biblioteca ARToolKit,

onde objetos virtuais s˜ao desenhados sobre quadrados desenhados e m superf´ıcies planas.

Infelizmente isso n˜ao ocorre no nosso caso.

Seria interessante que fosse desenvolvida um ferramenta de modelagem geom´etrica

capaz de posicionar objetos virtuais, de forma que o usu´ario conse guisse estabelecer

rela¸c˜oes com a cena, mesmo sem esta ter sido marcada.

8.2.3 Fotorrealismo

Al´em dos aspectos geom´etricos, tem-se que para que um objeto virtual seja inte-

grado de maneira realista em uma imagem ´e necess´ario que exista uma compatibiliza¸c˜ao

entre a ilumina¸c˜ao da cena e a ilumina¸c˜ao usada para gerar o objeto virtual. Uma abor-

dagem poss´ıvel seria estimar o posicionamento das fontes de luz da cena e utilizar essa

informa¸c˜ao na s´ıntese da imagem do objeto virtual. Essa abordagem apresenta alguns

problemas, como por exemplo, a inexistˆencia de sombras entre objetos virtuais e objetos

presentes no v´ıdeo.

Uma abordagem muito mais ambiciosa seria buscar a compatibiliza¸c˜ao de ilu-

mina¸c˜ao via constru¸c˜ao de um modelo global de ilumina¸c˜ao que integrasse tanto o ob-

jeto virtual como um modelo da ce na estimado a partir do v´ıdeo. Esse modelo precisaria

conter informa¸c˜oes geom´etricas e radiom´etricas sobre as superf´ıcies da cena, incluindo

informa¸c˜oes sobre superf´ıcies que n˜ao aparecem no v´ıdeo, mas que interferem na ilu-

mina¸c˜ao.

Foram feitos alguns experimentos com o objetivo de produzir realidade aumen-

tada com melhor qualidade visual. Para isso substituiu-se a biblioteca OpenGL, no

m´odulo Combinador de Imagens, pelo programa YafRay (Yet Another Free Ray Tra-

cer ), que utiliza um modelo global de ilumina¸c˜ao para gerar imagens a partir de uma

descri¸c˜ao de cena codiﬁcada no formato XML. Esse trabalho encontra-se em desenvol-

vimento, e ainda n˜ao foi feito nenhum tipo de compatibiliza¸c˜ao de ilumina¸c˜ao. Um

resultado inicial pode ser visto na Figura 8.1.

CAP

ITULO 8. CONCLUS

OES E TRABALHOS FUTUROS 92

Figura 8.1: Composi¸c˜ao da imagem de um cubo gerado pelo YafRay com alguns quadros

de um v´ıdeo.

Figura 8.2: O cubo ao redor do boneco ilustra o uso da calibra¸c˜ao na estima¸c˜ao do

movimento realizado por um corpo r´ıgido.

8.2.4 Acompanhamento espacial de corpos r´ıgidos em v´ıdeo

Podemos interpretar o resultado da calibra¸c˜ao de uma cˆamera em rela¸c˜ao a uma

cena como sendo o movimento da cena em rela¸c˜ao a cˆamera. Com isso, o sistema

apresentado nessa disse rta¸c˜ao poderia ser usado para estimar o movimento de rota¸c˜ao

e transla¸c˜ao de um corp o r´ıgido em um v´ıdeo, com o ilustrado na Figura 8.2. Para que

isso funcione ´e necess´ario que o KLT selecione uma quantidade maior de pontos no

objeto que no fundo. Essa limita¸c˜ao pode ser facilmente contornada, pois uma vers˜ao do

sistema capaz de acompanhar v´arios corpos r´ıgidos pode pode ser criada modiﬁcando o

algoritmo RANSAC, de forma que ele encontre diversos conjuntos de consenso, no lugar

de encontrar o conjunto de consenso maximal.

Referˆencias Bibliogr´aﬁcas

[1] F. Devernay and O. Faugeras. Automatic c alibration and removal of distortion

from scenes of structured environments. In SPIE, volume 2567, San Diego, CA,

July 1995.

[2] Gerald Farin and Dianne Hansford. The Geometry Toolbox for Graphics and Mo-

deling, chapter 12, page 181. AK Peters, LTD, 1998.

[3] Martin A. Fischler and Robert C. Bolles. Random sample consensus: a paradigm

for model ﬁtting with applications to image analysis and automated cartography.

Communications of the ACM, 24(6):381–395, 1981.

[4] D. A. Forsyth and J. Ponce. Computer Vision: A Modern Approach. Prentice Hall,

2003.

[5] Helmut Fritzsche. Progra ma¸c˜ao n˜ao-linear. Edgar Bl¨ucher, 1978.

[6] Simon Gibson, Jon Cook, Toby Howard, Roger Hubbold, and Dan Oram. Accurate

camera calibration for oﬀ-line, video-based augmented reality. In International

Symposium on Mixed and Augmented Reality (ISMAR’02), page 37, 2002.

[7] Jonas Gomes and Luiz Velho. Fundamentos da Computacao Graﬁca. IMPA, 2003.

[8] Richard Hartley and Andrew Zisserman. Multiple View Geometry in computer

vision, second edition. Cambrige University Press, Cambridge, United Kingdom,

2003.

[9] Richard I. Hartley. In defence of the 8-point algorithm. In ICCV, pages 1064–1070,

1995.

REFER

ENCIAS BIBLIOGR

AFICAS 94

[10] Elon Lages Lima. Curso de An´alise Volume 2 - Sexta Edi¸c˜ao. IMPA, 2000.

[11] H. Longuet-Higgins. A computer algorithm for reconstructing a scene from two

projections. Nature, 293:133–135, 1981.

[12] B.D. Lucas and T. Kanade. An iterative image registration technique with an

application to stereo vision. In IJCAI81, pages 674–679, 1981.

[13] Ton Roosendaal and Stefano Selleri. The Oﬃcial Blender 2.3 Guide: Free 3D

Creation Suite for Modeling, Animation, and Rendering. No Starch Press, June

2004.

[14] Chaman L. Sabharwal. Stereoscopic projections and 3d scene reconstruction. In

SAC ’92: Proceedings of the 1992 ACM/SIGAPP symposium on Applied computing,

pages 1248–1257, New York, NY, USA, 1992. ACM Press.

[15] Jianbo Shi and Carlo Tomasi. Good features to track. In IEEE Conference on

Computer Vision and Pattern Recognition (CVPR’94), Seattle, June 1994.

[16] C. Tomasi and T. Kanade. Detection and tracking of point features. Technical

Report CMU-CS-91-132, 24(6), April 1991.

[17] Emanuele Trucco and Alessandro Verri. Introductory Techniques for 3-D Computer

Vision. Prentice Hall PTR, Upper Saddler River, NJ, USA, 1998.

[18] R. Y. Tsai and T. S. Huang. Uniqueness and estimation of three-dimensional motion

parameters of rigid objects with curved surfaces. IEEE Transact ions on Pattern

Analysis and Machine Intelligence, 6:13–27, 1984.

[19] Luiz Velho and Jonas Gomes. Sistemas Gr´aﬁcos 3D. S´erie Computa¸c˜ao e Ma-

tem´atica. SBM / IMPA, 2001.

[20] Mason Woo, Jackie Neider, and Tom David. OpenGL 1.2 Programming Guide, 3rd

Edition: The Oﬃcial Guide to learning OpenGL, Version 1.2. Addison Wesley,

1999. WOO m 99:1 1.Ex.

Livros Grátis
( http://www.livrosgratis.com.br )
 
Milhares de Livros para Download:
 
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas

Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
 
 