( PDF ) Segmentação facial e deteção de caraterísticas faciais em imagens de profundidade

Download PDF

ads:

Maur

ıcio Pamplona Segundo

SEGMENTAC¸

AO FACIAL E DETECC¸

AO DE CARACTER

ISTICAS

FACIAIS EM IMAGENS DE PROFUNDIDADE

Curitiba - PR, Brasil

17 de novembro de 2007

ads:

Livros Grátis

http://www.livrosgratis.com.br

Milhares de livros grátis para download.

Maur

ıcio Pamplona Segundo

SEGMENTAC¸

AO FACIAL E DETECC¸

AO DE CARACTER

ISTICAS

FACIAIS EM IMAGENS DE PROFUNDIDADE

Dissertac¸

ao apresentada para obtenc¸

ao do Mestre em

Inform

atica pela Universidade Federal do Paran

Orientador: Luciano Silva, Olga Bellon

Curitiba - PR, Brasil

17 de novembro de 2007

ads:

Agradecimentos

O autor gostaria de agradecer ao CNPq,

a FINEP e

a CAPES pelo suporte ﬁnanceiro;

ao Dr. Jonathon Phillips e ao Dr. Patrick Flynn por permitirem o uso das bases FRGC v1.0

e v2.0; ao Dr. Lijum Yin e The Research Foundation of State University of New York por

permitirem o uso da base BU-3DFE; e

a Grazielle Vernize e ao Paulo Ferreira pela marcac¸

manual das caracter

ısticas faciais nas imagens das bases FRGC v1.0 e v2.0.

Sum

ario

Lista de Figuras . . . . ............. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . p.iii

Lista de Tabelas .. . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . p.vi

Resumo .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . p.vii

Abstract .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . p.viii

1 Introduc¸

ao.. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . p.7

2 Segmentac¸

ao facial em imagens de profundidade .. . . . . . . . . .. . . . . . . . . .. . . . . . p.10

2.1 Localizac¸

ao de regi

oes homog

eneas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p.11

2.2 Identiﬁcac¸

ao de regi

oes da face . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p.13

3 Detecc¸

ao de caracter

ısticas faciais . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . p.17

3.1 Classiﬁcac¸

ao de curvatura de superf

ıcies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p.18

3.2 Detecc¸

ao de caracter

ısticas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p.19

4 Resultados experimentais. .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . p.23

4.1 Resultados da segmentac¸

ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 24

4.2 Resultados da detecc¸

ao de caracter

ıstica. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p. 27

4.3 Normalizac¸

ao facial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . p.34

5 Conclus

ao . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . p.36

Refer

encias Bibliogr

aﬁcas .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . p.38

Lista de Figuras

Figura 2.1 Diagrama da nossa abordagem de segmentac¸

ao. . . . . . . . . . . . . . . . . . . . . . . . . . 10

Figura 2.2 (a) Histograma de gradiente de todas as imagens da base FRGC v2.0. O ponto

de inﬂex

ao representa o limiar global de gradiente; (b)-(c) histograma de valo-

res de resoluc¸

ao de todas as imagens da base FRGC v2.0 utilizando o eixo y e

o eixo x, respectivamente. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Figura 2.3 (a) Regi

oes homog

eneas ap

os a rotulac¸

ao; (b)-(d) mapas de dist

ancia destas

regi

oes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Figura 2.4 Detecc¸

ao de elipse atrav

es da combinac¸

ao de regi

oes homog

eneas. . . . . . . . . 14

Figura 2.5 (a)-(c) Regi

oes inclu

ıdas na elipse detectada utilizadas para localizar a face; e

(d) um exemplo de face dividida por causa do bigode. .. . . . . . . . . . . . . . . . . . . 16

Figura 3.1 Diagrama da nossa abordagem de detecc¸

ao de caracter

ısticas faciais. . . . . . . 17

Figura 3.2 Exemplo da classiﬁcac¸

ao de superf

ıcies aplicada em imagens de uma mesma

pessoa apresentando diferentes express

oes: (a), (b) e (c) s

ao os resultados da

segmentac¸

ao; (d), (e) e (f) mostram a classiﬁcac¸

ao de superf

ıcies das imagens

(a), (b) e (c), respectivamente. Regi

oes em vermelho mostram picos na su-

perf

ıcie e regi

oes em amarelo mostram poc¸os. .. . . . . . . . . . . . . . . . . . . . . . . . . . 18

Figura 3.3 Exemplo de detecc¸

ao da coordenada y da ponta do nariz. .. . . . . . . . . . . . . . . . 20

Figura 3.4 Exemplo da detecc¸

ao da coordenada y dos olhos, base do nariz e boca. . . . . . 20

iii

Figura 3.5 Exemplo da detecc¸

ao da coordenada x da ponta do nariz. .. . . . . . . . . . . . . . . . 21

Figura 3.6 Exemplo da detecc¸

ao dos cantos do nariz. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Figura 3.7 Exemplo da detecc¸

ao dos cantos dos olhos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Figura 4.1 Segmentac¸

oes incorretas causadas por (a)-(e) regi

oes irrelevantes selecionadas

como face e (f) partes da face n

ao selecionadas. . . . . . . . . . . . . . . . . . . . . . . . . . 24

Figura 4.2 Exemplos da segmentac¸

ao facial utilizando a abordagem proposta em imagens

com diferentes diﬁculdades: (a)-(c) cabelo; (d)-(e) barba e bigode; e (f) ex-

press

ao facial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Figura 4.3 Exemplo da segmentac¸

ao facial atrav

es de uma t

ecnica padr

ao [1]: (a) imagem

de intensidade, (b) mapa de profundidade, (c) imagem de intensidade ap

remoc¸

ao do fundo, e (d) resultado da extrac¸

ao facial. . . . . . . . . . . . . . . . . . . . . 26

Figura 4.4 Exemplos da segmentac¸

ao facial obtidas pela t

ecnica padr

ao de segmentac¸

ao. 26

Figura 4.5 (a) Ilustrac¸

ao da abordagem proposta por Mian (imagem retirada de [2]), e

(b)-(d) resultados obtidos por esta abordagem. . . . . . . . . . . . . . . . . . . . . . . . . . . 27

Figura 4.6 Comparac¸

ao entre abordagens de segmentac¸

ao utilizando (a) ICP+MSAC e (b)

SA+SIM. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Figura 4.7 Avaliac¸

ao da detecc¸

ao de caracter

ısticas: LDH para (a) ponta do nariz, (b)

cantos internos dos olhos e (c) cantos do nariz. . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Figura 4.8 Resultados da nossa abordagem de detecc¸

ao de caracter

ısticas faciais. . . . . . 32

Figura 4.9 Exemplo das t

ecnicas para aprimorar o reconhecimento baseadas em carac-

ter

ısticas (imagens retiradas de [3]): (a)

area circular em torno do nariz, (b)

area el

ıptica em torno do nariz, (c) parte superior da face, e (d) abordagem

com setores priorizados. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Figura 4.10 Exemplo da aplicac¸

ao da normalizac¸

ao facial: (a) imagem original, (b) curva

de perﬁl identiﬁcada atrav

es do processo de normalizac¸

ao, e (c) imagem nor-

malizada. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Figura 4.11 Taxas de veriﬁcac¸

ao obtidas para as imagens antes e depois da normalizac¸

ao. 35

Lista de Tabelas

Tabela 3.1 Classiﬁcac¸

ao dos tipos de superf

ıcies baseada nos valores de curvatura Gaus-

siana e curvatura m

edia [4]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Tabela 4.1 Resultados para a base FRGC v1.0: erro m

edio e desvio padr

ao para a nossa

abordagem e tamb

em para [5, 6]; taxas de detecc¸

ao com limiar de 10mm

(T10) para a nossa abordagem e para [6]; e taxas de detecc¸

ao com limiar

de 15mm (T15) para a nossa abordagem. PN=ponta do nariz; OE=olho es-

querdo; OD=olho direito; NE=canto esquerdo do nariz; ND=canto direito

do nariz. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Tabela 4.2 Resultados para a base FRGC v2.0: erro m

edio e desvio padr

ao para a nossa

abordagem; taxas de detecc¸

ao com limiar de 10mm (T10) para a nossa abor-

dagem; e taxas de detecc¸

ao com limiar de 15mm (T15) para a nossa abor-

dagem e para [7]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Tabela 4.3 Resultados para a base BU-3DFE: erro m

edio, desvio padr

ao, taxas de detecc¸

com limiar de 10mm (T10) e de 15mm (T15) para a nossa abordagem. . . . . 30

Tabela 4.4 Taxas de veriﬁcac¸

ao sob variac¸

ao de express

oes faciais para a face inteira (F),

area circular em torno do nariz (C), a

area el

ıptica em torno do nariz (E), a

parte superior da face (U), e a combinac¸

ao das regi

oes r

ıgidas (C+E+U). . . 33

Tabela 4.5 Taxas de veriﬁcac¸

ao sob variac¸

oes de express

oes faciais para as mesmas regi

oes

F, C, E e U da Tabela 4.4, para a abordagem que prioriza os setores r

ıgidos (S)

e a combinac¸

ao das t

ecnicas caseadas em caracter

ısticas faciais (C+E+U+S). 33

Resumo

Neste trabalho apresentamos uma abordagem para segmentac¸

ao facial e detecc¸

ao de

caracter

ısticas faciais em imagens de profundidade. O nosso objetivo foi o desenvolvimento

de um processo autom

atico para ser inclu

ıdo em um sistema de reconhecimento facial uti-

lizando somente a informac¸

ao de profundidade como entrada. Para isto, a nossa abordagem

de segmentac¸

ao combina detecc¸

ao de borda, agrupamento de regi

oes e an

alise de forma para

extrair a regi

ao da face; e a nossa abordagem para detecc¸

ao de caracter

ısticas faciais combina

classiﬁcac¸

ao de curvatura de superf

ıcies e curvas de relevo para encontrar pontos caracter

ısticos

no nariz e nos olhos. Os experimentos foram realizados utilizando as duas vers

oes dispon

ıveis

da base Face Recognition Grand Challenge e a base BU-3DFE, buscando validar as nossas

abordagens e as suas vantagens para o reconhecimento facial. Apresentamos uma an

alise da

precis

ao das abordagens propostas para a segmentac¸

ao e detecc¸

ao de caracter

ısticas, e com-

paramos os nossos resultados com outros trabalhos do estado-da-arte, publicados na literatura.

em disso, realizamos uma avaliac¸

ao da inﬂu

encia da segmentac¸

ao no reconhecimento facial

e tamb

em da melhoria obtida quando as caracter

ısticas detectadas s

ao aplicadas para auxiliar o

reconhecimento facial em imagens contendo express

oes faciais.

Palavras-chave: Reconhecimento facial 3D, segmentac¸

ao facial, detecc¸

ao de caracter

ısticas

faciais, imagens de profundidade.

vii

Abstract

We present a methodology for face segmentation and facial landmark detection in

range images. Our goal was to develop an automatic process to be embedded in a face recog-

nition system using only depth information as input. To this end, our segmentation approach

combines edge detection, region clustering and shape analysis to extract the face region; and

our landmark detection approach combines surface curvature information and relief curves to

ﬁnd the nose and eyes landmarks. The experiments were performed using the two available

versions of the Face Recognition Grand Challenge database and the BU-3DFE database, in or-

der to validate our proposed methodology and its advantages for 3D face recognition purposes.

We present an analysis regarding the accuracy of our segmentation and landmark detection ap-

proaches. Our results were better compared to state-of-the-art works published in the literature.

We also performed an evaluation regarding the inﬂuence of the segmentation process in our

3D face recognition system and analysed the improvements obtained when applying landmark-

based techniques to deal with facial expressions.

Keywords: 3D face recognition, face segmentation, facial landmark detection, range images.

viii

1 Introduc¸

Com o desenvolvimento das t

ecnicas de reconhecimento facial 3D, a segmentac¸

ao fa-

cial e detecc¸

ao de caracter

ısticas faciais se tornaram etapas de pr

e-processamento fundamen-

tais para o desenvolvimento de sistemas de reconhecimento completamente autom

aticos. Essa

necessidade foi observada j

a nos primeiros trabalhos focados no reconhecimento facial 3D,

baseados em diferentes estrat

egias (e.g. registro de imagens [8,9]; reconhecimento baseado em

apar

encia [10–12]; e curvas de perﬁl [13,14]). Em todos estes trabalhos, a face foi considerada

um objeto r

ıgido, e a mesma diﬁculdade foi observada: reconhecer faces contendo variac¸

oes de

forma. At

e mesmo pequenas variac¸

oes entre duas imagens de uma mesma pessoa contendo a

express

ao neutra causavam a diminuic¸

ao das taxas de veriﬁcac¸

ao. A detecc¸

ao de caracter

ısticas

foi aplicada com sucesso em trabalhos mais recentes para lidar com este problema.

Chang et al. [15] prop

os o uso de tr

es diferentes regi

oes em torno do nariz durante a

etapa de reconhecimento. Lu e Jain [16] propuseram a criac¸

ao de modelos das deformac¸

oes da

face causadas por express

oes faciais. Bronstein et al. [17] prop

os uma forma de representar a

face de forma invariante

a express

oes facial. Outros trabalhos utilizaram ideias semelhantes para

aprimorar o reconhecimento facial [3,18,19]. Todas estas abordagens mencionadas utilizaram

caracter

ısticas faciais para atingir seus objetivos.

A classiﬁcac¸

ao de curvatura de superf

ıcies [20] tem sido aplicada com sucesso para a

detecc¸

ao de caracter

ısticas faciais [15,21,22]. Colbry et al. [23] aplicou esta t

ecnica combinada

com algumas heur

ısticas para localizar caracter

ısticas faciais em imagens de face contendo

diferentes poses. Entretanto, esta abordagem requer uma toler

ancia alta a falta de precis

ao para

obter boas taxas de localizac¸

ao. Recentemente, Faltemier et al. [24] utilizou curvas de perﬁl de

diferentes vistas de uma imagem de entrada para encontrar a ponta do nariz em imagens n

frontais de faces. Esta abordagem apresentou taxas de localizac¸

ao elevadas e tamb

em resultados

mais precisos que a abordagem anterior. Apesar disso, esta t

ecnica

e limitada

a detecc¸

ao de uma

unica caracter

ıstica facial.

Para imagens frontais, Lu e Jain [5, 25] obtiveram bons resultados considerando pre-

cis

ao e taxas de localizac¸

ao atrav

es da combinac¸

ao de classiﬁcac¸

ao de curvatura de superf

ıcies,

curvas de relevo, modelos estat

ısticos da localizac¸

ao das caracter

ısticas faciais e detecc¸

ao de

cantos em imagens de intensidade. Nesta abordagem, foram necess

arios o uso de imagens

de intensidade e um est

agio de treino para a gerac¸

ao do modelo estat

ıstico. Apesar da ima-

gem de intensidade ser facilmente adquirida, o seu uso envolve diversos problemas, entre eles

variac¸

oes de iluminac¸

ao, pose, escala, e a possibilidade de haverum alinhamento incorreto entre

as informac¸

oes de profundidade e de intensidade [2].

Para realizar a detecc¸

ao de caracter

ısticas faciais, cada imagem de profundidade pre-

cisa ser previamente segmentada buscando isolar a regi

ao da face das outras partes da ima-

gem (i.e. cabelo, pescoc¸o, orelhas e roupas). Para imagens contendo apenas uma face, v

arias

ecnicas foram adotadas para a segmentac¸

ao, por exemplo agrupamento de regi

oes [12], mo-

delo de cor de pele [15], histograma de valores de profundidade [17], e at

e mesmo segmentac¸

manual [22]. Alguns destes m

etodos [12,15] utilizam a informac¸

ao de intensidade para realizar

a segmentac¸

ao, e est

ao sujeitos aos mesmos problemas causdados pelas variac¸

oes na imagem

de intensidade ou pelo desalinhamento entre as informac¸

oes de profundidade e de intensidade

mencionados anteriormente [2].

Outros trabalhos podem detectar mais de uma face por imagem atrav

es da utilizac¸

de t

ecnicas de reconhecimento baseado em apar

encia em projec¸

oes 2D da imagem 3D [21] ou

na informac¸

ao de intensidade dispon

ıvel [5]. Entretanto, estes m

etodos n

ao extraem completa-

mente a regi

ao da face. Em [21] somente a regi

ao em torno do nariz e dos olhos

e extra

ıda, e

em [5] a segmentac¸

ao exclui partes da testa e do queixo.

Neste trabalho apresentamos uma abordagem para segmentac¸

ao facial e detecc¸

ao de

caracter

ısticas faciais em imagens de profundidade. O nosso objetivo foi o desenvolvimento de

um processo autom

atico para ser inclu

ıdo em um sistema de reconhecimento facial utilizando

somente a informac¸

ao de profundidade como entrada. Nossa primeira contribuic¸

e uma abor-

dagem de segmentac¸

ao capaz de localizar e extrair faces frontais sem a necessidade de um

est

agio de treino. Para isto, a nossa abordagem combina detecc¸

ao de borda, agrupamento de

regi

oes e an

alise de forma. Esta abordagem foi mais precisa quando comparada com outras duas

abordagens de segmentac¸

ao [2,5], considerando os resultados de veriﬁcac¸

ao obtidos por uma

ecnica padr

ao de reconhecimento facial [26] a pelo nosso pr

oprio sistema de reconhecimento

facial 3D. Nossa segunda contribuic¸

e uma abordagem para detecc¸

ao de caracter

ısticas faci-

ais que combina classiﬁcac¸

ao de curvatura de superf

ıcies e curvas de relevo. Esta abordagem

apresenta resultados equivalentes ou melhores quanto comparada com outros tr

es trabalhos do

estado-da-arte, presentes na literatura [5–7, 25]. Os resultados da detecc¸

ao de caracter

ısticas

foram aplicados com sucesso para aprimorar o desempenho do nosso sistema de reconheci-

mento facial 3D sob variac¸

oes de express

ao [3].

Em nossos experimentos foram utilizadas as duas vers

oes da base Face Recognition

Grand Challenge

(FRGC) e a base BU-3DFE [27], totalizando 7450 imagens de faces frontais,

contendo um

unico indiv

ıduo por imagem. Estas bases foram utilizadas em nossos experimentos

por serem extensivamente utilizadas em pesquisas abordando an

alise facial 3D [2,3,15,19,28–

34].

O restante deste trabalho

e organizado da seguinte maneira: na Sec¸

ao 2, introduzi-

mos nossa abordagem de segmentac¸

ao facial; o m

etodo de detecc¸

ao de caracter

ısticas faciais

e apresentado na Sec¸

ao 3; resultados experimentais s

ao discutidos na Sec¸

ao 4, seguidos pelas

considerac¸

oes ﬁnais na Sec¸

ao 5.

Available at http://www.bee-biometrics.org

2 Segmentac¸

ao facial em imagens de profundidade

Desenvolvemos uma abordagem de segmentac¸

ao para extrair completamente a regi

da face de uma imagem de profundidade de entrada que obedec¸a as seguintes restric¸

oes: (1)

a imagem n

ao pode conter mais de uma face; (2) a face precisa estar entre as regi

oes mais

oximas do dispositivo de aquisic¸

ao; (3) a face deve estar posicionada frontalmente; e (4)

oclus

ao s

e permitida caso seja causada por partes do cabelo. Embora exista algumas restric¸

oes

na imagem de entrada, diversas situac¸

oes podem interferir no processo de segmentac¸

ao, como

diferentes cortes de cabelo, ou a presenc¸a de acess

orios de vestu

ario e partes do corpo.

Figura 2.1: Diagrama da nossa abordagem de segmentac¸

ao.

Para resolver este problema, n

os desenvolvemos um algoritmo que combina detecc¸

de bordas [35], agrupamento de regi

oes [36] e an

alise de forma. O algoritmo de segmentac¸

possui duas etapas principais: (A) a localizac¸

ao de regi

oes homog

eneas na imagem; e (B)

a identiﬁcac¸

ao das regi

oes homog

eneas que pertencem

a face. Um diagrama da abordagem

proposta

e apresentado na Fig. 2.1. Detalhes de cada est

agio do processo de segmentac¸

ao s

fornecidos nas subsec¸

oes seguintes.

2.1 Localizac¸

ao de regi

oes homog

eneas

Para localizar partes homog

eneas, agrupamento de regi

oes e detecc¸

ao de bordas foram

aplicados na informac¸

ao de profundidade da imagem de entrada. Considerando as bases de

dados utilizadas em nossos experimentos, observamos que as imagens raramente apresentam

informac¸

ao de profundidade no fundo da imagem, e tamb

em que a face

e uma das regi

oes mais

oximas do dispositivo de aquisic¸

ao.

Primeiro, o ﬁltro da mediana 5×5

e aplicado duas vezes na imagem de entrada para re-

duzir o ru

ıdo. Em seguida, o algoritmo de agrupamento K-Means [37]

e aplicado na informac¸

de profundidade para divid

ı-la em duas regi

oes (i.e. K = 2, mostradas em branco e cinza na

Fig. 2.1, sendo a regi

ao em preto a

area sem informac¸

ao de profundidade da imagem de en-

trada): a regi

ao de interesse (ROI, Region Of Interest), composta de regi

oes pr

oximas ao dis-

positivo de aquisic¸

ao; e as demais regi

oes que est

ao muito afastadas do mesmo dispositivo e

eventualmente parte do fundo da imagem. Considerando que a face sempre est

a inclu

ıda na

regi

ao com menor profundidade (i.e. ROI), a

area de busca pode ser reduzida, como mostrado

na Fig. 2.1.

Entretanto, o agrupamento de regi

oes n

e suﬁciente para isolar corretamente a face

de outras regi

oes como cabelo, pescoc¸o, roupas e acess

orios. A detecc¸

ao de bordas

e ent

empregada para separar estas partes da regi

ao da face ap

os a aplicac¸

ao do K-Means.

Uma operac¸

ao de limiarizac¸

ao foi empregada para a detecc¸

ao de bordas em uma ima-

gem de gradiente, que

e obtida atrav

es da aplicac¸

ao do operador de Sobel [38] na informac¸

ao de

profundidade de entrada. Um limiar global T

foi deﬁnido baseado no ponto de inﬂex

ao do tre-

cho decrescente do histograma de gradiente obtido utilizando todas as imagens da base FRGC

v2.0 (i.e. o ponto de inﬂex

ao representa uma mudanc¸a signiﬁcativa na curva do histograma

de gradiente, e esta mudanc¸a foi considerada a mudanc¸a entre valores de gradiente de regi

oes

homog

eneas e n

ao homog

eneas). A Fig. 2.2(a) mostra o histograma de gradiente da base FRGC

v2.0. O ponto de inﬂex

ao pode ser encontrado como um pico negativo na primeira derivada da

curva do histograma (ver Fig. 2.2(a)), como mostrado na seguinte equac¸

ao:

= u if h

′

(u) < h

′

(v) ∀ v = u (2.1)

onde h

′

(x)

e a primeira derivada da curva do histograma (i.e. neste trabalho, T

= 7).

Imagens com alta resoluc¸

ao apresentam valores de gradiente menores que imagens

com resoluc¸

oes menores, e por este motivo o valor de T

precisa ser normalizado de acordo

(a)

(b) (c)

Figura 2.2: (a) Histograma de gradiente de todas as imagens da base FRGC v2.0. O ponto de

inﬂex

ao representa o limiar global de gradiente; (b)-(c) histograma de valores de resoluc¸

ao de

todas as imagens da base FRGC v2.0 utilizando o eixo y e o eixo x, respectivamente.

com a resoluc¸

ao da imagem. O valor de resoluc¸

ao r

para uma imagem F

e calculado como a

dist

ancia m

edia no eixo y entre pontos vizinhos em uma mesma coluna da imagem (i.e. somente

o eixo y

e utilizado porque ambos os eixos x e y apresentam valores similares para uma mesma

imagem, como mostrado nas Figs. 2.2(b)-2.2(c)). Um valor de resoluc¸

ao global r

e calculado

como a m

edia dos valores de resoluc¸

ao de todas as imagens da base FRGC v2.0 (ver Fig. 2.2(b),

neste trabalho, r

= 0.6), e um limiar autom

atico T

e obtido para a imagem F atrav

es da

Eq. 2.2.

(2.2)

Um processo de fechamento [39] (i.e. duas dilatac¸

oes 3× 3 seguidas de uma eros

3 × 3)

e executado para conectar algumas linhas desconectadas resultantes do processo de

limiarizac¸

ao e o mapa de bordas ﬁnal

e obtido. Ap

os isto, o mapa de bordas

e utilizado para

dividir a regi

ao resultante da aplicac¸

ao do K-Means combinando as duas imagens atrav

es de um

E l

ogico, como mostrado na Fig. 2.1. A imagem resultante cont

em as regi

oes homog

eneas da

imagem de entrada.

2.2 Identiﬁcac¸

ao de regi

oes da face

Neste est

agio, precisamos identiﬁcar quais regi

oes homog

eneas pertencem

a face. Es-

tas regi

oes s

ao ent

ao submetidas a um processo de rotulac¸

ao, e todas as regi

oes com tamanho

inferior

a 0.5% do tamanho da imagem s

ao descartadas. Este limiar, que foi deﬁnido empirica-

mente, deve ser grande o suﬁciente para eliminar regi

oes indesej

aveis (e.g. partes do cabelo),

e pequeno o suﬁciente para nunca descartar uma regi

ao relevante. A Fig. 2.3(a) mostra um

exemplo das regi

oes homog

eneas ap

os a rotulac¸

ao.

Regi

oes pertencentes

a face s

ao encontradas na imagem rotulada atrav

es da busca por

uma elipse, por ser considerada a forma geom

etrica que mais se assemelha

a forma da face. Esta

busca

e realizada atrav

es da aplicac¸

ao transformada de dist

ancia [40] nas bordas das regi

oes

rotuladas, mostradas na Fig. 2.3, seguida da selec¸

ao da combinac¸

ao de regi

oes que apresenta a

forma mais parecida com uma elipse. Para avaliar a similaridade entre um conjunto de regi

oes

e uma elipse n

os utilizamos o Alg. 1, onde a dist

ancia entre as bordas, preenchimento da elipse

e vazamento da elipse s

ao considerados, e elipses maiores s

ao priorizadas. A Fig. 2.4 mostra

todas as combinac¸

oes entre as regi

oes da Fig. 2.3(a). A melhor elipse, de acordo com o Alg. 1,

foi encontrada na Fig. 2.4(g).

os a detecc¸

ao de elipse segue a selec¸

ao das regi

oes rotuladas que pertencem

a face,

de acordo com o Alg. 2. No passo 2 do Alg. 2, regi

oes pr

oximas ao centro da elipse s

ao sele-

cionadas, evitando a selec¸

ao de regi

oes do pescoc¸o e do cabelo, que eventualmente aparecem

nas bordas da elipse. Entretanto, algumas vezes a face

e dividida em pequenas regi

oes, e o

passo 2 n

e suﬁciente para selecionar todas estas partes. Os passos 4-7 foram desenvolvidos

(a) (b)

Figura 2.3: (a) Regi

oes homog

eneas ap

os a rotulac¸

ao; (b)-(d) mapas de dist

ancia destas regi

oes.

(a) (b) (c)

(d) (e) (f) (g)

Figura 2.4: Detecc¸

ao de elipse atrav

es da combinac¸

ao de regi

oes homog

eneas.

para selecionar as regi

oes da face neste caso. O passo 7

e aplicado para selecionar a regi

ao da

testa e tamb

em evitar a selec¸

ao de partes do cabelo ou acess

orios que podem estar inclu

ıdas na

elipse.

Algorithm 1 Pseudo c

odigo para medir a similaridade entre regi

oes homog

eneas e elipses.

Entrada: Um conjunto de regi

oes S = {r

, r

, . . . , r

}

ıda: Um valor de similaridade V

1: Criar um mapa de dist

ancia D combinando os mapas de dist

ancia de cada regi

ao utilizando

a seguinte equac¸

ao para cada pixel i da imagem: D

= min{D

, D

, . . . , D

}

2: Obter o ret

angulo envolvente de S, e deﬁnir uma elipse com os valores de centro, altura e

largura deste ret

angulo.

3: Considerando P o conjunto de pixels na borda da elipse, computar a dist

ancia d =

∑

p∈P

|P|

4: Computar a frac¸

dos pixels n

ao inclu

ıdos em nenhuma regi

ao que est

ao dentro da elipse

para medir o preenchimento da elipse

5: Computar a frac¸

dos pixels das regi

oes de entrada dentro do ret

angulo envolvente e

fora da elipse para medir o vazamento da elipse

6: Computar a

area do ret

angulo envolvente A

7: V =

αβ

Algorithm 2 Pseudo c

odigo para selec¸

ao de regi

oes da face.

Entrada: Um conjunto de regi

oes rotuladas S = {r

, r

, . . . , r

} e uma elipse E

ıda: Um conjunto de regi

oes da face F

1: Deﬁnir um c

ırculo C no centro da elipse com di

ametro igual a dois terc¸os da largura da

elipse (ver Fig. 2.5(a))

2: Adicionar a F todas as regi

oes em S com pelo menos um pixels dentro de C

3: Dividir a elipse em quatro partes: a parte superior E

; a parte inferior E

; a parte esquerda

; e a parte direita E

(ver Fig. 2.5(b))

4: Adicionar a F a regi

ao em S com a maior quantidade de pixels dentro de E

5: Adicionar a F a regi

ao em S com a maior quantidade de pixels dentro de E

6: Adicionar a F a regi

ao em S com a maior quantidade de pixels dentro de E

7: Considerando r

∈ S a regi

ao com a maior quantidade de pixels dentro de E

, r

ser

a sele-

cionada se esta tamb

em for a regi

ao com a maior quantidade de pixels na parte inferior de

(ver Fig. 2.5(c)), ou se tiver mais que o dobro da quantidade de pixels da regi

ao mais

comum na parte inferior de E

(a) (b)

Figura 2.5: (a)-(c) Regi

oes inclu

ıdas na elipse detectada utilizadas para localizar a face; e (d)

um exemplo de face dividida por causa do bigode.

As regi

oes selecionadas como face s

ao representadas por uma imagem bin

aria que

indica a localizac¸

ao da face na imagem de entrada. Esta imagem pode conter espac¸os entre as

regi

oes, que s

ao preenchidos atrav

es da ligac¸

ao de pontos desconectados em uma mesma coluna

ou em uma mesma linha da imagem. Ap

os isto, realizamos um E l

ogico entre a imagem bin

aria

resultante e a imagem de profundidade de entrada para obter a segmentac¸

ao ﬁnal da regi

ao da

face.

3 Detecc¸

ao de caracter

ısticas faciais

A detecc¸

ao de caracter

ısticas faciais

e uma etapa importante para otimizar algumas

tarefas relacionadas ao reconhecimento; por exemplo registro de faces, estimativa de pose, e

localizac¸

ao de regi

oes r

ıgidas da face [15].

Estamos interessados em um pequeno conjunto de caracter

ısticas faciais: ponta do

nariz e cantos do nariz e dos olhos. Estas caracter

ısticas foram escolhidas porque elas permitem

uma extrac¸

ao precisa das regi

oes r

ıgidas da face, como o nariz e a testa. Para localiz

a-las, n

combinamos curvas de relevo [24, 41] obtidas da informac¸

ao de profundidade e tamb

em da

imagem resultante da classiﬁcac¸

ao de curvatura de superf

ıcies [4,15]. Curvas de relevo [24,41]

ao curvas extra

ıdas de imagens para representar alguma propriedade espec

ıﬁca da imagem (e.g.

o valor m

aximo de profundidade cada linha da imagem da face representa a linha de perﬁl da

face). Um diagrama da abordagem de detecc¸

ao de caracter

ısticas

e apresentado na Fig. 3.1.

Figura 3.1: Diagrama da nossa abordagem de detecc¸

ao de caracter

ısticas faciais.

3.1 Classiﬁcac¸

ao de curvatura de superf

ıcies

Como mostrado por Chang et al. [42], atrav

es da an

alise da informac¸

ao de curvatura de

superf

ıcies podemos observar que algumas regi

oes da face (e.g. ponta do nariz e cantos internos

dos olhos) apresentam o mesmo tipo de curvatura em imagens de diferentes pessoas, e n

ao s

afetadas por express

oes faciais, como mostrado na Fig. 3.2.

(a) (b) (c)

(d) (e) (f)

Figura 3.2: Exemplo da classiﬁcac¸

ao de superf

ıcies aplicada em imagens de uma mesma pessoa

apresentando diferentes express

oes: (a), (b) e (c) s

ao os resultados da segmentac¸

ao; (d), (e) e

(f) mostram a classiﬁcac¸

ao de superf

ıcies das imagens (a), (b) e (c), respectivamente. Regi

oes

em vermelho mostram picos na superf

ıcie e regi

oes em amarelo mostram poc¸os.

Para calcular o tipo de curvatura para cada ponto de uma imagem de face, uma su-

perf

ıcie local

e deﬁnida atrav

es de uma vizinhanc¸a N × N, assim como em [43] (i.e. N = 11).

Ent

ao n

os aplicamos uma t

ecnica de m

ınimos quadrados para calcular os coeﬁcientes de uma

aproximac¸

ao biquadr

atica da superf

ıcie, e estimamos os valores de curvatura Gaussiana (K)

e de curvatura m

edia (H) utilizando as derivadas parciais da aproximac¸

ao [4]. Uma vez que

os valores K e H tenham sido obtidos, podemos classiﬁcar a superf

ıcie local de acordo com a

Tabela 3.1 [4].

Tabela 3.1: Classiﬁcac¸

ao dos tipos de superf

ıcies baseada nos valores de curvatura Gaussiana e

curvatura m

edia [4].

H < 0 H = 0 H > 0

K < 0 pico - poc¸o

K = 0 cume plano vale

K > 0 sela em cume m

ınimo sela em vale

Depois de classiﬁcar todos os pontos de uma imagem de entrada, dois tipos de su-

perf

ıcies s

ao utilizados em nossa abordagem de localizac¸

ao de caracter

ısticas faciais: picos e

poc¸os. Os cantos dos olhos apresentam superf

ıcies em forma de poc¸o, e a ponta do nariz apre-

senta superf

ıcies em forma de pico, como mostrado na Fig. 3.2. Os cantos do nariz podem

apresentar diferentes classiﬁcac¸

oes sob diferentes express

oes faciais, ent

ao outras informac¸

oes

extra

ıdas da face foram empregada para encontr

a-los.

3.2 Detecc¸

ao de caracter

ısticas

A detecc¸

ao de caracter

ısticas possui dois est

agios: primeiro n

os encontramos a coor-

denada y da ponta do nariz o dos olhos, a depois encontramos a coordenada x da ponta e cantos

do nariz e dos cantos internos dos olhos.

Para encontrar a coordenada y do nariz, duas projec¸

oes da informac¸

ao de profundidade

no eixo y [41] s

ao geradas, chamadas curva de perﬁl e curva mediana. Para gerar estas curvas,

determinamos o valor de profundidade m

aximo (i.e. curva de perﬁl) e o valor mediano (i.e.

curva mediana) de cada conjunto de pontos na imagem de entrada com a mesma cordenada y.

Calculamos ent

ao a diferenc¸a entre estas curvas e procuramos pela coordenada y com o maior

valor de diferenc¸a. Ent

ao, assumimos que o pico local na curva de perﬁl mais pr

oximo desta

coordenada y corresponde

a localizac¸

ao do nariz. A Fig. 3.3 mostra um exemplo de curva de

perﬁl e seus picos locais, de curva mediana e da diferenc¸a entre as curva de perﬁl e mediana.

A coordenada y com o valor m

aximo de diferenc¸a e pico local escolhido como ponta do nariz

tamb

em s

ao mostrados na Fig. 3.3.

Em seguida, outra projec¸

ao no eixo y

e gerada utilizando a imagem de curvatura para

localizar a coordenada y dos olhos. Para isto, calculamos a porcentagem de pontos classiﬁca-

dos como pico em cada conjunto de pontos com a mesma coordenada y. Para uma face, esta

Figura 3.3: Exemplo de detecc¸

ao da coordenada y da ponta do nariz.

projec¸

ao apresenta tr

es picos, representando os olhos, a base do nariz e a boca. Como a coor-

denada y da ponta do nariz j

e conhecida, podemos considerar o pico mais pr

oximo

a ponta

do nariz como sendo a coordenada y base do nariz, o pico superior como sendo a coordenada y

dos olhos, e o pico inferior a coordenada y da boca (ver Fig. 3.4).

Figura 3.4: Exemplo da detecc¸

ao da coordenada y dos olhos, base do nariz e boca.

Uma vez que as coordenadas y da ponta do nariz e dos olhos sejam conhecidas, com-

putamos projec¸

oes no eixo x para localizar as coordenadas x da ponta e cantos do nariz, e dos

cantos internos dos olhos. Para a ponta do nariz, a projec¸

ao no eixo x

e obtida atrav

es do c

alculo

da porcentagem de pontos em uma mesma coluna considerando um conjunto de linhas vizinhas

a coordenada y da ponta do nariz. A coordenada x da ponta do nariz pode ser encontrada como

um pico nesta projec¸

ao, como mostrado na Fig. 3.5.

Figura 3.5: Exemplo da detecc¸

ao da coordenada x da ponta do nariz.

A partir da ponta do nariz, podemos encontrar os cantos do nariz como sendo os pontos

de m

axima variac¸

ao na curva de perﬁl horizontal. Esta curva

e uma projec¸

ao no eixo x que

representa um conjunto de pontos com a mesma coordenada y, neste caso, a coordenada y da

ponta do nariz. Para detectar os cantos do nariz, n

os calculamos a informac¸

ao de gradiente desta

curva buscando identiﬁcar um pico em cada lado da ponta do nariz, como mostrado na Fig. 3.6.

Para encontrar as coordenadas x dos cantos dos olhos, n

os geramos uma projec¸

ao da

imagem de curvatura no eixo x atrav

es do c

alculo da porcentagem de pontos classiﬁcados como

poc¸o para cada coluna de um conjunto de linhas vizinhas centralizadas na coordenada y dos

olhos. A coordenada x do canto do olho esquerdo est

a localizada no in

ıcio do primeiro pico

nesta projec¸

ao, e a coordenada x do canto do olho direito est

a localizada no ﬁnal do segundo

pico nesta mesma projec¸

ao, como mostrado na Fig. 3.7.

Figura 3.6: Exemplo da detecc¸

ao dos cantos do nariz.

Figura 3.7: Exemplo da detecc¸

ao dos cantos dos olhos.

4 Resultados experimentais

Os experimentos apresentados nesta sec¸

ao foram projetados para avaliar a precis

ao das

nossas abordagens para segmentac¸

ao facial e detecc¸

ao de caracter

ısticas, a tamb

em para analisar

a inﬂu

encia das mesmas em um sistema de reconhecimento facial 3D. Tr

es bases de dados

foram utilizadas nestes experimentos. A base FRGC vers

oes 1.0 e 2.0, com um total de 4950

imagens de 557 indiv

ıduos, contendo variac¸

oes de express

oes faciais, resoluc¸

ao, pose e outras

caracter

ısticas, como diferentes cortes de cabelo. As imagens possuem 640×480 pixels e foram

adquiridas pelo scanner laser Minolta Vivid 910; a e base BU-3DFE [27], com um total de

2500 imagens de 100 indiv

ıduos apresentando principalmente variac¸

oes de express

oes faciais.

Apenas malhas de tri

angulos s

ao disponibilizadas nos dados originais desta base, ent

ao n

convertemos os modelos para imagens de profundidade frontalmente posicionadas utilizando

amostragem de pontos considerando uma resoluc¸

ao de 0.6mm.

Todos os experimentos de reconhecimento foram realizados utilizando-se um m

etodo

padr

ao de comparac¸

ao baseado no algoritmo Iterative Closest Point (ICP) e tamb

em o nosso

sistema de reconhecimento facial 3D [3] baseado nas t

ecnicas Simulated Annealing (SA) e

Surface Interpenetration Measure (SIM). O ICP foi empregado em nossos experimentos porque

muitos trabalhos voltados para o reconhecimento na literatura s

ao baseados nele. Em nossa

implementac¸

ao, uma soluc¸

ao inicial

e obtida atrav

es do alinhamento dos centros de massa das

duas imagens de face, ent

ao um alinhamento grosseiro

e realizado com o ICP e 5% dos pontos

da imagem a ser reconhecida. A seguir, um alinhamento mais preciso

e obtido com o aumento

da porcentagem de pontos utilizada para 25%. O valor de similaridade ﬁnal

e obtido atrav

es da

aplicac¸

ao da medida robusta M-estimator Sample Consensus (MSAC) sobre o erro entre pontos

correspondentes na

area de sobreposic¸

ao das imagens alinhadas. O limiar para o MSAC foi

deﬁnido em 3.0mm. Da mesma maneira, em nosso sistema de reconhecimento uma soluc¸

inicial

e obtida atrav

es do alinhamento dos centros de massa das duas imagens de face. Um

alinhamento grosseiro

e realizado utilizado uma busca com o SA para minimizar o MSAC, e

ent

ao um alinhamento mais preciso

e obtido utilizando uma busca com o SA para maximizar o

valor da SIM [3].

4.1 Resultados da segmentac¸

A nossa abordagem de segmentac¸

ao extraiu corretamente a regi

ao da face em 99.3%

das imagens da base FRGC v1.0 (936 de 943), em 99.7% das imagens da base FRGC v2.0

(3993 de 4007) e em 96.1% das imagens da base BU-3DFE (2403 de 2500), como conﬁrmado

por uma inspec¸

ao visual dos resultados (i.e. faces contendo regi

oes irrelevantes ou que n

foram extra

ıdas por completo foram consideradas segmentac¸

oes incorretas). Os erros foram

causados principalmente por regi

oes do pescoc¸o, cabelo ou acess

orios que n

ao foram separados

da face pela etapa de detecc¸

ao de bordas. Alguns exemplos s

ao mostrados na Fig. 4.1. Nas

Figs. 4.1(a)-4.1(e), regi

oes irrelevantes n

ao foram separadas da face, e na Fig. 4.1(f), a regi

da testa n

ao foi selecionada como face. O tempo m

edio para segmentar uma face

e de um

segundo em um Pentium D 3.4 GHz. A Fig. 4.2 mostra alguns exemplos da segmentac¸

ao facial

utilizando a abordagem proposta.

(a) (b)

(e) (f)

Figura 4.1: Segmentac¸

oes incorretas causadas por (a)-(e) regi

oes irrelevantes selecionadas

como face e (f) partes da face n

ao selecionadas.

Para avaliar a inﬂu

encia dos resultados da segmentac¸

ao em sistemas de reconheci-

(a) (b)

(e) (f)

Figura 4.2: Exemplos da segmentac¸

ao facial utilizando a abordagem proposta em imagens com

diferentes diﬁculdades: (a)-(c) cabelo; (d)-(e) barba e bigode; e (f) express

ao facial.

mento facial 3D, n

os comparamos nossa abordagem com outras duas t

ecnicas de segmentac¸

ao [2,

5]. A primeira

e uma t

ecnica de segmentac¸

ao baseada na detecc¸

ao da face atrav

es de um classi-

ﬁcador em cascata desenvolvido por Viola e Jones [1], dispon

ıvel na biblioteca OpenCV

, que

usa a imagem de intensidade lozalizar a face. O fundo da imagem de intensidade foi removido

utilizando-se o mapa de profundidade, como proposto em [5], para reduzir a

area de busca e

o n

umero de detecc¸

oes falsas. A regi

ao da face corresponde ao conjunto de pontos localiza-

dos dentro do quadrado detectado, como mostrado na Fig. 4.3. Alguns exemplos do resultado

deste t

ecnica s

ao mostrados na Fig. 4.4. A segunda abordagem foi proposta por Mian et al. [2],

e consiste em extrair uma regi

ao esf

erica com um raio de 80mm em torno da ponta do nariz,

como mostrado na Fig. 4.5(a). Exemplos da segmentac¸

ao ﬁnal obtida por esta abordagem s

mostradas nas Figs. 4.5(b)-4.5(d).

Para esta comparac¸

ao foram utilizadas 933 imagens da base FRGC v2.0 sem ru

ıdo

e com a express

ao neutra, eliminando assim problemas causados por variac¸

oes de express

Available at http://www.intel.com/technology/computing/opencv

(a) (b)

Figura 4.3: Exemplo da segmentac¸

ao facial atrav

es de uma t

ecnica padr

ao [1]: (a) imagem de

intensidade, (b) mapa de profundidade, (c) imagem de intensidade ap

os remoc¸

ao do fundo, e

(d) resultado da extrac¸

ao facial.

Figura 4.4: Exemplos da segmentac¸

ao facial obtidas pela t

ecnica padr

ao de segmentac¸

ao.

e de ru

ıdo. Com esta conﬁgurac¸

ao, a face inteira

e relevante ao reconhecimento facial, e a

segmentac¸

ao que maximizar a

area de face extra

ıda e minimizar a quantidade de regi

oes irrele-

(a) (b)

Figura 4.5: (a) Ilustrac¸

ao da abordagem proposta por Mian (imagem retirada de [2]), e (b)-(d)

resultados obtidos por esta abordagem.

vantes apresentar

a as melhores taxas de veriﬁcac¸

ao. Todas estas imagens neutras e sem ru

ıdo

foram ent

ao segmentadas pelas tr

es t

ecnicas consideradas. Detecc¸

oes falsas na t

ecnica padr

foram eliminadas manualmente, e as posic¸

oes da ponta do nariz utilizadas na abordagem de

Mian foram marcadas manualmente.

Em seguida, n

os calculamos o valor de similaridade para cada combinac¸

ao de duas

imagens segmentadas por uma mesma abordagem (864578 combinac¸

oes entre imagens de in-

div

ıduos diferentes e 4978 entre imagens do mesmo indiv

ıduo), e a Fig. 4.6 mostra as taxas de

veriﬁcac¸

ao para as tr

es abordagens. Como pode ser observado, a nossa abordagem apresentou

melhores taxas de veriﬁcac¸

ao em comparac¸

as outras abordagens.

4.2 Resultados da detecc¸

ao de caracter

ıstica

os a segmentac¸

ao, as faces s

ao submetidas

a nossa abordagem de detecc¸

ao de car-

acter

ısticas sem nenhum ajuste (i.e. segmentac¸

oes incorretas n

ao s

ao retiﬁcadas). As carac-

ter

ısticas faciais foram manualmente marcadas por duas pessoas diferentes para avaliar o erro

de localizac¸

ao, e as posic¸

oes de refer

encia de cada caracter

ıstica foi deﬁnida como a m

edia das

(a)

(b)

Figura 4.6: Comparac¸

ao entre abordagens de segmentac¸

ao utilizando (a) ICP+MSAC e (b)

SA+SIM.

marcac¸

oes manuais.

O erro de localizac¸

ao foi estimado atrav

es da dist

ancia Euclidiana entre a posic¸

ao de

refer

encia e a posic¸

ao obtida pela nossa abordagem de detecc¸

ao. Para mostrar a melhora em ter-

mos de precis

ao, algumas estat

ısticas do erro de localizac¸

ao s

ao apresentadas nas Tabelas 4.1-

4.3, junto com resultados obtidos por Lu e Jain [5, 25], Romero-Huertas e Pears [7] e Yu e

Moon [6]. A base FRGC v2.0 foi utilizada nos experimentos apresentados em [7] e a base

FRGC v1.0 foi utilizada em [5,6]. O erro m

edio e o desvio padr

ao foram obtidos considerando

o erro de localizac¸

ao entre as posic¸

oes de refer

encia e os resultados da nossa abordagem au-

tom

atica de detecc¸

ao. As taxas de detecc¸

ao foram obtidas atrav

es do c

alculo da porcentagem

de caracter

ısticas detectadas com o erro de localizac¸

ao menor que um limiar estipulado. Como

pode ser observado, a nossa abordagem a nossa abordagem apresenta valores baixos de erro

edio e desvio padr

ao, e consequentemente a ponta do nariz e os cantos dos olhos foram de-

tectados corretamente em mais imagens que outras abordagens quando o limiar de toler

ancia

baixo.

Tabela 4.1: Resultados para a base FRGC v1.0: erro m

edio e desvio padr

ao para a nossa

abordagem e tamb

em para [5, 6]; taxas de detecc¸

ao com limiar de 10mm (T10) para a nossa

abordagem e para [6]; e taxas de detecc¸

ao com limiar de 15mm (T15) para a nossa abor-

dagem. PN=ponta do nariz; OE=olho esquerdo; OD=olho direito; NE=canto esquerdo do

nariz; ND=canto direito do nariz.

Caracter

ısticas PN OE OD NE ND

Erro m

edio (mm) 2.69 4.26 4.15 6.16 7.22

[5]-Erro m

edio (mm) 5.00 5.70 6.00 N.A. N.A.

[6]-Erro m

edio (mm) 2.18 5.59 4.74 N.A. N.A.

Desvio padr

ao (mm) 2.14 3.51 3.13 3.09 2.76

[5]-Desvio padr

ao (mm) 2.40 3.00 3.30 N.A. N.A.

[6]-Desvio padr

ao (mm) 6.83 16.08 9.76 N.A. N.A.

T10 99.89 97.14 98.52 90.56 90.03

[6]-T10 99.50 98.50 98.50 N.A. N.A.

T15 99.89 99.47 99.68 99.79 99.47

Tabela 4.2: Resultados para a base FRGC v2.0: erro m

edio e desvio padr

ao para a nossa abor-

dagem; taxas de detecc¸

ao com limiar de 10mm (T10) para a nossa abordagem; e taxas de

detecc¸

ao com limiar de 15mm (T15) para a nossa abordagem e para [7].

Caracter

ısticas PN OE OD NE ND

Erro m

edio (mm) 2.73 3.69 3.35 4.83 5.84

Desvio padr

ao (mm) 1.39 2.26 2.33 2.03 1.73

T10 99.95 98.88 99.15 99.55 99.15

T15 99.95 99.65 99.63 99.95 99.95

[7]-T15 90.00 90.00 90.00 N.A. N.A.

Computamos o histograma de erro de localizac¸

ao (LDH, Localization Displacement

Histogram) para cada caracter

ıstica utilizando as imagens da base FRGC v2.0. Os gr

aﬁcos

de LDH para ponta do nariz, cantos internos dos olhos e cantos do nariz s

ao mostrados na

Fig. 4.7. O tempo m

edio para localizar as caracter

ısticas faciais em uma face segmentada

e de

Tabela 4.3: Resultados para a base BU-3DFE: erro m

edio, desvio padr

ao, taxas de detecc¸

com limiar de 10mm (T10) e de 15mm (T15) para a nossa abordagem.

Caracter

ısticas PN OE OD NE ND

Erro m

edio (mm) 1.87 6.33 6.33 6.66 6.49

Desvio padr

ao (mm) 1.12 4.82 5.04 3.36 3.40

T10 99.88 84.32 82.40 83.56 83.56

T15 99.88 94.60 93.20 99.08 99.52

0.3 segundos em um Pentium D 3.4 GHz. Alguns resultados da detecc¸

ao de caracter

ısticas s

mostrados na Fig. 4.8.

os detectadas, estas caracter

ısticas foram utilizadas para tornar sistemas de reco-

nhecimento facial 3D capazes de reconhecer imagens sob variac¸

oes causadas por express

oes

faciais. Para isto, realizamos a comparac¸

ao entre todas as imagens neutras da base FRGC v2.0,

assim como todas as comparac¸

oes entre imagens neutras e n

ao-neutras. Este experimento repro-

duz um sistema de reconhecimento facial genu

ıno, onde faces n

ao controladas s

ao comparadas

com faces controladas (i.e. neutras e sem ru

ıdo) previamente adquiridas e armazenadas em uma

base.

Para aprimorar o reconhecimento, duas t

ecnicas diferentes baseadas em caracter

ısticas

faciais foram consideradas: a primeira extrai diferentes regi

oes fa face que s

ao menos afe-

tadas por variac¸

oes causadas por express

oes faciais (i.e. o nariz e a testa, mostrados nas

Figs. 4.9(a), 4.9(b) and 4.9(c)); e a segunda utiliza a face inteira, mas a face

e dividida em

nove setores e os setores contendo regi

oes invariantes, destacadas na Fig. 4.9(d), s

ao priorizadas

durante o processo de reconhecimento [3].

As faces foram comparadas utilizando diferentes regi

oes: a face inteira, a regi

ao do

nariz, a parte superior da face, e a face inteira com setores priorizados. Os resultados de reco-

nhecimento para o ICP e para o nosso sistema de reconhecimento s

ao mostrados separadamente

nas Tabelas 4.4 e 4.5.

A Tabela 4.4 mostra as taxas de veriﬁcac¸

ao para o sistema de reconhecimento baseado

em ICP, considerando uma taxa de falsa aceitac¸

ao (FAR, False Acceptance Rate) de 10

−3

, para

a face inteira, a

area circular em torno do nariz (ver Fig. 4.9(a)) [15], a

area el

ıptica em torno do

nariz(ver Fig. 4.9(b)) [15], a parte superior da face (Fig. 4.9(c)) [44], e a combinac¸

ao das regi

oes

ıgida pela regra da soma [45]. Para cada uma, diferentes taxas foram obtidas utilizando faces

com diferentes express

oes: neutra (NEU), feliz (HAP), boca aberta (OPM), franzida (FRO),

nojo (DIS), surpresa (SUR), triste (SAD), bochechas inﬂadas (PUF) e outras (OTH). Algumas

destas express

oes possuem n

ıvel baixo ou alto de intensidade, denominados 1 e 2, respectiva-

(a)

(b) (c)

Figura 4.7: Avaliac¸

ao da detecc¸

ao de caracter

ısticas: LDH para (a) ponta do nariz, (b) cantos

internos dos olhos e (c) cantos do nariz.

mente. As taxas de veriﬁcac¸

ao obtidas quando a face inteira

e utilizada s

ao afetadas pelas ex-

press

oes faciais, e as t

ecnicas baseadas em caracter

ısticas faciais apresentaram diferentes com-

portamentos de acordo com as variac¸

ao apresentadas na face. As regi

oes circulares e el

ıpticas

em torno nariz s

ao afetadas por express

oes que causam variac¸

oes pr

oximas a regi

ao do nariz

(e.g. nojo e bochechas inﬂadas), e a parte superior da face apresenta problemas com express

oes

que causam variac¸

oes nas regi

oes do nariz e da testa (e.g. franzida, nojo e triste). A combinac¸

das regi

oes r

ıgidas apresentou melhores resultadas do que a utilizac¸

ao de uma

unica regi

ao em

mais da metade das express

oes analisadas, e tamb

em uma maior estabilidade para diferentes

express

oes.

Figura 4.8: Resultados da nossa abordagem de detecc¸

ao de caracter

ısticas faciais.

(a) (b) (c) (d)

Figura 4.9: Exemplo das t

ecnicas para aprimorar o reconhecimento baseadas em caracter

ısticas

(imagens retiradas de [3]): (a)

area circular em torno do nariz, (b)

area el

ıptica em torno do

nariz, (c) parte superior da face, e (d) abordagem com setores priorizados.

A Tabela 4.5 mostra as taxas de veriﬁcac¸

ao para nosso sistema de reconhecimento

facial, considerando FAR de 10

−3

, para a face inteira, a

area circular em torno do nariz, a

area el

ıptica em torno do nariz, a parte superior da face, a abordagem que prioriza os setores

ıgidos (Fig. 4.9(d)) [3] e a combinac¸

ao das t

ecnicas baseadas em caracter

ısticas faciais pela

regra da soma [45]. O nosso sistema de reconhecimento apresenta um desempenho melhor se

comparado ao sistema baseado em ICP, e a combinac¸

ao das t

ecnicas baseadas em caracter

ısticas

faciais obteve as melhores taxas de veriﬁcac¸

ao em quase todas as express

oes analisadas.

Nossos resultados experimentais mostram um crescimento expressivo nas taxas de

veriﬁcac¸

ao quando t

ecnicas baseadas em caracter

ısticas faciais s

ao aplicadas no reconhecimento

facial. Comparando com os resultados obtidos para a face inteira, utilizando o ICP obtivemos

taxas at

e 46% maiores para express

oes intensas (i.e. SUR 2), 36% maiores para express

oes

moderadas (i.e. SUR 1) e 5% maior para a express

ao neutra. Utilizando o nosso sistema de

Tabela 4.4: Taxas de veriﬁcac¸

ao sob variac¸

ao de express

oes faciais para a face inteira (F), a

area

circular em torno do nariz (C), a

area el

ıptica em torno do nariz (E), a parte superior da face

(U), e a combinac¸

ao das regi

oes r

ıgidas (C+E+U).

etodo F C E U C+E+U

NEU 93.33 97.95 98.35 93.27 98.19

HAP 1 66.94 73.31 83.28 70.89 82.40

HAP 2 23.44 37.30 48.85 32.87 48.28

OPM 1 72.96 91.48 92.59 86.30 95.19

OPM 2 66.58 81.46 91.33 81.46 92.01

FRO 1 74.22 85.16 88.28 84.38 90.63

FRO 2 59.04 78.19 74.47 64.36 84.04

DIS 1 87.21 97.67 97.67 90.70 98.84

DIS 2 42.07 23.17 43.90 37.80 37.20

SUR 1 57.43 89.11 93.32 73.76 93.81

SUR 2 42.53 80.84 80.40 77.68 88.84

SAD 1 75.11 94.05 87.67 82.16 93.61

SAD 2 57.95 79.55 70.83 63.64 78.41

PUF 33.94 42.87 32.58 52.49 53.39

OTH 63.92 72.15 83.86 72.15 83.84

Tabela 4.5: Taxas de veriﬁcac¸

ao sob variac¸

oes de express

oes faciais para as mesmas regi

oes F,

C, E e U da Tabela 4.4, para a abordagem que prioriza os setores r

ıgidos (S) e a combinac¸

ao das

ecnicas caseadas em caracter

ısticas faciais (C+E+U+S).

etodo F C E U S C+E+U+S

NEU 99.40 99.36 99.52 99.32 99.12 99.96

HAP 1 92.52 94.43 95.31 92.08 90.00 98.53

HAP 2 76.89 85.25 89.51 75.41 75.74 94.10

OPM 1 99.26 96.30 96.30 99.26 97.04 97.04

OPM 2 94.73 96.94 99.15 94.05 91.50 99.66

FRO 1 95.31 93.75 92.19 92.19 87.50 100.0

FRO 2 92.02 86.70 87.23 90.96 93.09 90.96

DIS 1 100.0 100.0 97.67 100.0 97.67 100.0

DIS 2 76.83 43.90 57.32 73.17 79.27 74.39

SUR 1 93.07 97.52 99.51 94.55 90.59 100.0

SUR 2 88.23 96.67 97.72 91.21 87.17 98.95

SAD 1 93.39 99.12 100.0 95.15 92.07 100.0

SAD 2 86.36 93.94 94.70 84.10 87.12 96.97

PUF 87.33 88.69 91.40 91.63 86.20 97.51

OTH 88.61 94.94 93.04 90.51 89.87 99.37

reconhecimento, obtivemos taxas at

e 18% maiores para express

oes intensas (i.e. HAP 2) e 10%

maiores para express

oes moderadas (i.e. PUF).

4.3 Normalizac¸

ao facial

ultimo experimento foi realizado acrescentando-se uma etapa de normalizac¸

ao da

pose antes da etapa de reconhecimento para acelerar a converg

encia dos m

etodos de registro.

Para isto, uma c

opia da imagem original invertida no eixo x

e criada. Depois esta c

opia

alinhada com sua vers

ao original, e a transformac¸

ao obtida pode ser utilizada para normalizar

a imagem original, uma vez que a metade da transformac¸

ao encontrada (i.e. os valores de

translac¸

ao e rotac¸

ao encontrados s

ao divididos por 2) alinha o plano de simetria da face (i.e.

plano que divide a face exatamente ao meio) com o plano yz do sistema de coordenadas, como

mostrado na Fig. 4.10. Ap

os o alinhamento entre as imagens original e invertida, os pontos na

imagem invertida que forem seus pr

oprios pontos correspondentes na imagem original formam

a linha de perﬁl da face, como pode ser visto na Fig. 4.10(b), e o plano formado pelos pontos

nessa linha corresponde ao plano de simetria da face. Com este procedimento, a face estar

normalizada para translac¸

ao no eixo x e rotac¸

ao nos eixos y e z, restando apenas encontrar

durante o registro para o reconhecimento os melhores valores para translac¸

ao nos eixos y e z e

rotac¸

ao no eixo x.

(a) (b) (c)

Figura 4.10: Exemplo da aplicac¸

ao da normalizac¸

ao facial: (a) imagem original, (b) curva de

perﬁl identiﬁcada atrav

es do processo de normalizac¸

ao, e (c) imagem normalizada.

O nosso sistema de reconhecimento facial foi aplicado em um subconjunto das imagens

neutras e sem ru

ıdo da base FRGC v2.0 (310 imagens de 62 indiv

ıduos) utilizando a imagem

original e depois a sua vers

ao normalizada, com o objetivo de avaliar a diferenc¸a de desempenho

obtida. Como resultado, o sistema obteve taxas de veriﬁcac¸

ao ligeiramente superiores (i.e.

aumento de 0.5% considerando FAR de 10

−4

e de 0.2% considerando FAR de 10

−3

, como

mostrado na Fig. 4.11) e o tempo de execuc¸

ao foi reduzido em 40% na m

edia, sem que nenhuma

alterac¸

ao fosse realizada no sistema de reconhecimento. Isso foi poss

ıvel grac¸as

a reduc¸

ao do

espac¸o de busca proporcionada pela normalizac¸

ao das imagens de entrada.

Figura 4.11: Taxas de veriﬁcac¸

ao obtidas para as imagens antes e depois da normalizac¸

ao.

5 Conclus

os apresentamos t

ecnicas autom

aticas para a segmentac¸

ao facial e a detecc¸

ao de car-

acter

ısticas faciais em imagens de profundidade frontalmente posicionadas utilizando somente

a informac¸

ao de profundidade como entrada. Nossa abordagem de segmentac¸

ao extrai com-

pletamente a face combinando detecc¸

ao de bordas, agrupamento de regi

oes e an

alise de forma.

Nossa abordagem de detecc¸

ao de caracter

ısticas utiliza classiﬁcac¸

ao de curvatura de superf

ıcies

e curvas de relevo das faces segmentadas para detectar a ponta e os cantos do nariz e os cantos

internos dos olhos.

A face foi extra

ıda corretamente pela nossa abordagem em 99.3%, 99.7% e 96.1% das

imagens das bases FRGC v1.0, FRGC v2.0 e BU-3DFE, respectivamente. Houve um aumento

das taxas de veriﬁcac¸

ao em um sistema de reconhecimento baseado em ICP de 2% considerando

FAR de 10

−3

em comparac¸

ao com duas outras abordagens de segmentac¸

ao [2,5], e um aumento

das taxas de veriﬁcac¸

ao de 0.4% considerando FAR de 10

−3

quando o nosso sistema de reco-

nhecimento

e utilizado.

As caracter

ısticas faciais foram corretamente encontradas em 99% das imagens das

bases FRGC v1.0 e v2.0, e tamb

em 99% das caracter

ısticas do nariz e 93% dos cantos dos

olhos quando a base BU-3DFE foi utilizada. A ponta do nariz foi a caracter

ıstica facial mais

precisa, apresentando os menores valores de erro m

edio e desvio padr

ao para todas as bases.

A nossa abordagem de detecc¸

ao de caracter

ısticas obteve desempenho equivalente ou melhor

quando comparada com tr

es outras abordagens [5–7], e mostrou-se robusta a express

oes faci-

ais, como pode ser observado nos experimentos utilizando as bases FRGC v2.0 e BU-3DFE. As

caracter

ısticas detectadas foram empregadas para extrair tr

es diferentes regi

oes contendo partes

ıgidas da face. Estas regi

oes foram empregadas em um experimento de reconhecimento facial

com o objetivo de avaliar a melhoria obtida nas taxas de veriﬁcac¸

ao quando imagens com ex-

press

oes faciais s

ao utilizadas no reconhecimento. Taxas de veriﬁcac¸

ao at

e 46% maiores foram

obtidas para faces com express

oes intensas, 36% maiores para faces com express

ao moderada

e 5% maior para faces neutras.

Finalmente, nossos resultados mostram os benef

ıcios obtidos por ambas as aborda-

gens de segmentac¸

ao e detecc¸

ao de caracter

ısticas em um sistema de reconhecimento facial,

e o quanto as taxas de veriﬁcac¸

ao podem ser melhoradas. As abordagens apresentadas foram

inclu

ıdas em nosso sistema de reconhecimento facial 3D [3] baseado na combinac¸

ao SA+SIM,

e n

os obtivemos uma taxa de veriﬁcac¸

ao de 99.9% considerando FAR 0 para faces neutras, e

96.5% considerando FAR de 10

−3

quando todas as imagens da base FRGV v2.0 s

ao compara-

das duas a duas (i.e. incluindo comparac¸

oes entre duas imagens n

ao neutras). Estes resultados

obtidos de forma completamente autom

atica pelo nosso sistema de reconhecimento facial 3D

(i.e. segmentac¸

ao, detecc¸

ao de caracter

ısticas e comparac¸

ao) est

ao entre os melhores resul-

tados obtidos na literatura [3, 30], e mostram a import

ancia do aprimoramento das etapas de

e-processamento para o reconhecimento.

Como trabalho futuro, pretendemos extender o m

etodo para imagens de baixa quali-

dade, obtidas atrav

es de dispositivos de aquisic¸

ao mais acess

ıveis (e.g. vis

ao est

ereo, luz es-

truturada), adaptando ou substituindo as etapas que dependem de uma informac¸

ao de profun-

didade de boa qualidade. O conjunto de caracter

ısticas a serem detectadas pode ser ampliado,

com o objetivo de utilizar estas caracter

ıticas para outras aplicac¸

oes, como o reconhecimento

de express

oes faciais. No reconhecimento, podemos avaliar a combinac¸

ao das abordagens j

desenvolvidas com outras abordagens presentes na literatura, como a criac¸

ao de modelos das

deformac¸

oes causadas por express

oes faciais ou a representac¸

ao da face de uma maneira invari-

ante

a express

oes faciais.

Refer

encias Bibliogr

aﬁcas

[1] P. Viola and M. J. Jones, “Robust real-time face detection,” International Journal of Com-

puter Vision, vol. 57, no. 2, pp. 137–154, 2004.

[2] A. Mian, M. Bennamoun, and R. Owens, “An efﬁcient multimodal 2d-3d hybrid approach

to automatic face recognition,” IEEE Transactions on Pattern Analysis and Machine In-

telligence, vol. 29, no. 11, pp. 1927–1943, 2007.

[3] C. C. Queirolo, L. Silva, O. R. P. Bellon, and M. Pamplona Segundo, “3D face recognition

using simulated annealing and the surface interpenetration measure,” IEEE Transactions

on Pattern Analysis and Machine Intelligence, vol. 32, no. 2, pp. 206–219, 2010.

[4] P. J. Besl, “Surface in range images understanding.” Springer-Verlag, 1988.

[5] X. Lu and A. K. Jain, “Multimodal facial feature extraction for automatic 3d face recog-

nition,” Department of Computer Science, Michigan State University, Tech. Rep., 2005.

[6] T.-H. Yu and Y.-S. Moon, “A novel genetic algorithm for 3d facial landmark localization,”

in Proc. of the 2nd IEEE International Conference on Biometrics: Theory, Applications

and Systems, 2008, pp. 1–6.

[7] M. Romero-Huertas and N. Pears, “3d facial landmark localisation by matching simple

descriptors,” in Proc. of the 2nd IEEE International Conference on Biometrics: Theory,

Applications and Systems, 2008, pp. 1–6.

[8] O. R. P. Bellon, L. Silva, and C. C. Queirolo, “3D face matching using the surface inter-

penetration measure,” in Lecture Notes in Computer Science. Springer-Verlag, 2005, vol.

3617, pp. 1051–1058.

[9] X. Lu, A. K. Jain, and D. Colbry, “Matching 2.5D face scans to 3D models,” IEEE Trans-

actions on Pattern Analysis and Machine Intelligence, vol. 28, no. 1, pp. 31–43, 2006.

[10] K. I. Chang, K. W. Bowyer, and P. J. Flynn, “Effects on facial expression in 3D face

recognition,” in Proc. of the SPIE - Biometric Technology for Human Identiﬁcation, vol.

5779, 2005, pp. 132–143.

[11] C. Hesher, A. Srivastava, and G. Erlebacher, “Principal component analysis of range im-

ages for facial recognition,” in Proc. of the International Conference on Imaging Science,

Systems and Technology, 2002.

[12] F. Tsalakanidou, S. Malassiotis, and M. G. Strintzis, “Face localization and authentica-

tion using color and depth images,” IEEE Transactions on Pattern Analysis and Machine

Intelligence, vol. 14, no. 2, pp. 152–168, 2005.

[13] J. Y. Cartoux, J. T. Lapreste, and M. Richetin, “Face authentication or recognition by

proﬁle extraction from range images,” in Proc. of the IEEE Computer Society Workshop

on Interpretation of 3D Scenes, 1989, pp. 194–199.

[14] G. Pan, Y. Wu, and Z. Wu, “Investigating proﬁle extracted from range data for 3d face

recognition,” in Proc. of the IEEE International Conference on Systems, Man and Cyber-

netics, 2003, pp. 1396–1399.

[15] K. I. Chang, K. W. Bowyer, and P. J. Flynn, “Multiple nose region matching for 3d face

recognition under varying facial expression,” IEEE Transactions on Pattern Analysis and

Machine Intelligence, vol. 28, no. 10, pp. 1695–1700, 2006.

[16] X. Lu and A. K. Jain, “Deformation modeling for robust 3d face matching,” in Proc. of the

IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 2,

2006, pp. 1377–1383.

[17] A. M. Bronstein, M. M. Bronstein, and R. Kimmel, “Three-Dimensional face recognition,”

International Journal of Computer Vision, vol. 64, no. 1, pp. 5–30, 2005.

[18] S. Berreti, A. Del Bimbo, P. Pala, and F. J. S. Mata, “Geodesic distances for 3D-3D and

2D-3D face recognition,” in Proc. of the IEEE International Conference on Multimedia

and Expo, 2007, pp. 1515–1518.

[19] I. Kakadiaris, G. Passalis, G. Toderici, M. Murtuza, Y. Lu, N. Karampatziakis, and

T. Theoharis, “Three-dimensional face recognition in the presence of facial expressions:

An annotated deformable model approach,” IEEE Transactions on Pattern Analysis and

Machine Intelligence, vol. 29, no. 4, pp. 640–649, 2007.

[20] P. J. Besl and R. Jain, “Segmentation through variable-order surface ﬁtting,” IEEE Trans-

actions on Pattern Analysis and Machine Intelligence, vol. 10, pp. 167–192, 1988.

[21] A. Colombo, C. Cusano, and R. Schettini, “3d face detection using curvature analysis,”

Pattern Recognition, vol. 39, no. 3, pp. 444–455, 2006.

[22] A. B. Moreno, A. S

anchez, J. F. V

elez, and F. J. D

ıaz, “Face recognition using 3d surface-

extracted descriptor,” in Proc. of the Irish Machine Vision and Image Processing, 2003.

[23] D. Colbry, G. Stockman, and A. K. Jain, “Detection of anchor points for 3d face verica-

tion,” in Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern

Recognition - Workshops, 2005, p. 118.

[24] T. Faltemier, K. W. Bowyer, and P. J. Flynn, “Rotated proﬁle signatures for robust 3d

feature detection,” in Proc. of the 8th IEEE International Conference on Automatic Face

and Gesture Recognition, 2008, pp. 1–7.

[25] X. Lu and A. K. Jain, “Automatic feature extraction for multiview 3d face recognition,” in

Proceedings of the 7th International Conference on Automatic Face and Gesture Recog-

nition, 2006, pp. 585–590.

[26] P. J. Besl and H. D. Mckay, “A method for registration of 3-d shapes,” IEEE Transactions

on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239–256, 1992.

[27] L. Yin, X. Wei, Y. Sun, J. Wang, and M. J. Rosato, “A 3D facial expression database for

facial behavior research,” in Proceedings of the 7th International Conferenceon Automatic

Face and Gesture Recognition, 2006, pp. 211–216.

[28] T. Faltemier, K. W. Bowyer, and P. J. Flynn, “Using a multi-instance enrollment represen-

tation to improve 3d face recognition,” in Proc. of the IEEE International Conference on

Biometrics: Theory, Applications, and Systems, 2007, pp. 1–6.

[29] M. Pamplona Segundo, C. C. Queirolo, O. R. P. Bellon, and L. Silva, “Automatic 3D

facial segmentation and landmark detection,” Proc. of the 14th International Conference

on Image Analysis and Processing, pp. 431–436, 2007.

[30] M. Pamplona Segundo, L. Silva, O. R. P. Bellon, and C. C. Queirolo, “Autmoatic face seg-

mentation and facial landmark detection in range images,” IEEE Transactions on Systems,

Man, and Cybernetics-Part B: Cybernetics (Aceito).

[31] B. G

okberk, H. Dutagaci, A. Ulas, L. Akarun, and B. Sankur, “Representation plurality

and fusion for 3-D face recognition,” IEEE Transactions on Systems, Man, and Cybernet-

ics, Part B, vol. 38, no. 1, pp. 155–173, 2008.

[32] I. Mpiperis, S. Malassiotis, and M. G. Strintzis, “Bilinear models for 3-D face and facial

expression recognition,” IEEE Transactions on Information Forensics and Security, vol. 3,

no. 3, pp. 498–511, 2008.

[33] H. Tang and T. S. Huang, “3D facial expression recognition based on automatically se-

lected features,” in IEEE Computer Society Conference on Computer Vision and Pattern

Recognition Workshops, 2008, pp. 23–28.

[34] ——, “3D facial expression recognition based on properties of line segments connect-

ing facial feature points,” in 8th IEEE International Conference on Automatic Face and

Gesture Recognition, 2008, pp. 1–6.

[35] O. R. P. Bellon and L. Silva, “New improvements to range image segmentation by edge

detection,” IEEE Signal Processing Letters, vol. 9, no. 2, pp. 43–45, 2002.

[36] A. K. Jain and R. C. Dubes, “Algorithms for clustering data.” Prentice-Hall, 1988.

[37] J. Macqueen, “Some methods for classiﬁcation and analysis of multivariate observations,”

in Proc. of the 5th Berkeley Symposium on Mathematical Statistics and Probability, vol. 1,

1967, pp. 281–297.

[38] R. C. Gonzalez and R. E. Woods, “Digital image processing.” Addison-Wesley, 1992.

[39] L. G. Shapiro and G. C. Stockman, “Computer vision.” Prentice-Hall, 2001.

[40] P. F. Felzenszwalb and D. P. Huttenlocher, “Distance transforms of sampled functions,”

Cornell Computing and Information Science, Tech. Rep., 2004.

[41] K. Sobottka and I. Pitas, “A novel method for automatic face segmentation, facial feature

extraction and tracking,” Signal Processing-Image Communication, vol. 12, no. 3, pp.

263–281, 1998.

[42] K. I. Chang, K. W. Bowyer, and P. J. Flynn, “Adaptive rigid multi-region selection for

handling expression variation in 3d face recognition,” in Proc. of the IEEE Workshop

FRGC, 2005.

[43] P. F. U. Gotardo, O. R. P. Bellon, K. L. Boyer, and L. Silva, “Range image segmentation

into planar and quadric surfaces using an improved robust estimator and genetic algo-

rithm,” IEEE Transactions on Systems, Man, and Cybernetics, Part B, vol. 34, no. 6, pp.

2303–2316, 2004.

[44] C. S. Chua and R. Jarvis, “Point signatures: A new representation for 3d object recogni-

tion,” International Journal of Computer Vision, vol. 25, no. 1, pp. 63–85, 1997.

[45] J. Kittler, M. Hatef, R. P. W. Duin, and J. Matas, “On combining classiﬁers,” IEEE Trans-

actions on Pattern Analysis and Machine Intelligence, vol. 20, no. 3, pp. 226–239, 1998.

Livros Grátis
( http://www.livrosgratis.com.br )
 
Milhares de Livros para Download:
 
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas

Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
 
 