( PDF ) Abordagem híbrida para avaliação da usabilidade de dispositivos móveis

Download PDF

ads:

Universidade Federal de Campina Grande

Centro de Engenharia Elétrica e Informática

Coordenação de Pós-Graduação em Informática

Dissertação de Mestrado

Abordagem Híbrida para Avaliação da Usabilidade de

Dispositivos Móveis

Danilo de Sousa Ferreira

Campina Grande

Janeiro – 2007

ads:

Livros Grátis

http://www.livrosgratis.com.br

Milhares de livros grátis para download.

Universidade Federal de Campina Grande

Centro de Engenharia Elétrica e Informática

Coordenação de Pós-Graduação em Informática

Abordagem Híbrida para Avaliação da Usabilidade de

Dispositivos Móveis

Danilo de Sousa Ferreira

Dissertação submetida à Coordenação de

Pós-Graduação em Informática do Centro

de Engenharia Elétrica e Informática da

Universidade Federal de Campina Grande

como requisito parcial para obtenção do

grau de mestre em Informática (MSc).

Profº José Eustáquio Rangel de Queiroz, DSc.

Profª Maria de Fátima Queiroz Vieira Turnell, PhD.

(Orientadores)

Área de Concentração: Ciência da Computação

Linha de Pesquisa: Engenharia de Software

Campina Grande - Paraíba

Janeiro de 2007

ads:

iii

FICHA CATALOGRÁFICA ELABORADA PELA BIBLIOTECA CENTRAL DA UFCG

F383

2007

Ferreira, Danilo de Sousa

Abordagem Híbrida para avaliação da usabilidade de dispositivos móveis / Danilo de

Sousa Ferreira. ─ Campina Grande, 2007.

227f.: il.

Referências.

Dissertação (Mestrado em Informática) – Universidade Federal de Campina Grande,

Centro de Engenharia Elétrica e Informática.

Orientadores: José Eustáquio Rangel de Queiroz

Maria de Fátima Queiroz Vieira Turnell.

1─ Interfaces com o Usuário 2─ Avaliação de Usabilidade 3─ Dispositivos Móveis

4─ Metodologia Híbrida I─Título

CDU 004.5

"O único progresso verdadeiro é o progresso

moral. O resto é simplesmente ter mais ou

menos bens."

(José Saramago)

Dedico este trabalho a todos aqueles que de

alguma forma torceram por mim. Em especial,

aos meus pais e irmãos.

Agradecimentos

A Deus por dar-me forças para continuar sempre quando mais precisei.

Aos meus pais Natanael e Dalva pelo incentivo, dedicação, confiança e

“cobrança”.

Aos meus familiares, em especial aos meus irmãos Daniel e Samara, pela

preocupação e confiança no meu trabalho.

Aos meus orientadores Eustáquio e Fátima, pela confiança, dedicação,

empenho, apoio e contribuições valiosas que enriqueceram o trabalho.

Ao professor Angelo Perkusich pela ajuda prestada ao disponibilizar recursos

indispensáveis para a realização desta pesquisa.

Aos antigos e novos amigos do PET, pelos bons momentos de descontração

vivenciados.

Aos amigos do LIHM, Yuska e Pedrosa, pelo aprendizado conjunto e

vivência compartilhada durante avaliações de usabilidade.

A todos aqueles que participaram voluntariamente deste trabalho como

usuários de teste.

A todos os funcionários da COPIN, em especial a Aninha.

A todos os professores da COPIN.

Enfim, a todos aqueles que contribuíram, direta ou indiretamente, para a

realização deste trabalho.

vii

Resumo

Este trabalho consistiu na adaptação de uma abordagem híbrida para

avaliação da usabilidade de dispositivos do tipo desktop para dispositivos

móveis. Assim como a abordagem original, esta também é baseada em três

enfoques avaliatórios: (i) inspeção de conformidade; (ii) mensuração do

desempenho; e (iii) satisfação do usuário. A abordagem concentrou-se nos

dois últimos enfoques e nos métodos empregados na avaliação, dadas as

características dos dispositivos móveis. A validação da abordagem consistiu

em um estudo de caso envolvendo a avaliação da usabilidade de um internet

tablet que possibilitou a avaliação do impacto das adaptações realizadas.

Neste estudo, foram comparados os resultados de testes conduzidos no

laboratório e no campo e entre testes laboratoriais conduzidos com o

dispositivo fixado a uma mesa e livre para a locomoção do usuário pelo

laboratório. Este estudo investigou o efeito do grau de mobilidade do

dispositivo sobre a qualidade dos resultados obtidos e, conseqüentemente, a

necessidade de adaptação da metodologia original a este novo contexto de

avaliação.

Palavras-Chaves: interfaces com o usuário, avaliação de usabilidade,

dispositivos móveis, metodologia híbrida.

viii

Abstract

This work aimed to adapt a hybrid approach for evaluating the usability of

desktop applications to mobile ones. It combines (i) standard conformity

assessment; (ii) performance measurement; and (iii) user satisfaction

measurement, as the original approach. The approach focused mainly on the

last two strategies as well as on the evaluation settings and techniques

employed in the evaluation process. Its validation consisted of a case study

involving the usability evaluation of an Internet tablet device. This case study

supports the presentation of the proposed evaluation method as well as the

discussion of the impact of device mobility on the evaluation results. In this

research, device mobility was the focal aspect of the study and was analysed

through the comparison between the laboratory and field evaluation.

Keywords: user interfaces, usability evaluation, mobile devices, hybrid

approach.

Lista de Figuras

Figura 1 - Número de assinantes do serviço móvel pessoal e número de computadores

em uso no Brasil. ............................................................................................16

Figura 2 - Relacionamento dos termos móvel, portátil e sem fio. ............................30

Figura 3 - Classificação dos dispositivos móveis. .................................................. 31

Figura 4 - Classificação da computação pessoal. ..................................................32

Figura 5 - Telefones celulares: (a) SonyEricsson W800; (b) Nokia 1100; e (c)Motorola

V635. ............................................................................................................36

Figura 6 - Pagers: (a) RIM Wireless Handheld; e (b) Motorola Timeport P935...........37

Figura 7 - PDA: (a) Tugsten T5; e (b) Palm Zire 72. .............................................37

Figura 8 - Smartphones: (a) PalmOne Treo 650; e (b) Sony Ericsson P800..............38

Figura 9 - Tablets: (a) Acer TravelMate 100; e (b) Nokia 770 Internet Tablet. .......... 39

Figura 10 - Telas de visualização. a) Tungsten T5; b) SonyEricsson T610 ................ 41

Figura 11 - Teclado numérico em telefones celulares. ...........................................42

Figura 12 - Teclado QWERTY (a) RIM Wireless Handheld; e (b) Stowaway XT Ultra-

Thin Portable Keyboard. ..................................................................................44

Figura 13 - Teclado Fastap

.............................................................................45

Figura 14 - Teclado QWERTY em tela - Nokia 770 Internet Tablet. .......................... 45

Figura 15 – Reconhecimento de escrita - Nokia 770 Internet Tablet. .......................46

Figura 16 - (a) VKB Virtual Keyboard; e (b) Senseboard Virtual Keyboard................47

Figura 17 – Equipamento utilizado nos ensaios de interação realizados em campo por

Betiol (2004). .................................................................................................58

Figura 18 – Tripé para fixação de câmera (Weiss, 2002). ......................................59

Figura 19 – Equipamentos para condução de testes em campo. No detalhe, micro-

câmeras acopladas ao......................................................................................60

Figura 20 - Descrição da abordagem híbrida proposta por Queiroz (2001). ..............71

Figura 21 - Descrição da abordagem híbrida adaptada para avaliação de dispositivos

móveis...........................................................................................................75

Figura 22 - Indicadores de usabilidade da abordagem híbrida adotada. ................... 86

Figura 23 – Nokia 770 Internet Tablet ................................................................88

Figura 24 – Visão frontal do Nokia 770 Internet Tablet..........................................90

Figura 25 – Visão superior do Nokia 770 Internet Tablet. ...................................... 90

Figura 26 - Tela do Nokia 770 Internet Tablet......................................................91

Figura 27 – Padrões utilizados na inspeção de conformidade.................................. 92

Figura 28 – Laboratório de Interface Homem-Máquina.......................................... 94

Figura 29 – Metodologia adotada para condução da avaliação. ...............................95

Figura 30 – Teste-piloto em ambiente laboratorial.............................................. 106

Figura 31 – Equipamento de gravação para teste de campo................................. 107

Figura 32 – Atividades realizadas na condução do ensaio de interação. ................. 109

Figura 33 – Equipamento de suporte para micro-câmera..................................... 110

Figura 34 – Distribuição numérica das falhas detectadas aos ambientes de realização

dos testes. ................................................................................................... 120

Figura 35 – Distribuição numérica das falhas detectadas às categorias de usuários. 122

Figura 36 – Hipóteses do experimento.............................................................. 132

Figura 37 – Hipóteses do experimento.............................................................. 141

Figura 38 – Distribuição numérica do Grau de Instrução dos respondentes. ........... 145

Figura 39 – Distribuição numérica do Sexo dos respondentes. ............................. 145

Figura 40 – Distribuição numérica da Destreza Manual dos respondentes. ............. 145

Figura 41 – Distribuição numérica do Uso de Corretivos Visuais dentre os

respondentes................................................................................................ 146

Figura 42 – Distribuição numérica da Faixa Etária dos respondentes..................... 146

Figura 43 – Distribuição numérica da Plataforma Computacional mais utilizada pelos

respondentes................................................................................................ 147

Figura 44 – Distribuição numérica do nível de Conhecimento em Informática dos

respondentes................................................................................................ 147

Figura 45 – Distribuição numérica da Freqüência de Uso do Produto. .................... 148

Figura 46 – Distribuição numérica da Experiência Prévia com Produtos Similares.... 148

Lista de Quadros

Quadro 1 – Classificação dos dispositivos computacionais.............................................35

Quadro 2 – Diferenças entre telefones celulares, pagers, PDAs, smartphones e tablets. ... 39

Quadro 3 – Comparação entre as técnicas multi-tap e T9

. .......................................... 43

Quadro 4 – Técnicas para Ensaio de Usabilidade. (1/2) ................................................ 54

Quadro 4 – Técnicas para Ensaio de Usabilidade. (2/2) ................................................ 55

Quadro 5 - Técnicas para Inspeções de Usabilidade. .................................................... 56

Quadro 6 – Principais estratégias para realização de ensaios de interação com dispositivos

móveis...................................................................................................................64

Quadro 7 – Métodos emergentes para avaliação de dispositivos e sistemas móveis. ........65

Quadro 8 – Procedimento de teste de usabilidade desenvolvido por Rubin (1994). .......... 66

Quadro 9 – Generalização da Abordagem Metodológica (Queiroz, 2001)......................... 68

Quadro 10 – Procedimento metodológico seguido por Betiol (2004)............................... 69

Quadro 11 – Síntese do conteúdo das partes que compõem o padrão ISO 9241.............. 77

Quadro 12 – Generalização da abordagem metodológica. ............................................. 80

Quadro 13 - Atributos do contexto de uso. .................................................................84

Quadro 14 – Exemplos de indicadores de usabilidade...................................................85

Quadro 15 – Características do Nokia 770 Internet Tablet ............................................89

Quadro 16 – Características dos perfis de usuários de teste.......................................... 96

Quadro 17 – Aspectos gerais do ensaio de interação....................................................99

Quadro 18 – Aspectos específicos relativos ao teste de usabilidade.............................. 100

Quadro 19 – Aspectos específicos relativos à sondagem do perfil e da satisfação dos

usuários. .............................................................................................................. 101

Quadro 20 – Síntese do planejamento das tarefas de teste......................................... 102

Quadro 21 – Síntese do planejamento da sondagem do usuário. ................................. 104

Quadro 22 – Síntese do planejamento das tarefas de teste para o teste-piloto. ............. 106

Quadro 23 – Materiais utilizados nos testes de usabilidade ......................................... 111

Quadro 24 – Tipos de Dados Coletados .................................................................... 113

Quadro 25 – Recomendações não adotadas no Nokia 770 Internet Tablet..................... 115

Quadro 26 – Falhas e Parecer sobre o Nokia 770 Internet Tablet com base na inspeção de

conformidade........................................................................................................ 117

Quadro 27 – Sumário das falhas detectadas na mensuração do desempenho................ 119

Quadro 28 – Síntese da Classificação dos Problemas.................................................. 119

Quadro 29 – Classificação dos problemas encontrados na mensuração do desempenho.. 120

Quadro 30 – Associação das falhas aos ambientes de teste e perfis de usuários. ........... 121

Quadro 31 – Correlações mais fortes identificadas..................................................... 131

Quadro 32 – Variáveis selecionadas para o teste F ANOVA fator único.......................... 131

Quadro 33 – Correlações mais fortes identificadas..................................................... 140

Quadro 34 – Variáveis selecionadas para o teste F ANOVA fator único.......................... 140

Quadro 35 – Análise do indicador de satisfação subjetiva do USE. ............................... 153

Quadro 36 – Sumário das falhas detectadas no processo de sondagem da satisfação dos

usuários. .............................................................................................................. 155

Quadro 37 – Confronto dos resultados obtidos a partir dos diferentes enfoques avaliatórios

(1/2). .................................................................................................................. 157

xii

Lista de Tabelas

Tabela 1 – Índices de aplicabilidade dos padrões utilizados.................................. 116

Tabela 2 – Taxas de Adoção............................................................................ 116

Tabela 3 – Indicadores quantitativos coletados a partir do teste de usabilidade. ..... 125

Tabela 4 – Valores mínimos e máximos associados a cada indicador quantitativo.... 126

Tabela 5 – Síntese das estatísticas univariadas.................................................. 129

Tabela 6 – Matrizes de correlação. ................................................................... 130

Tabela 7 – Resultados da aplicação do teste F ANOVA fator único......................... 133

Tabela 8 – Indicadores quantitativos coletados a partir do teste de usabilidade. ..... 136

Tabela 9 – Valores mínimos e máximos associados a cada indicador quantitativo.... 137

Tabela 10 – Síntese das estatísticas univariadas. ............................................... 138

Tabela 11 – Matrizes de correlação. ................................................................. 139

Tabela 12 – Resultados da aplicação do teste F ANOVA fator único. ...................... 142

Tabela 13 – Síntese dos resultados da sondagem do perfil dos usuários. ............... 144

Tabela 14 – Síntese dos resultados da sondagem da satisfação dos usuários (1/4). 150

xiii

Sumário

Capítulo 1 – Considerações Iniciais ...............................................................15

1.1 Introdução............................................................................................ 15

1.2 Motivação e Justificativa da Pesquisa........................................................ 18

1.3 Objeto da Pesquisa ................................................................................ 20

1.4 Objetivos da Pesquisa ............................................................................ 21

1.4.1 Geral ............................................................................................. 22

1.4.2 Específicos...................................................................................... 22

1.5 Organização do Documento..................................................................... 22

Capítulo 2 – A Usabilidade e os Dispositivos Móveis ......................................24

2.1 Usabilidade........................................................................................... 24

2.1.1 Usabilidade de Software ................................................................... 25

2.1.2 Usabilidade como Fator Determinante de Sucesso ................................ 27

2.2 Caracterização dos Dispositivos Móveis..................................................... 28

2.2.1 Definições ...................................................................................... 28

2.2.2 Classificação dos Dispositivos de Computação Pessoal........................... 30

2.2.2.1 Desktop ................................................................................... 32

2.2.2.2 Laptop ..................................................................................... 33

2.2.2.3 Palmtop ................................................................................... 33

2.2.2.4 Handheld.................................................................................. 34

2.2.2.5 Wearable.................................................................................. 34

2.2.3 Características dos Dispositivos Móveis ............................................... 40

2.2.3.1 Telas de Visualização ................................................................. 40

2.2.3.2 Entrada de Dados ...................................................................... 41

2.3 Usabilidade de Dispositivos Móveis ........................................................... 47

2.3.1 Internet Móvel x Internet Estática ...................................................... 48

2.3.2 Contexto de Uso.............................................................................. 49

2.3.3 Principais Problemas com os Dispositivos Móveis.................................. 51

2.4 Métodos de Avaliação de Interfaces Usuário-Computador ............................ 52

2.5 Avaliação da Usabilidade de Dispositivos Móveis......................................... 56

2.5.1 Abordagens para Avaliação da Usabilidade de Dispositivos Móveis .......... 57

2.5.2 Procedimentos Metodológicos de Avaliação de Usabilidade..................... 65

Capítulo 3 – A Metodologia para Avaliação de Dispositivos Móveis................70

3.1 A Metodologia Original............................................................................ 70

3.1.1 Enfoques Avaliatórios ....................................................................... 71

3.1.1.1 Inspeção da Conformidade de um Produto a um Padrão .................. 71

3.1.1.2 Mensuração do Desempenho do Usuário ....................................... 72

3.1.1.3 Sondagem da Satisfação Subjetiva do Usuário ............................... 73

3.1.2 Discussão ....................................................................................... 74

3.2 A Abordagem Híbrida de Avaliação para Dispositivos Móveis ........................ 75

3.2.1 Inspeção de Conformidade................................................................ 75

3.2.1.1 Padrões ISO.............................................................................. 76

3.2.1.2 Padrões ITU.............................................................................. 78

3.2.2 Mensuração do Desempenho ............................................................. 79

3.2.3 Sondagem da Satisfação Subjetiva..................................................... 79

3.2.4 Metodologia Adotada........................................................................ 79

3.2.4.1 Planejamento dos Experimentos Avaliatórios ................................. 80

3.2.4.2 Treinamento do Universo Amostral............................................... 81

3.2.4.3 Elaboração do Material do Ensaio ................................................. 81

3.2.4.4 Condução do Ensaio e Coleta de Dados......................................... 82

3.2.4.5 Tabulação e Análise dos Dados Coletados...................................... 82

3.2.4.6 Apresentação dos Resultados ...................................................... 83

3.3 O Padrão ISO 9241-11 e a Abordagem Híbrida........................................... 83

xiv

Capítulo 4 – O Estudo de Caso .......................................................................87

4.1 O Produto-alvo...................................................................................... 87

4.1.1 Nokia 770 Internet Tablet ................................................................. 88

4.1.2 Escopo de Avaliação do Produto......................................................... 89

4.2 A Inspeção de Conformidade................................................................... 91

4.3 Mensuração do Desempenho e Sondagem da Satisfação do Usuário.............. 93

4.3.1 Contextos de Uso ............................................................................ 93

4.3.2 Metodologia Adotada........................................................................ 95

4.3.2.1 Planejamento dos Experimentos Avaliatórios ................................. 95

4.3.2.2 Treinamento do Universo Amostral..............................................101

4.3.2.3 Elaboração do Material do Ensaio................................................101

4.3.2.4 Condução do Ensaio e Coleta de Dados........................................108

4.3.2.5 Tabulação e Análise dos Dados Coletados.....................................111

4.3.2.6 Apresentação dos Resultados .....................................................112

Capítulo 5 – Apresentação e Discussão dos Resultados............................... 113

5.1 Resultados da Inspeção de Conformidade ................................................113

5.2 Resultados da Mensuração do Desempenho..............................................118

5.2.1 Problemas Identificados a partir da Mensuração do Desempenho do Usuário

............................................................................................................118

5.2.2 Análise dos Indicadores Quantitativos................................................123

5.3 Resultados da Sondagem da Satisfação do Usuário....................................143

5.3.1 Resultados da Análise do Perfil dos Usuários.......................................143

5.3.2 Resultados da Análise da Satisfação dos Usuários................................149

5.4 Síntese dos Resultados Apresentados ......................................................156

Capítulo 6 – Considerações Finais ...............................................................161

6.1 Visão Contextual da Pesquisa .................................................................161

6.2 Conclusões ..........................................................................................162

6.3 Proposições para Trabalhos Futuros.........................................................164

Referências Bibliográficas ........................................................................... 166

Anexo A – Material de Treinamento.............................................................175

Anexo B - Cadastro de Participação.............................................................177

Anexo C - Documento de Aceitação das Condições de Teste ........................178

Anexo D - Termo de Confidencialidade ........................................................179

Anexo E - Questionário para Delineamento do Perfil ...................................180

Anexo F - Questionário para Sondagem da Satisfação.................................182

Anexo G - Roteiro das Tarefas de Teste – Versão Avaliador......................... 186

Anexo H - Roteiro das Tarefas de Teste – Versão Usuário ...........................194

Anexo I - Ficha de Registro de Eventos .......................................................199

Anexo J - Guia para Entrevista Não Estruturada .......................................... 201

Anexo K - Lista de Inspeção – ISO 9241 – Parte 14.....................................202

Anexo L - Lista de Inspeção – ISO 9241 – Parte 16.....................................211

Anexo M - Lista de Inspeção – ISO 9241 – Parte 17 ....................................215

Anexo N – Falhas Detectadas no Processo de Inspeção de Conformidade ...222

Anexo O – Falhas Detectadas no Processo de Mensuração do Desempenho 225

Anexo P – Sugestões de Melhoria no Produto.............................................. 227

Capítulo 1 – Considerações Iniciais

Neste capítulo, apresenta-se uma visão global da importância da avaliação da

usabilidade de dispositivos móveis e, conseqüentemente, da importância da

investigação de abordagens metodológicas para avaliação da usabilidade desta

categoria de dispositivos.

1.1 Introdução

Nos últimos anos, as atividades cotidianas de indivíduos do mundo inteiro vêm

exigindo cada vez mais o uso de aplicações e/ ou dispositivos computacionais.

São várias as tarefas apoiadas por tecnologias computacionais, dentre as

quais podem ser mencionadas: transações bancárias, compras, pesquisas e

serviços de comunicação.

Segundo Rosson e Carroll (2002), as tecnologias atuais têm evoluído na

direção da computação ubíqua

(e.g. handhelds, palmtops e celulares). Estes

dispositivos integram a computação móvel, i.e. atividades auxiliadas por

computador (computer-based) que podem ser executadas quando os usuários

não estão nos seus locais de trabalho.

Diante da evolução dos dispositivos computacionais e das tecnologias de

um conceito estático

para um contexto móvel, torna-se perceptível a adoção

crescente de dispositivos móveis, dentre os quais se destacam os celulares,

que vêm se tornando cada vez mais populares.

Alguns dos mais importantes avanços na computação ubíqua vêm

ocorrendo na indústria de telecomunicações (Rosson & Carroll, 2002). Além do

mercado de telefonia celular e dos seus serviços, constata-se um aumento

considerável na comercialização de PDA (Personal Digital Assistants) e

smartphones

Através da variedade de serviços fornecidos, tais como e-mail, acesso

remoto a dados, acesso à Internet, e-business e e-commerce, configuração

remota de dispositivos, aplicações de entretenimento, além de chamadas

Em 1991, Weiser (1991) usou o termo computação ubíqua para descrever uma visão do futuro, na qual os

computadores estariam integrados ao mundo, auxiliando os usuários nas suas tarefas diárias.

Sem mobilidade, sem portabilidade.

Dispositivos que agregam funcionalidades de PDA e de telefones celulares.

telefônicas, os dispositivos móveis atingem cada vez mais usuários. Segundo

dados divulgados pela ANATEL

(2006), em dezembro de 2006 o Brasil atingiu

a marca de 99,9 milhões de acessos móveis, gerando uma densidade de 53,2

celulares a cada 100 habitantes. No mesmo mês, o país tinha em 2004 65,6

milhões de assinantes, o que representa um crescimento de mais de 52%.

Através da Figura 1 é possível visualizar uma comparação entre o número de

assinantes do serviço móvel pessoal e o número de computadores em uso no

Brasil. Em contrapartida, a previsão é que somente em 2009, o Brasil venha a

atingir a marca de 50 milhões de computadores (Braun, 2006; Cruz, 2006).

Figura 1 - Número de assinantes do serviço móvel pessoal e número de

computadores em uso no Brasil.

Fonte: ANATEL – Agência Nacional de Telecomunicações; (Braun,2006); (Cruz,2006)

A grande difusão do mercado dos dispositivos móveis, inclusive superior

à difusão de computadores desktop, significa que cada vez mais indivíduos de

diferentes localidades e de níveis culturais e contextos de uso os mais

diversificados sejam potenciais consumidores. Este fato, aliado à adoção de

tais dispositivos como ferramenta de trabalho em diversos setores (e.g.

vendas, turismo, construção civil), tem impulsionado o interesse de grupos de

pesquisa, fabricantes e prestadores de serviço em aspectos relativos à

Agência Nacional de Telecomunicações

Número de Assinantes de Serviço Móvel Pessoal

Número de computadores em uso

(em milhões)

99,9

90,6

86,2

65,6

39,2

100

120

dez/04 dez/05 abr/06 dez/06

Nº de assinantes Nº de computadores em uso

(previsão)

usabilidade destes dispositivos.

Portanto, os dispositivos móveis e suas aplicações, em especial os

celulares, são atraentes em termos de oportunidade e nichos de pesquisa,

tanto em nível de projeto quanto de avaliação

da interação com o usuário.

A crescente utilização destas novas tecnologias impõe novos desafios

técnicos e metodológicos à avaliação da usabilidade

de sistemas e dispositivos

móveis, principalmente no que diz respeito à realização de estudos empíricos

em ambientes naturais. É necessário salientar que a mobilidade de um usuário

implica o tráfego por entre ambientes os mais diversos, além de sua

movimentação física em cada um desses ambientes e da rápida alteração de

características contextuais conseqüente. Isto acarreta mais complexidade à

interação do usuário com o sistema e ao processo de coleta de dados pelo

analista (Salembier et al., 2005).

São vários os desafios a serem vencidos no tocante a estes dispositivos,

tais como dimensões da tela e do teclado, custos de conexão à Internet,

mecanismos de ajuda e possibilidades de navegação. É importante evidenciar

que aspectos relacionados à usabilidade do produto, assim como as

características funcionais, devem ser considerados desde as fases iniciais do

ciclo de desenvolvimento do produto, pois a incorporação de tais aspectos

durante todas as fases do desenvolvimento tem seus custos justificados pela:

minimização de alterações de projeto em estágios avançados do processo,

redução de gastos com treinamento, aumento da produtividade, redução do

número de erros cometidos pelo usuário e redução da necessidade de suporte

técnico.

O crescimento da importância do papel da usabilidade no

desenvolvimento de produtos de software pode ser fortalecido pelo crescente

aumento do percentual de orçamento de projeto destinado aos aspectos de

usabilidade. Queiroz (2001) relatou que, em cerca de 20 anos, o percentual

médio do orçamento gasto com aspectos relacionados à usabilidade de

sistemas cresceu cerca de 100%, partindo de uma estimativa de 3% em 1971

para 6% em 1993. Segundo Nielsen (2003), os projetos gastam em média

10% do seu orçamento com usabilidade.

Então, diante dos novos desafios impostos pelo crescente uso destas

novas tecnologias e pela ascensão da importância do aspecto de usabilidade

no desenvolvimento de produtos, mostra-se pertinente a concepção de uma

metodologia adequada à avaliação da usabilidade de dispositivos móveis

visando garantir vantagens competitivas aos produtos.

1.2 Motivação e Justificativa da Pesquisa

A incorporação sempre crescente de produtos de software e hardware às

atividades humanas do cotidiano atual e, conseqüentemente, a demanda por

funcionalidades e características cada vez mais complexas, têm tornado

extremamente importante a investigação da forma como se dá a interação do

usuário com tais produtos. Assim, a consideração do aspecto usabilidade

como

princípio de projeto vem se consolidando como um fator diretamente

relacionado ao sucesso de produtos.

A partir do momento no qual as tecnologias direcionam-se para o

surgimento de um novo tipo de dispositivo ou de mecanismos e modos de

interação, a investigação desse novo modo de interação passa a ser um

importante alvo de estudo. Deste modo, a miniaturização e a mobilidade dos

dispositivos computacionais, fatores passíveis do comprometimento do modo

de interação e da geração de novas formas de uso, impõem novos desafios às

atuais tendências dos processos interativos homem-máquina.

Adicionalmente, o processo de globalização que se instaurou no mundo

atual tem propiciado a disponibilização simultânea de vários produtos em

diferentes mercados internacionais, sem a devida apreciação de aspectos

socioculturais e antropométricos de suas populações (Queiroz, 2001). Além do

que, conforme ressaltado por vários pesquisadores, e.g. Kim et al. (2002) e Po

(2003), o contexto de uso influencia diretamente no modo como os usuários

interagem com sistemas e dispositivos computacionais. Eis porque se tornam

nichos de pesquisa bastante promissores a investigação de tais contextos de

uso e a simulação de ambientes de testes o mais próximo possível dos

ambientes reais, conjuntamente à concepção de novas técnicas e métodos de

avaliação da usabilidade.

Segundo Mallick (2003), as experiências mostram que os seres

humanos sempre interagem com sistemas de formas inusitadas. Uma vez que

a previsão de tais formas de interação não é uma tarefa trivial, a realização de

testes constitui uma atividade crítica para a garantia da usabilidade do

software/ hardware associado ao contexto de uso considerado. Neste

contexto, a inclusão de usuários reais nos testes é imprescindível para o

delineamento do perfil do usuário, e a conseqüente adequação dos produtos a

ele destinados.

A customização de produtos a perfis específicos de consumidores não

constitui, na maioria dos casos, uma alternativa economicamente viável do

ponto de vista do fabricante. Todavia, algumas características podem adequar-

se a recomendações contidas em padrões nacionais/ internacionais, como

ocorre com produtos de diversas áreas do setor industrial (e.g. produtos da

indústria automobilística).

É fato que as metodologias de avaliação da usabilidade de tais

dispositivos ainda não estão consolidadas. Vários estudos têm sido realizados,

sobretudo nos últimos anos, a fim de confrontar diferentes estratégias de

avaliação, evidenciando seu potencial e suas limitações a partir de alguns

indicadores, tais como o número e a natureza dos problemas identificados, o

tempo de execução dos procedimentos metodológicos, e a relação custo/

benefício (Betiol, 2004).

O estado da arte na avaliação da usabilidade de produtos permite

verificar a focalização de diferentes iniciativas de pesquisa na área de

dispositivos móveis, e.g. uso em ambientes específicos (Bowden et al., 2003);

atenção do usuário durante o uso (Kjeldskov, 2005); e a comparação de

abordagens avaliatórias de tais dispositivos (Betiol, 2004).

Kjeldskov e Stage (2004) identificaram 114 artigos relacionados à

interação de sistemas móveis, dos quais 1,7% tratavam apenas de aspectos

gerais de avaliação, 31,6% não conduziram testes de usabilidade, 13,1% não

descreveram como realizaram tais testes, 9,7% conduziram as avaliações

através de um simulador, 38,6% utilizaram técnicas tradicionais de avaliação

e apenas 5,3% utilizaram novas técnicas de avaliação. Tais percentuais

revelam um cenário ainda incipiente relacionado às pesquisas de usabilidade

em dispositivos móveis.

Não foram encontradas na literatura iniciativas para o desenvolvimento

de uma abordagem metodológica específica para dispositivos móveis baseada

em várias facetas de avaliação. Assim sendo, constitui-se uma contribuição

importante a disponibilização de uma abordagem desta natureza, uma vez que

esta categoria de dispositivos possui características bem distintas daquelas

apresentadas pelos computadores desktop.

1.3 Objeto da Pesquisa

Computadores desktop diferenciam-se substancialmente dos dispositivos

móveis no que concerne a vários aspectos, dentre outros: (i) uso; (ii) forma/

dimensões; (iii) mobilidade; (iv) conectividade; (v) mecanismos de entrada;

(vi) tela de visualização; e (vii) capacidades de processamento e

armazenamento. Portanto, supõe-se que as metodologias de avaliação para

sistemas desktop não podem ser aplicadas diretamente aos dispositivos

móveis, os métodos de teste precisam ser adaptados.

A possibilidade de acesso a aplicações em ambientes os mais diversos

possíveis tornaram o contexto de uso dos dispositivos móveis uma importante

área de investigação e, conseqüentemente, a investigação da influência das

variáveis contextuais no desempenho do usuário. Segundo Kim et. al. (2002),

tanto aspectos emocionais e físicos, quanto a localização do usuário e a

quantidade de pessoas no ambiente podem causar impacto no uso.

Adicionalmente, algumas pesquisas apontam para aspectos relacionados aos

contextos sociais e culturais nos quais os produtos são utilizados (Nieminen-

Sundell & Väänãnen-Vainio-Matilla, 2003).

Várias limitações e falhas podem ser percebidas na maioria dos testes

de usabilidade conduzidos em dispositivos móveis. Algumas estão relacionadas

a fatores orçamentários, tecnológicos ou mesmo de recursos humanos,

enquanto outras estão relacionadas à falta de adequação das metodologias

empregadas. E, uma vez que adaptação seja implantada, é necessário

investigar o impacto desta adaptação nos resultados.

Os resultados de alguns estudos realizados apresentam-se

estatisticamente insignificantes, pois além dos testes serem aplicados a um

número restrito de usuários, os dados coletados não são submetidos a um

processamento estatístico adequado (Waterson et al., 2002; Klockar et al.,

2003; Weiss, 2002). Outros estudos não consideram o caráter móvel de tais

dispositivos, aplicando métodos de avaliação tradicionais (Duda, 2001; Klockar

et al., 2003; Trigenix, 2004; Weiss, 2002).

Percebe-se, portanto, que não se encontra na literatura da área relatos

de aplicação de uma metodologia específica para a avaliação da usabilidade de

dispositivos móveis que considere as peculiaridades de tais dispositivos e

apresente resultados estatisticamente representativos.

Diante disso, o propósito deste trabalho é conceber uma abordagem de

avaliação que contemple métodos e técnicas adequadas às características dos

dispositivos móveis. E, além disso, investigar o impacto da incorporação

destas estratégias de avaliação.

O Grupo de Interfaces Homem-Máquina do DEE-DSC/UFCG (GIHM),

através do Laboratório de Interfaces Homem-Máquina (LIHM), utiliza em suas

atividades de avaliação de usabilidade de produtos de software/ hardware uma

abordagem híbrida fundamentada em três enfoques, a saber: (i) mensuração

do desempenho do usuário ao utilizar o produto; (ii) sondagem da satisfação

subjetiva do usuário no tocante ao produto; e (iii) inspeção da conformidade

do produto a padrões.

Uma vez que esta abordagem metodológica foi concebida visando à

avaliação da usabilidade de aplicações desktop (produtos interativos estáticos,

i.e. sem mobilidade), afigura-se pertinente a investigação da adequação desta

metodologia para avaliação da usabilidade de aplicações móveis.

Neste contexto, também foram investigadas estratégias e métodos a

serem incorporados ou suprimidos da metodologia original de forma a adequá-

la aos dispositivos móveis. Também foi investigado o impacto de tais

estratégias na abordagem híbrida, no tocante à condução da avaliação e dos

resultados alcançados (e.g. avaliação laboratorial e de campo, imobilidade ou

mobilidade do dispositivo avaliado em avaliações laboratoriais, adequação de

padrões internacionais).

Para tanto, formularam-se duas hipóteses principais a serem

investigadas:

• H1: Os dados coletados nos testes de campo diferenciam-se

daqueles coletados nos testes laboratoriais; e

• H2: Os dados coletados em laboratório com o dispositivo afixado a

uma superfície diferenciam-se daqueles coletados nos testes

laboratoriais com o dispositivo livre para o deslocamento do usuário

pelo ambiente de teste.

1.4 Objetivos da Pesquisa

Nesta seção, são descritos o objetivo geral e os objetivos específicos que

nortearam o desenvolvimento desta pesquisa.

1.4.1 Geral

Instanciar a metodologia híbrida de avaliação concebida por Queiroz

(2001) de forma a adequá-la à avaliação da usabilidade de dispositivos

móveis.

1.4.2 Específicos

• Incorporar à abordagem metodológica original aspectos inerentes aos

dispositivos móveis, de forma a tornar a abordagem híbrida, já

consolidada para sistemas desktop, eficiente e eficaz para esta

categoria de dispositivos;

• Disponibilizar uma abordagem de avaliação de interfaces para

dispositivos móveis baseada tanto no estudo analítico (inspeção por

especialistas) quanto empírico (interação usuário-produto);

• Considerar aspectos do contexto de uso na definição das técnicas de

avaliação que integrarão a abordagem híbrida instanciada;

• Confrontar a natureza das falhas identificadas a partir de cada um

dos enfoques avaliatórios da abordagem híbrida instanciada;

• Investigar o impacto das adaptações incorporadas à abordagem de

avaliação.

1.5 Organização do Documento

Este documento está dividido em seis capítulos. Este capítulo (Considerações

Iniciais) tem por objetivo situar o leitor acerca do nicho investigado dentro da

área de pesquisa, mais ampla, de avaliação da usabilidade de produtos.

Adicionalmente, focaliza-se o objeto da pesquisa, assim como os objetivos que

a norteiam. Por fim, esta seção explicita a estrutura deste documento,

apresentando uma descrição sumária dos demais capítulos.

No Capítulo 2, é apresentada uma revisão bibliográfica acerca da

definição de usabilidade sob o ponto de vista de alguns autores, alguns

conceitos relacionados à área de dispositivos móveis são definidos e

apresenta-se uma classificação para os dispositivos de computação pessoal.

Apresenta-se ainda uma revisão na literatura dos métodos, técnicas e

abordagens metodológicas de avaliação da usabilidade, além de uma revisão

acerca de pesquisas relacionadas à usabilidade de dispositivos móveis.

No Capítulo 3, a metodologia híbrida de avaliação da usabilidade para

dispositivos móveis é descrita. As abordagens que compõem a metodologia

(Inspeção de conformidade, Mensuração do desempenho e Sondagem da

satisfação do usuário) são apresentadas de maneira detalhada, justificando-se

cada método, instrumento, documento, equipamento e estratégia utilizada.

O Capítulo 4 contém o estudo de caso escolhido para a validação da

abordagem de avaliação da usabilidade de dispositivos móveis, enquanto no

Capítulo 5 são apresentados e discutidos os resultados obtidos com a

aplicação da metodologia ao referido caso.

No Capítulo 6, são apresentadas as conclusões advindas da análise dos

resultados obtidos a partir do estudo de caso considerado. São também

formuladas sugestões de temas para trabalhos futuros nesta linha de

pesquisa.

Capítulo 2 – A Usabilidade e os Dispositivos

Móveis

Este capítulo tem como propósito apresentar algumas visões clássicas de

usabilidade, introduzir conceitos relacionados ao tema da pesquisa e explicitar

questões inerentes à usabilidade de dispositivos móveis.

Apresenta-se ainda uma revisão bibliográfica das técnicas comumente

empregadas nas avaliações da usabilidade de produtos e uma revisão acerca

dos estudos avaliatórios conduzidos em dispositivos móveis.

2.1 Usabilidade

A evolução das tecnologias tem estimulado cada vez mais os indivíduos a

utilizarem sistemas computacionais em suas tarefas rotineiras. As tendências

atuais da engenharia de sistemas estão direcionadas para estratégias de

concepção e desenvolvimento de sistemas que visem à solução de problemas

reais da sociedade.

Constata-se, em geral, que os custos envolvidos em processos de

desenvolvimento de software estão associados, sobretudo, a quão

adequadamente o software é projetado, codificado e documentado, no que diz

respeito à manutenção, portabilidade, interoperabilidade e atualização, dentre

outros aspectos (Queiroz, 2001).

A partir do momento no qual a satisfação subjetiva do usuário passou a

ser encarada como fator determinante para o sucesso e aceitação de produtos

de software, o usuário passou a ocupar um lugar importante nos processos de

desenvolvimento de software. Assim, surgiram novos enfoques de

investigação que direcionam o processo de desenvolvimento de software para

a usabilidade do produto final, tanto em nível do processo (e.g. surgimento de

várias metodologias de desenvolvimento centradas no usuário (UCD

)) quanto

do produto.

Na subseção 2.1.1, Usabilidade de Software, são apresentadas três

visões clássicas da usabilidade enquanto atributo mensurável de produtos.

Na subseção 2.1.2, Usabilidade como Fator Determinante de

User centered development (Desenvolvimento centrado no usuário)

Sucesso, são mencionados os benefícios advindos da incorporação de

aspectos de usabilidade no ciclo de desenvolvimento de produtos.

2.1.1 Usabilidade de Software

Devido à revolução dos computadores pessoais e à redução dos custos de

hardware, que tem tornado os sistemas computacionais cada vez mais

acessíveis a um número maior de usuários, as interfaces usuário-computador

tornaram-se entidades muito mais significativas do que costumavam ser há

pouco mais de duas décadas. Enquanto há algum tempo apenas especialistas

técnicos desenvolviam sistemas para uso próprio ou para outros especialistas

técnicos, hoje em dia os sistemas são praticamente onipresentes e

desenvolvidos para um segmento crescente de usuários principiantes.

Há cerca de duas décadas, alguns autores já argumentavam que

investir na usabilidade de produtos era tão importante quanto investir em suas

funcionalidades, argumentando que um sistema usável custaria aos usuários,

no mínimo, menos tempo e esforço (Queiroz, 2001).

As visões mais expressivas da usabilidade como princípio de projeto são

as de Shackel (1991), Nielsen (1993) e o padrão ISO

9241 (1998).

Shackel (1991) concebeu um modelo de percepção de produtos baseado

na aceitação. Esta aceitação é diretamente dependente da utilidade, da

capacidade de agradar, dos custos e da usabilidade.

A utilidade

refere-se ao mapeamento das necessidades dos usuários

com as funcionalidades do produto; a capacidade

de agradar está relacionada

às avaliações subjetivas do usuário; os custos

estão relacionados aos encargos

econômicos, sociais e organizacionais decorrentes da aceitação do produto; e

a usabilidade

diz respeito à facilidade de utilização prática das funcionalidades

do produto.

É sugerido que alguns critérios sejam satisfeitos para que um sistema

seja considerado usável, tais como:

• efetividade - relativa ao tempo gasto e número de erros cometidos

durante a execução das tarefas;

• facilidade de aprendizado - relacionada ao desempenho,

quantidade de treinamento e freqüência de uso;

International Organization for Standardization.

• flexibilidade - associada à possibilidade de adaptar-se às tarefas e

aos ambientes; e

• atitude mental e comportamental - relativas a aspectos como

fadiga, desconforto, frustração e empenho.

Nielsen (1993) considerou que a aceitação de um sistema podia ser

mensurada a partir de vários critérios, e.g. confiabilidade, custos,

compatibilidade, aplicabilidade (usefulness). A aplicabilidade, por sua vez, foi

definida através da utilidade e da usabilidade

do produto. O autor não

apresentou definições descritivas de usabilidade; no entanto, empregou alguns

critérios para esclarecer tal conceito, a saber:

• aprendizado - aprender a utilizar um novo sistema deve ser fácil

suficiente para que o usuário comece a usá-lo rapidamente;

• eficiência - o sistema deve ser eficiente de tal forma que os usuários

possam atingir uma alta produtividade;

• memorização - um usuário ocasional do sistema não precisa

reaprender a utilizar o sistema, o sistema precisa ser intuitivo;

• erros - o sistema deve ser facilmente recuperável de erros e deve

parar o usuário quando este cometer erros; e

• satisfação - o usuário deve ficar satisfeito com o uso do sistema.

A Parte 11 (Especificações de usabilidade) do padrão internacional ISO

9241 (1998), Ergonomic Requirements for Office Work with Visual Display

Terminals, define usabilidade como a efetividade, eficiência e satisfação com

as quais usuários específicos atingem metas específicas em ambientes

específicos, i.e. em um determinado contexto de uso. Descrevendo-os, tem-

se:

• Efetividade - diz respeito à precisão e à completude com a qual os

usuários alcançam metas específicas;

• Eficiência - diz respeito aos recursos necessários em face à

completude e precisão para que os usuários alcancem suas metas; e

• Satisfação - diz respeito ao conforto e à aceitação do uso do sistema

pelos usuários.

Percebe-se então que Nielsen (1993) e Shackel (1991) consideram a

usabilidade como um aspecto da aceitação de um produto pelo consumidor,

i.e. centrados no usuário, enquanto o padrão internacional ISO 9241 (1998)

tem um foco direcionado para a avaliação da qualidade do trabalho (Queiroz,

2001).

2.1.2 Usabilidade como Fator Determinante de Sucesso

A interface é um fator decisivo para aceitação de produtos. Se a

funcionalidade está correta, mas a interface não se comporta de maneira

consistente e adequada, o usuário não ficará satisfeito com a utilização do

produto e, conseqüentemente, o desempenho ao usá-lo também tende a cair.

Em se tratando do mercado de dispositivos móveis, principalmente de

telefones celulares, a usabilidade pode tornar-se um importante diferencial

competitivo.

A usabilidade incipiente de um dispositivo móvel pode implicar várias

conseqüências no tocante ao usuário, dentre as quais: (i) a incapacidade de

completar tarefas de interesse; (ii) a incapacidade de utilizar serviços; e (iii) a

insatisfação com o produto. Infelizmente, nem sempre os usuários podem

distinguir se o problema é causado pela interface do produto, pela conexão de

rede ou pelo serviço utilizado. Para as operadoras de telefonia e para os

provedores de serviço, falhas na usabilidade levam à queda no uso dos

serviços. Para os fabricantes, isto vem a culminar na queda das vendas dos

dispositivos (Ketola & Röykkee, 2002).

A incorporação das várias facetas relativas à usabilidade no

desenvolvimento de um produto conduz a uma variedade de benefícios

potenciais, a saber: (i) minimização de alterações de projeto em estágios

avançados do processo; (ii) minimização de gastos com treinamento dos

usuários; (iii) aumento da produtividade do usuário; (iv) redução do número

de erros cometidos pelos usuários; e (v) redução da necessidade de suporte

para o usuário.

Apesar do teste de usabilidade auxiliar as equipes de desenvolvimento

na identificação de falhas e dificuldades de uso, esta prática tem sido

considerada muito onerosa, pelos gerentes de projeto, com relação ao tempo

e orçamento (Weiss, 2002). Mas esta rejeição é dissonante às várias

estatísticas de casos de sucesso e levantamentos que atestam que nem todos

os ensaios de usabilidade implicam gastos excessivos.

Ainda segundo Weiss (2002), há várias maneiras de controlar os custos

ao realizar ensaios deste tipo. Uma das mais utilizadas é a limitação do

número de usuários de teste. Todavia, o autor alerta que ao reduzir

excessivamente o número de participantes nos ensaios, corre-se o risco de

reduzir a quantidade de falhas passíveis de identificação. Por outro lado,

alguns autores, e.g. Nielsen (2000) e Spool (2001), acreditam que para

propósitos avaliatórios cinco usuários são suficientes para detectar

aproximadamente 85% das falhas de usabilidade. Mas, outros autores (e.g.

Faulkner (2003)), já realizaram estudos a fim de desmistificar esta hipótese.

2.2 Caracterização dos Dispositivos Móveis

Há alguns anos, já se percebia um processo de automatização das tarefas

realizadas manualmente. Atualmente, esta automatização continua

acontecendo, no entanto, o que tem causado grande impacto na relação

homem-máquina tem sido a possibilidade de realizar tais tarefas com auxílio

de dispositivos móveis.

Assim, as diversas possibilidades de aplicação dos dispositivos móveis

às tarefas cotidianas vêm impulsionando o número de pesquisas relacionadas

ao uso de tais dispositivos. Todavia, algumas divergências são encontradas

quanto às terminologias e classificações adotadas por diferentes

pesquisadores. O uso incorreto de determinados termos tem levado, por

exemplo, à confusão do que é tipo de dispositivo (classificação) do que é

marca ou família de dispositivo.

O objetivo desta seção é caracterizar o dispositivo adotado no estudo de

caso concebido para validar a metodologia híbrida de avaliação da usabilidade

de dispositivos móveis, que constitue o foco desta pesquisa. Para tanto,

inicialmente são definidos alguns termos que serão utilizados ao longo deste

trabalho (Seção 2.2.1 – Definições), classificam-se os dispositivos de

computação pessoal (Seção 2.2.2 – Classificação dos Dispositivos de

Computação Pessoal), além de destacar as principais características da

categoria de dispositivo escolhida para ser foco da metodologia de avaliação

supracitada (Seção 2.2.3 – Características dos Dispositivos Móveis).

2.2.1 Definições

Ao analisar as iniciativas de pesquisa na investigação da usabilidade de

dispositivos móveis percebem-se definições imprecisas, usos incorretos e

discordâncias de conceitos. Termos como móvel (mobile), sem fio (wireless),

pervasivo (pervasive) e ubíquo (ubiquitous) têm sido, freqüentemente,

utilizados com conotações distintas. Em algumas situações, alguns desses

termos acabam sendo utilizados de forma inadequada. Portanto, tais

terminologias serão definidas em seguida e, ao longo deste documento, onde

tais termos aparecem estes estarão se referindo à conceituação aqui definida.

Móvel é a habilidade de estar em movimento. Na definição aqui

empregada, móvel é uma característica de algo que pode ser utilizado em

movimento. Portanto, a característica móvel pode ser empregada em um

dispositivo computacional se tal dispositivo pode ser facilmente transportado

de um local para outro enquanto o usuário interage com ele. Ou seja, a

mobilidade é um atributo tanto do dispositivo quanto do usuário.

Aqueles dispositivos que podem ser transportados para qualquer local,

mas exigem que o usuário permaneça parado (sem movimentação) durante a

interação são, nada mais, do que portáteis (i.e. de fácil transporte) (Gorlenko

& Merrick, 2003).

Em muitos casos, conforme apresentado por Mallick (2003), os termos

móvel e sem fio são utilizados de forma inversa. Sem fio (wireless) refere-

se à transmissão de dados através de ondas de rádio. Na Figura 2 é ilustrado

o relacionamento entre a conceituação dos termos móvel, sem fio e portátil.

Há dispositivos (i) móveis sem acesso à transmissão de dados, seja com fio

(wired) ou sem fio (wireless) (e.g. jogos eletrônicos, câmeras e reprodutores

de MP3); (ii) apenas portáteis, mas com transmissão de dados sem fio (e.g.

laptop com acesso wireless à Internet); (iii) desktop (dispositivos

estacionários) com acesso sem fio.

Na categoria de dispositivos sem fio, destacam-se os laptops, tablets,

dispositivos portáteis (e.g. PDA), dispositivos de troca de mensagens, pagers,

telefones celulares e smartphones (DISA, 2005).

O termo computação ubíqua (ubiquitous computing) foi definido,

inicialmente, pela Xerox PARC (Palo Alto Research Center) em 1988, como

uma forma de uso de computadores onde muitos computadores estão

disponíveis no ambiente físico, mas de forma invisível para o usuário (Weiser,

1993). Weiser visualiza um cenário no qual as pessoas interagem com

pequenos dispositivos digitais (e.g. um cartão inteligente ou um assistente

pessoal digital) para dar suporte à realização de suas tarefas diárias (Rosson,

2002).

Figura 2 - Relacionamento dos termos móvel, portátil e sem fio.

Conforme comentada por Gorlenko & Merrick (2003), a computação

pervasiva (pervasive computing) tem como objetivo o gerenciamento da

informação e redução da complexidade do trabalho de uma sociedade móvel.

A IBM’s Pervasive Computing define tal termo como “tudo sendo sem fio,

móvel e via voz”.

Gorlenko & Merrick (2003) ainda comentam que a computação ubíqua

enfatiza a invisibilidade dos dispositivos computacionais no ambiente,

enquanto a computação pervasiva enfatiza o poder computacional

proporcionado pela integração de tais dispositivos.

2.2.2 Classificação dos Dispositivos de Computação Pessoal

São perceptíveis as iniciativas de melhorias e evolução dos dispositivos de

computação pessoal no sentido de facilitar cada vez mais a realização de

tarefas diárias de um número cada dia maior de usuários com perfis os mais

diferenciados. Então, pode ser encontrada uma grande variedade de

dispositivos desta natureza. No entanto, verificam-se apenas algumas

iniciativas para classificação de tais dispositivos em categorias bem definidas.

Enquanto Mallick (2003) apresenta uma classificação para os

dispositivos móveis, Gorlenko & Merrick (2003), baseados na classificação

feita por Weiss (2002), apresentam uma classificação mais ampla, uma

Dispositivos com Fio

(wired)

Dispositivos sem Fio

(wireless)

Dispositivos Móveis

(mobile)

Dispositivos Portáteis

Dispositivos Estacionários

categorização para os dispositivos de computação pessoal.

Mallick (2003) apresenta uma classificação baseada em 08 (oito)

categorias principais de dispositivos, a saber: (i) Web-enabled phones,

telefones celulares com acesso à Internet; (ii) two-way pagers, dispositivos

para comunicação bidirecional através de mensagens; (iii) low-end smart

phones, telefones celulares com possibilidade de rodar aplicações locais; (iv)

palm-sized PDAs, assistentes pessoais digitais; (v) high-end smart

phones, telefones celulares com suporte a aplicações mais poderosas; (vi)

handheld PCs, similares aos laptops; (vii) tablet PCs, são semelhantes aos

laptops, mas são menores e possuem mecanismos distintos de entrada de

dados; e (viii) notebook/

laptop, semelhantes a computadores desktop,

mas com característica portátil (Figura 3).

Figura 3 - Classificação dos dispositivos móveis.

Fonte: (Mallick, 2003).

Tal classificação foi concebida com o objetivo principal de auxiliar

empresas e profissionais a escolher o dispositivo adequado às necessidades do

negócio específico. Na Figura 3, apresenta-se uma relação entre algumas

categorias da classificação concebida por Mallick (2003). Observa-se que o

formato pirâmide de tal figura mostra que a difusão no mercado de

determinada categoria de dispositivos está diretamente relacionada ao custo

desta.

Antoniac (2005) classificou os dispositivos móveis em cinco categorias,

a saber: (i) wearable, compreende os dispositivos que podem ser “vestidos”

pelo usuário; (ii) remoto, que engloba os dispositivos de comunicação que

Tablet PCs

Handheld PCs

High-end smart phones

Palm-sized PDAs with integrated wireless

Palm-sized PDAs

Low-end smart phones

Web-enabled phones

Aumento de

preço

Aumento de

dispositivos

vendidos

acessam recursos remotos; (iii) portátil, associada àqueles dispositivos

passíveis de mobilidade, apesar de não serem suficientemente pequenos para

caber nas mãos do usuário (e.g. laptop); (iv) handheld, associada aos

dispositivos móveis operáveis na mão do usuário (e.g. PDA); e (v) ubíquo, que

compreende os dispositivos invisíveis ao usuário, mas que lhes servem de

auxílio em tarefas que requerem mobilidade.

A classificação adotada neste trabalho será baseada em dois tipos de

categorizações: primeiramente, serão categorizados os dispositivos de

computação pessoal; e, em seguida, na categoria computação pessoal serão

apresentados os dispositivos que se enquadram nesta categoria. Na Figura 4,

retrata-se a classificação da computação pessoal, concebida por Gorlenko &

Merrick (2003), através de 5 categorias distintas de dispositivos.

Observa-se, através da Figura 4, que o tamanho do dispositivo diminui

à medida que o grau de mobilidade aumenta. Adicionalmente, conforme

ressaltado por Weiss (2002), pode-se perceber que a fronteira entre as

categorias é tênue. Esta interseção entre as categorias mostra que algumas

dificuldades podem ser encontradas ao tentar classificar determinados

dispositivos em apenas uma das categorias. As categorias identificadas na

Figura 4 e descritas em seguida, foram diferenciadas conforme aspectos de

dimensão, peso e grau de mobilidade. Este último aspecto permite analisar a

influência de tal aspecto no modo de interação.

Figura 4 - Classificação da computação pessoal.

Fonte: (Gorlenko & Merrick, 2003).

2.2.2.1 Desktop

Mais acessível e bastante comum em casas e escritórios, um computador

desktop é um dispositivo de computação pessoal projetado para ser,

tipicamente, colocado sobre uma mesa de escritório.

De acordo com Weiss (2002), computadores desktop caracterizam-se,

na maioria dos casos, por ter os seguintes componentes: (i) unidade central

de processamento (UCP

); (ii) display de visualização, geralmente um terminal

de vídeo; (iii) teclado; (iv) dispositivo de seleção e apontamento, tipicamente

um mouse; e (v) cabos para conexão dos componentes entre si, à Internet e à

energia.

Além das grandes dimensões, o peso e a forma dos computadores

desktop exigem um ambiente adequado para uso. Seus módulos de entrada/

saída e processamento, completamente separados, normalmente precisam

estar sobre uma superfície plana e horizontal para uso. Com relação à

mobilidade, estes são classificados como fixos. O modo de interação é

estacionário, uma vez que ambos, usuário e dispositivo computacional, se

encontram parados durante a interação.

2.2.2.2 Laptop

Um laptop, também chamado de notebook, é um dispositivo de computação

pessoal que tem como principal característica a portabilidade. Geralmente, são

mais caros se comparados a computadores desktop com capacidades

semelhantes.

Muito mais leves e menores do que os computadores desktop,

normalmente do tamanho de uma pasta de documentos e pesando alguns

poucos quilos, os laptops ainda precisam ser apoiados sobre uma superfície

para uso (e.g. uma mesa, ou mesmo o colo do usuário). Basicamente, é

composto por um único módulo, mas é possível fazer conexão de mecanismos

externos de entrada/

saída.

Em relação à mobilidade, estes são classificados como portáteis e não

como móveis, uma vez que durante processo interativo, tanto o usuário

quanto o dispositivo usualmente devem permanecer estacionários.

2.2.2.3 Palmtop

Os palmtops são muito semelhantes aos laptops, mas são significativamente

menores e mais leves. Tipicamente, cabem em um bolso. Se comparados aos

dispositivos das categorias desktop e laptop, palmtops são

significativamente limitados, mas são extremamente úteis para determinadas

funções, e.g. catálogo de endereços e telefones e agenda de compromissos.

Equivalente ao termo em inglês CPU – Central processing unit.

Composto por um único módulo, a conexão de mecanismos externos de

entrada/

saída é opcional. Em processos interativos rápidos, as mãos do

usuário são suficientes para interagir e segurar o dispositivo. Enquanto em

interações mais duradouras torna-se necessária uma superfície plana para

apoio do dispositivo. Assim sendo, tais dispositivos são, predominantemente,

portáteis e, portanto, estacionários quanto ao modo de interação.

Palmtop computers como tipo de dispositivo computacional não deve

ser confundido com a família de produtos Palm, a qual pertence à categoria

de dispositivos handheld (Gorlenko & Merrick, 2003).

2.2.2.4 Handheld

Os dispositivos classificados nesta categoria são menores e mais leves do que

os dispositivos categorizados anteriormente. Diferentemente dos palmtops,

handhelds não exigem uma superfície de apoio para uso, bastando que o

usuário os segure com uma das mãos. Assim como os laptops e os

palmtops, tais dispositivos são compostos por um único módulo, mas há

possibilidade de conexão com mecanismos externos de entrada/

saída. Quanto

ao grau de mobilidade, estes são classificados como completamente móveis,

dado que o usuário, mesmo em movimento, pode interagir com o dispositivo.

Consequentemente, o modo de interação é móvel.

Os handhelds têm como principais características: (i) portabilidade; (ii)

capacidade de operação sem cabos, exceto temporariamente (e.g. recarga de

bateria, sincronização com outros dispositivos); (iii) manuseio somente com as

mãos, sem necessidade de apoiá-lo sobre uma mesa; e (iv) possibilidade de

inclusão de aplicações ou de suporte de conexão à Internet (Weiss, 2002).

São pertencentes a esta categoria de dispositivos os telefones celulares,

pagers, PDAs, smart phones e tablets. Os dispositivos do tipo tablet, pelo

menos os de maiores dimensões, não são categorizados por Weiss (2002)

como handheld, devido ao seu tamanho. Todavia, neste trabalho os tablets

serão considerados como pertencentes à categoria dos handhelds, pois o seu

modo de interação (móvel) assemelha-se àquele que caracteriza a categoria.

2.2.2.5 Wearable

Dispositivos wearables são componentes essencialmente pequenos e leves o

suficiente para serem “vestidos” pelo usuário para a realização de uma

determinada tarefa. É um tipo de dispositivo que está sempre acessível ao

usuário e no qual podem ser executados determinados comandos, enquanto o

usuário realiza outras atividades.

Apesar de alguns dispositivos desta categoria serem compostos por um

único módulo, normalmente, os módulos de entrada/

saída destes dispositivos

são acoplados próximos dos sistemas sensores do usuário (visão e audição) e

dos atuadores (mãos e boca). Portanto, no tocante à característica de

modularidade, pode-se dizer que tais dispositivos são completamente

modularizados.

Por definição, não necessitam de nenhuma outra superfície para apoio

além do corpo do usuário. Portanto, são classificados como completamente

móveis e, por conseguinte, seu modo de interação é móvel.

No Quadro 1, são sumariadas as principais características das cinco

categorias de dispositivos supracitadas, quanto ao grau de mobilidade, o

tamanho e peso, o modo de interação e a modularidade de seus componentes.

Os dispositivos-alvos desta pesquisa, cujo objetivo é propor uma metodologia

de avaliação da usabilidade, são aqueles enquadrados na categoria handheld.

Tal categoria se afigura como o nicho de pesquisa promissor, devido às

características de mobilidade total e, por conseguinte, modo de interação

móvel.

Quadro 1 – Classificação dos dispositivos computacionais.

Categoria do

Dispositivo

Tamanho Físico

Grau de

Mobilidade

Modo de Interação Modularidade

Desktop Grande Fixo Estacionário

Completamente

modularizado

Laptop Médio Portátil Estacionário Módulo único

Palmtop Pequeno Portátil

Predominantemente

estacionário

Módulo único

Handheld Médio/Pequeno Móvel Móvel Módulo único

Wearable Pequeno Móvel Móvel

Completamente

modularizado

Fonte: (Gorlenko & Merrick, 2003).

Ao longo deste documento, o emprego do termo dispositivo móvel se

referirá aos dispositivos contemplados na categoria handheld, a qual engloba

várias famílias de dispositivos, a saber:

(A) Telefones celulares

Dentre os dispositivos sem fio, estes são os com maior difusão no mercado

consumidor. Tipicamente, seu uso está associado à realização de chamadas

telefônicas (comunicação vocal), envio de SMS (Short Message Services) e

acesso à Internet Móvel.

Há uma grande variedade de modelos/

famílias de celulares, mas a

entrada de dados é, basicamente, realizada através de: (i) 12 teclas

alfanuméricas; (ii) teclas talk e end; (iii) botão de ligar/

desligar; (iv) 1 ou 2

softkeys, cuja função está associada ao conteúdo exibido no display; e, em

alguns casos, (v) 2 ou 4 teclas direcionais (Weiss, 2002; Lindholm, 2003;

Mallick, 2003). Na Figura 5, são mostrados alguns modelos de celulares

atualmente disponíveis no mercado.

Figura 5 - Telefones celulares: (a) SonyEricsson W800; (b) Nokia 1100; e

(c)Motorola V635.

(B) Pagers

Tais dispositivos são usados prioritariamente para envio de pequenas

mensagens textuais via e-mail, i.e. comunicação bidirecional (two-way email

communication), mas também têm algumas características de assistente

pessoal, tais como agenda de contatos e calendário.

A evolução dos pagers tem apontado para a inclusão de novas

aplicações e funcionalidades, tais como navegadores Web, funções vocais,

além de funcionalidades típicas de PDA (Personal Digital Assistants). Todavia,

uma característica que ainda os distingue dos PDA é o mecanismo de entrada,

tipicamente um teclado QWERTY, enquanto nos PDA predomina a tela sensível

ao toque.

(b)

(c)

(a)

Na Figura 6, são ilustrados alguns modelos de pagers. É importante não

confundir os pagers com os beepers. Estes últimos são comunicadores

unidirecionais (one-way email communication) com display de visualização de

apenas uma linha (Weiss, 2002).

Figura 6 - Pagers: (a) RIM Wireless Handheld; e (b) Motorola Timeport P935.

Tais dispositivos, exemplificados nas ilustrações da Figura 7, têm como uso

básico o armazenamento e a recuperação de informação através dos diversos

aplicativos disponibilizados, tais como catálogo de endereços, calendários, e-

mail, anotações, além de mecanismos de sincronização de dados com

computadores desktop.

Figura 7 - PDA: (a) Tugsten T5; e (b) Palm Zire 72.

O principal mecanismo de entrada de dados é o uso da caneta stylus

associada à tela sensível ao toque, mas alguns PDA também trazem teclado

QWERTY. O display de visualização, geralmente colorido, tem cerca de 320 x

(a)

(b)

(a)

(b)

240 pixels. Embora sejam parecidos, palmtops não são PDA. Os PDA de

maiores dimensões são ligeiramente menores do que os palmtops, enquanto

os menores modelos são maiores do que os telefones celulares.

(D) Smartphones

Smartphones são dispositivos que possibilitam, além da realização de

chamadas telefônicas tradicionais, a execução de aplicações locais (Mallick,

2003).

Suas dimensões e formas se encontram em uma faixa intermediária

entre os telefones celulares e os PDA. Tipicamente, tais dispositivos têm um

mecanismo de flip para exibir a tela completa e o teclado. Quando fechados,

parecem celulares de grandes dimensões com teclado numérico. Quando

abertos, apresentam telas que podem variar de 640 x 200 a 320 x 240 pixels

e, freqüentemente, possuem um teclado para entrada de dados. Na Figura 8,

são exemplificados alguns modelos de smartphones.

Figura 8 - Smartphones: (a) PalmOne Treo 650; e (b) Sony Ericsson P800.

(E) Tablets

Com relação ao tamanho, estes dispositivos são menores do que os laptops.

Alguns modelos podem alternar os modos de interação entre o uso de um

teclado (semelhante a um laptop) ou tela sensível ao toque (típico de tablets).

Na Figura 9, são exibidos alguns modelos de tablets.

(a)

(b)

Figura 9 - Tablets: (a) Acer TravelMate 100; e (b) Nokia 770 Internet Tablet.

No Quadro 2, sumariam-se as principais características dos dispositivos

classificados neste documento como dispositivos móveis e comentados nos

parágrafos anteriores.

Quadro 2 – Diferenças entre telefones celulares, pagers, PDAs, smartphones

e tablets.

Dispositivo Principal Função

Mecanismo de

Entrada

Tamanho da Tela

Tamanho

Físico

Telefone

Celular

Ligações telefônicas Teclado Numérico Muito pequena.

Geralmente, 12

caracteres por 4 linhas.

Pequeno

Pager

Envio de mensagens

textuais

Teclado QWERTY Varia de 1 linha por 16

caracteres até 160 x

160 pixels

Pequeno

PDA

Armazenamento e

recuperação de

informação

Tela sensível ao toque 160 x 160 pixels é

comum, mas são

geralmente maiores

Médio

Smartphone

Ligações telefônicas;

Armazenamento e

recuperação de

informação

Teclado Numérico;

Teclado para entrada de

dados textuais

De 640 x 200 a 320 x

240 pixels

Médio

Tablet

Armazenamento e

recuperação da

informação

Tela sensível ao toque Até 1024 x 768 pixels Grande

Fonte: Adaptado de Weiss, S. Handheld usability. John Wiley & Sons, LTD, 2002, p. 22.

Diante da constante evolução dos dispositivos móveis, à medida que

novos produtos são lançados no mercado, é importante ressaltar que tanto as

categorias quanto a classificação das famílias de dispositivos segundo estas

categorias são passíveis de mudanças. Neste sentido, vale a pena ressaltar

que, uma vez que os dispositivos têm sido lançados no mercado com uma

convergência cada vez maior de funcionalidades, sua classificação com base

neste aspecto tende a ser modificada.

(a)

(b)

2.2.3 Características dos Dispositivos Móveis

Os dispositivos móveis, i.e. os dispositivos categorizados como handhelds,

podem ser identificados a partir de uma série de características, conforme

visto no Quadro 1. Estas características impactam diretamente o modo de

interação dos usuários com tais dispositivos. E, consequentemente, tais

especificidades irão exigir mudanças nas estratégias de avaliação da

usabilidade destes produtos.

Várias limitações relativas aos handhelds tais como: velocidade de

conexão, capacidades de armazenamento e processamento, duração da

bateria podem ser minimizadas à medida que a tecnologia evoluir. Todavia,

algumas características de tais dispositivos ainda permanecerão e algumas

influenciarão de forma mais significativa o modo de interação, a saber: os

mecanismos de entrada de dados e os displays de visualização.

Na subseção 2.2.3.1, Telas de Visualização, aborda-se a

característica de displays de visualização com dimensões reduzidas nos

dispositivos móveis. Na subseção 2.2.3.2, Entrada de Dados, apresentam-se

as principais estratégias de hardware e software utilizadas para realizar

entrada de dados nos dispositivos móveis.

2.2.3.1 Telas de Visualização

Todos os dispositivos móveis, alvo de estudo deste trabalho, apresentam em

comum a característica de telas de visualização pequenas. Tal característica

influencia diretamente no modo de interação, uma vez que torna a leitura

mais difícil, e exige modelos de apresentação da informação diferenciados a

fim de maximizar a utilização do espaço.

As telas de visualização variam de acordo com as dimensões do

dispositivo, suporte a exibição de bitmaps, resolução, quantidade de cores e

sensibilidade ao toque ou à caneta stylus. Na Figura 10 são exibidos alguns

exemplos de telas de visualização.

Basicamente, há dois tipos de dimensões de telas: (i) pequenas; e (ii)

estilo PDA (PDA-style). As telas pequenas têm até 6 linhas, com 20 caracteres

em cada, enquanto aquelas no estilo PDA podem atingir a marca de 20 linhas

com 20 caracteres em cada uma delas (Weiss, 2002). Apesar de alguns

aparelhos ainda serem monocromáticos, as telas coloridas já fazem parte da

maioria destes dispositivos.

Figura 10 - Telas de visualização. a) Tungsten T5; b) SonyEricsson T610

reservados.

Dimensões reduzidas dos displays de visualização é uma característica

peculiar dos dispositivos móveis, decorrente do tamanho reduzido do próprio

dispositivo. Portanto, apresentar as informações de forma mais eficiente na

tela é uma regra básica para os projetistas de aplicativos móveis. Uma das

regras básicas para maximização do uso da tela é que o conteúdo deve ser

apresentado de forma contínua, sem linhas em branco.

2.2.3.2 Entrada de Dados

Os mecanismos de entrada de dados é um dos aspectos mais importantes no

que concerne à interação do homem com os dispositivos móveis. Ao contrário

dos computadores desktop, os dispositivos móveis ainda não possuem uma

forma padrão para entrada de dados. Na verdade, percebe-se a adoção de

várias estratégias, seja de hardware ou de software, para entrada de dados.

Tais estratégias são abordadas adiante.

Segundo MacKenzie & Soukoreff (2002), existem, basicamente, dois

paradigmas para entrada de texto em dispositivos móveis: um baseado no uso

de teclado (keyboard-based) e outro baseado em tela sensível ao toque (pen-

based).

A maioria dos telefones celulares apresenta como mecanismo de

(a)

(b)

entrada de dados um teclado de 12 teclas, que consiste de teclas com os

números de 0-9 e duas teclas adicionais (* e #), conforme pode ser visto na

Figura 11. Observa-se também que as 26 letras do alfabeto, para entrada

textual, são distribuídas nas teclas de 2-9.

Figura 11 - Teclado numérico em telefones celulares.

Tal teclado se apresenta eficiente para entrada de dados numéricos,

mas é incômodo para entrada de texto, uma vez que cada tecla representa,

geralmente, 3 ou 4 letras. A entrada de texto através de um teclado numérico

é realizada, geralmente, através de duas abordagens, a saber: (i) multi-tap; e

(ii)T9

(Tegic, 2005).

O multi-tap, também chamado de triple tap, é o método mais comum

para entrada de texto em telefones celulares. Nesta abordagem, o usuário

deve pressionar uma mesma tecla até 4 vezes para encontrar o caractere

desejado. Por exemplo, a tecla 5 deve ser pressionada 1 vez se o caractere

desejado é J, 2 vezes se é K e 3 vezes caso a letra desejada seja a L

(MacKenzie & Soukoreff, 2002; Weiss, 2002). Um dos problemas desta técnica

está na inserção seguida de caracteres agrupados em uma mesma tecla.

Neste caso o usuário deve esperar o timeout do sistema. Por exemplo, para

entrar com a seguinte seqüência de caracteres “CA”, o usuário deve pressionar

por 3 vezes a tecla 2, esperar o timeout do sistema (sinalização de que o

usuário pode digitar outro caractere) e pressionar 1 vez a tecla 2. Alguns

fabricantes, e.g. Nokia (Nokia Group, 2005), além de utilizar um timeout de

1,5 segundos, ainda utiliza uma tecla para pular o timeout (tecla de seta para

baixo) (MacKenzie & Soukoreff, 2002). Segundo Weiss (2002), esta técnica é

difícil de usar e pouco intuitiva.

A segunda abordagem, T9

, ao contrário da apresentada anteriormente,

é patenteada. Criada por uma pequena companhia americana, a Tegic, a

tecnologia T9

é atualmente controlada pela AOL (América Online) que detêm

os direitos sobre a concessão de uso de tal tecnologia (Silfverberg, 2003).

Esta técnica baseia-se em um dicionário de palavras previamente inseridas no

dispositivo. Para cada letra que se deseja digitar basta pressionar cada tecla

apenas uma vez. Por exemplo, para digitar a palavra “CASA”, basta que o

usuário pressione a seguinte seqüência de teclas 2, 2, 7, 2, 0. A tecla 0 é

utilizada para inserir espaço, indicando o fim da palavra.

Um dos problemas desta técnica é a curva de aprendizado dos usuários,

inicialmente estes acham tal técnica confusa. Outro problema, diz respeito à

ambigüidade gerada por determinadas seqüências de caracteres. Por exemplo,

para inserir as palavras “ABRA”, “CAPA”, “CASA” e “CARA” a seqüência de

teclas que devem ser pressionadas é a mesma 2, 2, 7, 2. Neste caso, uma

tecla é disponibilizada para que o usuário navegue entre as possibilidades

(geralmente, a tecla asterisco *). No Quadro 3, é apresentada uma

comparação entre uma entrada de texto utilizando as tecnologias multi-tap e

T9®.

Quadro 3 – Comparação entre as técnicas multi-tap e T9

Multi-tap T9

Tecla pressionada Tela Tecla pressionada Tela

7 P 7 S

7 Q 3 Se

7 R 8 Seu

3 Rd 6 Reto

3 Re 4 Reuni

8 Ret 2 Reunia

8 Reu 6 Reunião

6 Reum

6 Reun

4 Reung

4 Reunh

4 Reuni

2 Reunia

6 Reuniam

6 Reunian

6 Reuniao

Fonte: Adaptado de Weiss, S. Handheld usability. John Wiley & Sons, LTD, 2002, p. 45.

O teclado QWERTY, comum nos computadores desktop, também tem

versões para os dispositivos móveis. Conforme pode ser visto na Figura 12, há

versões miniaturizadas deste teclado como também versões completas. As

versões em miniatura, os chamados QWERTY keypads, têm botões menores e

são geralmente disponibilizados em pagers. As versões maiores, QWERTY

keyboards, apresenta teclas maiores e são geralmente disponibilizados como

acessório para PDAs.

Figura 12 - Teclado QWERTY (a) RIM Wireless Handheld; e (b) Stowaway XT

Ultra-Thin Portable Keyboard.

Outra alternativa baseada no uso de teclado, é o teclado Fastap

(DigitWireless, 2005). Esta tecnologia apresenta-se promissora uma vez que,

além de disponibilizar um teclado completo num monofone de celular, esta

alternativa pode facilitar significativamente o processo de entrada de texto.

Conforme pode ser observado na Figura 13, este teclado baseia-se num

modelo, no qual os caracteres alfabéticos estão em teclas menores e com

discretas saliências, enquanto os caracteres numéricos são disponibilizados

através de teclas maiores e em depressões. A Digit Wireless, fabricante de tal

tecnologia, ainda tem uma versão QWERTY em tamanho menor do que o de

um cartão de crédito.

No tocante ao paradigma para entrada de texto baseado em telas

sensíveis ao toque percebem-se algumas alternativas disponíveis. Esta

abordagem utiliza um dispositivo de apontamento, tipicamente uma caneta

stylus, para selecionar caracteres na tela ou escrevê-los diretamente.

Conforme pode ser observado na Figura 14, o dispositivo de apontamento é

utilizado para selecionar os caracteres desejados através de um teclado

(a)

(b)

apresentado na tela do dispositivo (on-screen keyboards).

Além dos teclados apresentados na tela, um outro mecanismo de

entrada nas telas sensíveis ao toque é o reconhecimento de escrita (Figura

15). Existem várias alternativas de reconhecimento de escrita, algumas

reconhecem apenas caracteres simples, de um ou vários traços (single-stroke

e multistroke), enquanto outras alternativas mais sofisticadas reconhecem

palavras inteiras. As implementações mais conhecidas para reconhecimento de

escrita são a Unistroke, Graffiti

e Jot

Figura 13 - Teclado Fastap

Figura 14 - Teclado QWERTY em tela - Nokia 770 Internet Tablet.

Conforme ressaltado por MacKenzie & Soukoreff (2002), um dos

maiores problemas enfrentados pelas implementações de reconhecimento de

escrita são as expectativas dos usuários quanto a taxas de erros aceitáveis.

Mas, segundo os autores, com base em pesquisas e relatórios de avaliação

destas tecnologias, as taxas de acerto, que têm ficado entre 87% e 97%,

estão muito próximas das taxas aceitáveis por usuários experientes.

Figura 15 – Reconhecimento de escrita - Nokia 770 Internet Tablet.

Além das estratégias apresentadas nos parágrafos anteriores, há ainda

várias iniciativas de pesquisa a fim de encontrarem novas possibilidades para

inserção de texto em dispositivos móveis, e.g. Silfverberg (2003) e Chincholle

(1999). Alguns modelos disponíveis no mercado apresentam como

mecanismos de entrada para realização de funções específicas o

reconhecimento vocal. Todavia, tal técnica ainda é considerada pouco eficiente

por grande parte dos usuários.

Existem também algumas iniciativas ligadas à realidade virtual. O

Virtual Keyboard (VKB, 2005), por exemplo, baseia-se na projeção de um

teclado virtual via raio laser sobre uma superfície plana (Figura 16). A ativação

das teclas acontece quando o dispositivo percebe que linhas de projeção foram

interrompidas. Constata-se ainda o uso de tecnologias ápticas para entrada de

dados em dispositivos móveis. Os sensores colocados nas mãos detectam os

movimentos dos dedos do usuário e converte tais movimentos na ativação de

uma tecla, a qual ele teve a intenção de pressionar.

Outras estratégias para entrada de texto em dispositivos móveis podem

ser encontradas em MacKenzie & Soukoreff (2002) e no site da Little Springs

Design (Little, 2005).

Ao visualizar estas estratégias para entrada de dados, principalmente

inserção de texto, é importante perceber que algumas das alternativas

apresentadas (e.g. Virtual Keyboard, teclados virtuais com sensores, teclado

QWERTY como acessório para PDAs) mudam significativamente o modo de

interação. E, dessa forma, um dispositivo, por exemplo, pode ter seu modo de

interação modificado de móvel para estacionário.

Figura 16 - (a) VKB Virtual Keyboard; e (b) Senseboard Virtual Keyboard.

reservados.

2.3 Usabilidade de Dispositivos Móveis

A investigação de facetas relativas à usabilidade de dispositivos móveis tem se

tornado um importante nicho de pesquisa, graças: (i) à crescente difusão dos

dispositivos móveis, especialmente os celulares, nos mercados de consumo;

(ii) às suas possibilidades de interação com usuários de perfis

substancialmente distintos; e (iii) às suas características intrínsecas e distintas

dos dispositivos tradicionais. Esta linha de pesquisa é ainda fortalecida pelos

interesses mercadológicos da atual sociedade globalizada.

No entanto, a usabilidade de dispositivos móveis diferencia-se em vários

(a)

(b)

aspectos das abordagens avaliatórias de usabilidade para dispositivos não-

móveis. As próximas subseções tratarão de alguns aspectos relacionados à

usabilidade de dispositivos móveis.

Na subseção 2.3.1, Internet Móvel x Internet Estática, é

apresentada uma análise comparativa do acesso à Internet através dos

dispositivos caracterizados na seção anterior. Na subseção seguinte, Contexto

de Uso, procura-se reforçar a importância do contexto de uso na forma pela

qual os usuários interagem com o dispositivo.

Na subseção 2.3.3, Principais Problemas com Dispositivos Móveis,

são apresentados os principais problemas encontrados e investigados nos

dispositivos/

sistemas móveis.

2.3.1 Internet Móvel x Internet Estática

Internet Móvel pode ser definida como o segmento da Internet acessado via

dispositivos móveis, tais como telefones celulares ou PDA. A Internet Móvel é

considerada bastante distinta da Internet Convencional

(Estática), sobretudo

em dois aspectos: (i) a Internet Móvel pode ser utilizada em vários contextos,

enquanto a Convencional é mais utilizada em ambientes predeterminados; e

(ii) o acesso à Internet Móvel se dá através de dispositivos com maiores

limitações de alguns recursos com relação àqueles de acesso à Internet

Convencional, e.g. dimensões dos dispositivos de visualização (telas),

mecanismos de entrada mais limitados, baixa velocidade de transmissão e

baixa capacidade de processamento (Kim et al., 2002).

O uso da Internet tradicional não exige um entendimento muito

detalhado do sistema, pois qualquer usuário com conhecimentos e habilidades

básicas em informática consegue utilizá-la através de um teclado e/

ou de um

dispositivo de seleção e apontamento, ou seja, o equipamento necessário é

praticamente o mesmo para todos os tipos de usuários. Por outro lado, o

acesso à Internet Móvel se dá através de uma grande diversidade de

dispositivos. Além dos celulares, há outros produtos com especificações

técnicas e conceitos de usabilidade distintos, tais como PDA e smartphones

(Duda et al., 2001).

Pesquisadores da área de usabilidade móvel (e.g. Kim et al. (2002) e Po

(2003)), respaldados em estudos e pesquisas, afirmam que o contexto de uso

Internet acessada através de dispositivos não móveis, tal como computadores desktop.

influencia tanto o uso dos dispositivos per si (hardware) quanto das aplicações

de software neles instaladas. Assim sendo, o estudo da influência do contexto

e de suas variáveis nos usuários mostra-se um importante campo de estudo.

2.3.2 Contexto de Uso

Como dito anteriormente, sob a perspectiva da interação homem-máquina, o

contexto de uso tem uma grande importância no entendimento e no

desenvolvimento de sistemas computacionais interativos. Segundo a ISO

(1998), a usabilidade é dependente do contexto de uso, e o nível de

usabilidade a ser atingido depende das circunstâncias específicas nas quais um

produto é utilizado.

A ISO (2001) recomenda que para melhorar a ergonomia de um

sistema, ou avaliá-la, algumas tarefas devem ser seguidas, dentre elas, a

especificação dos requisitos ergonômicos. Estes requisitos estão relacionados

aos objetivos de usabilidade, saúde e segurança, e ao contexto de uso do

sistema, incluindo características dos usuários, das tarefas e do ambiente.

O contexto de uso, segundo a Parte 11 (Especificações de usabilidade)

do padrão internacional ISO 9241 (2001), deve ser definido baseando-se em

quatro aspectos, são eles:

i. usuário: características relacionadas aos conhecimentos,

habilidades, experiência, educação, características físicas e

capacidades motores e sensoriais;

ii. tarefa: características específicas das tarefas que podem influenciar

na usabilidade devem ser descritas (e.g. freqüência, duração,

flexibilidade, exigências físicas e mentais, riscos de erro);

iii. equipamento: características relevantes relacionadas ao hardware,

software e outros materiais associados devem ser descritas;

iv. ambiente: características relacionadas tanto ao ambiente físico

quanto social devem ser descritas (e.g. local, mobiliário,

temperatura, umidade, luminosidade, práticas e estrutura

organizacional).

Kim et al. (2002) definiram contexto móvel como qualquer informação

pessoal e ambiental que pode influenciar um indivíduo ao utilizar a Internet

Móvel, i.e. tanto aspectos emocionais e físicos (contexto pessoal) quanto à

localização do usuário e a quantidade de pessoas no ambiente (contexto

ambiental) podem causar impacto no uso. Ao investigarem a relevância do

contexto de uso na Internet Móvel, os autores alcançaram 3 importantes

constatações: (i) as pessoas não utilizam a Internet Móvel em qualquer

contexto possível; (ii) a disponibilidade das mãos, o movimento das pernas e o

nível de distração têm um impacto significante durante o uso; e (iii) os

diferentes problemas de usabilidade são causados, mais freqüentemente, por

diferentes contextos de uso. Tal estudo apresenta algumas limitações, dentre

as quais o fato de que os resultados não podem ser aplicados diretamente em

outros países, pois todos os participantes eram coreanos. Todavia, os

resultados têm várias implicações positivas de perspectiva prática e teórica.

Teoricamente, o estudo fornece um framework de contextos de uso e

problemas de usabilidade na Internet Móvel. De ordem prática, o resultado

dos estudos indicam que a Internet Móvel é mais usada em poucos contextos.

Em se tratando do mercado de dispositivos móveis, é crucial que sejam

compreendidas não somente as necessidades funcionais e cognitivas dos

usuários, mas também aspectos relacionados com os contextos sociais e

culturais nos quais os produtos são utilizados.

Cultura não significa apenas o idioma ou regras formais impostas aos

usuários em virtude de sua nacionalidade. Significa também valores, hábitos e

estruturas de pensamento que organizam suas atividades diárias (Nieminen-

Sundell & Väänãnen-Vainio-Matilla, 2003).

Segundo Konkka (2003), tanto as necessidades funcionais quanto

emocionais variam culturalmente. O que é prazeroso aos olhos e ouvidos ou

socialmente aceitável é, sem dúvida, determinado por aspectos culturais. As

cores, por exemplo, têm significados ligados à cultura. Entretanto, adequar-se

às necessidades culturais não implica necessariamente o desenvolvimento de

produtos completamente distintos. Pequenas mudanças na interface com o

usuário podem, algumas vezes, fazer diferença. Por exemplo, o fato de

permitir aos usuários adicionar saudações ou símbolos religiosos em

mensagens pode agregar um grande valor emocional às pessoas da Índia.

Embora tido como aspecto de grande importância nos processos de

concepção e avaliação, sobretudo de dispositivos móveis, o contexto de uso

ainda recebe pouca ou quase nenhuma atenção nos experimentos registrados

na literatura da área.

Não é adequado testar aplicações e dispositivos móveis apenas através

dos tradicionais testes laboratoriais, nos quais o controle do contexto de uso é

mais efetivo, uma vez que tal fato difere do uso real de dispositivos e

aplicações de natureza móvel. O uso corrente de tais dispositivos ocorre em

ambientes e circunstâncias as mais diversas, e.g. no meio da rua, no meio da

selva, na praia, durante uma forte chuva ou mesmo um furacão. Assim sendo,

é preciso diminuir as diferenças entre os ambientes de teste e os ambientes

reais de uso.

Apesar de considerarem aspectos de movimentação do usuário na

realização dos testes, Kjeldskov e Stage (2004) ainda deixaram lacunas no

tocante à integração do usuário de testes com o contexto social (e.g. interação

simultânea com o dispositivo e com outras pessoas).

Como os atuais métodos de avaliação da usabilidade de produtos,

supostamente, não oferecem suporte aos aspectos específicos desta natureza,

constata-se a necessidade de adaptação dos métodos convencionais para o

contexto da usabilidade de dispositivos móveis.

2.3.3 Principais Problemas com os Dispositivos Móveis

O estudo da interação homem-máquina para dispositivos móveis é um campo

de pesquisa relativamente novo. Uma revisão da literatura revela os atuais

problemas na usabilidade de dispositivos móveis seja no que diz respeito ao

software ou ao hardware.

Há uma grande variedade de aspectos em telefones celulares carentes

de investigação, tais como: facilidades de reconhecimento de voz (Zhu, 2004),

estrutura de menus (St. Amant et al., 2004; Klockar et al., 2003),

recomendações e guidelines para o conteúdo da Internet Móvel (Duda et al.,

2001; Grant, 2004) e utilização do espaço reduzido mais eficientemente

(Kamba et al., 1996).

Kjeldskov (2002) identificou três obstáculos principais de usabilidade

que podem ser encontrados no projeto de aplicações para dispositivos móveis,

a saber: (i) visor bastante reduzido; (ii) mecanismos de entrada de dados

limitados; e (iii) contextos de uso dinâmicos.

Algumas pesquisas (vide e.g. Croasmun (2004)) sugerem que a maioria

dos celulares disponíveis no mercado tem teclas de tamanho adequado ao

dedo de uma criança de 5 anos de idade. E, com a miniaturização cada vez

maior destes dispositivos, outros mecanismos de entrada de dados precisam

ser fornecidos aos usuários.

Ao avaliar alguns portais WAP

, Duda et al. (2001) concluíram que a

enorme discrepância existente entre as expectativas dos usuários e a

qualidade dos produtos e serviços é uma das limitações para que a Internet

Móvel seja utilizada em massa. Os autores apontaram também que, dentre

outros fatores, interface usável e navegação e apresentação da informação

são melhorias que podem levar a um aumento no acesso à Internet através

dos dispositivos móveis.

St. Amant et al. (2004) relataram que o projeto de menus hierárquicos

para telefones celulares é um problema não trivial devido a alguns fatores: (i)

necessidade de ações de seleção discreta, sob a forma de ativação das teclas,

para o movimento de um item de menu para outro, uma vez que a maioria

dos telefones celulares carece de facilidades de seleção mais direta (e.g. um

mouse ou uma tela sensível ao toque); (ii) dimensões reduzidas das telas de

celulares, o que permite a visualização de somente um item de menu por vez;

e (iii) pouca padronização em nível de hardware de suporte à navegação via

menus para telefones celulares quando comparada às iniciativas de

padronização para computadores desktop.

2.4 Métodos de Avaliação de Interfaces Usuário-

Computador

Avaliação da usabilidade consiste em qualquer estudo de natureza analítica ou

empírica de um sistema ou protótipo, cuja meta de avaliação é fornecer um

diagnóstico do produto ou sistema avaliado.

Os estudos avaliatórios podem ser denominados formativos ou

somativos. Avaliações formativas (formative evaluation) ocorrem durante

o ciclo de desenvolvimento do produto, inclusive durante a fase de projeto. O

objetivo dos estudos formativos é identificar aspectos no produto, seja um

protótipo ou versões de teste, que podem ser melhorados, i.e. sugerir

mudanças a serem incorporadas ao produto final.

Enquanto as avaliações somativas (summative evaluation) têm o

Wireless Application Protocol (Protocolo para aplicações sem fio)

propósito de fornecer diagnósticos da interface ao término de diferentes

etapas de seu desenvolvimento. Este tipo de avaliação geralmente acontece

no fim do processo de desenvolvimento, quando se testa o produto para

avaliar se as metas de usabilidade foram alcançadas. Tais estudos também

podem acontecer em etapas críticas do desenvolvimento para verificar quão

próximo o produto está de atingir suas metas de usabilidade.

Preece et al. (2005) identificaram quatro paradigmas centrais de

avaliação, a saber: (i) avaliações rápidas (quick-and-dirty methods) e

econômicas (discount methods); (ii) testes de usabilidade; (iii) estudos de

campo; e (iv) avaliação preditiva. Avaliação rápida e econômica é aquela

na qual os projetistas obtêm um feedback informal dos usuários ou

consultores. Podendo ser realizada em qualquer etapa do ciclo de

desenvolvimento com o objetivo de fornecer, de forma rápida e barata,

opiniões sobre o produto. Os testes de usabilidade envolvem a avaliação do

desempenho de usuários típicos na realização de tarefas típicas.

Os estudos de campo caracterizam-se por serem realizados em

ambientes reais ou próximos do real, cujo objetivo principal é maximizar o

entendimento acerca de como os usuários agem e de como a tecnologia

impacta em suas atividades. Por fim, nas avaliações preditivas os usuários

não precisam estar presentes. Os especialistas aplicam seus conhecimentos

guiados, geralmente, por heurísticas ou recomendações de usabilidade.

Independente de sua natureza, os estudos avaliatórios de usabilidade

têm como objetivo principal avaliar um produto sob a perspectiva dos

aspectos que impactam diretamente no seu uso. Mas, é importante perceber

que conduzir um estudo ou avaliação pode envolver uma ou mais técnicas

adequadas aos objetivos da avaliação.

Diversas iniciativas de categorizar técnicas de avaliação podem ser

encontradas na literatura clássica de HCI (Human Computer Interaction). Uma

das classificações mais conhecidas é aquela que categoriza os métodos em

empíricos e analíticos.

Os métodos empíricos caracterizam-se pelo envolvimento dos

usuários no processo avaliatório. Tais métodos podem ser informais, e.g.

observação de usuários ao utilizar protótipos do sistema, ou formais, e.g.

Alguns autores distinguem os termos método e técnica, enquanto outros não fazem distinção. Nesta pesquisa, tais

termos são empregados indistintamente.

observação em ambiente laboratorial controlado (Rosson & Carroll, 2002). Os

métodos analíticos

fundamentam-se na análise das interfaces por

avaliadores (ergonomistas, engenheiros de software ou de usabilidade) que

investigam aspectos da usabilidade do produto baseado em recomendações,

padrões ou heurísticas.

Os métodos e técnicas podem ainda serem classificados como

pertencentes às categorias de ensaios de usabilidade (usability testing) ou

inspeções de usabilidade

(usability inspections).

Os principais métodos de ensaios de usabilidade são apresentados no

Quadro 4. Aqueles métodos classificados como de inspeção da usabilidade

são listados no Quadro 5. Técnicas adaptativas ou inovadoras vêm sendo

pesquisadas e continuamente propostas, uma vez que o surgimento de novas

tecnologias, de hardware ou software, têm imposto novas formas de interação

com o usuário. Portanto, o nicho de pesquisa relacionado aos métodos para

avaliação de usabilidade mostra-se promissor e em constante mudança.

Quadro 4 – Técnicas para Ensaio de Usabilidade. (1/2)

Métodos Variantes Descrição Observações

Observação

Cooperativa

do Usuário

Consiste na observação, por uma equipe

de especialistas, de usuários interagindo

com um protótipo ou versão de teste do

produto. Tarefas específicas podem ser ou

não definidas.

Observação em

Ambiente Controlado

(laboratorial)

Consiste na observação, por especialistas,

na qual os usuários de teste são

observados durante a execução de tarefas

pré-definidas. Os avaliadores podem

observá-los na mesma sala ou através de

uma superfície refletora unidirecional.

Observações

Observação em

Ambiente Natural (de

campo)

Consiste na observação de usuários

realizando tarefas, pré-definidas ou não,

em seu ambiente natural (e.g. ambiente de

trabalho).

Geralmente, registros

em áudio e vídeo são

utilizados como

instrumentos de coleta

de dados.

Questionário

Conduzido por um

Entrevistador

Entrevistadores treinados conduzem tais

questionários, permitindo um melhor

controle no processo de aquisição de

dados, maior interação com os usuários e

flexibilidade na seleção de questões em

função das diferentes categorias de

usuários.

Questionários

Questionário

Auto-dirigido

Os próprios usuários fazem o

preenchimento, sendo assim mais diretos

no tocante à condução.

Os questionários

podem ser abertos,

consistindo em

anotações subjetivas

dos usuários, ou

fechados, nos quais

os usuários escolhem

uma resposta a partir

de um conjunto de

opções.

Fonte: Adaptado de (Queiroz, 2001).

Quadro 4 – Técnicas para Ensaio de Usabilidade. (2/2)

Métodos Variantes Descrição Observações

Entrevista Aberta

Padronizada

Consiste na aplicação de questões do

mesmo modo para uma amostra de

usuários.

Entrevista Estruturada

ou Guiada

Um entrevistador conduz um

questionamento mais formal para os

participantes sobre o tema em questão.

Entrevistas

Entrevista Informal ou

Coloquial

O entrevistador adapta os

questionamentos, de forma a respeitar as

diferenças individuais ou acompanhar

alterações comportamentais.

O registro de áudio,

com posterior

transcrição, pode ser

feito em substituição

às anotações.

Verbalização de

Procedimentos

(Thinking aloud)

Consiste na verbalização, por parte do

usuário de teste, de todos os

procedimentos, idéias, encadeamentos

lógicos e opiniões indispensáveis à

conclusão da tarefa. Apresenta duas

variantes: (i) avaliação cooperativa, na qual

o avaliador age como um colaborador; e (ii)

método da instrução, no qual usuários

treinados devem explicar o funcionamento

do sistema para usuários principiantes.

Interação

Construtiva

(Constructive

interaction)

Consiste em dois usuários operando

conjuntamente o produto-alvo da avaliação.

É denominada também de aprendizagem a

partir do compartilhamento de descobertas

(codiscovery learning).

Ensaio Retrospectivo

Clássico

Consiste no registro em vídeo da sessão

de teste e na análise posterior das ações

dos usuários sem a presença destes.

Ensaio

Retrospectivo

(Retrospective

testing)

Co-visualização Consiste no registro em vídeo da sessão

de teste e na análise posterior das ações

dos usuários com a presença destes.

Câmeras de vídeo

devem registrar pelo

menos os eventos

ocorridos em tela, as

expressões faciais e

as mãos do usuário

de teste.

Captura

Automática

(Automatic

logging)

Consiste na monitoração e coleta

automática de informações relativas ao uso

do sistema sob avaliação.

Vários dados podem

ser coletados, e.g.

ações com o mouse,

teclas acionadas.

Discussões em

Grupo

(Focus groups)

De caráter informal, tal técnica é utilizada

para coletar informações sobre as

necessidades e opiniões dos usuários.

Consiste na reunião, mediada por um

moderador, de seis a nove usuários.

Ensaio de

Usabilidade

Remoto (Remote

usability testing)

Consiste num ensaio de usabilidade

conduzido em situações nas quais

avaliadores e usuários de teste se

encontram separados espacial e/ou

temporalmente.

Várias alternativas

podem ser utilizadas

para conduzir testes

remotos: quadro de

avisos eletrônico,

vídeo-conferência,

relatórios on-line,

correio eletrônico.

Fonte: Adaptado de (Queiroz, 2001).

Quadro 5 - Técnicas para Inspeções de Usabilidade.

Métodos Variantes Descrição

Revisão Sistemática

Tradicional

Consiste na análise estruturada de qualquer

produto por uma equipe de especialistas.

Revisão Sistemática

Cognitiva

(Cognitive walkthrough)

Consiste na avaliação, por parte de um grupo de

especialistas, das diferenças existentes entre as

metas e expectativas dos usuários e os

procedimentos requisitados pela aplicação.

Revisão Sistemática

Cognitiva Automatizada

(Automated cognitive

walkthrough)

As várias respostas e questões relativas às ações

do usuário são coletadas automaticamente.

Revisão Sistemática

Pluralista de Usabilidade

(Pluralistic usability

walkthrough)

Revisão na qual tanto a população usuária, como

os projetistas do produto e os especialistas em

fatores humanos agem de forma colaborativa ao

analisar o sistema.

Revisões

Sistemáticas

(Walkthroughs)

Jogthrough

Revisão conduzida em um “ritmo mais acelerado”,

i.e. tal técnica apresenta-se como uma versão

abreviada da Revisão Sistemática Tradicional.

Inspeções baseadas

em Diretrizes de

Projeto

Diretrizes de projeto são sugestões e

recomendações técnicas que sumariam princípios

bem conhecidos aplicáveis a projetos de interface

de usuário.

Inspeções baseadas

em Guias de Estilo

Guias de estilo são documentos que sumariam

padrões industriais e contém informações

prescritivas, ao invés de sugestivas.

Inspeções baseadas

em Padrões

Os padrões especificam como as interfaces

deveriam ser apresentadas ao usuário.

Representam um consenso.

Avaliações

Heurísticas

Consiste num estudo conduzido por especialistas,

cujo propósito é a identificação de problemas na

usabilidade a partir de heurísticas que guiam as

atividades dos avaliadores.

Fonte: Adaptado de (Queiroz, 2001).

2.5 Avaliação da Usabilidade de Dispositivos Móveis

Constata-se na literatura da área a existência de uma série de pesquisas

destinadas a avaliar a usabilidade de dispositivos móveis. Uma das

dificuldades encontradas é que grande parte de tais pesquisas não descreve

muitos detalhes acerca dos procedimentos metodológicos seguidos durante a

avaliação.

Algumas iniciativas têm tentado avaliar a necessidade de adaptação dos

métodos, técnicas e laboratórios tradicionais para avaliação da usabilidade de

dispositivos móveis. Na subseção 2.5.1, Abordagens de Avaliação da

Usabilidade de Dispositivos Móveis, apresenta-se uma revisão bibliográfica

acerca de pesquisas conduzidas nesta área. Além dos equipamentos, relatam-

se as estratégias utilizadas para avaliar os dispositivos e sistemas móveis.

Destacam-se também os resultados alcançados pelos estudos comparativos

entre as novas técnicas e as tradicionais.

Na subseção 2.5.2, Procedimentos Metodológicos de Avaliação de

Usabilidade, são apresentadas diversas metodologias utilizadas para

condução de ensaios de interação. São apresentadas tanto abordagens

tradicionais como aquelas utilizadas em avaliações de dispositivos/ sistemas

móveis.

2.5.1 Abordagens para Avaliação da Usabilidade de Dispositivos

Móveis

Betiol (2004) conduziu um estudo comparativo entre diferentes abordagens

para ensaios de interação, cujo objetivo era investigar a influência do contexto

de avaliação nos resultados dos testes. Os ensaios de interação, cujo produto-

alvo era a interface de uma aplicação Web para telefone celular, foram

realizados seguindo três diferentes abordagens, a saber: (i) ensaio de

interação realizado num emulador, em um laboratório de usabilidade; (ii)

ensaio de interação realizado no telefone celular, também em um ambiente

laboratorial; e (iii) ensaio de interação realizado no telefone celular, fora do

laboratório, i.e. no campo.

Foram recrutados 36 usuários de teste, divididos igualmente em três

grupos, para realizar o ensaio de interação seguindo as três diferentes

abordagens. No segundo contexto de avaliação, no qual o telefone celular foi

utilizado dentro do laboratório, fixo à mesa através de um tripé, os registros

em vídeo da tela do dispositivo e da interação do usuário com o teclado foram

realizados através de uma câmera devidamente posicionada. Os registros em

vídeo dos ensaios realizados fora do laboratório foram feitos por um

equipamento móvel com uma micro-câmera sem fio, com microfone acoplado

e que funciona com bateria. (Figura 17).

Os contextos do emulador, da avaliação laboratorial e da avaliação em

campo possibilitaram a identificação de, respectivamente, 81,4%, 95,3% e

88,3% do total de 43 problemas de usabilidade identificados. O segundo

contexto possibilitou a identificação do maior percentual de falhas, devido

principalmente ao ambiente controlado e a qualidade do áudio e vídeo

registrados. Todavia, constataram-se, em algumas tarefas, níveis menores de

eficiência, eficácia e satisfação do usuário. Tais índices decorreram

principalmente do desconforto causado ao utilizar o dispositivo imobilizado

sobre um tripé.

Figura 17 – Equipamento utilizado nos ensaios de interação realizados em

campo por Betiol (2004).

A avaliação laboratorial com o celular foi considerada a melhor na

relação custo/

benefício, uma vez que permitiu a identificação de um número

maior de problemas, incluindo os mais graves, por hora de avaliação. Não

foram encontradas diferenças significativas estatisticamente entre os três

contextos de avaliação. Portanto, rejeitou-se a hipótese inicial de que a

avaliação dentro do laboratório, por não incluir aspectos contextuais,

forneceria resultados menos satisfatórios do que experimentos de campo.

Outros pesquisadores, e.g. Weiss (2002), Trigenix (2004), têm fixado

também o dispositivo móvel para que uma câmera consiga registrar imagens

do display de visualização e da interação do usuário com o teclado do

dispositivo (Figura 18). Limitação semelhante pode ser encontrada nos ensaios

conduzidos por Kjeldskov et al. (2005), nos quais os usuários eram

restringidos a manter o dispositivo dentro de uma área física previamente

delimitada, para que uma câmera devidamente posicionada atrás do usuário

conseguisse captar boas imagens do dispositivo.

Figura 18 – Tripé para fixação de câmera (Weiss, 2002).

Apesar de não fixar o dispositivo, Klockar et al. (2003), ao realizarem os

ensaios de interação, restringiram os usuários a permanecerem sentados para

que uma câmera posicionada atrás destes, pudesse filmar a interação com o

dispositivo. No estudo conduzido por Eija Kaasinen et al. (2000), os testes dos

serviços para dispositivos móveis foram conduzidos apenas em um simulador

com tela sensível ao toque.

Uma vez que a restrição de mobilidade e o uso de um sistema móvel

através de um emulador não representam de forma real a interação do

usuário, tais estratégias podem ser consideradas aspectos limitantes da

avaliação.

Salembier et al. (2005) adototaram uma outra estratégia para registrar

em vídeo os ensaios de interação realizados em campo. Uma micro-câmera,

com microfone, foi acoplada aos óculos do usuário para possibilitar o registro

da interação, sob a perspectiva do usuário. Os transmissores de áudio e vídeo,

baterias e gravador são acondicionados em uma mochila, a ser usada pelo

usuário de teste. Estratégia semelhante é adotada por Mark et al. (2001).

A fim de enriquecer os dados coletados, Salembier et al.(2005)

alocaram alguns avaliadores para capturar, sob uma visão contextual, o

ensaio de interação. Uma ferramenta de logging automático foi desenvolvida

para o aplicativo em teste, a fim de suprir lacunas ou deficiências do registro

em vídeo, por conta de reflexos na tela do dispositivo e /ou mudança de foco

do olhar do usuário.

Os autores concluíram que, apesar de vários problemas de usabilidade

serem passíveis de detecção em sessões de avaliação de curta duração, um

entendimento mais profundo do uso de tais dispositivos requer um número

muito grande de experiências com usuários em situações reais. Por

conseguinte, foi sugerida a extensão do escopo dos métodos de avaliação com

uso de técnicas de relatórios diários e entrevistas, associados às ferramentas

de coleta automática de dados.

Roto et al. (2004) desenvolveram um equipamento para conduzir testes

de usabilidade de campo em sistemas móveis (Figura 19). O equipamento

utilizado pelo usuário de teste é composto basicamente por: (i) micro-câmera

acoplada ao dispositivo móvel para captar imagens do display de visualização

e do teclado do dispositivo; (ii) micro-câmera acoplada ao dispositivo móvel

para captação das reações faciais do usuário; (iii) mochila com os

equipamentos de gravação (e.g. receptores de vídeo, baterias, etc); e (iv)

micro-câmera acoplada à alça da mochila para capturar imagens do ambiente.

Dentre outros equipamentos, o moderador do teste também utiliza uma

micro-câmera para capturar imagens do ambiente de teste.

Figura 19 – Equipamentos para condução de testes em campo. No detalhe,

micro-câmeras acopladas ao dispositivo móvel.

Fonte: (Roto, 2004)

Po (2003) conduziu um estudo com o objetivo de validar a incorporação

de aspectos contextuais nas técnicas de avaliação. Sua pesquisa

fundamentou-se na hipótese de que a incorporação de aspectos contextuais à

avaliação heurística aumenta a probabilidade de identificação de mais

problemas ou de problemas com maior grau de severidade. Foram conduzidos

três estudos: (i) avaliação heurística em laboratório (heuristic evaluation); (ii)

revisão sistemática heurística conduzida em laboratório (heuristic

walkthrough); e (iii) revisão sistemática contextual conduzida em campo

(contextual walkthrough).

O primeiro estudo identificou o menor número de problemas de

usabilidade e, além disso, a maioria das falhas apresentava grau de

severidade pequeno. O segundo estudo (revisão sistemática heurística)

apresentou um resultado melhor em comparação com o primeiro, pois

permitiu a identificação de mais problemas de usabilidade com maior grau de

severidade. Tal resultado é explicado pela incorporação das tarefas para guiar

a avaliação heurística. Em média, o terceiro estudo permitiu identificar o

mesmo número de problemas de usabilidade do segundo. No entanto, o

estudo realizado em campo possibilitou a identificação de mais problemas com

o maior grau de severidade.

Todavia, as conclusões de Po (2003) carecem de um processamento

estatístico adequado dos dados coletados, a fim de comparar a relevância das

diferenças existentes nos resultados dos três estudos.

Kjeldskov & Stage (2004) realizaram uma pesquisa bibliográfica sobre

avaliação da usabilidade de sistemas móveis, na qual mais de 600 trabalhos

foram examinados. Esta revisão possibilitou a identificação de apenas seis

trabalhos nos quais eram empregadas abordagens diferentes de avaliação.

Tais estudos encaixam-se em basicamente duas categorias de abordagens: (i)

mobilidade do usuário, e.g. utilizar o dispositivo enquanto caminha numa

esteira, dentro do laboratório ou mesmo na rua; e (ii) divisão da atenção do

usuário, e.g. uso do dispositivo enquanto dirige um automóvel.

Então, os autores apresentaram e avaliaram seis novas técnicas para

avaliação da usabilidade de sistemas móveis. Os usuários de teste foram

submetidos aos seguintes cenários em laboratório: (i) sentado à mesa; (ii)

caminhando numa esteira com velocidade constante; (iii) caminhando numa

esteira com velocidade variável; (iv) caminhando num percurso variável com

velocidade constante; e (v) caminhando num percurso variável com

velocidade variável. E, ao seguinte cenário em campo: (vi) caminhar por uma

rua.

A primeira técnica, na qual o usuário realizou o teste sentado à mesa,

possibilitou a identificação do maior número de falhas. Uma das razões

apresentadas para este resultado é que, se comparada às outras técnicas, a

primeira demanda, significativamente, menos atividade mental do usuário.

Outra razão diz respeito à ligação existente entre a identificação de problemas

de usabilidade e à verbalização dos procedimentos do usuário (thinking aloud).

Com esta técnica, o usuário verbaliza muito mais suas ações, pois nas técnicas

de 2 a 6 o usuário tem sua atenção dividida com outras ações (e.g.

movimentar-se, falar, resolver a tarefa em si) e, consequentemente,

possibilita a identificação de um número maior de falhas de usabilidade. No

entanto, esta diferença está ligada, principalmente, aos problemas com menor

grau de severidade.

Percebeu-se também que nas técnicas que demandam outras atividades

do usuário (técnicas de 2 a 6) estes cometem um número maior de erros. As

diferenças encontradas nos resultados destes testes não podem ser

consideradas significativas, uma vez que não foi realizado processamento

estatístico sobre tais diferenças. Os autores concluíram também que efetuar

coleta de dados (e.g. vídeo de alta qualidade da interação usuário-dispositivo)

em experimentos conduzidos fora do laboratório é muito difícil.

Em outro trabalho, Kjeldskov et al. (2004) comparou os resultados

produzidos por uma avaliação conduzida em laboratório e em campo. Os

ensaios de interação realizados em um aplicativo móvel hospitalar foram

conduzidos com seis usuários em cada ambiente. Tal estudo mostrou que os

testes conduzidos em laboratório identificaram mais problemas de usabilidade

(36 do total de 37 falhas de usabilidade) do que aqueles conduzidos em

campo (23 do total de 37). Tal diferença é extremamente significativa. Dentre

outras, os autores chegaram as seguintes conclusões: (i) experimentos em

campo adicionam pouco valor aos resultados; (ii) a falta de controle em

experimentos de campo dificulta a condução da avaliação; (iii) ambos os

experimentos de teste, laboratorial e em campo, identificaram problemas

relacionados ao contexto de uso; e (iv) a micro-câmera acoplada, através de

equipamento especialmente desenvolvido (semelhante ao apresentado na

Figura 17), ao dispositivo conseguiu registrar vídeo de alta qualidade.

Kjeldskov et al. (2005) conduziu um estudo baseado em quatro

abordagens distintas para avaliação de um guia móvel, a saber: (i) ensaio de

interação em campo; (ii) ensaio de interação laboratorial; (iii) revisão

sistemática heurística (heuristic walkthrough); e (iv) reflexão rápida (rapid

reflection). As avaliações laboratoriais, realizadas com 5 usuários de teste,

restringiram os usuários a movimentar o dispositivo apenas numa área

delimitada sobre a mesa, para que, dessa forma, um avaliador devidamente

posicionado atrás do usuário conseguisse realizar o registro em vídeo da

interação.

As avaliações em campo mostraram-se intrusivas, uma vez que um

avaliador “perseguia” o usuário, tentando registrar sua interação com o

dispositivo móvel. A terceira abordagem, revisão sistemática heurística,

apresenta-se como uma junção da avaliação heurística tradicional com a

revisão sistemática cognitiva (cognitive walkthrough), i.e. uma avaliação

baseada em um conjunto de heurísticas e guiada pela realização de tarefas. A

quarta e última técnica, reflexão rápida, envolveu todos os pesquisadores

participantes dos ensaios de interação em discussões reflexivas dos dados

empíricos coletados.

Cada abordagem avaliatória identificou 13 dos 22 problemas de

usabilidade identificados na avaliação. Apesar de se constatar algumas

diferenças nos graus de severidade das falhas identificadas em cada

abordagem, nenhuma conclusão mais significativa pode ser inferida, uma vez

que não houve processamento estatístico sobre os dados, a fim de verificar a

relevância das diferenças encontradas. Todavia, os autores concluíram que

cada método/

técnica tem suas vantagens e nenhum deles por si só é

suficiente para encontrar grande parte dos problemas de usabilidade, portanto

eles sugeriram que sejam utilizados vários métodos.

Kaikkonen et al. (2005) conduziram um estudo comparativo entre

testes laboratoriais e de campo. O principal questionamento da pesquisa

conduzida era descobrir se testes de campo são críticos quando se avalia a

usabilidade de aplicativos móveis. Os testes foram conduzidos com 20

usuários de teste em cada ambiente. Dentre outros, chegou-se aos seguintes

resultados: (i) não houve diferenças no número de problemas de usabilidade;

(ii) não houve diferenças no grau de severidade dos problemas encontrados;

(iii) não houve diferenças nos tempos de execução das tarefas; (iv) testes em

campo demandam mais tempo do que testes em laboratório; e (v) apesar de

testes de campo terem potenciais interrupções, tais interrupções parecem não

afetar o desempenho do usuário.

No tocante à condução de ensaios de interação, podem ser percebidas

algumas estratégias-chave utilizadas tanto dentro como fora de um ambiente

laboratorial (Quadro 6) na investigação da usabilidade de dispositivos/

sistemas móveis. A condução de ensaios de interação e de avaliações de

usabilidade, de forma geral, exige que um procedimento metodológico

adequado seja seguido. Alguns procedimentos metodológicos são

apresentados na próxima subseção.

Quadro 6 – Principais estratégias para realização de ensaios de interação

com dispositivos móveis.

Ambiente Estratégias

Laboratório

- Uso de tripé de fixação;

- Limitação da área de movimentação;

- Usuário sentado e avaliador posicionado com câmera de vídeo atrás

do usuário;

Ensaio de

Interação

Campo

- Uso de micro-câmera;

- Avaliador segue usuário com câmera de vídeo.

De uma forma mais abrangente, Hagen et al. (2005) apresentaram um

framework das metodologias emergentes na área de interação homem-

máquina para sistemas/

dispositivos móveis. A pesquisa direcionada a partir

das principais conferências da área reuniu 149 trabalhos de pesquisa e

constatou-se o resultado apresentado no Quadro 7.

A maioria dos estudos desenvolvidos é estatisticamente insignificante

em virtude do número restrito de usuários, e.g. Waterson et al. (2002),

Klockar et al. (2003), Weiss (2002). Embora, alguns autores, a exemplo de

Nielsen (2000) e Spool (2001), acreditem que, para propósitos avaliatórios, 5

usuários são suficientes para detectar a maioria dos problemas de usabilidade

presentes.

Outros estudos mostram-se significativamente irrelevante uma vez que

não realizam processamento estatístico adequado para avaliar a significância

dos resultados encontrados, e.g. Po (2003), Kjeldskov & Stage (2004).

Várias limitações e falhas podem ser identificadas nos ensaios de

usabilidade conduzidos em dispositivos móveis. As limitações estão

relacionadas, principalmente, às restrições de mobilidade, ao número de

usuários participantes e ao processamento estatístico dos dados.

Quadro 7 – Métodos emergentes para avaliação de dispositivos e sistemas

móveis.

Abordagem Descrição Técnicas

Coleta de

Dados

Mediada

Usuários e equipamentos móveis mediam a coleta

de dados sobre o uso em ambientes naturais.

Faça Participantes fazem a coleta de dados. Self-reporting, diários

Use

Participantes fazem uso da tecnologia e os dados são

capturados automaticamente.

Ferramentas de logging.

Vista

Participantes seguem sua rotina diária, mas fazem

uso de dispositivos de registro (e.g. sensores ou

câmeras).

Ferramentas de logging, registros

em vídeo.

Simulações e

Ensaios

Simulações e ensaios são usados para tornar

disponíveis informações do contexto real de uso.

Simulações

Suporte físico, ergonômico ou ambiental são usados

mais frequentemente dentro do laboratório para

simular aspectos de uso do mundo real.

Testes laboratoriais, cenários,

heurísticas, protótipos,

emuladores, simuladores.

Ensaios

(Enactments)

Role-playing tradicional é estendido para situações

onde a tecnologia é utilizada.

Cenários, role-playing,

prototipação, storyboarding

Combinações

Métodos já existentes, e/ou coleta de dados

mediada e/ou simulações e ensaios são

combinados para permitir acesso a dados

complementares.

Fonte: HAGEN, P. et al. Emerging research methods for understanding mobile technology use. In

Proceedings of OZCHI 2005, Australia, November, 2005.

Apesar das limitações existentes nos resultados apresentados pelos

trabalhos comentados nesta subseção, é possível apreender alguns pontos:

• Realizar ensaios de interação dentro de um ambiente controlado

possibilita a detecção de um grande percentual de falhas de

usabilidade;

• Limitar a movimentação do dispositivo móvel, e.g. através de um

tripé, causa impactos na eficiência, eficácia e satisfação do usuário;

• Incorporar aspectos contextuais, e.g. realizar experimentos em

campo, traz uma série de dificuldades na condução dos testes, o

que pode impactar na detecção de falhas;

• Conduzir ensaios de interação e coletar dados no campo é difícil; e

• Realizar um processamento estatístico adequado é de extrema

importância para a consideração dos resultados do estudo.

2.5.2 Procedimentos Metodológicos de Avaliação de Usabilidade

De maneira geral, as pesquisas apresentadas na área de usabilidade e, mais

especificamente, usabilidade móvel não apresentam detalhes dos

procedimentos metodológicos utilizados para conduzir as avaliações de

usabilidade, principalmente os ensaios de usabilidade envolvendo usuários.

Constata-se na literatura a existência de procedimentos metodológicos,

desde tradicionais, e.g. Rubin (1994), Dumas & Redish (1999), até

procedimentos utilizados especificamente para avaliação de dispositivos

móveis, e.g. Weiss (2002), Betiol (2004).

No procedimento descrito por Rubin (1994), observam-se as seguintes

etapas: (i) a identificação do propósito da avaliação é alcançada através

da identificação das características alvo e dos objetivos da avaliação; (ii) o

planejamento do teste inclui, dentre outras, atividades de identificação do

perfil alvo dos usuários, desenvolvimento das tarefas e cenários de teste e

especificação do material a ser utilizado nos testes; (iii) a obtenção dos

usuários envolve tarefas de identificação de usuários de testes, posterior

recrutamento e definição de questionários pré-teste; (iv) a configuração do

teste contempla atividades de preparação de todo material a ser utilizado nas

avaliações; (v) a condução dos testes inclui as atividades diretamente

relacionadas à execução da avaliação com os usuários de teste; (vi) a próxima

etapa está relacionada à análise dos dados coletados na etapa anterior; e

(vii) a partir dos resultados apresentados pela etapa anterior, deve-se fazer os

ajustes no produto. Vide Quadro 8.

Quadro 8 – Procedimento de teste de usabilidade desenvolvido por Rubin

(1994).

Etapas Sub-Etapas

Identificação do propósito da avaliação

Identificação dos objetivos;

Planejamento do teste

Identificação do perfil alvo dos usuários;

Determinação do projeto experimental;

Definição das tarefas e cenários;

Especificação do material de teste;

Identificação do pessoal requisitado;

Obtenção dos usuários

Identificação dos usuários alvo;

Recrutamento dos usuários;

Definição de questionários pré-teste;

Configuração do teste

Preparação do material de teste;

Condução dos testes

Introdução de informações ao participante;

Execução das tarefas;

Coleta de dados;

Debriefing;

Análise dos dados

Identificação de grandes problemas;

Análise dos dados de desempenho;

Análise de dados preferenciais;

Realização de ajustes no produto

Dumas & Redish (1999) recomendam várias etapas para o

planejamento e execução de testes de usabilidade. A etapa inicial consiste no

planejamento da avaliação, seguido pela definição das metas e do perfil dos

participantes. Em seguida, os participantes devem ser recrutados.

Selecionam-se as tarefas e os cenários de teste, decidem-se as métricas de

usabilidade a serem utilizadas, prepara-se o material, o ambiente e a equipe

de teste, e, em seguida, o teste-piloto deve ser conduzido. Após a condução

dos testes com os usuários, os dados coletados devem ser analisados,

alterações recomendadas e resultados divulgados. Os autores recomendam a

preparação de uma amostra dos vídeos do teste e, por último, a incorporação

das mudanças recomendadas no produto.

Queiroz (2001) adotou um procedimento metodológico específico para a

condução de experimentos avaliatórios, cujas etapas e sub-etapas são

sumariadas no Quadro 9.

Weiss (2002) apresentou um procedimento metodológico ao realizar

testes de usabilidade em dispositivos móveis. Uma vez definido o produto a

ser avaliado, o questionário para seleção dos usuários de teste é elaborado e,

por conseguinte, tais participantes são recrutados. Em seguida, elabora-se o

material informativo do teste, as questões pré e pós-teste e as tarefas de

teste. Então, os ensaios de interação são conduzidos, sendo finalizados com

uma sessão de discussão (debriefing com todos os observadores dos testes e

membros da equipe de desenvolvimento do produto). Em seguida, os dados

coletados são analisados e as recomendações elaboradas e apresentadas.

Betiol (2004), ao realizar seus experimentos com dispositivos móveis,

seguiu o procedimento metodológico apresentado no Quadro 10.

De forma geral, as várias etapas e sub-etapas dos diversos

procedimentos metodológicos apresentados para a condução de ensaios de

interação apresentam muitas semelhanças. Algumas metodologias, e.g.

Queiroz (2001), por apresentarem mais detalhes, são aparentemente maiores.

Outras optam pelo agrupamento de etapas, como forma de simplificar o

processo. Às vezes, determinadas etapas não são mencionadas por

determinados autores, pois tais etapas não se faziam necessárias ao

experimento.

É importante destacar que ensaios de usabilidade devem fundamentar-

se numa metodologia ou procedimento e que o mais importante é instanciá-

las de forma que se adapte às necessidades da avaliação.

Quadro 9 – Generalização da Abordagem Metodológica (Queiroz, 2001).

Etapas Sub-etapas

Planejamento dos

experimentos avaliatórios

 Caracterização do alvo de estudo;

 Definição das metas e interesses;

 Caracterização do universo amostral;

 Levantamentos dos usuários de teste potenciais;

 Definição do modo de recrutamento dos participantes;

 Decisão do número de participantes do ensaio avaliatório;

 Seleção das técnicas de avaliação;

 Definição de indicadores objetivos e subjetivos;

Treinamento do universo

amostral

 Familiarização dos usuários de teste com a ferramenta a ser testada;

 Capacitação do universo amostral de teste;

Elaboração do material do

ensaio

 Definição e estruturação das atividades associadas à avaliação do

produto;

 Definição dos recursos necessários à execução de cada tarefa;

 Elaboração da ficha cadastral do participante e do documento de

aceitação das condições de teste;

 Elaboração do material necessário à condução do processo

avaliatório;

 Discussão das abordagens de avaliação da usabilidade do produto;

 Modelagem da tarefa e da interação

 Elaboração dos roteiros da tarefa

 Validação do material elaborado

Condução do ensaio e coleta

de dados

 Aplicação das estratégias avaliatórias pré-definidas;

 Registro dos indicadores pré-definidos;

Tabulação e análise dos dados

 Triagem preliminar dos dados coletados;

 Triangulação dos dados coletados;

 Tabulação e síntese dos dados coletados;

 Organização dos problemas listados;

Apresentação dos resultados

 Definição do modo de divulgação dos resultados;

 Priorização dos dados apresentados de acordo com os usuários finais

dos resultados;

 Elaboração do documento final;

Apreende-se a partir da leitura deste capítulo, especialmente da

subseção 2.5.1, que uma abordagem híbrida para avaliação da usabilidade de

dispositivos móveis mostra-se uma importante contribuição, sendo fortalecida

inclusive pela validação estatística que avaliará o impacto das adaptações

realizadas na abordagem tradicional.

Quadro 10 – Procedimento metodológico seguido por Betiol (2004).

Etapas Sub-Etapas

Definição do produto-alvo de avaliação

Definição do contexto de uso

Definição dos contextos de avaliação

Definição da amostra de participantes

Definição do perfil dos participantes;

Definição do número de participantes;

Recrutamento dos participantes;

Definição do script das tarefas

Escolha das medidas e métricas de usabilidade

Definição dos critérios de comparação dos desempenhos

das avaliações

Condução dos Ensaios de Interação Introdução do participante no ambiente

de teste;

Aplicação de questionário pré-teste;

Realização de treinamento;

Execução das tarefas de teste;

Aplicação de questionários pós-teste;

Debriefing;

Levantamento dos dados coletados

Análise das fitas de vídeo

Análise dos problemas de usabilidade

Análise estatística

Apresentação dos resultados

Capítulo 3 – A Metodologia para Avaliação de

Dispositivos Móveis

Este capítulo descreve a metodologia híbrida de avaliação, originalmente

proposta para avaliar a usabilidade de sistemas interativos, e aqui, adaptada

para avaliar dispositivos/ sistemas móveis. Além disso, mostra-se como a

abordagem híbrida proposta adequa-se às especificações e recomendações

feitas pela Parte 11 do padrão internacional ISO 9241 (ISO, 1998).

3.1 A Metodologia Original

Queiroz (2001) categorizou as iniciativas de avaliação como pertencentes a

uma de quatro grandes categorias, a saber: (i) centrada na interação usuário-

produto; (ii) centrada na inspeção do produto por especialistas; (iii) centrada

em modelos; e (iv) adaptativa (ou híbrida).

Cada categoria contempla uma variedade de métodos de teste. Nas

abordagens centradas na interação usuário-produto se encaixam métodos de

observação, entrevistas, verbalização de procedimentos, discussões em grupo,

captura automática, dentre outros. Na categoria de inspeção por especialistas

encaixam-se as avaliações heurísticas, o uso de diretrizes, as revisões

sistemáticas e as inspeções formais, de consistência, de características e de

padrões.

A categoria centrada em modelos compreende os métodos avaliatórios

cognitivos, lingüísticos, físicos e de interação. Por sua vez, as abordagens

híbridas caracterizam-se pela associação de duas ou mais das categorias

citadas anteriormente.

Queiroz (2001) propôs uma abordagem híbrida (Figura 20), que

incorpora 3 abordagens metodológicas de avaliação: (i) mensuração do

desempenho do usuário ao utilizar o produto; (ii) sondagem da satisfação

subjetiva do usuário; e (iii) inspeção de conformidade do produto.

Na subseção 3.1.1, Enfoques Avaliatórios, descreve-se a importância

de cada enfoque para a metodologia. Na subseção 3.1.2, Metodologia

Adotada, é apresentada a metodologia que foi adotada na condução dos

experimentos avaliatórios com os usuários. Por fim, na subseção 3.1.3, são

feitos alguns comentários relacionados à possibilidade de adaptação desta

abordagem.

Figura 20 - Descrição da abordagem híbrida proposta por Queiroz (2001).

3.1.1 Enfoques Avaliatórios

Conforme visualizado na Figura 20, a abordagem híbrida original é composta

por três enfoques avaliatórios: (i) inspeção da conformidade de um produto a

um padrão; (ii) mensuração do desempenho do usuário; e (iii) sondagem da

satisfação subjetiva do usuário. Nas subseções seguintes são relatados a

importância e os benefícios advindos de cada enfoque que justificaram a

metodologia originalmente proposta por Queiroz (2001).

3.1.1.1 Inspeção da Conformidade de um Produto a um Padrão

Diversas organizações têm evoluído na definição de regras e procedimentos

bem estruturados (i.e. elaboração de guias de estilo ou adoção de padrões

destinados ao desenvolvimento de produtos ergonômicos) para garantir a

usabilidade dos produtos desenvolvidos.

Segundo a ISO (2006b), padrões são acordos documentados contendo

especificações técnicas a serem adotadas como regras, diretrizes ou definições

de características, a fim de assegurarem a adequação de produtos, processos

e serviços aos propósitos a que se destinam. A IEC (2000) ainda complementa

esta definição, afirmando que um padrão é um documento estabelecido por

consenso, que oferece, para uso comum e repetido, regras, diretrizes ou

características de atividades ou de seus resultados, almejando atingir o estado

ótimo de ordem em um dado contexto.

Usabilidade

do produto

Questionário pós-teste

Comentários verbais

Avaliação Laboratorial

Mensuração do

Desempenho do

Usuário

Sondagem da

Satisfação do Usuário

ISO 9241

Inspeção da

Conformidade do

Produto a um Padrão

Influência

Nos últimos dez anos, a indústria têm mostrado maior preocupação com

a padronização de algumas partes do software (e.g. linguagens ou protocolos

de comunicação), ao contrário do que acontecia há algumas décadas quando o

foco era a padronização de itens de hardware.

Padronizar não significa apenas minimizar variações desnecessárias.

Vários argumentos têm sido utilizados para fundamentar a importância da

padronização voltada para a ergonomia de produtos de software. O primeiro

deles diz respeito à focalização da atenção sobre a consistência tanto em nível

da facilidade de aprendizado quanto da facilidade de memorização dos

mecanismos de interação pelo usuário. O segundo concerne à otimização das

práticas de projeto e avaliação de interfaces mediante a adoção de padrões

bem concebidos, o que pode conduzir à disponibilização de produtos de

software mais usáveis e, por conseguinte, melhores do ponto de vista do

mercado de consumo, além de contribuírem para o reaproveitamento do

código da interface. O terceiro argumento é relativo ao aumento do conforto e

bem-estar do usuário e, por conseguinte, de sua satisfação.

O quarto argumento concerne à padronização como uma base para o

entendimento comum entre os agentes envolvidos no projeto, manufatura,

avaliação e uso de produtos. O quinto refere-se à priorização apropriada das

questões relativas à interface usuário-computador no contexto maior do

desenvolvimento do produto. O penúltimo argumento diz respeito ao

cumprimento de requisitos legais, e.g. segurança e saúde no trabalho com

dispositivos de visualização. Finalmente, o sétimo e último argumento é o

aumento da produtividade, promovido pela otimização da usabilidade do

produto.

Além disso, a adoção de padrões distintos por diferentes países ou

regiões para tecnologias similares pode contribuir para o estabelecimento de

“barreiras técnicas” nos processos de exportação e importação,

comprometendo a dinâmica do mercado internacional.

3.1.1.2 Mensuração do Desempenho do Usuário

Além das metas qualitativas de usabilidade, inegavelmente importantes, as

metas quantitativas de usabilidade possibilitam atingir níveis de especificidade

necessários à validação de análises através de seu caráter objetivo e

mensurável.

A mensuração do desempenho dos usuários ao interagir com produtos

de software é imprescindível por diversas razões, dentre elas: (i) apóia a

verificação de produtos, no tocante à adoção de especificações de usabilidade;

(ii) auxilia nas tomadas de decisões de projeto; e (iii) possibilita a

quantificação das componentes da usabilidade (eficiência e efetividade).

A mensuração do desempenho consiste em avaliar o uso do produto-

alvo por um conjunto representativo de usuários, durante a realização de um

conjunto de tarefas típicas. Além da coleta de dados quantitativos, ainda é

possível coletar dados de natureza qualitativa através dos comentários verbais

feitos pelos próprios usuários de teste durante as sessões.

Este enfoque mostra-se pertinente também, pois ele avalia o produto

sob o ponto de vista do usuário final, expondo suas expectativas e

necessidades ao usar o produto.

3.1.1.3 Sondagem da Satisfação Subjetiva do Usuário

Produtos de software devem fundamentar-se na satisfação subjetiva do

usuário, i.e. o uso dos produtos deve ser agradável aos usuários. Desta forma,

tais produtos serão mais facilmente aceitos do que aqueles que irritam,

frustram ou desagradam.

Nos últimos anos, a estratégia mais comum empregada nas avaliações

para análise das atitudes, opiniões e preferências dos usuários tem sido o uso

de questionários como instrumentos para o delineamento do perfil e a

sondagem da satisfação subjetiva do usuário.

A sondagem a partir de questionários apresenta três vantagens

principais, a saber: (i) focalização direta do tema de interesse do avaliador,

possibilitando o controle do grau de especificidade almejado; (ii) produção de

escores passíveis de descrição e análise estatística, mediante técnicas de

correlação e regressão; e (iii) possibilidade de respaldar inferências

estatísticas, a partir da relação entre a amostra inspecionada e a população

correspondente (Oliveira, 2005).

Questionários informatizados são, em geral, ferramentas de sondagem

de aplicação rápida, e, conseqüentemente, pode reduzir os custos envolvidos

com a administração e computação dos resultados. Além disso, estes

possibilitam a coleta de grandes quantidades de dados.

Por outro lado, o uso de questionários também tem algumas

desvantagens, dentre elas: (i) proporção de questionários de sondagem

preenchidos corretamente e devolvidos, i.e. o número de indivíduos que

preencheram adequadamente e devolveram os questionários pode não ser

representativo; (ii) subjetividade das respostas, pois apesar dos questionários

fornecerem informações sobre atitudes e reações dos respondentes, estes o

fazem segundo suas percepções individuais; (iii) necessidade de

complementação das informações obtidas, uma vez que o ponto de vista do

usuário constitui apenas uma das facetas de investigação.

3.1.2 Discussão

A abordagem híbrida original, apresentada ao longo da seção 3.1.1, é uma

abordagem genérica de avaliação passível de instanciações/ adaptações para

contextos específicos de avaliação. A abordagem está apenas atrelada aos

enfoques avaliatórios (inspeção de conformidade a um padrão, mensuração do

desempenho e sondagem da satisfação subjetiva do usuário), os quais são

justificados pelos aspectos apresentados anteriormente na subseção 3.1.1.

Dependendo do contexto, do produto-alvo e das metas e interesses de

avaliação, as adaptações recairão sobre a escolha: (i) do(s) padrão(ões),

guia(s) de estilo, diretriz(es) de projeto, etc. a ser(em) utilizado(s); (ii) da(s)

técnica(s) a ser(em) empregada(s) para a mensuração do desempenho e de

seus indicadores quantitativos e qualitativos; e (iii) dos aspectos a serem

levantados através dos questionários de sondagem.

Na adaptação da abordagem híbrida original para o contexto de

avaliação de dispositivos móveis, focalizou-se uma atenção especial para o

enfoque da mensuração do desempenho do usuário, uma vez que aspectos

relacionados às dimensões, à mobilidade e ao contexto de uso de tais

dispositivos diferem significativamente daqueles dispositivos/ sistemas

desktop, para o qual a metodologia foi originalmente desenvolvida.

Outro aspecto que mereceu atenção durante a adaptação refere-se aos

padrões utilizados na inspeção, uma vez que ainda não há, em nível

internacional, um padrão para interfaces de dispositivos móveis, com moldes

similares aos das partes 10 a 17 do padrão ISO 9241, destinado a interfaces

de software de sistemas desktop. Portanto, a adaptação, no que concerne aos

padrões, pode direcionar-se pela adaptação de tais padrões para interfaces de

sistema móveis.

3.2 A Abordagem Híbrida de Avaliação para

Dispositivos Móveis

A abordagem híbrida de avaliação para dispositivos móveis apresenta

adaptações em relação àquela originalmente proposta. Conforme pode ser

observado na Figura 21, os focos de avaliação são mantidos: (i) inspeção da

conformidade do produto a um padrão; (ii) mensuração do desempenho do

usuário; e (iii) sondagem da satisfação subjetiva do usuário. No entanto,

constatam-se adaptações relacionadas a cada um destes enfoques, a saber:

(i) incorporação de outros padrões internacionais (ISO e ITU); (ii) inclusão da

avaliação de campo; (iii) inclusão de uma entrevista não-estruturada.

Figura 21 - Descrição da abordagem híbrida adaptada para avaliação de

dispositivos móveis.

As subseções seguintes versarão a respeito das adaptações realizadas

nos três enfoques.

3.2.1 Inspeção de Conformidade

No que concerne à inspeção de conformidade de um dispositivo móvel a um

padrão, investigou-se uma série de padrões específicos e a adequação do

padrão ISO 9241 – Ergonomic Requirements for Office Work with Visual

Display Terminals (VDTs) (ISO, 1997) na avaliação de dispositivos móveis.

Além do padrão ISO 9241, percebeu-se a aplicabilidade dos seguintes

Usabilidade dos

dispositivos móveis

Questionário pós-teste

Entrev. não-estruturada

Comentários verbais

Avaliação Laboratorial

Avaliação de Campo

Mensuração do

Desempenho do

Usuário

Sondagem da

Satisfação do Usuário

Padrões ISO

Padrões ITU

Inspeção da

Conformidade do

Produto a um Padrão

Influência

padrões: (i) ISO 14754 – Pen-Based Interfaces – Common gestures for Text

Editing with Pen-Based Systems (ISO, 1999); (ii) ISO 18021 – User interfaces

for mobile tools for management of database communications in a client-

server model (ISO, 2002); e (iii) ISO 24755 – Screen icons and symbols for

personal mobile communication device (ISO, 2006a). É importante lembrar

que tais padrões, apesar de serem, em geral, adequados aos dispositivos

móveis, estão intimamente associados ao dispositivo alvo da avaliação, i.e. a

aplicabilidade do padrão está ligada ao produto-alvo da avaliação.

Além da ISO (International Standard Organization), a ITU (International

Telecommunication Union) também tem desenvolvido padrões relacionados

aos serviços de telecomunicação e, consequentemente, atingindo alguns

aspectos dos dispositivos móveis.

3.2.1.1 Padrões ISO

O padrão internacional ISO 9241, utilizado na abordagem híbrida original,

estabelece requisitos ergonômicos para o uso de terminais de vídeo na

realização de tarefas de escritório. O principal objetivo deste padrão é auxiliar

projetistas no desenvolvimento de sistemas com terminais de visualização de

acordo com regras ergonômicas.

O padrão ISO 9241 está dividido em 17 partes. No Quadro 11 são

apresentadas as partes que compõem este padrão, descrevendo foco de cada

uma das partes. Em 2006, a Parte 10 foi descontinuada a partir da publicação

de uma revisão, passando a se chamar de ISO 9241 – Ergonomics of human-

system interaction – Part 110: Dialogue principles.

As partes 10, 11, 14, 16 e 17, destacadas no Quadro 11, são utilizadas

no âmbito desta pesquisa, conforme será visto nos capítulos seguintes. A

Parte 11, Especificações de usabilidade (Guidance on usability), é utilizada

como referência para a escolha das estratégias de avaliação envolvidas na

abordagem. Enquanto as demais partes destacadas serão utilizadas na

inspeção de conformidade do produto.

As tarefas de escritório (office tasks) citadas no padrão ISO 9241

incluem uma grande variedade de tarefas de processamento de texto e de

dados. Devido à similaridade destas tarefas com as tarefas executadas em

outros ambientes, e.g. científico, de telecomunicação, salas de controle e

acesso público, os requisitos especificados neste padrão mostram-se

apropriados para tais ambientes. Portanto, algumas partes deste padrão

podem ser aplicadas para o contexto das tarefas executadas com dispositivos

móveis.

Quadro 11 – Síntese do conteúdo das partes que compõem o padrão ISO

9241.

ISO 9241 - Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs)

Parte Conteúdo

1: General introduction

Apresentação do padrão ISO 9241 e suas partes. Instruções sobre a

utilização do padrão.

2: Guidance on task requirements

Apresentação de diretrizes para a especificação de requisitos das

tarefas envolvendo terminais de visualização.

3: Visual display requirements

Estabelecimento de requisitos para a qualidade da imagem durante o

projeto e avaliação de terminais de visualização.

4: Keyboard requirements

Fornece um guia de características ergonômicas de teclado

alfanumérico e especificações para o projeto de sistemas de escritório

envolvendo teclados alfanuméricos.

5: Workstation layout and postural

requirements

Especificação de requisitos ergonômicos para estações de trabalho

com terminais de visualização, para que o usuário adote uma postura

confortável e eficiente.

6: Guidance on the work enviroment

Fornecimento de um guia com princípios básicos para o projeto

ergonômico do ambiente de trabalho do usuário envolvendo terminais

de visualização.

7: Requirements for display with

reflections

Especificação de métodos para mensuração de características

específicas de superfícies refletoras de terminais de visualização.

8: Requirements for displayed

colours

Especificação de requisitos ergonômicos para terminais de vídeo

coloridos.

9: Requirements for non-keyboard

input devices

Apresentação de requisitos ergonômicos para dispositivos de entrada

não baseados em teclado (e.g. mouse, trackball) possíveis de serem

utilizados juntamente com terminais de vídeo.

10: Dialogue principles

Apresentação de sete princípios ergonômicos importantes para o

projeto e avaliação de diálogos usuário-computador.

11: Guidance on usability

Apresentação de orientações sobre usabilidade em termos de

medidas de desempenho e satisfação do usuário.

12: Presentation of information

Apresentação de aspectos ergonômicos envolvidos na apresentação

das informações em terminais de vídeo.

13: User guidance

Apresentação de recomendações para o projeto e avaliação de

atributos para orientar o usuário durante o uso do produto.

14: Menu dialogues

Apresentação de princípios ergonômicos para o projeto e

avaliação de diálogos via menu.

15: Command dialogues

Apresentação de princípios ergonômicos para o projeto e avaliação de

diálogos através de linhas de comando.

16: Direct manipulation dialogues

Apresentação de princípios ergonômicos para o projeto e

avaliação de diálogos de manipulação direta.

17: Form filling dialogues

Apresentação de princípios ergonômicos para o projeto e

avaliação de diálogos via preenchimento de formulários.

Fonte: Adaptado de Queiroz (2001) e ISO (1997).

Segundo o padrão, um terminal de visualização (VDT - visual display

terminal) compreende uma tela de visualização, um teclado, e alguns

dispositivos e/ou equipamentos eletrônicos associados, podendo incluir

também outros dispositivos de entrada (e.g. dispositivo de apontamento e

seleção) e saída (e.g. caixas de som). Então, constata-se que um dispositivo

móvel, em geral, encaixa-se na definição de VDT.

Uma revisão na literatura revela que não pode ser encontrado um

padrão equivalente ao padrão internacional ISO 9241 que envolva requisitos

ergonômicos para trabalho com dispositivos móveis.

O comitê técnico JTC 1, sub-comitê SC 35 – user interfaces, produziu

dois documentos relacionados com dispositivos móveis; (i) ISO 18021, padrão

internacional já publicado; e (ii) ISO 24755, ainda em desenvolvimento.

O primeiro documento, o padrão ISO 18021 - User interfaces for mobile

tools for management of database communications in a client-server model

(ISO, 2002), define funções da interface com o usuário para gerenciar a

comunicação com banco de dados do lado cliente de um MBT (MoBile Tool)

capaz de trocar informações com um servidor.

O segundo documento, ISO 24755 – Screen icons and symbols for

personal mobile communication device (ISO, 2006a) ainda não é um padrão

internacional, uma vez que o documento ainda está em elaboração. Sua

versão atual (draft version) define e recomenda um conjunto de ícones e

símbolos que, normalmente, estão presentes em dispositivos de comunicação

móvel pessoal. Suas recomendações de ícones e símbolos estão relacionadas

às características de configuração do próprio dispositivo (e.g. teclado, bateria,

toques e sons) e às suas aplicações (e.g. catálogo de endereços, imagens,

filmes, áudio, acesso à Web, jogos, agenda, mensagens).

O sub-comitê SC 35 é responsável também pela produção do padrão

ISO 14754 – Pen-Based Interfaces – Common gestures for Text Editing with

Pen-Based Systems (ISO, 1999) o qual define os comandos gestuais básicos e

ações para execução de tais comandos para edição de texto em sistemas

baseados em reconhecimento de escrita, e.g. seleção, exclusão, quebra de

linha, copiar, colar, recortar, desfazer.

3.2.1.2 Padrões ITU

A ITU (International Telecommunicaton Union) também desenvolve padrões

relacionados aos serviços de telecomunicação e, consequentemente, alguns

deles incorporam aspectos relacionados aos dispositivos móveis.

Dentre as recomendações da ITU investigadas, destaca-se a

recomendação E.161 (Arrangement of digits, letters and symbols on

telephones and other devices that can be used for gaining access to a

telephone network) (ITU, 2001) que está relacionada ao posicionamento dos

dígitos, letras e símbolos em telefones e outros dispositivos móveis.

3.2.2 Mensuração do Desempenho

Uma vez que o contexto de uso dos dispositivos móveis mostra-se

significativamente distinto do contexto de uso de sistemas estacionários

(baseados em desktop) incluiu-se a avaliação de campo para mensurar o

desempenho do usuário. Pois, dessa forma, tenta-se aproximar o ambiente de

teste do ambiente real de uso de tais dispositivos. Assim, o enfoque

avaliatório da mensuração do desempenho passou a ser compreendido por

dois métodos de avaliação: (i) avaliação laboratorial; (ii) avaliação de campo.

Conforme já foi visto no Capítulo 2, não há um consenso entre os

pesquisadores da área a respeito da supremacia dos testes de campo sobre os

testes laboratoriais. Então, nesta pesquisa, será avaliado também o impacto

da inclusão da avaliação de campo.

3.2.3 Sondagem da Satisfação Subjetiva

No que diz respeito à sondagem da satisfação dos usuários ao utilizarem o

produto, serão coletados dados relacionados a este aspecto a partir de três

métodos distintos: (i) aplicação do questionário informatizado de sondagem da

satisfação dos usuários; (ii) anotações dos comentários verbais feitos pelos

usuários durante a sessão de teste; e (iii) dados coletados na entrevista não

estruturada (debriefing) realizada no fim das sessões de teste.

3.2.4 Metodologia Adotada

A metodologia a ser adotada na condução dos experimentos avaliatórios da

abordagem híbrida ora proposta, baseia-se fundamentalmente na metodologia

conduzida por Queiroz (2001).

O Quadro 12 apresenta, em linhas gerais, as etapas que compõem a

parte experimental da metodologia (mensuração do desempenho e sondagem

da satisfação subjetiva do usuário). Nas subseções seguintes são descritas as

etapas que compuseram o procedimento metodológico proposto.

Quadro 12 – Generalização da abordagem metodológica.

ETAPA SUB-ETAPAS

PLANEJAMENTO DOS

EXPERIMENTOS AVALIATÓRIOS

Definição das metas e interesses

Caracterização do universo amostral

Levantamento dos usuários de teste potenciais

Definição do modo de recrutamento dos participantes

Decisão do número de participantes do ensaio avaliatório

Seleção das técnicas de avaliação

Definição de indicadores objetivos e subjetivos

TREINAMENTO DO UNIVERSO

AMOSTRAL

Familiarização dos usuários de teste com o produto-alvo

ELABORAÇÃO DO MATERIAL DO

ENSAIO

Planejamento e Estruturação das Tarefas de Teste

Elaboração dos seguintes documentos:

• Ficha cadastral do participante;

• Documento de aceitação das condições de teste;

• Termo de confidencialidade.

Elaboração do material necessário à condução do processo avaliatório:

• Questionário pré e pós-teste;

• Roteiros das tarefas de teste;

• Ficha de registro de eventos;

• Guia para entrevista não-estruturada.

Validação do material elaborado (Teste-piloto)

CONDUÇÃO DO ENSAIO E

COLETA DE DADOS

Aplicação das estratégias avaliatórias pré-definidas

Registro dos indicadores pré-definidos

Etapas:

• Introdução do participante no ambiente de teste;

• Treinamento do usuário (2ª etapa);

• Aplicação de questionário para delineamento do perfil;

• Execução das tarefas de teste;

• Aplicação de questionários para sondagem da satisfação;

• Realização de entrevista não-estruturada.

TABULAÇÃO E ANÁLISE DOS

DADOS

Triagem preliminar dos dados coletados

Triangulação dos dados coletados

Tabulação e síntese dos dados coletados

Organização dos problemas listados

APRESENTAÇÃO DOS

RESULTADOS

Definição do modo de divulgação dos resultados

Priorização dos dados apresentados

Elaboração do documento final

3.2.4.1 Planejamento dos Experimentos Avaliatórios

Esta etapa do procedimento metodológico demanda uma série de atividades a

serem desempenhadas, as quais estão agrupadas em sub-etapas, a saber:

(i) Definição das Metas e Interesses

: definição dos objetivos genéricos e

específicos que fundamentam a condução da avaliação;

(ii) Caracterização do Universo Amostral

: especificação das

características relevantes para o delineamento do(s) perfil(s) dos

usuários de teste;

(iii) Levantamento dos Usuários de Teste Potenciais

: mapeamento do

contingente de potenciais usuários de teste e sondagem informal da

disponibilidade e interesse de participação nos ensaios avaliatórios;

(iv) Definição do Modo de Recrutamento dos Participantes

: definição e

estruturação de uma estratégia de recrutamento dos participantes,

e.g. envio de correspondências, aplicação de questionário pré-teste,

contato telefônico;

(v) Decisão do Número de Participantes do Ensaio Avaliatório

: definição

do número de participantes do ensaio baseada nos resultados da

sondagem formal do universo de potenciais usuários de teste e nos

resultados da caracterização do universo amostral;

(vi) Seleção das Técnicas de Avaliação

: definição das técnicas de

avaliação da usabilidade do produto-alvo tanto em função dos

recursos humanos, físicos e materiais disponíveis quanto das

informações coletadas nas sub-etapas anteriores;

(vii) Definição de Indicadores Objetivos e Subjetivos

: definição dos

indicadores objetivos e subjetivos mais significativos a partir das

técnicas de avaliação e das metas e interesses previamente

selecionados.

3.2.4.2 Treinamento do Universo Amostral

A etapa de treinamento do universo amostral consiste em fornecer aos

usuários um determinado nível de familiaridade com o produto a ser testado.

Dependendo do produto-alvo e do universo amostral esta etapa pode

ser suprimida da abordagem metodológica, i.e. quando não houver

necessidade da realização de treinamento.

3.2.4.3 Elaboração do Material do Ensaio

Esta etapa compreende as seguintes sub-etapas:

(i) Planejamento e Estruturação de Tarefas de Teste

: planejamento,

elaboração e estruturação das tarefas relevantes ao contexto do

produto-alvo da avaliação considerando os recursos humanos, físicos

materiais e temporais e as metas e interesses do ensaio avaliatório;

(ii) Elaboração da Ficha Cadastral do Participante, do Documento de

Aceitação das Condições de Teste e do Termo de Confidencialidade:

redação de uma ficha de cadastro e de documentos descrevendo as

condições de teste às quais os participantes serão submetidos;

(iii) Elaboração do Material Necessário à Condução do Processo

Avaliatório: preparação do material a ser utilizado pelos avaliadores e

usuários durante o processo avaliatório do produto (e.g.

questionários pré e pós-teste, roteiros de tarefas para o usuário de

teste e para o avaliador, fichas de registro de eventos, guia para

entrevistas informais);

(iv) Validação do Material Elaborado

: condução de um teste-piloto cujo

objetivo é a detecção de problemas nos métodos planejados, no

material de teste elaborado, no produto e na sua documentação.

3.2.4.4 Condução do Ensaio e Coleta de Dados

Esta etapa caracteriza-se pela aplicação de duas sub-etapas: (i) aplicação das

técnicas pré-definidas de avaliação da usabilidade; e (ii) coleta dos indicadores

objetivos e subjetivos que permitam a verificação das hipóteses previamente

definidas.

A condução de cada ensaio de interação consiste nas seguintes etapas:

(i) introdução do participante no ambiente de teste; (ii) fornecimento de mais

informações sobre o produto; (iii) aplicação de questionário para delineamento

do perfil do usuário; (iv) observar a execução das tarefas de teste; (v)

aplicação de questionário para sondagem da satisfação subjetiva do usuário; e

(vi) realização de entrevista não-estruturada afim de coletar mais informações

do usuário.

3.2.4.5 Tabulação e Análise dos Dados Coletados

Esta etapa foi dividida em quatro sub-etapas, a saber:

(i) Triagem Preliminar dos Dados

: execução de uma triagem preliminar

dos dados coletados, a fim de detectar problemas colaterais não

evidenciados através de uma leitura direta dos dados;

(ii) Triangulação dos Dados

: confrontação das três categorias de dados

coletados, visando à detecção de problemas colaterais adicionais não

evidenciados durante a triagem isolada dos dados obtidos a partir de

cada enfoque considerado;

(iii) Tabulação e Síntese dos Dados

: conclusão do processo de tabulação

dos dados iniciados nas duas sub-etapas anteriores;

(iv) Organização dos Problemas Listados

: organização dos problemas

evidenciados a partir da condução dos processos avaliatórios.

3.2.4.6 Apresentação dos Resultados

A etapa final do processo avaliatório pode ser decomposta em: (i) definição do

modo de divulgação dos resultados obtidos; (ii) priorização dos dados; e (iii)

elaboração do documento final.

3.3 O Padrão ISO 9241-11 e a Abordagem Híbrida

Conforme atestado no Capítulo 2, A Usabilidade e os Dispositivos Móveis,

a Parte 11 do padrão ISO 9241 (ISO, 1998) define usabilidade como a

efetividade, eficiência e satisfação com as quais usuários específicos atingem

metas específicas em ambientes específicos, i.e. em um contexto de uso

específico.

A efetividade ou eficácia está relacionada à precisão e à completude

com a qual os usuários alcançam os seus objetivos. A eficiência diz respeito

aos recursos necessários (face à completude e precisão) para que os usuários

alcancem seus objetivos. Enquanto a satisfação está relacionada ao conforto

e à aceitação do uso do sistema pelos usuários.

O contexto de uso é formado pelos usuários, tarefas, equipamentos

(hardware, software e outros materiais) e pelo ambiente físico e social no qual

o produto é utilizado. Tais componentes podem influenciar diretamente a

usabilidade de um produto. No Quadro 13, são apresentados exemplos de

atributos do contexto de uso.

Para determinar o nível de usabilidade alcançado, é necessário medir o

desempenho e a satisfação dos usuários durante o uso do produto,

mensurando a usabilidade com pelo menos um indicador em cada um dos

aspectos (efetividade, eficiência, satisfação). No Quadro 14, são apresentados

alguns exemplos de indicadores de efetividade, eficiência e satisfação.

Quadro 13 - Atributos do contexto de uso.

Usuários Tarefas Equipamentos

Tipos de Usuários

Primários

Secundários e indiretos

Habilidades e conhecimentos

Conhecimento do produto

Conhecimento do sistema

Experiência na tarefa

Experiência organizacional

Nível de treinamento

Habilidade com dispositivos de

entrada

Qualificação

Habilidades de linguagem

Dados Pessoais

Idade

Sexo

Capacidades físicas e cognitivas

Limitações físicas e cognitivas

Capacidade intelectual

Atitude

Motivação

Nome

Estrutura

Freqüência

Duração

Flexibilidade

Demanda física e mental

Dependências

Resultados

Riscos resultantes de erros

Demandas críticas de

segurança

Descrição básica

Identificação do produto

Descrição do produto

Principais áreas de aplicação

Principais funções

Especificação

Hardware

Software

Materiais

Serviços

Outros itens

Ambiente

Organizacional Técnico Físico

Estrutura

Horas de trabalho

Grupos de trabalho

Função

Práticas de trabalho

Assistência

Interrupções

Estrutura da gerência

Estrutura de comunicação

Atitudes e cultura

Política de uso dos

computadores

Objetivos organizacionais

Relações industriais

Projeto do trabalho

Flexibilidade

Monitoramento do desempenho

Retorno do desempenho

Velocidade

Autonomia

Discrição

Configuração

Hardware

Software

Materiais de referência

Condições do local de

trabalho

Condições atmosféricas

Ambiente acústico

Ambiente térmico

Ambiente visual

Instabilidade ambiental

Projeto do local de trabalho

Espaço físico

Mobiliário

Postura do usuário

Localização

Segurança do local de

trabalho

Riscos para a saúde

Roupas e equipamentos de

proteção

Fonte: Traduzido de ISO 9241, Parte 11 (ISO, 1998).

Quadro 14 – Exemplos de indicadores de usabilidade.

Indicadores de Usabilidade

Efetividade Eficiência Satisfação

Percentual de metas alcançadas

Percentual de usuários que

completaram a tarefa com

sucesso

Número de consultas à ajuda

Número de consultas à

documentação

Número de consultas ao setor

de suporte

Número de erros ocorridos

Número de opções de menu

selecionadas incorretamente

Tempo para completar a tarefa

Custo financeiro para executar a

tarefa

Tempo gasto na primeira

tentativa

Tempo gasto para re-

aprendizado

Tempo produtivo

Tempo gasto para corrigir erros

Escala de satisfação

Freqüência de reclamações

Freqüência de reuso

Escala para facilidade de

aprendizado

Escala para manipulação de

erros

Escala para desconforto visual

Fonte: Traduzido de ISO 9241, Parte 11 (ISO, 1998).

A abordagem híbrida ora proposta atende aos requisitos de usabilidade

definidos na Parte 11 do padrão internacional ISO 9241 (ISO, 1998), uma vez

que, principalmente, os enfoques Mensuração do Desempenho e

Sondagem da Satisfação Subjetiva do Usuário vão ao encontro do que é

definido pelo padrão. A Inspeção de Conformidade também se associa

positivamente a esta definição, uma vez que se a inspeção for realizada antes

da mensuração do desempenho, os resultados obtidos por ela podem auxiliar

na definição dos objetivos da mensuração do desempenho, focando áreas alvo

do produto.

Conforme será apresentado em detalhes no próximo capítulo, os

indicadores de usabilidade utilizados pela abordagem híbrida durante a

condução da Mensuração do Desempenho estão de acordo com aqueles

definidos no padrão internacional. No tocante à eficiência, o indicador adotado

será o tempo de execução das tarefas. No que diz respeito à efetividade ou

eficácia, os indicadores utilizados serão o número de ações incorretas, o

número de opções incorretas, o número de erros repetidos e o número de

consultas à ajuda. Como indicadores de satisfação, a metodologia utiliza, além

dos comentários verbais (feitos pelos usuários durante as sessões de teste),

as respostas verbais coletadas na entrevista não estruturada e o índice de

satisfação obtido a partir dos dados coletados pela aplicação do questionário

de satisfação USE (User Satisfaction Enquirer), disponível no WebQuest

(2005). Na Figura 22, apresentam-se os indicadores de usabilidade utilizados

pela abordagem híbrida ora proposta.

Figura 22 - Indicadores de usabilidade da abordagem híbrida adotada.

Usabilidade

Satisfação

Eficiência

Efetividade

Tempo de execução da tarefa

Índice de satisfação subjetiva

Entrevista não estruturada

Comentários verbais

Número de ações incorretas

Número de opções incorretas

Número de erros repetidos

Número de consultas à ajuda

Capítulo 4 – O Estudo de Caso

Uma vez adaptada aos dispositivos móveis, aplicou-se a abordagem híbrida a

um produto-alvo. Descreve-se, em detalhes, neste capítulo, como se deu a

validação da abordagem híbrida ora proposta a um dispositivo móvel.

De acordo com o que foi apresentado nos capítulos anteriores, percebe-

se que não existe uma ordem de precedência explícita no tocante à aplicação

dos enfoques apresentados a um produto. Na verdade, os enfoques

Mensuração do Desempenho e Sondagem da Satisfação do Usuário

estão diretamente relacionados, pois a satisfação dos usuários será

mensurada durante e/ou após as sessões de teste de usabilidade (método

utilizado no enfoque da mensuração do desempenho). Estes enfoques estão

ligados, principalmente, quando se trata de usuários que não têm experiência

prévia com o produto avaliado, pois sua satisfação será mensurada

fundamentando-se apenas na experiência obtida durante a mensuração do

desempenho.

Por outro lado, a Inspeção de Conformidade pode ser realizada

antes, durante ou depois dos outros enfoques. No entanto, destaca-se que é

melhor iniciar o processo de avaliação pela inspeção de conformidade, uma

vez que os resultados alcançados pela inspeção podem direcionar a avaliação

dos demais enfoques, de forma a enfatizar ou refutar problemas-alvo já

detectados. Além disso, a realização da inspeção proporcionará ao avaliador

maior conhecimento do produto, permitindo-lhe selecionar melhores cenários

de teste para a etapa de mensuração do desempenho, assim como direcionar

os questionamentos na sondagem da satisfação.

Uma vez que as técnicas, métodos e estratégias utilizadas na

abordagem estão diretamente relacionadas ao produto avaliado, a escolha do

produto-alvo é o passo inicial desta abordagem.

4.1 O Produto-alvo

A escolha do produto-alvo em um processo de avaliação da usabilidade tem

um papel importante no direcionamento das estratégias e métodos a serem

adotados. Inicialmente, a escolha do produto-alvo foi direcionada para a

escolha de um telefone celular, uma vez que tal dispositivo abrange maior

número de usuários, devido a vários fatores, principalmente ao baixo custo.

Posteriormente, a escolha foi redirecionada para o Nokia 770 Internet

Tablet, um dispositivo que havia sido lançado recentemente no mercado

internacional, o que reforçou o argumento de que o produto mostrava-se

como uma nova tendência dentro da categoria de dispositivos móveis.

4.1.1 Nokia 770 Internet Tablet

No primeiro semestre de 2005, a fabricante finlandesa Nokia apresentou o

Nokia 770 Internet Tablet (Figura 23), um dispositivo móvel com funções

de PDA (Personal Digital Assistant), mas sem funcionalidades de telefone.

Lançado no último trimestre de 2005, tal dispositivo teve como alvos alguns

mercados selecionados da América e da Europa.

Figura 23 – Nokia 770 Internet Tablet

Os seguintes mecanismos de interação estão disponíveis no produto: (i)

botões apresentados na parte frontal e superior do dispositivo; e (ii) tela

colorida sensível ao toque, com resolução de 800 x 480 pixeis. O dispositivo

conecta-se à Internet através de conexões Wi-fi ou Bluetooth.

O produto apresenta uma variedade de aplicativos, dentre os quais

destacam-se: navegador (browser) com suporte a animações Flash, aplicativo

de correio eletrônico, visualizador de arquivos PDF, visualizador de imagens,

calculadora e jogos. Adicionalmente, o pacote de programas inclui leitor de

notícias em RSS, rádio via internet e tocador de mídia em diversos formatos.

No Quadro 15, apresentam-se as principais características do dispositivo

Nokia 770 Internet Tablet.

Quadro 15 – Características do Nokia 770 Internet Tablet

Nokia 770 Internet Tablet

Características Gerais

Telefone Não

PDA Sim

Ano de Lançamento 2005

Sistema Operacional Internet Tablet 2005 (baseado na distribuição Debian Linux)

Aplicativos

Navegador Web (browser), Flash Player v.6, Aplicativo de correio

eletrônico, Rádio de Internet, Visualizador de notícias (News Reader -

RSS), Tocadores multimídia, Visualizador de arquivos PDF, Visualizador

de imagens, Calculadora, Relógio, Jogos, dentre outros.

Memória RS-MMC (Reduced size – Multimedia card) de 64 MB

Flash 128MB

Dimensões 141 x 79 x 19 mm

135 x 78 x 14 mm (sem a capa protetora)

Peso 230 g

185 g (sem a capa protetora)

Bateria

Autonomia em stand-by 168 horas (7 dias)

Autonomia em uso 3 horas

Tela

Tamanho 4.13’’

Resolução 800 x 480

Nº de cores 65.536

Sensível ao toque (touch screen) Sim

Conectividade

Wi-fi 802.11b/g Bluetooth 1.2

USB Slot RS-MMC

Saída de áudio estéreo de 3,5 mm Tomada de alimentação de 2 mm

Entrada de Dados

Tela sensível ao toque Teclado QWERTY

Botões Reconhecimento de escrita

4.1.2 Escopo de Avaliação do Produto

Definido o produto, a etapa seguinte consistiu em definir o escopo de

avaliação, i.e. decidir quais os aspectos de software e/ou hardware a serem

avaliados. No que diz respeito à parte física e ao hardware, decidiu-se avaliar

os seguintes aspectos: (i) tamanho e peso do dispositivo; (ii) localização e

facilidade de uso dos botões; (iii) localização e facilidade de uso da caneta

stylus; (iii) brilho/ reflexo da tela de visualização; (iv) capacidade e velocidade

de processamento. Ver a Figura 24 e a Figura 25.

No que diz respeito aos aspectos de software, o escopo foi delimitado de

forma a abranger a tela inicial do dispositivo, incluindo o Navegador de

Tarefas (e seus símbolos e menus associados), a Área de Indicação de

Status (Figura 26), e os seguintes aplicativos: (i) navegador (browser) Web;

(ii) aplicativo de correio eletrônico; (iii) editor de anotações (Notes); (iv) leitor

de arquivos PDF (PDF Reader); e (v) aplicativo de reprodução de mídia de

áudio (Audio Player). Tais aplicativos foram incluídos no escopo da avaliação

por serem nativos do dispositivo, i.e. são disponibilizados com o Nokia 770

Internet Tablet.

Figura 24 – Visão frontal do Nokia 770 Internet Tablet.

Figura 25 – Visão superior do Nokia 770 Internet Tablet.

Além dos modos de entrada textual, teclado virtual e reconhecimento de

escrita, também foram incluídos no escopo de avaliação o manual do produto

(ajuda off-line) e o Help (ajuda on-line).

Figura 26 - Tela do Nokia 770 Internet Tablet.

4.2 A Inspeção de Conformidade

Conforme relatado anteriormente, a etapa de inspeção de conformidade de um

produto a um padrão pode ser realizada antes, durante ou depois da

realização dos outros dois enfoques: mensuração do desempenho e sondagem

da satisfação dos usuários. Neste trabalho de pesquisa, a etapa de inspeção

ocorreu em dois momentos, antes e durante a mensuração do desempenho,

devido ao processo de aquisição do padrão ISO 14754, o qual o GIHM (Grupo

de Interfaces Homem-Máquina) ainda não possuía.

Uma vez identificados e investigados os padrões internacionais

apresentados no Capítulo 3, A Metodologia Híbrida de Avaliação,

verificaram-se quais seriam aplicáveis ao produto em questão. Além da

aplicabilidade do conteúdo do padrão ao produto e escopo delimitado, tal

decisão considerou também aspectos de tempo e custo. Assim, verificou-se

que os seguintes padrões eram aplicáveis ao escopo delimitado para o

produto-alvo (Figura 27): (i) ISO 14754 – Pen-based interfaces – Common

–

Navegador de tarefas

2 – Área de título da aplicação

3 – Área de indicação de status

4 – Área da aplicação

gestures for text editing with pen-based systems (ISO, 1999a); (ii) ISO 24755

– Screen icons and symbols for personal mobile communication device (draft

version) (ISO, 2005); (iii) ISO 9241 – Part 10 – Dialogue Principles (ISO,

1996); (iv) ISO 9241 – Part 14 – Menu dialogues (ISO, 1997); (v) ISO 9241 –

Part 16 – Direct manipulation dialogues (ISO, 1999b); e (vi) ISO 9241 – Part

17 – Form filling dialogues (ISO, 1998b).

Figura 27 – Padrões utilizados na inspeção de conformidade.

O padrão internacional ISO 14754 (ISO, 1999a) mostrou-se adequado

ao escopo da inspeção de conformidade do produto selecionado, pois trata

especificamente da edição de texto com caneta stylus, i.e. um dos modos de

entrada textual do dispositivo.

O ISO 24755 (ISO, 2005) ainda não adquiriu o status de padrão

internacional, uma vez que ainda está em elaboração (discussão). No entanto,

incluiu-se a inspeção com sua versão draft, uma vez que as recomendações

contidas neste documento mostraram-se aplicáveis ao escopo do produto

avaliado.

Apesar da Parte 10 do padrão ISO 9241 (ISO, 1996) ter sido

descontinuada, chamando-se agora de ISO 9241 – Ergonomics of human-

system interaction – Part 110: Dialogue principles (ISO, 2006), incorporou-se

a versão antiga do padrão, por ser a versão disponível para a pesquisa.

Este padrão sugere que durante as fases de especificação,

desenvolvimento e avaliação de sistemas baseados em diálogos de interação,

sejam aplicados sete princípios de diálogo. Entretanto, tais princípios devem

ser aplicados apenas como diretrizes, pois seu uso está relacionado às

características dos usuários, das tarefas, do ambiente de uso e da própria

técnica de diálogo utilizada.

Uma vez que a interface do Nokia 770 Internet Tablet apresenta

diálogos com o usuário através de painéis de menu, manipulação direta de

ISO 9241

ISO 14754

ISO 24755

Inspeção de Conformidade

Nokia 770 Internet Tablet

Parte 14

Parte 16

Parte 17

objetos visuais e preenchimento de formulários, as partes 14 (ISO, 1997), 16

(ISO, 1999b) e 17 (ISO, 1998b) do padrão ISO 9241 foram consideradas

aplicáveis.

É importante destacar que a Parte 11 do padrão internacional ISO 9241

(ISO, 1998a) embora não seja utilizada para inspecionar o produto, foi

utilizada para nortear a abordagem híbrida como um todo, principalmente no

que diz respeito à mensuração do desempenho e à sondagem da satisfação

dos usuários.

Portanto, embora o enfoque inspeção de conformidade envolva as

partes 10 e 11 do padrão ISO 9241, utilizou-se apenas as partes descritas na

Figura 27 (i.e. partes 14, 16 e 17) no processo de inspeção de conformidade

do produto.

4.3 Mensuração do Desempenho e Sondagem da

Satisfação do Usuário

Nesta seção, apresentam-se detalhadamente as etapas seguidas para a

condução da avaliação da usabilidade a partir da mensuração do desempenho

e da sondagem da satisfação dos usuários.

Inicialmente, apresentam-se na subseção 4.3.1, Contextos de Uso, os

aspectos relacionados à definição dos contextos de uso de realização da

mensuração do desempenho e, conseqüentemente, da sondagem da

satisfação.

Na subseção seguinte, Metodologia Adotada, são apresentadas as

etapas que caracterizam a avaliação ora relatada.

4.3.1 Contextos de Uso

A abordagem híbrida de avaliação apresentada nesta pesquisa contempla a

realização de testes com usuários em dois contextos de uso, laboratorial e de

campo.

O contexto laboratorial compreende a realização da sessão de teste em

um laboratório de usabilidade, no qual a sala de testes assemelha-se a uma

sala de estar ou de escritório. Os testes de usabilidade ocorreram no

Laboratório de Interfaces Homem-Máquina (LIHM). A infra-estrutura,

composta, dentre outras coisas, por um ambiente climatizado, já estava

praticamente pronta, com exceção de alguns ajustes feitos na disposição do

mobiliário e na instalação de um ponto de acesso sem fio. Na Figura 28 é

ilustrada uma vista superior do LIHM.

Figura 28 – Laboratório de Interface Homem-Máquina.

As avaliações de campo, segundo contexto de uso, ocorreram no 3º piso

do Departamento de Sistemas e Computação da UFCG (Universidade Federal

de Campina Grande). Os usuários de teste deste contexto poderiam deslocar-

se para qualquer lugar do 3º piso do prédio, podendo inclusive usufruir de um

ambiente com cadeiras e mesa.

Inicialmente, havia sido planejado que os testes de campo ocorreriam

em um ambiente aberto (e.g. jardim, estacionamento). No entanto, dado que

as tarefas de teste incluíam acesso à Internet através de conexão wireless,

optou-se por este ambiente para a realização dos testes de campo, em virtude

do acesso irrestrito à rede.

Montou-se, no mesmo piso, uma sala de apoio, onde o receptor do sinal

da micro-câmera ficou ligado à televisão e vídeo cassete para gravação em

VHS. Apesar do acesso à rede sem fio também estar disponível nos demais

pisos do prédio, havia uma restrição relacionada à distância máxima permitida

para captação do sinal da micro-câmera utilizada para registrar os vídeos da

sessão.

Para a gravação do vídeo em campo, foram desenvolvidos, ao longo da

pesquisa, dois equipamentos, a serem apresentados mais adiante, para

acoplar a micro-câmera ao dispositivo avaliado.

4.3.2 Metodologia Adotada

A metodologia adotada para condução da avaliação, sob a ótica dos enfoques

da mensuração do desempenho e da sondagem da satisfação do usuário,

compôs-se de seis etapas principais, ilustradas na Figura 29 e descritas nas

próximas subseções.

A etapa Condução do Ensaio e Coleta de Dados encontra-se

destacada na Figura 29 para indicar que esta etapa compreende os testes

laboratoriais e de campo.

Figura 29 – Metodologia adotada para condução da avaliação.

4.3.2.1 Planejamento dos Experimentos Avaliatórios

Uma vez que o produto-alvo de estudo e seu escopo já estavam definidos, a

etapa de planejamento foi iniciada pela Definição das Metas e Interesses

avaliação: diagnosticar de maneira objetiva e subjetiva o processo interativo

usuário produto-alvo.

Em seguida, iniciou-se a etapa de Caracterização do Universo Amostral

de Usuários, na qual, com base no produto-alvo escolhido e nas metas e

interesses da avaliação, foram definidas as principais características para o

delineamento dos perfis dos usuários. O universo de usuários foi categorizado

em três perfis: principiantes, intermediários e experientes.

Destacam-se como características dos usuários principiantes do

Elaboração do Material

do Ensaio

Apresentação dos

Resultados

Tabulação e Análise

dos Dados Coletados

Treinamento do

Universo Amostral

Planejamento da

Avaliação

Condução do Ensaio e

Coleta de Dados

experimento ora relatado: (i) inexperiência com o uso do produto; (ii) pouco

conhecimento em informática; e (iii) atuação em áreas de formação distintas

de informática e/ou engenharia elétrica.

Como características dos usuários intermediários, destacam-se: (i)

inexperiência com o uso do produto; e (ii) conhecimentos avançados no uso

de sistemas computacionais; e (iii) formação em informática.

Por fim, os usuários experientes apresentaram as seguintes

características: (i) experiência com o uso do produto; e (ii) conhecimentos

avançados no uso de sistemas computacionais.

Tendo em vista que o produto-alvo testado apresenta sua interface em

língua inglesa, inclusive a ajuda (on-line e off-line), um dos pré-requisitos

para recrutamento dos usuários de teste foi o conhecimento básico em língua

inglesa (capacidade de leitura).

No Quadro 16 , são apresentadas as características que delimitam cada

um dos perfis de usuário considerados neste experimento. Dois perfis de

usuários (principiantes e intermediários) caracterizam-se pela inexperiência

com o produto, pois o Nokia 770 Internet Tablet, além de ser um produto

novo no mercado de dispositivos móveis, ainda não é largamente

comercializado no Brasil.

Quadro 16 – Características dos perfis de usuários de teste.

Categoria

Característica

Principiantes Intermediários Experientes

Conhecimento mínimo em

língua inglesa

Sim Sim Sim

Conhecimento em

Informática

Básico/ Intermediário Intermediário/ Avançado Intermediário/ Avançado

Experiência com o

produto

Não Não Sim

A etapa seguinte consistiu no Levantamento dos Usuários de Teste

Potenciais, e foi caracterizada por uma sondagem informal da quantidade de

usuários disponíveis e interessados em participar dos testes de usabilidade.

Um levantamento inicial dos potenciais usuários de teste mostrou que

havia cerca de 50 usuários. Este número já se mostrava superior ao número

de sessões de teste almejadas. No entanto, este levantamento mostrou a

predominância de usuários intermediários e um número pouco expressivo de

usuários experientes. Constatou-se também que não seria possível recrutar

muitos usuários experientes, uma vez que o produto não é largamente

comercializado no Brasil e que, no âmbito da instituição onde esta pesquisa foi

conduzida havia apenas cerca de uma dezena de potenciais usuários de teste

experientes.

Uma vez que o universo potencial de usuários já estava identificado e

sua categorização também, partiu-se para a etapa de Definição do Modo de

Recrutamento dos Usuários, na qual se decidiu como estratégia de

recrutamento o contato pessoal por telefone e/ou e-mail.

Uma das premissas da abordagem híbrida e de sua aplicação consiste

na definição de um número significativo de usuários de teste. Portanto, a

etapa de Decisão do Número de Participantes do Ensaio Avaliatório

resultou na

realização dos ensaios de avaliação com 42 usuários de teste, sendo dois

destes usuários participantes dos testes-piloto.

A escolha do número de usuários justifica-se pela premissa de que um

número maior de usuários possibilita a detecção de um número maior de

falhas, além de possibilitar maior diversidade de perfis de usuários recrutados

para os testes. Além disto, considerou-se também a disponibilidade de

recursos humanos, orçamentários e de tempo para a realização dos testes.

Assim, o universo amostral, totalizado em 40 usuários, foi dividido em

três subgrupos de forma a contemplar as categorias de usuários de teste -

principiantes, intermediários e experientes – na proporção de 16:16:8,

respectivamente. Como os ensaios de avaliação seriam conduzidos em dois

contextos de uso distintos, planejou-se a realização de 20 sessões de teste em

cada um deles, estabelecendo a proporção 8:8:4 (principiantes,

intermediários, experientes) para cada um dos contextos (laboratório e

campo).

Em seguida, foram selecionadas as Técnicas de Avaliação

de usabilidade

que seriam empregadas para avaliar o produto a partir da mensuração do

desempenho e da sondagem da satisfação. Tais técnicas foram escolhidas em

função dos recursos humanos, físicos, orçamentários e de prazo disponíveis,

assim como baseadas nas informações coletadas durante as atividades

anteriores.

Para a sondagem da satisfação subjetiva dos usuários optou-se pela

utilização de questionários, anotações de comentários verbais e dados

coletados a partir de uma entrevista não estruturada. Para auxiliar o processo

de coleta de dados através de questionários, foi utilizada a ferramenta

WebQuest (Queiroz, 2005; Oliveira, 2005; WebQuest, 2006).

O WebQuest foi desenvolvido para auxiliar avaliadores e projetistas de

sistemas interativos no processo sondagem da satisfação do usuário e,

conseqüentemente, no cálculo de um índice de satisfação subjetiva dos

usuários. A ferramenta gerencia desde a etapa da concepção de questionários

pelo avaliador até a computação e exibição dos resultados. Dois questionários

são disponibilizados pela ferramenta e foram utilizados nesta pesquisa: o

USer (User Sketcher) para delineamento do perfil dos usuários, e o USE

(User Satisfaction Enquirer) utilizado para sondagem da satisfação.

No que concerne à mensuração do desempenho optou-se pela utilização

da técnica de observação direta com registro em vídeo, tanto para o ambiente

de teste em laboratório quanto para o ambiente de teste realizado em campo.

Além desta técnica, decidiu-se que, durante as sessões de teste, os usuários

fossem incentivados a verbalizar seus procedimentos (thinking aloud).

Para finalizar o planejamento, ainda é necessário Definir os Indicadores

Objetivos e Subjetivos mais significativos para esta pesquisa. Foram

selecionados indicadores de natureza quantitativa e qualitativa. Os indicadores

quantitativos considerados neste experimento foram: (i) tempo execução da

tarefa; (ii) número de opções incorretas; (iii) número de ações incorretas; (iv)

número de erros repetidos; e (v) número de consultas à ajuda (on-line e off-

line).

No que diz respeito aos indicadores qualitativos considerou-se: (i)

facilidade de uso do produto; (ii) facilidade de uso dos mecanismos de entrada

de dados; (iii) facilidade de uso dos modos de entrada de texto; (iv) facilidade

de compreensão dos termos e símbolos do produto; (v) facilidade de

compreensão das mensagens de erro/ advertência do produto; e (vi) eficiência

da ajuda.

Apesar de estes indicadores tratarem especificamente da mensuração

do desempenho e da sondagem da satisfação, eles também estão relacionados

a aspectos focados na inspeção de conformidade.

Os Quadros 17, 18 e 19 resumem esta etapa de planejamento finalizada

pela definição dos indicadores objetivos e subjetivos.

Quadro 17 – Aspectos gerais do ensaio de interação.

ASPECTOS GERAIS DO ENSAIO

PRODUTO

Nokia 770 Internet Tablet

NATUREZA DO PRODUTO

Dispositivo móvel com funções de um assistente pessoal digital

(PDA – Personal Digital Assistant) com acesso à Internet

OBJETIVO GERAL

Avaliação de aspectos do processo interativo usuário-produto

OBJETIVOS ESPECÍFICOS

i. Observação da facilidade de uso do produto;

ii. Observação da facilidade de execução das tarefas;

iii. Observação da facilidade de uso dos mecanismos de

entrada de dados;

iv. Observação da eficiência dos modos de entrada de texto;

v. Observação da clareza dos termos e símbolos utilizados no

produto;

vi. Mensuração do tempo de conclusão das tarefas;

vii. Mensuração do número de ações incorretas durante a

execução da tarefa;

viii. Mensuração do número de opções incorretas durante a

execução da tarefa;

ix. Mensuração do número de erros repetidos durante a

execução das tarefas;

x. Mensuração do número de consultas à ajuda durante a

execução das tarefas;

NATUREZA DA AVALIAÇÃO

Somativa objetiva/ subjetiva e qualitativa/ quantitativa

NATUREZA DOS TESTES

Laboratorial/ De campo

NÚMERO DE AVALIADORES

NATUREZA DAS TAREFAS AVALIADAS

Mais freqüentes e mais críticas

DIMENSÃO DO UNIVERSO AMOSTRAL

40 (quarenta) usuários de teste

DURAÇÃO COMPLETA DO ENSAIO

12 semanas (do planejamento até a condução das sessões de

teste)

100

Quadro 18 – Aspectos específicos relativos ao teste de usabilidade.

ASPECTOS ESPECÍFICOS DO ENSAIO – Teste Laboratorial e de Campo

META

Diagnóstico objetivo do processo interativo usuário produto

INTERESSE GERAL

Sondagem dos perfis do universo amostral de usuários de

teste e da satisfação subjetiva dos usuários no tocante ao uso

do produto

TÉCNICA DE AVALIAÇÃO

Aplicação dos questionários USE e USer, disponíveis na

ferramenta WebQuest.

OBJETIVOS ESPECÍFICOS

i. Delineamento dos perfis do universo amostral de usuários

de teste para sua discriminação em categorias

(principiantes, intermediários e experientes);

ii. Investigação da satisfação subjetiva dos usuários de teste

para a confrontação com os demais fatores de avaliação

considerados no experimento;

INDICADORES QUALITATIVOS

Satisfação subjetiva

DIMENSÃO DO UNIVERSO AMOSTRAL

40 (quarenta) usuários de teste

TIPOS DE RESULTADOS PREVISTOS

i. Estudo discriminatório dos respondentes do questionário

pré-teste;

ii. Estudo analítico da satisfação subjetiva dos respondentes

dos questionários pós-teste.

4.3.2.2 Treinamento do Universo Amostral

O treinamento do universo de usuários aconteceu de forma individual e

consistiu em duas etapas. Uma vez recrutado um usuário e agendada sua

sessão era lhe enviado, por e-mail, o material básico acerca das funções

básicas do produto e sua utilização (vide Anexo A).

Posteriormente, na ocasião da sessão de teste e durante a etapa de

introdução do participante no ambiente de avaliação, o avaliador responsável

pela condução da sessão de teste apresentava o produto ao usuário,

descrevendo suas principais funções e formas de uso. Nesta ocasião eram

esclarecidas potenciais dúvidas relacionadas ao produto.

As etapas de treinamento foram principalmente direcionadas para os

perfis de usuário principiantes e intermediários, uma vez que os usuários

experientes já detinham conhecimento sobre o produto e sua utilização.

4.3.2.3 Elaboração do Material do Ensaio

Esta etapa de elaboração dos materiais que auxiliaram os ensaios de interação

foi decomposta em quatro sub-etapas ou atividades.

A primeira atividade consistiu no Planejamento e Estruturação das

Tarefas de Teste. Tomando como ponto de partida o conhecimento do

102

avaliador acerca do produto, adquirido durante as atividades de investigação

do escopo, foram definidas, inicialmente, 8 tarefas de teste. Tal decisão

também foi guiada pelos resultados preliminares obtidos com a inspeção de

conformidade.

Após a realização dos testes piloto, as sessões de teste foram

reestruturadas, totalizando 6 tarefas. As tarefas de teste foram planejadas de

forma a contemplar desde a inicialização do dispositivo até o uso dos seus

principais aplicativos e funções (e.g. correio eletrônico, navegador Web,

tocador de áudio, edição de anotações), explorando inclusive os modos de

entrada de dados e textuais. Tais tarefas também estão em consonância com

o escopo anteriormente definido. No Quadro 20, apresenta-se uma síntese das

tarefas de teste planejadas.

Observa-se, no Quadro 20, que foram consideradas na avaliação

laboratorial e de campo as mesmas tarefas de teste. Tal decisão foi tomada

após a validação do material nas sessões de teste-piloto, de forma a

possibilitar a posterior comparação entre os resultados obtidos em ambos os

contextos de avaliação.

Quadro 20 – Síntese do planejamento das tarefas de teste.

PLANEJAMENTO DAS TAREFAS DE TESTE

NATUREZA DO ENSAIO

Laboratorial / De Campo.

Laboratorial

NÚMERO DE TAREFAS

De Campo

Tarefa 1

Inicialização do dispositivo

Tarefa 2

Acesso à Web

Tarefa 3

Visualização de arquivos PDF

Tarefa 4

Entrada de dados textuais

Tarefa 5

Uso do correio eletrônico

Laboratorial

(20 usuários)

Tarefa 6

Uso do aplicativo tocador de áudio

Tarefa 1

Inicialização do dispositivo

Tarefa 2

Acesso à Web

Tarefa 3

Visualização de arquivos PDF

Tarefa 4

Entrada de dados textuais

Tarefa 5

Uso do correio eletrônico

ESPECIFICAÇÃO DAS

TAREFAS

De campo

(20 usuários)

Tarefa 6

Uso do aplicativo tocador de áudio

Em seguida, foi elaborada a Ficha Cadastral do Participante, cujo

propósito principal é fazer um cadastro dos participantes, de forma a criar

uma base própria, e cada vez maior, de potenciais usuários de teste para o

LIHM. Esta ficha pode ser visualizada no Anexo B.

103

Além disso, foram elaborados: (i) o Documento de Aceitação das

Condições de Teste (Anexo C), que trata das questões éticas relacionadas ao

registro em vídeo da sessão de teste; e (ii) o Termo de Confidencialidade

(Anexo D), que está relacionado à divulgação de informações relacionadas ao

produto.

Em seguida, foi elaborado o Material Necessário à Condução do

Processo Avaliatório, a saber: (i) questionários pré e pós-teste; (ii) roteiros

das tarefas de teste para o usuário e para o avaliador; (iii) fichas de registro

de eventos; (iv) questionamentos para guiar a entrevista não-estruturada; (v)

documentos de preparação do ambiente de teste.

O processo de delineamento do perfil dos usuários e da sondagem da

sua satisfação, realizada através da aplicação dos questionários pré-teste e

pós-teste, foi apoiado pela ferramenta de questionários WebQuest (2006).

O WebQuest oferece um conjunto inicial de questões, permitindo que

sejam modificadas, adicionadas ou excluídas. Uma vez que esta ferramenta é

direcionada para avaliação de sistemas interativos, grande parte das questões

se mostrou adequada ao contexto da avaliação de um dispositivo móvel. O

questionário pré-teste corresponde ao USer (User Sketcher), enquanto o pós-

teste corresponde ao USE (User Satisfaction Enquirer).

As principais premissas que nortearam a elaboração de tais

questionários foram: (i) os questionários deveriam estar alinhados com o

escopo avaliado e, consequentemente, com as tarefas selecionadas, de forma

a confrontar a execução prática com o resultado dos questionários; (ii) os

questionários não deveriam ser muito longos, de forma a não causar cansaço

ou desconforto ao usuário.

Os questionários pré-teste (Delineamento do Perfil dos Usuários) e pós-

teste (Sondagem da Satisfação Subjetiva dos Usuários) utilizados compõem,

respectivamente, os Anexos E e F. No Quadro 21 apresenta-se uma síntese do

planejamento relacionada à sondagem do perfil e da satisfação do usuário.

Nesta sub-etapa, foram também desenvolvidos: (i) os Roteiros das

Tarefas de Teste, uma versão para o avaliador e outra para o usuário (Anexos

G e H, respectivamente); e (ii) a Ficha de Registro de Eventos (Anexo I) para

auxiliar o avaliador no registro dos eventos importantes ocorridos durante a

sessão de teste, principalmente no que diz respeito aos indicadores objetivos.

104

Quadro 21 – Síntese do planejamento da sondagem do usuário.

PLANEJAMENTO DA SONDAGEM DO USUÁRIO

NATUREZA DA

SONDAGEM

PROBLEMAS-

ALVO

OBJETIVOS

DA SONDAGEM

TÉCNICA FASE

INSTRUMENTO DE

SONDAGEM

CARACTERÍSTICAS DO USUÁRIO

EXPLORADAS

Físicas

Sexo

Faixa Etária

Destreza manual

Uso de lentes

corretivas

Pré-teste

USEr

(WebQuest)

Relativas ao

conhecimento e à

experiência

Grau de instrução

Experiência

computacional prévia

Tempo de uso de

sistemas

computacionais

Freqüência de uso de

sistemas

computacionais

Plataforma

computacional mais

utilizada

Experiência prévia

com o Nokia 770

Freqüência de uso do

Nokia 770

Experiência prévia

com produtos similares

Familiaridade com a

língua inglesa

DE CAMPO

III

APLICAÇÃO DE

QUESTIONÁRIOS

Pós-teste

USE

(WebQuest)

Relativas à Atitude

e à Motivação

Aspectos de uso do

Nokia 770

Documentação on-line

e off-line

Interação geral com o

Nokia 770

I. Com a forma/ dimensões do produto;

II. Com os mecanismos e modos de entrada de dados;

III. Com a capacidade de processamento de informação;

IV. Com a navegação no produto;

i. Confirmação da existência de problemas;

ii. Identificação de outros problemas;

105

Por fim, foi desenvolvido nesta sub-etapa um Guia para a Entrevista

Não Estruturada (Anexo J), cujo propósito era auxiliar o avaliador na condução

dos questionamentos. Como se tratava de uma entrevista não estruturada,

informal, o avaliador podia fazer adaptações, de acordo com o comportamento

do usuário e o andamento da sessão de teste.

A última atividade relacionada à etapa de elaboração do material do

ensaio consistiu na Validação do Material Elaborado

. A validação deu-se

através da condução de duas sessões de teste-piloto, uma no laboratório e

outra em campo, com o propósito de detectar problemas com o material

previamente produzido (e.g. questionários, roteiros das tarefas de teste) e

com a estratégia de condução dos ensaios.

Decidiu-se conduzir as sessões de teste-piloto com usuários

intermediários, tanto por apresentarem características de ambas as demais

categorias de usuários consideradas quanto por constituírem o maior

contingente de usuários disponíveis para o experimento.

As sessões de teste-piloto contemplaram a execução de 8 (oito) tarefas

para o teste laboratorial e 7 (sete) tarefas para o realizado em campo (Quadro

22). A estimativa de tempo para execução das tarefas era de 65 minutos em

laboratório, e 61 minutos no campo. O teste laboratorial compreendia uma

oitava tarefa relacionada ao compartilhamento de dados, via interface USB,

entre o Internet Tablet e o computador. Baseada nas descrições dos

contextos de uso utilizados, apresentadas anteriormente neste capítulo,

verifica-se que a Tarefa 8 aplicou-se apenas ao contexto laboratorial.

Nos testes laboratoriais, a comunicação entre o usuário e a equipe de

avaliação era realizada através de microfone e som ambientes. Além de mesa

e cadeira, disponibilizou-se o material de teste necessário para condução do

ensaio de interação, i.e. roteiro das tarefas (versão do usuário) e manual

impresso do produto.

Foram utilizadas três câmeras na sala de teste, a saber: (i) uma câmera

com funções de pan (movimento horizontal da esquerda para direita, e vice-

versa), tilt (movimento vertical de cima para baixo, e vice-versa) e zoom ótico

e digital, para a captura de informações da tela do dispositivo (Figura 28 - B);

(ii) câmera comum de teto, para a captura de uma visão geral da sala de teste

(Figura 28 - C); e (iii) uma micro-câmera, para a captura das expressões

faciais do usuário (Figura 28 - D).

106

Quadro 22 – Síntese do planejamento das tarefas de teste para o teste-piloto.

PLANEJAMENTO DAS TAREFAS DE TESTE – TESTE-PILOTO

NATUREZA DO ENSAIO

Laboratorial / De Campo.

Laboratorial

08 65 min.

NÚMERO DE TAREFAS

De Campo

07 61 min.

Tarefa 1

Inicialização do dispositivo

Tarefa 2

Acesso à Web

Tarefa 3

Visualização de arquivos PDF

Tarefa 4

Entrada de dados textuais

Tarefa 5

Uso do correio eletrônico

Tarefa 6

Uso do aplicativo tocador de áudio

Tarefa 7

Uso de aplicativo de desenho

Laboratorial

01 usuário

Tarefa 8

Compartilhamento de dados com o computador

Tarefa 1

Inicialização do dispositivo

Tarefa 2

Acesso à Web

Tarefa 3

Visualização de arquivos PDF

Tarefa 4

Entrada de dados textuais

Tarefa 5

Uso do correio eletrônico

Tarefa 6

Uso do aplicativo tocador de áudio

ESPECIFICAÇÃO DAS

TAREFAS

De campo

01 usuário

Tarefa 7

Uso de aplicativo de desenho

O mobiliário utilizado (cadeira e mesa) foi posicionado a fim de que a

câmera, com pan & tilt, fixada no teto da sala pudesse capturar a tela do

Nokia 770 Internet Tablet, assim como o manuseio do dispositivo. Como as

tarefas de teste compreendiam o acesso à Internet, um ponto de acesso sem

fio (wireless access point) foi instalado no laboratório. Na Figura 30, mostra-se

uma ilustração da imagem gerada pela câmera de zoom durante a sessão de

teste-piloto.

Figura 30 – Teste-piloto em ambiente laboratorial.

107

Na sala de controle, i.e. sala da equipe de avaliação, o material utilizado

compreendeu os roteiros das tarefas (versão do avaliador) e a ficha de

registro de eventos. Além disso, cronômetros foram utilizados para a

mensuração do tempo de execução das tarefas.

A primeira dificuldade encontrada nos testes de campo deu-se no

tocante à estratégia de captura da interação do usuário com o produto. Uma

revisão na literatura constatou a iniciativa de alguns pesquisadores no

desenvolvimento de suportes que adaptados a uma micro-câmera, auxiliavam

no registro em vídeo, e.g. Betiol (2004), Roto et al. (2004), Weiss (2002).

Então, desenvolveu-se um aparato para acoplar a micro-câmera sem fio ao

dispositivo alvo da avaliação (Figura 31).

Foi montada uma sala de apoio para comportar a infra-estrutura

necessária nos testes de campo, i.e. o receptor do sinal da micro-câmera, a

televisão e vídeo cassete responsáveis pela gravação da sessão em fita VHS.

Figura 31 – Equipamento de gravação para teste de campo.

A execução das tarefas de teste nas sessões-piloto demandaram mais

de 83 minutos, em laboratório, e cerca de 76 minutos, no campo.

Considerando o tempo gasto nas outras etapas do teste, i.e. introdução do

participante no ambiente, treinamento, questionários e entrevista, cada

sessão de teste excedeu 2 horas de duração. Os registros em vídeo e as

observações verbais informais dos usuários mostraram que a longa duração

108

das sessões de teste-piloto causou desconforto e cansaço nos usuários.

Assim sendo, decidiu-se reduzir o número de tarefas de teste e seu

escopo. A Tarefa 07 foi excluída, uma vez que seu propósito era avaliar o

controle do usuário ao manipular o dispositivo com a caneta stylus e ter-se

percebido, no decorrer do teste-piloto, que tal avaliação poderia ser feita ao

longo da sessão.

A Tarefa 08 também foi excluída, pois o seu objetivo inicial, avaliar o

compartilhamento de dados com o computador desktop, foi descaracterizado,

uma vez que a manipulação de arquivos entre os dispositivos (Nokia 770

Internet Tablet e computador) era realizada utilizando o computador. Os

escopos das Tarefas 4 e 5 foram alterados, de modo a simplificá-las, enquanto

outras tarefas tiveram seus tempos de execução re-estimados. Assim,

conforme já foi explicitado no Quadro 18, a execução das tarefas de teste,

quer no laboratório ou no campo, foi re-estimado para 54 min.

Após a condução dos testes piloto, percebeu-se que seria inviável

analisar os vídeos das sessões de teste com a qualidade do vídeo adquirida,

tanto nos testes de campo quanto nos testes laboratoriais. A qualidade do

vídeo registrado mostrou-se inadequado devido, principalmente: (i) às

limitações da micro-câmera; e (ii) ao brilho do display de visualização,

bastante influenciado pela luminosidade do ambiente.

Após a realização dos testes-pilotos, uma revisão na literatura a

respeito de aplicativos para captura remota de tela identificou o x11VNC

(2006), uma versão do VNC Server (2006) para o Nokia 770 Internet

Tablet. Com o x11VNC permitiu-se a visualização remota, em alta qualidade,

da tela do dispositivo avaliado. Assim, o software de gravação CamStudio

(2006) permitiu registrar a visualização como arquivos de vídeo.

4.3.2.4 Condução do Ensaio e Coleta de Dados

Esta etapa caracterizou-se pela aplicação das técnicas pré-definidas de

avaliação da usabilidade e pela coleta de indicadores objetivos e subjetivos

que respaldassem a verificação da veracidade das hipóteses previamente

definidas.

A condução do ensaio, conforme citado anteriormente, aconteceu em

dois contextos de uso, no laboratório e no campo. As sessões de teste

109

compreenderam as seguintes atividades (Figura 32): (i) introdução do

participante no ambiente de teste; (ii) realização de treinamento; (iii)

aplicação de questionário pré-teste; (iv) execução do roteiro das atividades de

teste; (v) aplicação de questionário pós-teste; e (vi) realização de entrevista

não estruturada com o usuário.

Figura 32 – Atividades realizadas na condução do ensaio de interação.

A introdução do usuário no ambiente de teste consistiu no

esclarecimento de tópicos acerca da usabilidade, do propósito do teste e dos

procedimentos a serem seguidos durante a sessão. Na ocasião, foram também

abordadas as questões éticas envolvidas. Neste sentido, o avaliador

comprometeu-se em não divulgar os dados pessoais dos usuários, nem

identificá-los no relatório de falhas. Por outro lado, os usuários

comprometeram-se, através da assinatura do Termo de Confidencialidade, em

não divulgar informações acerca do produto testado. Os usuários também

optaram por autorizar, ou não, o uso do áudio e vídeo de sua sessão para

elaboração de relatórios multimídia (Documento de Aceitação das Condições

de Teste).

Em seguida, foi realizada a segunda etapa do treinamento, na qual,

além de serem explicitados os principais objetivos e funções do dispositivo

testado, esclareciam-se potenciais dúvidas do usuário.

A administração do questionário pré-teste (User Sketcher) teve como

objetivo coletar dados sobre o perfil dos usuários (e.g. sexo, faixa etária, grau

de instrução) e dados relacionados ao conhecimento prévio do usuário com o

Execução das

tarefas de teste

Introdução do

usuário no ambiente

de teste

Treinamento do

usuário

Aplicação de

questionário pré-

teste

Aplicação de

questionário pós-

teste

Realização de

entrevista não

estruturada

Condução do Ensaio

e Coleta de Dados

110

produto avaliado.

A execução das tarefas pelos usuários de teste foi guiada pelo roteiro

que se encontra no Anexo H. Compreendeu também a observação do usuário

pelo avaliador, com registro em vídeo e coleta de indicadores objetivos e

subjetivos.

O registro em vídeo das sessões de teste realizadas em campo foi

auxiliado por um segundo equipamento para acoplar a micro-câmera sem fio

ao dispositivo avaliado (Figura 33). Este segundo equipamento pesa 245g em

vez das 360g do primeiro equipamento desenvolvido e fornece maior liberdade

de ajuste da micro-câmera.

Figura 33 – Equipamento de suporte para micro-câmera.

O questionário pós-teste (User Satisfaction Enquirer) foi administrado

com o propósito de coletar dados relativos à satisfação do usuário no tocante

ao uso do produto, à navegação pela interface e à documentação. Tanto o

questionário pós-teste quanto o questionário pré-teste foram aplicados

suportado pela ferramenta WebQuest (2006).

Após o preenchimento do questionário, o avaliador conduziu uma

111

entrevista não-estruturada (Anexo J), a fim de coletar informações sobre as

impressões do usuário.

Por fim, após a finalização de uma sessão de teste, preparava-se o

produto e o ambiente para a próxima sessão de teste. No Quadro 23, são

descritos os materiais utilizados nas sessões de teste, laboratorial e de campo.

Quadro 23 – Materiais utilizados nos testes de usabilidade

TESTE LABORATORIAL

NATUREZA ESPECIFICAÇÃO

Hardware

Estação de trabalho baseada em PC (2)

Câmeras de vídeo (3)

Microfones (2)

Software

Software de captura da tela do dispositivo alvo (x11VNC)

Software de geração de vídeos (CamStudio)

Ferramenta para delineamento do perfil do usuário (WebQuest)

Ferramenta para sondagem da satisfação subjetiva do usuário (WebQuest)

Outros

Cronômetro (1)

Ficha de cadastro de participante

Documentos de aceitação das condições de teste

Roteiros das Tarefas de Teste (versões usuário e avaliador)

Ficha de registro de eventos

Manual do produto avaliado

CDs para backup dos vídeos

Produto-alvo

Nokia 770 Internet Tablet

TESTE DE CAMPO

NATUREZA ESPECIFICAÇÃO

Hardware

Estação de trabalho baseada em PC – laptop (1)

Micro-câmera sem fio (1)

Equipamento de suporte para a micro-câmera (1)

TV (1)

Vídeo cassete (1)

Software

Software de captura da tela do dispositivo alvo (x11VNC)

Software de geração de vídeos (CamStudio)

Ferramenta para delineamento do perfil do usuário (WebQuest)

Ferramenta para sondagem da satisfação subjetiva do usuário (WebQuest)

Outros

Cronômetro (1)

Ficha de cadastro de participante

Documentos de aceitação das condições de teste

Roteiros das Tarefas de Teste (versões usuário e avaliador)

Ficha de registro de eventos

CDs e Fitas VHS para backup dos vídeos

Produto-alvo

Nokia 770 Internet Tablet

4.3.2.5 Tabulação e Análise dos Dados Coletados

Esta etapa consistiu nas atividades associadas à análise, triagem e síntese dos

dados coletados na etapa anterior.

A primeira atividade realizada foi uma Triagem Preliminar dos Dados.

112

Tal atividade consistiu na detecção e listagem de diferentes categorias de

dados (e.g. contagem de tempos de execução, número de opções e ações

incorretas, número de consultas à ajuda, comentários verbais, opiniões, falhas

detectadas na inspeção) e, em seguida, na análise dos dados triados, de

forma a detectar problemas não identificados diretamente durante as sessões

de teste.

Em seguida, realizou-se a Triangulação dos Dados Coletados

, i.e. os

dados relacionados à mensuração do desempenho, sondagem da satisfação e

inspeção de conformidade foram confrontados, de maneira a detectar

problemas adicionais não detectados isoladamente, além de inconsistências

nos dados.

Posteriormente, os dados foram sintetizados (atividade de Tabulação e

Síntese dos Dados Coletados). E, por fim, os problemas identificados foram

listados durante a sub-etapa de Organização dos Problemas Identificados

4.3.2.6 Apresentação dos Resultados

A etapa final do processo avaliatório pode ser decomposta em: (i) definição do

modo de divulgação dos resultados obtidos; (ii) priorização dos dados; e (iii)

elaboração do documento final.

A análise dos resultados obtidos na inspeção de conformidade,

mensuração do desempenho e sondagem da satisfação dos usuários é

apresentada no Capítulo 5.

113

Capítulo 5 – Apresentação e Discussão dos

Resultados

Neste capítulo, são apresentados e discutidos os resultados obtidos a partir da

condução da avaliação da usabilidade do Nokia 770 Internet Tablet,

adotando a abordagem híbrida de avaliação apresentada e discutida nos

capítulos anteriores.

Assim como a abordagem híbrida original, a abordagem adaptada à

avaliação de dispositivos móveis propiciou a coleta de dados de natureza

qualitativa e quantitativa, conforme sumariado no Quadro 24.

A apresentação e análise dos dados coletados a partir de cada enfoque

são apresentadas nas seções seguintes.

Quadro 24 – Tipos de Dados Coletados

ENFOQUE DADO NATUREZA

Inspeção de Conformidade Verificação de recomendações Qualitativa

Características dos usuários

Sondagem da Satisfação

Opiniões do usuário sobre o produto

Qualitativa

Tempo de execução da tarefa

Número de opções incorretas

Número de ações incorretas

Número de erros repetidos

Mensuração do Desempenho

Número de consultas à ajuda

Quantitativa

5.1 Resultados da Inspeção de Conformidade

Em essência, a inspeção de conformidade possibilita a geração de séries de

dados qualitativos relacionadas às falhas detectadas em um produto e

respectivas recomendações para a correção dessas falhas. A análise de dados

desta natureza possibilita a elaboração de pareceres parcial e global sobre o

produto (resultados de natureza qualitativa). Adicionalmente, a análise ainda

possibilita a totalização de taxas de adoção das recomendações (resultados de

natureza quantitativa).

Conforme mencionado no capítulo anterior, o produto-alvo escolhido

possibilitou a aplicação de dois padrões internacionais de facto, o ISO 9241 e

ISO 14754, e do draft do padrão ISO 24755.

114

Ao contrário das demais partes do padrão ISO 9241 utilizadas no

processo de avaliação, as partes 10 (Princípios de diálogo) e 11

(Especificações de usabilidade) foram utilizadas no processo de inspeção do

produto apenas como guias para os demais processos de avaliação. Os

princípios de diálogo, listados na Parte 10 (ISO, 1996), foram utilizados de

forma implícita na inspeção das outras partes e também no processo de

detecção de falhas durante o processo de mensuração do desempenho. Por

outro lado, a Parte 11 (ISO, 1998a) foi utilizada para direcionar e

fundamentar, de forma mais geral, toda a abordagem de avaliação da

usabilidade.

As partes 14 (ISO, 1997), 16 (ISO, 1999b) e 17 (ISO, 1998b) contêm

listas de inspeção (checklists) em formato tabular que sumariam as

recomendações contidas em cada uma das partes. Além disso, o checklist é

utilizado durante o próprio processo de inspeção de forma a documentar a

aplicabilidade e a adoção das recomendações. As listas de inspeção relativas à

avaliação da conformidade do Nokia 770 Internet Tablet com relação às

partes 14, 16 e 17 compõem, respectivamente, os Anexos K, L e M.

No Quadro 25, são sintetizadas as recomendações que não foram

adotadas pelo produto avaliado, i.e. as falhas de usabilidade do ponto de vista

da inspeção de conformidade.

Conforme mencionado em capítulos anteriores, com exceção do padrão

em desenvolvimento ISO 24755, ainda não existem padrões internacionais

direcionados a dispositivos móveis. Por essa razão, os padrões utilizados na

inspeção de conformidade não se destinam especificamente à categoria de

dispositivos móveis. Todavia, uma vez que o padrão ISO 9241 aplica-se de

modo genérico a terminais visuais de uso em escritório, mostra-se pertinente

sua aplicação à classe de dispositivos considerados neste trabalho.

Então, apesar de não ser citado pelo padrão ISO 9241, o cálculo do

índice de aplicabilidade do padrão internacional ao dispositivo avaliado mostra-

se adequado. Este índice foi calculado como a razão percentual do número de

recomendações contidas em cada padrão (#R) pelo número de

recomendações julgadas aplicáveis ao contexto (#RA) (i.e. número de células

assinaladas na coluna S da lista de inspeção das partes 14, 16 e 17 da ISO

9241). Conforme pode ser visualizado na Tabela 1, o padrão internacional ISO

14754 obteve uma taxa de aplicabilidade de 100%, pois um dos modos de

115

entrada textual é o reconhecimento de escrita através de caneta stylus.

Quadro 25 – Recomendações não adotadas no Nokia 770 Internet Tablet.

PADRÃO RECOMENDAÇÕES NÃO ADOTADAS

5.2.1 – Grupos lógicos

5.3.1 – Consistência

5.3.2 – Importância

5.3.3 – Ordem convencional

6.1.3 – Técnicas gráficas

7.4.1 – Opções em colunas – item b)

8.2.8 – Letras – item a)

ISO 9241 – Parte 14

8.3.10 – Condução a outro diálogo

5.1.1 – Disponibilização de um contexto estrutural (framework)

5.3.2 – Apontadores de indicação de não disponibilidade

6.2.3 – Mecanismos simples de seleção

6.2.4 – Mecanismos de seleção múltipla

6.2.12 – Seleção contínua de objetos

6.3.2 – Arrasto de um grupo de objetos

ISO 9241 – Parte 16

6.3.3 – Interações pré-definidas entre objetos

5.1.4 – Instruções

6.1.1 – Movimento do cursor

6.5.1 – Validação de campo simples

7.2 – Posição do cursor e do apontador

ISO 9241 – Parte 17

8.2 – Movimento entre os campos

6.2 – Excluir

6.3 – Inserir espaço em branco

7.1.2 – Copiar

7.2.1 – Recortar

7.2.2 – Copiar para buffer

7.2.3 – Colar

ISO 14754

8.2 – Desfazer

ISO 24755

6.14 – Conexão de rede sem fio

Apesar do draft do padrão ISO 24755 ser direcionado para dispositivos

móveis, apenas 35% das recomendações mostraram-se aplicáveis, pois as

recomendações contidas, relacionadas a símbolos e ícones, são mais

direcionadas para telefones celulares. Enquanto as partes 14, 16 e 17 do

padrão ISO 9241 obtiveram, respectivamente, 55,8%, 46,5% e 66,7% das

recomendações aplicáveis ao produto-alvo.

Através dos índices apresentados na Tabela 1, conclui-se que alguns

padrões já difundidos para sistemas desktop podem ser aplicados, com as

devidas adaptações, a dispositivos/sistemas móveis.

116

Tabela 1 – Índices de aplicabilidade dos padrões utilizados.

PADRÃO #RA #R IA (%)

ISO 9241-14 53 95 55,8

ISO 9241-16 33 71 46,5

ISO 9241-17 52 78 66,7

ISO 14754 11 11 100,0

ISO 24755 07 20 35,0

Legenda: R – Recomendações listadas no padrão

RA – Recomendações Aplicáveis

IA – Índice de Aplicabilidade

A ISO recomenda o cálculo da taxa de adoção. A taxa de adoção é

definida como a razão percentual do número de recomendações adotadas pelo

produto (i.e. número de células assinaladas na coluna P da lista de inspeção)

pelo número de recomendações aplicáveis ao produto avaliado (i.e. número de

células assinaladas na coluna S da lista de inspeção).

De acordo com a Tabela 2, as taxas de adoção do produto às

recomendações dos padrões utilizados mostram-se aceitáveis, com exceção da

taxa de adoção associada ao padrão ISO 14754 (Pen-Based Interfaces –

Common gestures for Text Editing with Pen-Based Systems). Tais resultados

apontam necessidades de melhorias no produto, principalmente no que diz

respeito ao processo de entrada de texto via reconhecimento de escrita.

Tabela 2 – Taxas de Adoção.

PADRÃO #P #S TA (%)

ISO 9241-14 45 53 84,9

ISO 9241-16 26 33 78,8

ISO 9241-17 47 52 90,4

ISO 14754 04 11 36,4

ISO 24755 06 07 85,7

Legenda: P – Recomendações adotadas pelo produto

S – Recomendações aplicáveis ao produto avaliado

TA – Taxa de Adoção

A taxa de adoção, apesar de ser um indicador numérico, apresenta

caráter subjetivo, uma vez que se fundamenta em julgamentos de um

especialista em usabilidade a partir de um conjunto de recomendações.

No Quadro 26, apresenta-se um sumário das falhas detectadas no

processo de inspeção de conformidade, além de um parecer do produto, sob o

ponto de vista do processo de inspeção de conformidade. Mais detalhes a

respeitos das falhas detectadas podem ser encontrados no Anexo N.

%100x

IA =

%100x

TA =

117

Quadro 26 – Falhas e Parecer sobre o Nokia 770 Internet Tablet com base na

inspeção de conformidade.

PADRÃO

# DA

FALHA

DESCRIÇÃO

01 A opção de menu Utilities está no agrupamento incorreto.

02 A opção Details está no agrupamento incorreto.

03 Inconsistência na localização das opções do painel de menu View.

04 Inconsistência no agrupamento das opções do painel de menu Details.

05 A sub-opção New window deveria ser a primeira opção do painel.

O painel de menu associado à opção Folders não mantém a ordem convencional

das sub-opções.

A técnica gráfica (...) deve ser utilizada junto a sub-opção Personalization do

menu Home | Screen.

A técnica gráfica utilizada para distinguir opções de menu de mensagens de

aviso, no painel de menu associado ao correio eletrônico, não é adequada.

09 Os menus não são dotados de seleção cíclica.

O tamanho e tipo da fonte empregado em “No new messages” não distingue essa

mensagem das demais opções do painel.

ISO 9241

Parte 14

A sub-opção Personalization conduz a outro diálogo, mas não indica tal

condução.

12 As metáforas utilizadas para as opções Zoom e Find são muito semelhantes.

Ausência de uma indicação visual de indisponibilidade no processo de mover e-

mails entre determinadas pastas.

No aplicativo de correio eletrônico, não é possível termos nenhum item (e-mail)

selecionado.

A seleção de uma pasta no aplicativo de correio eletrônico implica na seleção

automática do primeiro e-mail contido na pasta.

16 Ausência de mecanismos de seleção múltipla no aplicativo de correio eletrônico.

17 Ausência de seleção contínua de objetos no aplicativo de correio eletrônico.

18 Ausência de mecanismo para arrastar um grupo de objetos (e-mails).

ISO 9241

Parte 16

Ao mover um e-mail, arrastando-o com a caneta, a indicação visual apresentada

(+) está incorreta.

Ausência de mecanismos de ajuda no formulário Add contact do correio

eletrônico.

21 A movimentação do cursor entre os campos de um e-mail é falha.

A movimentação entre as partes dia, mês e ano do campo Time period não é

automática.

23 O campo Minimum file size não verifica se o valor digitado é aceito.

ISO 9241

Parte 17

24 Inconsistência no posicionamento inicial do cursor em distintos formulários.

25 O comando via reconhecimento de escrita para exclusão não foi adotado.

O comando via reconhecimento de escrita para inserção de espaços em branco

não foi adotado.

O comando via reconhecimento de escrita para copiar trechos selecionados de

texto não foi adotado.

O comando via reconhecimento de escrita para copiar trechos selecionados de

texto, com uso de buffer, não foi adotado.

O comando via reconhecimento de escrita para recortar trechos selecionados de

texto não foi adotado.

O comando via reconhecimento de escrita para colar trechos selecionados de

texto não foi adotado.

ISO 14754

O comando via reconhecimento de escrita para desfazer uma ação anterior não

foi adotado.

ISO 24755

O ícone de indicação do status da conexão sem fio não indica visualmente se a

conexão está forte, regular ou fraca.

PARECER: Considerando os padrões utilizados, constata-se que, apesar de algumas falhas não

comprometer muito o processo de execução das tarefas, tais falhas necessitam ser corrigidas, a fim de que o

processo de interação seja melhorado e torne-se mais ágil para o usuário.

118

5.2 Resultados da Mensuração do Desempenho

Nesta seção, apresentam-se os resultados obtidos na mensuração do

desempenho dos usuários durante o uso do Nokia 770 Internet Tablet.

Na primeira subseção, apresentam-se as falhas de usabilidade

detectadas durante os testes de usabilidade, a partir da observação direta e

da análise retrospectiva de vídeo. Na subseção seguinte, Análise dos

Indicadores Quantitativos, apresenta-se uma análise dos indicadores

quantitativos coletados durante os testes de usabilidade, sob duas

perspectivas: (i) confronto dos indicadores coletados nos testes laboratoriais

com aqueles coletados no campo; e (ii) confronto dos indicadores coletados

em laboratório quando o dispositivo testado era fixado à mesa e quando

permanecia móvel.

5.2.1 Problemas Identificados a partir da Mensuração do

Desempenho do Usuário

No Quadro 27, apresenta-se um sumário das falhas detectadas a partir dos

testes de usabilidade laboratoriais e de campo (vide detalhes das falhas no

Anexo O). A mensuração do desempenho ainda permitiu a coleta de algumas

sugestões de melhorias citadas pelos próprios usuários de teste (Anexo P).

Baseando-se na quantidade e na natureza das falhas, de acordo com a

classificação apresentada no Quadro 28, apresenta-se, no Quadro 27, um

parecer parcial do produto sob o ponto de vista da mensuração do

desempenho.

O agrupamento das falhas por categoria (vide Quadro 29) possibilita a

verificação de que o produto-alvo não apresenta falhas graves de usabilidade.

Todavia, a existência de falhas de usabilidade superficiais e intermediários

implica a necessidade de correção, com vistas ao melhoramento da

usabilidade do produto.

119

Quadro 27 – Sumário das falhas detectadas na mensuração do desempenho.

ID DESCRIÇÃO

01 Menus disponíveis no aparelho não são cíclicos.

Inserção do acento til (~).

03 Operação de zoom é lenta.

04 Ausência de um campo para que o usuário especifique um valor de zoom próprio.

05 Associação errônea para zoom de 100%.

06 A operação de zoom limita-se a alguns aplicativos.

07 Arquivo anexo a e-mail é carregado diretamente com um clique.

08 Operação de salvamento de anexo é lenta e não fornece retorno visual de processamento.

09 Aplicativo de correio eletrônico não mantém contexto de salvamento anterior.

10 Não é possível alternar entre os campos do e-mail com a tecla TAB.

11 A barra de progresso do aplicativo de correio eletrônico não indica a taxa de carregamento real.

Audio player não salva modificações na playlist e, nem questiona o usuário se as alterações devem ou

não ser salvas.

13 Ausência de indicação visual para a caneta stylus.

14 Dificuldade de acesso ao botão direcional esquerdo.

15 Suporte de apoio para mesa mostrou-se inadequado em algumas situações.

16 Baixa capacidade de processamento associada à ausência de indicação visual de processamento.

17 Após uso prolongado, dispositivo apresenta concentração de calor.

18 Dispositivo torna-se pesado em sessões de uso longas.

19 Ausência de opção de salvamento no menu popup.

20 Indicação de seleção muito discreta.

21 Manual impresso contém poucas informações.

22 Manual impresso não está consistente com o aplicativo.

23 O contexto de seleção de itens não é mantido na ajuda on-line.

PARECER: Apesar da maioria das falhas serem superficiais, e não ter sido detectada nenhuma falha grave, as

correções precisam ser implementadas de maneira a não comprometer o processo de interação do usuário

com o produto.

Quadro 28 – Síntese da Classificação dos Problemas

NÍVEL

CLASSE DO

PROBLEMA

DESCRIÇÃO

Superficial

Causa desconforto ao usuário, porém não compromete a execução das ações

intentadas, exigindo-lhe apenas um processo de adaptação. Tal fato não implica que o

problema de usabilidade não deva ser solucionado, partindo do pressuposto que não é

o usuário quem deve se "amoldar" às características do produto e, sim, o inverso (e.g.,

falta de clareza em mensagens de erro, ausência de realimentação no processo

interativo).

Intermediário

Causa desconforto ao usuário, além de forçá-lo a alterar o curso de suas ações para

atingir o propósito almejado, e.g., uma falha no acesso de uma opção ou subopção do

menu de uma interface multimodal (menus, linguagem de comandos e manipulação

direta) destinados a diferentes categorias de usuários [Quei94].

Grave

Causa grande desconforto ao usuário, por comprometer seriamente a execução de um

curso de ações, e.g., o travamento de uma função que exija o reinício do processo

(travamento parcial) ou de todo o sistema (travamento total).

consistência

Relativo a conflitos entre partes do sistema avaliado, tanto em nível estrutural e

estético, quanto semântico e operacional, e.g., apresentação de mensagens de erro

referentes à mesma função do aplicativo ou funções afins em diferentes regiões da tela

em cores distintas (estrutura e estética) e/ou apresentação de mensagens de erro

semanticamente divergentes relativas à mesma função do aplicativo ou funções afins

(semântica).

Recorrente

Interfere no processo interativo a cada vez que se repetem determinadas condições

operacionais, e.g., a "quebra" do retorno de informações ao usuário cada vez que este

solicita a aquisição de parâmetros estatísticos relativos a uma imagem analisada em

um sistema de processamento de imagens.

Geral

Afeta várias partes do sistema, e.g., falhas que induzem panes parciais ou totais no

sistema.

Fonte: Queiroz (2001)

120

Quadro 29 – Classificação dos problemas encontrados na mensuração do

desempenho.

NÍVEL CLASSE DO PROBLEMA FALHAS

Superficial

01, 02, 04, 05, 06, 07, 11, 13, 15, 16, 20, 21, 22, 23

Intermediário

03, 08, 09, 10, 12, 14, 17, 18, 19

Grave

De consistência

05, 06, 07, 10, 11, 12, 13, 16, 21, 22, 23

Recorrente

01, 02, 03, 04, 08, 09, 14, 15, 19, 20

Geral

17, 18

O processo de mensuração do desempenho permitiu constatar 23 falhas

(vide Figura 34). Observa-se que 21 falhas foram detectadas nos testes

realizados em laboratório, enquanto 14 falhas foram identificadas a partir dos

testes de campo.

Número de Falhas

Falhas

Laboratório Campo Total

Figura 34 – Distribuição numérica das falhas detectadas aos ambientes de

realização dos testes.

Conforme pode ser visualizado no Quadro 30, as sessões de teste

realizadas em campo permitiram a detecção exclusiva de duas (02) falhas,

enquanto aquelas sessões realizadas em laboratório permitiram a detecção

exclusiva de nove (09) falhas. Quatro (04) das nove (09) falhas detectadas

exclusivamente nos experimentos laboratoriais só poderiam ser detectadas

neste contexto devido à sua natureza e às condições de realização dos testes.

As células destacadas indicam que tais células não podem ser assinaladas.

As falhas 21 e 22, relacionadas ao manual do produto, não poderiam ser

121

detectadas nos experimentos de campo, pois apenas a ajuda on-line foi

disponibilizada neste contexto. O manual não foi disponibilizado para o

usuário, a fim de tornar o ambiente mais próximo do real, pois, em geral,

usuários, em seu cotidiano, não conduzem o manual junto ao produto.

A Falha 14, relacionada ao acesso ao botão de navegação quando o

dispositivo é utilizado com a capa protetora, não poderia ser detectada nos

testes de campo, em virtude do equipamento de gravação acoplado ao

dispositivo não permitir o uso da capa protetora.

A Falha 15, relacionada ao suporte de mesa para o Nokia 770

Internet Tablet, também só poderia ser detectada nos testes laboratoriais,

pois nos testes realizados em campo tal suporte não era utilizado.

Quadro 30 – Associação das falhas aos ambientes de teste e perfis de usuários.

AMBIENTE PERFIL

ID DESCRIÇÃO

L C P I E

01 Menus disponíveis no aparelho não são cíclicos. ● ●

02 Inserção do acento til (~). ● ● ● ● ●

03 Operação de zoom é lenta. ● ● ● ● ●

Ausência de um campo para que o usuário especifique um valor de

zoom próprio.

● ● ● ● ●

05 Associação errônea para zoom de 100%. ● ●

06 A operação de zoom limita-se a alguns aplicativos. ● ●

07 Arquivo anexo a e-mail é carregado diretamente com um clique. ● ● ● ● ●

Operação de salvamento de anexo é lenta e não fornece retorno

visual de processamento.

● ● ● ● ●

Aplicativo de correio eletrônico não mantém contexto de salvamento

anterior.

● ●

10 Não é possível alternar entre os campos do e-mail com a tecla TAB. ● ●

11 A barra de progresso não indica a taxa de carregamento real. ● ●

Audio player não salva modificações na playlist e, nem questiona o

usuário se as alterações devem ou não ser salvas.

● ● ● ● ●

13 Ausência de indicação visual para a caneta stylus. ● ● ● ●

14 Dificuldade de acesso ao botão direcional esquerdo. ● ● ● ●

Suporte de apoio para mesa mostrou-se inadequado em algumas

situações.

● ● ●

Baixa capacidade de processamento associada à ausência de

indicação visual de processamento.

● ● ● ●

17 Após uso prolongado, dispositivo apresenta concentração de calor. ● ● ●

18 Dispositivo torna-se pesado em sessões de uso longas. ● ● ● ●

19 Ausência de opção de salvamento no menu popup. ● ● ●

20 Indicação de seleção muito discreta. ● ● ●

21 Manual impresso contém poucas informações. ● ●

22 Manual impresso não está consistente com o aplicativo. ● ●

23 O contexto de seleção de itens não é mantido na ajuda on-line. ● ● ● ●

Legenda: L – Laboratório; C - Campo

P – Principiantes; I – Intermediários ; E – Experientes

122

Assim, excluindo as falhas 14, 15, 21 e 22, totalizam-se 19 falhas

passíveis de detecção em ambos os contextos de avaliação. Deste total, 17

falhas (89,5%) foram identificadas nos testes laboratoriais, enquanto 14

falhas (73,7%) foram identificadas nos testes realizados em campo.

Foram detectadas 21 falhas nos testes conduzidos em laboratório, mas

uma delas (Falha 15) só poderia ser detectada quando o dispositivo estava

fixo à superfície. Portanto, para efeitos de comparação serão consideradas 20

falhas. Constatou-se que, quando o dispositivo estava fixo à mesa, foram

detectadas 12 falhas, enquanto 15 falhas foram detectadas quando o

dispositivo permaneceu móvel. Os testes conduzidos com o dispositivo fixo à

mesa detectaram de forma exclusiva 5 falhas, enquanto aqueles conduzidos

com o dispositivo móvel detectaram de forma exclusiva 8 falhas. Portanto, no

que diz respeito ao número de falhas detectadas constatou-se não existir

diferenças significativas entre os testes laboratoriais nos quais o dispositivo foi

fixado à mesa e aqueles nos quais o dispositivo permaneceu móvel.

Na validação da abordagem, investigou-se também a relevância de cada

uma das categorias de usuários (principiantes, intermediários e experientes)

na detecção das falhas de usabilidade (Figura 35). Constatou-se que das 23

falhas (100%) detectadas, os usuários principiantes detectaram 69,5% delas,

os usuários intermediários 65,2% e os usuários experientes 52,1% das falhas.

Número de Falhas

Falhas

Principiantes Intermediários Experientes Total

Figura 35 – Distribuição numérica das falhas detectadas às categorias de

usuários.

O cruzamento dos dados apresentados na Figura 35 e no Quadro 30

123

permite verificar que apenas uma (01) falha foi detectada exclusivamente

pelos usuários principiantes, enquanto os usuários intermediários e

experientes detectaram, de forma exclusiva, quatro (04) e cinco (05) falhas,

respectivamente. Esses dados permitem concluir que os usuários

categorizados como intermediários e experientes mostraram-se mais

representativos para os resultados, no que diz respeito à detecção de falhas.

5.2.2 Análise dos Indicadores Quantitativos

Nesta subseção, apresenta-se uma análise dos dados quantitativos coletados

durante a mensuração do desempenho do usuário sob duas perspectivas: (i)

confronto dos dados coletados nos testes laboratoriais com aqueles coletados

no campo; e (ii) confronto dos dados coletados em laboratório quando o

dispositivo avaliado estava afixado e quando permaneceu móvel.

5.2.2.1 Análise do Ambiente de Execução dos Testes

Os indicadores quantitativos coletados durante as sessões de teste com o

Nokia 770 Internet Tablet são apresentados na Tabela 3. Dos 40 usuários

que compuseram o universo amostral de usuários desta pesquisa, 20

realizaram testes em laboratório e a outra metade em campo. Os usuários de

teste atuantes nos testes laboratoriais foram identificados como UT01 a UT08

(principiantes), UT17 a UT24 (intermediários) e UT33 a UT36 (experientes).

Similarmente, os grupos UT09 a UT16, UT25 a UT32 e UT37 a UT40

realizaram os testes de usabilidade em campo e equivalem, respectivamente,

às categorias principiantes, intermediários e experientes. Portanto, para cada

contexto de teste preservou-se a proporção 8:8:4 para as categorias de

usuários.

Algumas células da Tabela 3, relacionadas ao indicador tempo de

execução foram preenchidas com NCC (Não conseguiu concluir),

correspondendo às tarefas que não foram concluídas em tempo hábil pelos

usuários de teste. Conforme pode ser observado no Anexo G, os tempos de

execução das tarefas de teste foram de 4 minutos (240 segundos) para a

Tarefa 1, e 10 minutos (600 segundos) para as demais tarefas (Tarefas 2 a 6).

Aqueles tempos excedidos em até 10% do tempo pré-determinado ainda

foram contabilizados como dentro do limite aceitável, resultando assim em

264 segundos para a Tarefa 01 e 660 segundos para as demais tarefas.

124

A Tabela 4 contém um sumário da Tabela 3, sendo exibidos apenas os

valores mínimos e máximos dos indicadores quantitativos coletados para cada

ambiente de condução dos testes.

Alguns indicadores (e.g. número de opções incorretas, número de ações

incorretas, número de erros repetidos) estão diretamente relacionados ao uso

da parte de software do dispositivo, i.e. o dispositivo já deve estar ligado e

inicializado. Portanto, tais indicadores possuem valores mínimos e máximos

iguais à zero (0) para a Tarefa 01 (relacionada à inicialização do dispositivo).

Com exceção das tarefas 03 e 06, o valor mínimo para o indicador

tempo de execução foi menor nos testes laboratoriais, ao que se atribui à

maior concentração do usuário na execução das tarefas em ambiente

controlado. Por outro lado, dentre os diversos fatores que desviaram a

atenção dos usuários nos testes de campo, destacam-se: (i) circulação de

pessoas pelo ambiente; (ii) ruído ambiental; (iii) não climatização do

ambiente; (iv) interrupção da execução do teste por passantes.

O número de opções incorretas apresenta valor máximo maior nos

testes laboratoriais se comparados ao testes de campo em 4 (tarefas 2, 3, 5 e

6) das 5 tarefas.

Em relação ao demais indicadores, o número de ações incorretas

apresenta valores mais altos, especialmente na Tarefa 04, uma vez que esta

tarefa envolveu entrada de dados textuais através do teclado virtual e do

reconhecimento de escrita.

125

Tabela 3 – Indicadores quantitativos coletados a partir do teste de usabilidade.

SÍNTESE DOS INDICADORES QUANTITATIVOS

AVALIAÇÃO LABORATORIAL AVALIAÇÃO DE CAMPO

Usuário

Tarefa

01 02 03 04 05 06 07 08 17 18 19 20 21 22 23 24 33 34 35 36 09 10 11 12 13 14 15 16 25 26 27 28 29 30 31 32 37 38 39 UT40

Indicador

194 ncc ncc ncc ncc 255 183 ncc ncc ncc ncc 149 148 231 201 183 172 118 107 81 142 231 164 140 142 243 ncc 179 104 ncc 155 125 155 153 153 238 147 115 100 149

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Tarefa 01

0 0 0 1 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0

ncc ncc ncc ncc ncc ncc NCC NCC NCC NCC 525 605 NCC NCC 578 NCC 552 215 161 357 NCC NCC NCC NCC NCC NCC NCC NCC 390 NCC 594 582 508 539 NCC 473 276 280 169 303

2 3 7 13 2 5 6 1 9 3 0 5 5 3 6 4 0 0 0 3 9 8 3 8 11 9 2 12 4 6 4 1 3 3 5 2 1 0 0 2

15 5 2 10 1 5 5 7 6 9 4 9 6 5 6 7 2 0 0 10 3 7 8 7 9 13 10 4 3 9 5 14 8 8 9 3 1 0 0 1

1 0 2 7 0 2 1 0 3 3 0 6 9 6 0 4 0 0 0 2 8 3 0 9 8 2 2 3 0 7 5 0 3 3 8 0 0 0 0 0

Tarefa 02

0 0 0 0 0 0 2 0 2 0 0 1 2 1 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0

ncc NCC NCC NCC NCC NCC 525 NCC 592 408 ncc 591 499 ncc 615 346 ncc 363 393 352 ncc ncc 488 523 ncc 627 ncc 653 580 415 577 621 420 608 329 ncc 373 502 262 412

3 10 3 1 15 1 3 5 2 4 3 1 0 3 2 1 0 0 0 0 3 6 3 4 4 2 3 0 5 2 0 2 2 3 0 4 0 1 0 1

12 11 11 17 13 13 1 2 4 3 4 5 2 7 5 2 5 2 2 3 16 11 3 4 8 4 1 3 5 2 7 14 5 2 1 9 2 5 0 0

5 3 1 12 7 5 1 1 1 1 3 0 1 1 0 0 1 0 0 0 2 4 2 1 11 1 1 0 7 0 13 6 3 0 0 1 0 0 0 0

Tarefa 03

1 0 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc 503 453 ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc 554 ncc 508 ncc ncc ncc 498 ncc

1 5 8 8 0 5 3 2 6 0 3 0 2 1 0 2 1 0 0 3 3 4 3 8 3 11 7 3 4 0 3 3 1 2 0 2 0 3 2 1

52 49 88 100 87 88 95 47 53 58 64 77 70 76 54 24 64 41 16 27 4 99 44 76 107 36 126 66 81 40 47 52 33 87 36 79 32 31 26 54

2 0 3 18 9 5 2 0 5 1 0 0 3 0 0 0 0 0 0 1 1 7 0 5 16 5 4 5 11 0 0 2 2 0 0 1 0 2 0 1

Tarefa 04

0 1 0 0 0 0 2 0 1 2 0 1 1 1 1 2 2 1 0 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 0 2 0 0

ncc 476 ncc ncc 655 493 605 619 412 417 ncc 404 528 650 590 344 ncc 414 329 244 436 513 539 482 ncc 568 485 444 335 396 356 328 515 409 ncc ncc 396 499 362 600

1 1 4 0 20 2 3 0 2 0 7 0 1 2 0 0 2 1 2 0 1 2 2 0 6 1 1 0 0 0 0 0 0 0 0 2 0 0 0 0

13 13 12 10 11 18 11 10 4 4 11 3 36 8 5 4 109 6 2 5 12 7 16 8 10 9 10 4 5 2 8 5 20 8 65 9 4 1 7 40

2 0 0 2 0 0 1 3 0 0 3 0 0 0 0 0 0 3 0 0 0 0 1 0 7 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0

Tarefa 05

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc ncc 533 612 565 469 626 ncc 460 595 563 ncc 586 ncc 602 ncc ncc 470 ncc ncc 447 467 555 528 418 ncc 373 627 625 623

4 0 9 4 8 1 1 7 5 4 2 0 0 3 0 2 0 1 0 0 4 3 0 1 7 4 3 0 1 0 4 0 2 0 0 1 0 1 1 0

5 6 6 10 10 11 3 4 1 1 2 4 4 3 3 3 5 4 2 5 1 3 4 9 3 1 2 3 4 7 6 4 3 4 1 4 2 6 3 6

0 0 10 6 9 1 0 4 0 2 0 0 0 0 0 1 2 2 2 2 0 1 1 6 3 0 0 0 1 0 2 2 1 0 0 1 0 2 2 5

Tarefa 06

0 0 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0

LEGENDA:

Tempo de Execução das Tarefas

Número de Opções Incorretas

Número de Ações Incorretas

Número de Erros Repetidos

Número de Consultas à Ajuda

Nota: O indicador tempo de execução está representado em segundos (s).

126

Tabela 4 – Valores mínimos e máximos associados a cada indicador quantitativo.

TAREFAS

Tarefa 01 Tarefa 02 Tarefa 03 Tarefa 04 Tarefa 05 Tarefa 06

Categoria

Valor

L C L C L C L C L C L C

Mínimo 81 100 161 169 346 262 453 498 244 328 460 373

Máximo 255 243 605 594 615 653 503 554 655 600 626 627

Mínimo 0 0 0 0 0 0 0 0 0 0 0 0

Máximo 0 0 13 12 15 6 8 11 20 6 9 7

Mínimo 0 0 0 0 1 0 16 4 2 1 1 1

Máximo 0 0 15 14 17 16 100 126 109 65 11 9

Mínimo 0 0 0 0 0 0 0 0 0 0 0 0

Máximo 0 0 9 9 12 13 18 16 3 7 10 6

Mínimo 0 0 0 0 0 0 0 0 0 0 0 0

INDICADORES

Máximo 1 1 2 1 1 1 2 2 2 0 1 1

LEGENDA: L - Avaliação Laboratorial

C - Avaliação de Campo

Nota: O indicador tempo de execução está representado em segundos (s).

127

O número elevado de ações incorretas deveu-se principalmente ao

processo de inserção de texto via reconhecimento de escrita. A entrada textual

via teclado virtual registrou, em média, 02 ações incorretas, enquanto via

reconhecimento de escrita registrou, em média, 55 ações incorretas.

Conseqüentemente, gastou-se para a mesma entrada de texto, em média, 85

segundos com o teclado virtual e 423 segundos com o reconhecimento de

escrita.

Constatou-se que os usuários consultaram mais a ajuda nos testes

laboratoriais. Nos testes realizados em laboratório foram disponibilizadas tanto

a ajuda on-line (consultada 5 vezes) quanto a ajuda off-line (consultada 32

vezes), enquanto nos teste realizados em campo foi disponibilizada apenas a

ajuda on-line (consultada 11 vezes). Optou-se por disponibilizar nos testes de

campo apenas a ajuda on-line como forma de aproximar o ambiente de teste

de situações reais de uso, onde um usuário típico não carrega consigo o

manual do produto.

Constatou-se também que nas sessões laboratoriais, os usuários

preferiram utilizar a ajuda off-line à ajuda on-line. Nestas sessões, o manual

do produto foi consultado 32 vezes, enquanto a ajuda on-line do produto foi

utilizada apenas em 5 ocasiões.

É precipitado concluir algum resultado mais significativo a partir dos

resultados apresentados na Tabela 4, pois os valores máximos e/ou mínimos

indicados podem representar o comportamento de um usuário em específico

que seja diferente dos demais usuários do universo amostral.

No que diz respeito ao comportamento dos usuários, percebeu-se que

nos testes realizados em campo, uma vez que o avaliador está mais próximo

do usuário, acompanhando-o, este se sente mais à vontade para questionar o

avaliador quando se depara com alguma dificuldade. Enquanto nos testes

laboratoriais, apesar de ter consciência de que está sendo monitorado e

acompanhado, como o usuário permanece sozinho na sala de teste, o número

de questionamentos registrados é bem menor.

Nas sessões realizadas com usuários principiantes, o avaliador

desempenhou um papel de instrutor, visto que tais usuários, devido à sua

baixa/média experiência no uso de sistemas computacionais, necessitavam de

mais auxílio para concluírem as tarefas de teste. Para aqueles usuários

categorizados como intermediários e experientes, o avaliador desempenhou

128

um papel de mediador, visto que tais usuários apresentam um nível de

conhecimento mais elevado na manipulação de sistemas computacionais.

Conforme dito anteriormente, a amostra de usuários participantes da

pesquisa foi formada por 40 usuários, assim foi possível categorizá-la como

grande amostra (n > 30).

O principal propósito da análise estatística é verificar e avaliar a

existência de diferenças entre os indicadores quantitativos coletados nos

testes laboratoriais com aqueles coletados no campo. Então, optou-se pelo uso

do teste F ANOVA fator único para verificar a existência de diferenças entre as

médias dos dois grupos de dados (laboratório e campo).

Após a contabilização dos indicadores quantitativos para cada uma das

sessões de testes, exibido na Tabela 3, gerou-se um relatório de estatísticas

univariadas (Tabela 5). Após a geração das estatísticas univariadas, foram

construídas as matrizes de correlação dos indicadores quantitativos utilizados

na pesquisa, com o propósito de analisar as relações entre os indicadores

considerados (vide Tabela 6). Os valores associados a algumas células foram

omitidos, por apresentarem uma indeterminação no cálculo dos coeficientes de

correlação, e.g. devido a séries de dados nulas. As células destacadas

correspondem aos coeficientes de correlação com fortes associações positivas

(0,75 < p ≤ 1) ou negativas (-0,75 > p ≥ -1) entre dois indicadores

quantitativos.

O Quadro 31 apresenta uma síntese das correlações mais fortes, entre

dois indicadores, identificadas na matriz de correlação.

Em seguida, levando-se em consideração as correlações mais fortes

identificadas e os dados brutos apresentados na Tabela 3 e na Tabela 5,

selecionaram-se as variáveis a serem submetidas ao teste F ANOVA fator

único (vide Quadro 32), a fim de verificar a existência de diferenças

estatisticamente aceitáveis entre os dados coletados no laboratório e no

campo.

129

Tabela 5 – Síntese das estatísticas univariadas.

SÍNTESE DE ESTATÍSTICAS UNIVARIADAS

LABORATÓRIO CAMPO

Tarefa Estatística

Te (s) Noi Nai Ner Nca Te (s) Noi Nai Ner Nca

Média 168,50 0,00 0,00 0,00 0,20 157,50 0,00 0,00 0,00 0,10

Desvio Padrão 50,74 0,00 0,00 0,00 0,41 41,83 0,00 0,00 0,00 0,31

Tarefa 01

Variância 2574,27 0,00 0,00 0,00 0,17 1750,03 0,00 0,00 0,00 0,09

Média 427,57 3,85 5,70 2,30 0,50 411,40 4,65 6,10 3,05 0,10

Desvio Padrão 182,72 3,33 3,76 2,75 0,83 148,48 3,67 4,13 3,28 0,31

Tarefa 02

Variância 33385,29 11,08 14,12 7,59 0,68 22046,71 13,50 17,04 10,79 0,09

Média 468,40 2,85 6,20 2,15 0,15 492,67 2,25 5,10 2,60 0,05

Desvio Padrão 107,97 3,70 4,81 3,05 0,37 119,95 1,80 4,51 3,82 0,22

Tarefa 03

Variância 11656,93 13,71 23,12 9,29 0,13 14387,52 3,25 20,31 14,57 0,05

Média 478,00 2,50 61,50 2,45 0,75 520,00 3,15 57,80 3,10 0,25

Desvio Padrão 35,36 2,63 23,93 4,37 0,79 29,87 2,76 31,23 4,23 0,55

Tarefa 04

Variância 1250,00 6,89 572,58 19,10 0,62 892,00 7,61 975,54 17,88 0,30

Média 478,67 2,40 14,75 0,70 0,10 450,76 0,75 12,50 0,50 0,00

Desvio Padrão 126,70 4,49 23,40 1,17 0,45 82,77 1,45 14,94 1,57 0,00

Tarefa 05

Variância 16053,67 20,15 547,67 1,38 0,20 6850,82 2,09 223,11 2,47 0,00

Média 551,43 2,55 4,60 2,05 0,15 529,54 1,60 3,80 1,35 0,05

Desvio Padrão 66,84 2,87 2,85 3,00 0,37 86,01 1,96 2,12 1,69 0,22

Tarefa 06

Variância 4467,62 8,26 8,15 9,00 0,13 7397,44 3,83 4,48 2,87 0,05

Nota: O indicador tempo de execução está representado em segundos (s).

130

Tabela 6 – Matrizes de correlação.

ANÁLISE DA CORRELAÇÃO ENTRE OS INDICADORES QUANTITATIVOS

LABORATÓRIO CAMPO

Tarefa Indicador

Te (s) Noi Nai Ner Nca Te (s) Noi Nai Ner Nca

Te (s)

1 1

Noi

1 1

Nai

1 1

Ner

1 1

T01

Nca

1 0,128 1

Te (s)

1 1

Noi

0,544 1 0,632 1

Nai

0,544 0,333 1 0,823 0,283 1

Ner

0,371 0,556 0,37 1 0,64 0,656 0,287 1

T02

Nca

0,428 0,334 0,085 0,531 1 0,432 0,033 0,075 0,307 1

Te (s)

1 1

Noi

0,34 1 0,391 1

Nai

0,617 0,395 1 0,571 0,431 1

Ner

0,3 0,342 0,838 1 0,384 0,222 0,452 1

T03

Nca

0,399 -0,06 0,161 -0,02 1 0,228 0,151 0,518 1

Te (s)

1 1

Noi

-1 1 -0,17 1

Nai

-1 0,389 1 0,385 0,299 1

Ner

-1 0,539 0,567 1 0,986 0,373 0,588 1

T04

Nca

-0,29 -0,06 -0,35 1 0,286 -0,19 0,102 1

Te (s)

1 1

Noi

0,431 1 0,464 1

Nai

0,362 0,01 1 0,608 -0,08 1

Ner

0,188 -0,05 -0,13 1 0,185 0,891 -0,06 1

T05

Nca

-0,02 0,948 -0,14 1 1

Te (s)

1 1

Noi

0,034 1 0,242 1

Nai

0,68 0,214 1 0,356 -0,27 1

Ner

-0,07 0,748 0,525 1 0,556 0,044 0,681 1

T06

Nca

-0,12 0,267 -0,14 0,28 1 0,34 -0,07 0,245 0,09 1

131

Quadro 31 – Correlações mais fortes identificadas.

PAR DE INDICADORES SINAL DE ρ TAREFA SUB-GRUPO

tempo de execução opções incorretas - 4

Laboratório

+ 2

Campo

tempo de execução ações incorretas

- 4

Laboratório

+ 4

Campo

tempo de execução erros repetidos

- 4

Laboratório

opções incorretas erros repetidos + 5

Campo

ações incorretas erros repetidos + 3

Laboratório

ações incorretas consultas à ajuda + 5

Laboratório

Quadro 32 – Variáveis selecionadas para o teste F ANOVA fator único.

TAREFA INDICADORES OBJETIVOS JUSTIFICATIVA

tempo de execução

número de consultas à ajuda

Conforme se observa na Tabela 3 e na Tabela 5, não é

possível conduzir o teste ANOVA para as variáveis Noi, Nai

e Ner, tendo em vista que pelo menos uma das séries de

dados relativos às categorias laboratório e campo ser nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Tarefa cujas séries de dados permitem a condução do teste

ANOVA para todas as variáveis consideradas no

experimento, tendo em vista que não há nenhuma série de

dados totalmente nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Tarefa cujas séries de dados permitem a condução do teste

ANOVA para todas as variáveis consideradas no

experimento, tendo em vista que não há nenhuma série de

dados totalmente nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Tarefa cujas séries de dados permitem a condução do teste

ANOVA para todas as variáveis consideradas no

experimento, tendo em vista que não há nenhuma série de

dados totalmente nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

Conforme se observa na Tabela 3 e na Tabela 5, não é

possível conduzir o teste ANOVA para as variáveis Nca,

tendo em vista que pelo menos uma das séries de dados

relativos às categorias laboratório e campo ser nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Tarefa cujas séries de dados permitem a condução do teste

ANOVA para todas as variáveis consideradas no

experimento, tendo em vista que não há nenhuma série de

dados totalmente nula.

132

Assim, é necessário verificar a hipótese nula de que não há diferença

nas médias aritméticas face à hipótese alternativa de que há diferenças entre

tais médias (Figura 36), onde µ

e µ

representam as médias relacionadas aos

dados coletados, respectivamente, nas sessões laboratoriais e nas sessões de

campo.

Figura 36 – Hipóteses do experimento.

Na Tabela 7, são apresentados os resultados da aplicação do teste F

ANOVA fator único. Para os testes em que a hipótese nula (H

) foi rejeitada,

i.e. as médias são diferentes, os pares F e F

crit

aparecem destacados, assim

como o valor p associado. Uma vez que o valor p é menor do que o valor de

(p < α), constata-se, com o nível de confiança de 95% (

= 0,05), a

existência de diferenças relativas ao indicador número de consultas à ajuda

para as Tarefas 2 e 4.

As diferenças estatisticamente significativas entre o número de

consultas à ajuda relacionadas aos testes laboratoriais e de campo podem ser

explicadas pelo fato de nos testes laboratoriais estarem disponibilizadas duas

formas de ajuda (on-line e off-line), enquanto nos testes de campo apenas

uma delas, a ajuda on-line.

Ao considerar apenas o uso da ajuda on-line, disponibilizada nos dois

ambientes, verifica-se a ausência de diferenças significativas entre o número

de consultas à ajuda on-line nos testes de campo e nos testes laboratoriais.

Durante a entrevista não-estruturada, os usuários de teste admitiram

que em um contexto real de uso eles não executariam tais tarefas em

movimento, pois elas demandam atenção. Apesar de, durante os testes de

campo, o avaliador incentivar os usuários a se locomoverem pelo ambiente,

eles preferiram sentar-se e apoiar o dispositivo sobre a mesa. A locomoção foi

registrada apenas quando estes aguardavam algum tipo de processamento

(e.g. carregamento de uma página web). Este tipo de comportamento do

usuário mostra-se como um dos fatores que tornaram semelhantes os dados

obtidos no campo com aqueles coletados no laboratório.

: µ

= µ

: as médias são diferentes

133

Tabela 7 – Resultados da aplicação do teste F ANOVA fator único.

ANOVA (Single factor) a = 0,05

TEMPO DE EXECUÇÃO NÚMERO DE OPÇÕES INCORRETAS NÚMERO DE AÇÕES INCORRETAS NÚMERO DE ERROS REPETIDOS NÚMERO DE CONSULTAS À AJUDA

Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico

Entre grupos 871,2 1 871,2 0,4201 0,5222 4,196 Entre grupos 0,1 1 0,1 0,76 0,3888 4,0982

Dentro dos grupos 58068 28 2073,8 Dentro dos grupos 5 38 0,1316

T01

Total 58939 29 Total 5,1 39

Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico

Entre grupos 1076,8 1 1076,8 0,0405 0,8432 4,5431 Entre grupos 6,4 1 6,4 0,5207 0,475 4,0982 Entre grupos 1,6 1 1,6 0,1027 0,7504 4,0982 Entre grupos 5,625 1 5,625 0,6122 0,4388 4,0982 Entre grupos 1,6 1 1,6 4,1081 0,0497 4,0982

Dentro dos grupos 398732 15 26582 Dentro dos grupos 467,1 38 12,292 Dentro dos grupos 592 38 15,579 Dentro dos grupos 349,15 38 9,1882 Dentro dos grupos 14,8 38 0,3895

T02

Total 399809 16 Total 473,5 39 Total 593,6 39 Total 354,78 39 Total 16,4 39

Entre grupos 3533,2 1 3533,2 0,2653 0,6114 4,2793 Entre grupos 3,6 1 3,6 0,4244 0,5186 4,0982 Entre grupos 12,1 1 12,1 0,5573 0,4599 4,0982 Entre grupos 2,025 1 2,025 0,1697 0,6827 4,0982 Entre grupos 0,1 1 0,1 1,0857 0,304 4,0982

Dentro dos grupos 306338 23 13319 Dentro dos grupos 322,3 38 8,4816 Dentro dos grupos 825 38 21,711 Dentro dos grupos 453,35 38 11,93 Dentro dos grupos 3,5 38 0,0921

T03

Total 309871 24 Total 325,9 39 Total 837,1 39 Total 455,38 39 Total 3,6 39

Entre grupos 2116,8 1 2116,8 2,0931 0,2438 10,128 Entre grupos 4,225 1 4,225 0,5827 0,45 4,0982 Entre grupos 136,9 1 136,9 0,1769 0,6765 4,0982 Entre grupos 4,225 1 4,225 0,2285 0,6354 4,0982 Entre grupos 2,5 1 2,5 5,4286 0,0252 4,0982

Dentro dos grupos 3034 3 1011,3 Dentro dos grupos 275,55 38 7,2513 Dentro dos grupos 29414 38 774,06 Dentro dos grupos 702,75 38 18,493 Dentro dos grupos 17,5 38 0,4605

T04

Total 5150,8 4 Total 279,78 39 Total 29551 39 Total 706,98 39 Total 20 39

Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico

Entre grupos 6203,8 1 6203,8 0,5566 0,4614 4,1709 Entre grupos 27,225 1 27,225 2,4483 0,1259 4,0982 Entre grupos 50,625 1 50,625 0,1314 0,719 4,0982 Entre grupos 0,4 1 0,4 0,2077 0,6512 4,0982

Dentro dos grupos 334364 30 11145 Dentro dos grupos 422,55 38 11,12 Dentro dos grupos 14645 38 385,39 Dentro dos grupos 73,2 38 1,9263

T05

Total 340568 31 Total 449,78 39 Total 14695 39 Total 73,6 39

Entre grupos 2180,3 1 2180,3 0,3396 0,5673 4,4139 Entre grupos 9,025 1 9,025 1,4927 0,2293 4,0982 Entre grupos 6,4 1 6,4 1,0133 0,3205 4,0982 Entre grupos 4,9 1 4,9 0,8257 0,3692 4,0982 Entre grupos 0,1 1 0,1 1,0857 0,304 4,0982

Dentro dos grupos 115575 18 6420,8 Dentro dos grupos 229,75 38 6,0461 Dentro dos grupos 240 38 6,3158 Dentro dos grupos 225,5 38 5,9342 Dentro dos grupos 3,5 38 0,0921

T06

Total 117755 19 Total 238,78 39 Total 246,4 39 Total 230,4 39 Total 3,6 39

134

5.2.2.2 Análise da Mobilidade do Dispositivo

Nesta subseção, apresenta-se um confronto nos dados coletados durante as

sessões de teste realizadas em laboratório, nas quais o Nokia 770 Internet

Tablet foi afixado à mesa, e aqueles obtidos a partir das sessões nas quais o

dispositivo não foi afixado à mesa.

A Tabela 8 contém os indicadores quantitativos coletados durante as 20

sessões de teste realizadas em laboratório. Os usuários que participaram dos

testes laboratoriais com o dispositivo afixado à mesa foram aqueles

identificados como UT01 a UT04 (principiantes), UT17 a UT20 (intermediários)

e UT33 a UT34 (experientes). Similarmente, os grupos UT05 a UT08, UT21 a

UT24 e UT35 a UT36 representam os grupos de usuários principiantes,

intermediários e experientes que realizaram os testes de usabilidade sem fixar

o dispositivo. Portanto, para cada condição de mobilidade preservou-se a

proporção 4:4:2 para as categorias de usuários.

Os valores mínimos e máximos dos indicadores quantitativos para cada

conjunto de sessões de teste laboratorial realizada com e sem mobilidade do

dispositivo são apresentados na Tabela 9.

Os valores mínimo e máximo do indicador tempo de execução

relacionado à Tarefa 04 foram omitidos da Tabela 9, pois, tal como foi

mostrado na Tabela 8, nenhum dos 10 usuários de teste que executaram as

tarefas com o dispositivo fixo conseguiram concluir a tarefa (ncc). Observa-se

que estes valores mínimos associados ao tempo de execução foram sempre

menores quando o dispositivo não estava fixo à mesa. A partir daí, infere-se

que a fixação do dispositivo impacta no tempo para conclusão das tarefas.

Quanto aos indicadores número de opções incorretas e número de erros

repetidos, observa-se que os valores máximos apresentam certo equilíbrio,

sendo maior em determinadas tarefas quando o dispositivo está fixo à mesa e,

em outras tarefas, quando está “solto”. Observa-se que um número maior de

ações incorretas são cometidas quando o dispositivo está fixo à mesa.

Por fim, o número de consultas à ajuda apresenta, em quatro (tarefas

2, 3, 4 e 6) das 6 tarefas de teste o valor máximo igual para os dois contextos

de avaliação, i.e. com o dispositivo fixo e com o dispositivo não fixado.

Os dados apresentados e comentados nos parágrafos anteriores

permitem constatar que os indicadores tempo de execução e número de ações

135

incorretas apresentaram valores, respectivamente, mínimo e máximo, maiores

naquelas sessões de teste onde o dispositivo estava fixo à mesa.

A partir deste resultado pode-se inferir que imobilizar o dispositivo

influencia no tempo para a conclusão das tarefas e no número de ações

incorretas cometidas. No entanto, conclusões com a análise apenas destes

dados seriam precipitadas e, talvez, incorretas.

A execução das sessões laboratoriais sob dois graus de mobilidade para

o dispositivo permitiu a avaliação da influência desta mobilidade no

desempenho do usuário. Optou-se pelo uso do teste F ANOVA fator único para

evidenciar a existência de diferenças entre as médias dos dois grupos de

dados (sessões laboratoriais com dispositivo fixo e como dispositivo móvel).

Após a contabilização dos indicadores quantitativos para cada uma das

sessões de testes, gerou-se um relatório de estatísticas univariadas (Tabela

10).

A média, o desvio padrão e a variância relacionada ao tempo de

execução da Tarefa 04 não são exibidos devido à série de dados nula, i.e. nos

testes realizados como o dispositivo fixo à mesa nenhum dos usuários

conseguiu concluir a tarefa no tempo pré-estabelecido. Além disto, apenas um

usuário conseguiu concluir a Tarefa 06 em tempo hábil, de modo que o desvio

padrão e a variância não podem ser calculados.

Em seguida, construíram-se as matrizes de correlação dos indicadores

quantitativos, cujo propósito era analisar as relações entre os indicadores

considerados (Tabela 11). Os valores associados a algumas células foram

omitidos, pois apresentam indeterminações no cálculo dos coeficientes de

correlação. Tais indeterminações nos cálculos estão associadas às séries de

dados nulas. Os valores destacados correspondem aos coeficientes de

correlação com fortes associações (0,75 < p ≤ 1 e -0,75 > p ≥ -1) entre dois

indicadores quantitativos. Apresenta-se no Quadro 33 uma síntese das

correlações mais fortes identificadas.

Considerando as correlações mais fortes identificadas e os dados brutos

apresentados na Tabela 8 e na Tabela 10, foram selecionadas as variáveis a

serem submetidas ao teste F ANOVA fator único (Quadro 34), cujo propósito

era verificar a existência de diferenças estatísticas entre os dados coletados

em laboratório quando o dispositivo foi fixado à mesa e quando o dispositivo

permaneceu móvel.

136

Tabela 8 – Indicadores quantitativos coletados a partir do teste de usabilidade.

SÍNTESE DOS INDICADORES QUANTITATIVOS REGISTRADOS

AVALIAÇÃO LABORATORIAL

DISPOSITIVO FIXO À MESA DISPOSITIVO MÓVEL

Usuário Usuário

Tarefa

UT01 UT02 UT03 UT04 UT17 UT18 UT19 UT20 UT33 UT34 UT05 UT06 UT07 UT08 UT21 UT22 UT23 UT24 UT35 UT36

Indicador

194 NCC NCC NCC NCC NCC NCC 149 172 118 NCC 255 183 NCC 148 231 201 183 107 81

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Tarefa 01

0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0

NCC NCC NCC NCC NCC NCC 525 605 552 215 NCC NCC NCC NCC NCC NCC 578 NCC 161 357

2 3 7 13 9 3 0 5 0 0 2 5 6 1 5 3 6 4 0 3

15 5 2 10 6 9 4 9 2 0 1 5 5 7 6 5 6 7 0 10

1 0 2 7 3 3 0 6 0 0 0 2 1 0 9 6 0 4 0 2

Tarefa 02

0 0 0 0 2 0 0 1 0 0 0 0 2 0 2 1 0 2 0 0

NCC NCC NCC NCC 592 408 NCC 591 NCC 363 NCC NCC 525 NCC 499 NCC 615 346 393 352

3 10 3 1 2 4 3 1 0 0 15 1 3 5 0 3 2 1 0 0

12 11 11 17 4 3 4 5 5 2 13 13 1 2 2 7 5 2 2 3

5 3 1 12 1 1 3 0 1 0 7 5 1 1 1 1 0 0 0 0

Tarefa 03

1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0

NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC NCC 503 453

1 5 8 8 6 0 3 0 1 0 0 5 3 2 2 1 0 2 0 3

52 49 88 100 53 58 64 77 64 41 87 88 95 47 70 76 54 24 16 27

2 0 3 18 5 1 0 0 0 0 9 5 2 0 3 0 0 0 0 1

Tarefa 04

0 1 0 0 1 2 0 1 2 1 0 0 2 0 1 1 1 2 0 0

NCC 476 NCC NCC 412 417 NCC 404 NCC 414 655 493 605 619 528 650 590 344 329 244

1 1 4 0 2 0 7 0 2 1 20 2 3 0 1 2 0 0 2 0

13 13 12 10 4 4 11 3 109 6 11 18 11 10 36 8 5 4 2 5

2 0 0 2 0 0 3 0 0 3 0 0 1 3 0 0 0 0 0 0

Tarefa 05

0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0

NCC NCC NCC NCC NCC NCC NCC NCC 626 NCC NCC NCC NCC NCC 533 612 565 469 460 595

4 0 9 4 5 4 2 0 0 1 8 1 1 7 0 3 0 2 0 0

5 6 6 10 1 1 2 4 5 4 10 11 3 4 4 3 3 3 2 5

0 0 10 6 0 2 0 0 2 2 9 1 0 4 0 0 0 1 2 2

Tarefa 06

0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0

LEGENDA:

Tempo de Execução das Tarefas

Número de Opções Incorretas

Número de Ações Incorretas

Número de Erros Repetidos

Número de Consultas à Ajuda

Nota: O indicador tempo de execução está representado em segundos (s).

137

Tabela 9 – Valores mínimos e máximos associados a cada indicador quantitativo.

TAREFAS

Tarefa 01 Tarefa 02 Tarefa 03 Tarefa 04 Tarefa 05 Tarefa 06

Categoria

Valor

F M F M F M F M F M F M

Mínimo 118 81 215 161 363 346 - 453 404 244 626 460

Máximo 194 255 605 578 592 615 - 503 476 655 626 612

Mínimo 0 0 0 0 0 0 0 0 0 0 0 0

Máximo 0 0 13 6 10 15 8 5 7 20 9 8

Mínimo 0 0 0 0 2 1 41 16 3 2 1 2

Máximo 0 0 15 10 17 13 100 95 109 36 10 11

Mínimo 0 0 0 0 0 0 0 0 0 0 0 0

Máximo 0 0 7 9 12 7 18 9 3 3 10 9

Mínimo 0 0 0 0 0 0 0 0 0 0 0 0

INDICADORES

Máximo 1 0 2 2 1 1 2 2 2 0 1 1

LEGENDA: F - Dispositivo Fixo à Mesa

M - Dispositivo Móvel

Nota:

O indicador tempo de execução está representado em segundos

(s).

138

Tabela 10 – Síntese das estatísticas univariadas.

SÍNTESE DE ESTATÍSTICAS UNIVARIADAS

DISPOSITIVO FIXO À MESA DISPOSITIVO MÓVEL

Tarefa Estatística

Te (s) Noi Nai Ner Nca Te (s) Noi Nai Ner Nca

Média 158,25 0,00 0,00 0,00 0,40 173,63 0,00 0,00 0,00 0,00

Desvio Padrão 32,52 0,00 0,00 0,00 0,52 59,18 0,00 0,00 0,00 0,00

Tarefa 01

Variância 1057,58 0,00 0,00 0,00 0,27 3501,98 0,00 0,00 0,00 0,00

Média 474,25 4,20 6,20 2,20 0,30 365,33 3,50 5,20 2,40 0,70

Desvio Padrão 176,00 4,34 4,57 2,57 0,67 208,62 2,07 2,90 3,06 0,95

Tarefa 02

Variância 30975,58 18,84 20,84 6,62 0,46 43524,33 4,28 8,40 9,38 0,90

Média 488,50 2,70 7,40 2,70 0,20 455,00 3,00 5,00 1,60 0,10

Desvio Padrão 120,35 2,91 4,97 3,62 0,42 108,42 4,52 4,57 2,41 0,32

Tarefa 03

Variância 14483,00 8,46 24,71 13,12 0,18 11754,00 20,44 20,89 5,82 0,10

Média - 3,20 64,60 2,90 0,80 478,00 1,80 58,40 2,00 0,70

Desvio Padrão - 3,29 18,54 5,57 0,79 35,36 1,62 29,05 2,98 0,82

Tarefa 04

Variância - 10,84 343,60 30,99 0,62 1250,00 2,62 843,82 8,89 0,68

Média 424,60 1,80 18,50 1,00 0,20 505,70 3,00 11,00 0,40 0,00

Desvio Padrão 29,13 2,20 32,04 1,33 0,63 148,86 6,07 9,92 0,97 0,00

Tarefa 05

Variância 848,80 4,84 1026,50 1,78 0,40 22159,12 36,89 98,44 0,93 0,00

Média 626,00 2,90 4,40 2,20 0,20 539,00 2,20 4,80 1,90 0,10

Desvio Padrão -- 2,88 2,72 3,33 0,42 63,75 2,97 3,12 2,81 0,32

Tarefa 06

Variância -- 8,32 7,38 11,07 0,18 4063,60 8,84 9,73 7,88 0,10

Nota: O indicador tempo de execução está representado em segundos (s).

139

Tabela 11 – Matrizes de correlação.

ANÁLISE DA CORRELAÇÃO ENTRE OS INDICADORES QUANTITATIVOS

DISPOSITIVO FIXO À MESA DISPOSITIVO MÓVEL

Tarefa Indicador

Te (s) Noi Nai Ner Nca Te (s) Noi Nai Ner Nca

Te (s) 1 1

Noi 1 1

Nai 1 1

Ner 1 1

T01

Nca

1 1

Te (s) 1 1

Noi 0,495 1 0,999 1

Nai 0,753 0,306 1 0,568 0,389 1

Ner 0,495 0,802 0,488 1 -0,03 0,298 0,278 1

T02

Nca

0,495 0,394 0,087 0,345 1 0,481 0,186 0,658 1

Te (s) 1 1

Noi -0,02 1 0,614 1

Nai 0,931 0,255 1 0,411 0,559 1

Ner 0,11 0,022 0,816 1 0,407 0,743 0,887 1

T03

Nca

0,568 -0,13 0,117 -0,03 1 0 0,154 -0,09 1

Te (s) 1 1

Noi 1 -1 1

Nai 0,56 1 -1 0,266 1

Ner 0,65 0,665 1 -1 0,092 0,618 1

T04

Nca

-0,54 -0,4 -0,41 1 0,033 0,136 -0,32 1

Te (s) 1 1

Noi 0,16 1 0,395 1

Nai 0,976 0,079 1 0,279 0,028 1

Ner -0,2 0,303 -0,23 1 0,339 -0,17 -0,03 1

T05

Nca

0,032 0,992 -0,26 1 1

Te (s) 1 1

Noi 1 0,186 1

Nai 0,048 1 0,562 0,376 1

Ner 0,697 0,531 1 -0,37 0,815 0,543 1

T06

Nca

0,658 -0,17 0,602 1 -0,05 -0,26 -0,09 -0,24 1

140

Quadro 33 – Correlações mais fortes identificadas.

PAR DE INDICADORES SINAL DE ρ TAREFA SUB-GRUPO

+ 2 Móvel

tempo de execução opções incorretas

- 4 Móvel

2 Fixo

3 Fixo

5 Fixo

tempo de execução ações incorretas

- 4 Móvel

tempo de execução erros repetidos - 4 Móvel

2 Fixo

opções incorretas erros repetidos +

6 Móvel

ações incorretas erros repetidos + 3 Fixo, Móvel

ações incorretas consultas à ajuda + 5 Fixo

Quadro 34 – Variáveis selecionadas para o teste F ANOVA fator único.

TAREFA INDICADORES OBJETIVOS JUSTIFICATIVA

tempo de execução

Conforme se observa na Tabela 7 e na Tabela 10, não é

possível conduzir o teste ANOVA para as variáveis Noi,

Nai, Ner e Nca, tendo em vista pelo menos uma das séries

de dados relativos às categorias dispositivo fixo e

dispositivo móvel ser nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Tarefa cujas séries de dados permitem a condução do

teste ANOVA para todas as variáveis consideradas no

experimento, tendo em vista que não há nenhuma série de

dados totalmente nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Tarefa cujas séries de dados permitem a condução do

teste ANOVA para todas as variáveis consideradas no

experimento, tendo em vista que não há nenhuma série de

dados totalmente nula.

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Conforme se observa na Tabela 7 e na Tabela 10, não é

possível conduzir o teste ANOVA para a variável Te, tendo

em vista pelo menos uma das séries de dados relativos às

categorias dispositivo fixo e dispositivo móvel ser nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

Conforme se observa na Tabela 7 e na Tabela 10, não é

possível conduzir o teste ANOVA para a variável Nca,

tendo em vista pelo menos uma das séries de dados

relativos às categorias dispositivo fixo e dispositivo móvel

ser nula.

tempo de execução

número de opções incorretas

número de ações incorretas

número de erros repetidos

número de consultas à ajuda

Tarefa cujas séries de dados permitem a condução do

teste ANOVA para todas as variáveis consideradas no

experimento, tendo em vista que não há nenhuma série de

dados totalmente nula.

141

Assim como no processamento estatístico apresentado na subseção

anterior, verificou-se a validade da hipótese nula face à hipótese alternativa

(Figura 37), onde µ

e µ

representam as médias relacionadas aos dados

coletados, respectivamente, nas sessões laboratoriais com o dispositivo fixo e

com o dispositivo móvel.

Figura 37 – Hipóteses do experimento.

Na Tabela 12, apresentam-se os resultados da aplicação do teste F

ANOVA fator único. Constata-se, com o nível de confiança de 95% (

= 0,05),

que não houve diferenças entre as médias dos dados coletados em laboratório

com o dispositivo fixo e móvel.

: µ

= µ

: as médias são diferentes

142

Tabela 12 – Resultados da aplicação do teste F ANOVA fator único.

ANOVA (Single factor) a = 0,05

TEMPO DE EXECUÇÃO NÚMERO DE OPÇÕES INCORRETAS NÚMERO DE AÇÕES INCORRETAS NÚMERO DE ERROS REPETIDOS NÚMERO DE CONSULTAS À AJUDA

Fonte da variação SQ gl MQ F valor-P F crítico

Entre grupos 630,38 1 630,38 0,2277 0,6435 4,9646

Dentro dos grupos 27687 10 2768,7

T01

Total 28317 11

Entre grupos 20336 1 20336 0,565 0,4861 6,6079 Entre grupos 2,45 1 2,45 0,2119 0,6508 4,4139 Entre grupos 5 1 5 0,3419 0,566 4,4139 Entre grupos 0,2 1 0,2 0,025 0,8761 4,4139 Entre grupos 0,8 1 0,8 1,1803 0,2916 4,4139

Dentro dos grupos 179975 5 35995 Dentro dos grupos 208,1 18 11,561 Dentro dos grupos 263,2 18 14,622 Dentro dos grupos 144 18 8 Dentro dos grupos 12,2 18 0,6778

T02

Total 200312 6 Total 210,55 19 Total 268,2 19 Total 144,2 19 Total 13 19

Entre grupos 2693,4 1 2693,4 0,2108 0,6584 5,3177 Entre grupos 0,45 1 0,45 0,0311 0,8619 4,4139 Entre grupos 28,8 1 28,8 1,2632 0,2758 4,4139 Entre grupos 6,05 1 6,05 0,6387 0,4346 4,4139 Entre grupos 0,05 1 0,05 0,36 0,556 4,4139

Dentro dos grupos 102219 8 12777 Dentro dos grupos 260,1 18 14,45 Dentro dos grupos 410,4 18 22,8 Dentro dos grupos 170,5 18 9,4722 Dentro dos grupos 2,5 18 0,1389

T03

Total 104912 9 Total 260,55 19 Total 439,2 19 Total 176,55 19 Total 2,55 19

Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico

Entre grupos 9,8 1 9,8 1,4554 0,2433 4,4139 Entre grupos 192,2 1 192,2 0,3237 0,5764 4,4139 Entre grupos 4,05 1 4,05 0,2031 0,6576 4,4139 Entre grupos 0,05 1 0,05 0,0769 0,7847 4,4139

Dentro dos grupos 121,2 18 6,7333 Dentro dos grupos 10687 18 593,71 Dentro dos grupos 358,9 18 19,939 Dentro dos grupos 11,7 18 0,65

T04

Total 131 19 Total 10879 19 Total 362,95 19 Total 11,75 19

Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico Fonte da variação SQ gl MQ F valor-P F crítico

Entre grupos 21924 1 21924 1,4052 0,2571 4,6672 Entre grupos 7,2 1 7,2 0,345 0,5642 4,4139 Entre grupos 281,25 1 281,25 0,5 0,4885 4,4139 Entre grupos 1,8 1 1,8 1,3279 0,2643 4,4139

Dentro dos grupos 202827 13 15602 Dentro dos grupos 375,6 18 20,867 Dentro dos grupos 10125 18 562,47 Dentro dos grupos 24,4 18 1,3556

T05

Total 224751 14 Total 382,8 19 Total 10406 19 Total 26,2 19

Entre grupos 6487,7 1 6487,7 1,5965 0,2621 6,6079 Entre grupos 2,45 1 2,45 0,2854 0,5997 4,4139 Entre grupos 0,8 1 0,8 0,0935 0,7633 4,4139 Entre grupos 0,45 1 0,45 0,0475 0,8299 4,4139 Entre grupos 0,05 1 0,05 0,36 0,556 4,4139

Dentro dos grupos 20318 5 4063,6 Dentro dos grupos 154,5 18 8,5833 Dentro dos grupos 154 18 8,5556 Dentro dos grupos 170,5 18 9,4722 Dentro dos grupos 2,5 18 0,1389

T06

Total 26806 6 Total 156,95 19 Total 154,8 19 Total 170,95 19 Total 2,55 19

143

5.3 Resultados da Sondagem da Satisfação do Usuário

Nesta seção, são apresentados os resultados obtidos com a aplicação dos

questionários durante o processo de avaliação.

Na primeira subseção, Resultados da Análise do Perfil dos

Usuários, apresentam-se os resultados advindos da aplicação do questionário

USer (User Sketcher). Os resultados apresentados não têm como objetivo

esboçar o perfil típico dos atuais usuários do Nokia 770 Internet Tablet,

pois apenas uma categoria de usuários (experientes) já conhecia e utilizava o

produto. O objetivo é ilustrar como a amostra de participantes escolhida foi

diversificada, no que concerne ao nível de conhecimento (principiantes,

intermediários e experientes), e equilibrada, ao comparar os participantes dos

testes laboratoriais com aqueles que participaram dos testes em campo.

Na segunda subseção, Resultados da Análise da Satisfação dos

Usuários, são apresentados os resultados obtidos com a aplicação do

questionário USE (User Satisfaction Enquirer).

5.3.1 Resultados da Análise do Perfil dos Usuários

Na Tabela 13, apresenta-se a totalização das respostas dos usuários de teste

ao questionário de delineamento do perfil dos usuários. Para cada item do

questionário, apresentam-se as opções de resposta e o número de usuários

que selecionaram cada uma das opções nos testes realizados em campo e

naqueles realizados em laboratório.

O questionário para delineamento do perfil dos usuários compôs-se de

14 itens, destinados à sondagem de características físicas (itens 2, 3, 4 e 5) e

ao conhecimento e experiência do usuário (itens 1, 6 a 14).

Os resultados do perfil dos usuários são apresentados, graficamente,

nas figuras 38 a 46. Na parte a) de cada uma das figuras, apresentam-se os

dados relacionados aos usuários dos testes laboratoriais, enquanto na parte b)

são aprersentados os dados relacionados aos testes em campo.

144

Tabela 13 – Síntese dos resultados da sondagem do perfil dos usuários.

DELINEAMENTO DO PERFIL DOS USUÁRIOS

USer (User Sketcher)

AMBIENTE

# ITEM OPÇÕES

L C

Ensino Médio Incompleto 0 1 1

Ensino Médio Completo 0 0 0

Superior Incompleto 8 7 15

Superior Completo 2 3 5

Pós-graduação Incompleta 9 8 17

01 Seu grau de instrução:

Pós-graduação Completa 1 1 2

Masculino 9 7 16

02 Você é do sexo:

Feminino 11 13 24

Destro 15 19 34

Canhoto 4 0 4

03 Você é:

Ambidestro 1 1 2

Sim 9 13 22

04 Você usa óculos ou lentes de contato?

Não 11 7 18

Menos de 18 anos 0 1 9

18-23 anos 8 11 23

24-29 anos 12 8 8

30-35 anos 0 0 0

05 Você pertence à faixa etária de:

Acima de 35 anos 0 0 0

Sim 20 20 40

Você tem experiência prévia no uso de sistemas

computacionais?

Não 0 0 0

Menos de 3 meses 0 0 0

Entre 3 meses e 1 ano 0 0 0

Mais de 1 ano 20 20 40

Há quanto tempo você usa sistemas

computacionais?

Não se aplica 0 0 0

Diariamente 18 18 36

Algumas vezes por semana 2 2 4

Algumas vezes por mês 0 0 0

Ocasionalmente 0 0 0

Com que freqüência você usa sistemas

computacionais?

Não se aplica 0 0 0

Windows 17 15 32

Linux 3 5 8

Outra 0 0 0

Qual a plataforma computacional que você utiliza

com mais freqüência?

Não se aplica 0 0 0

Básico 3 7 10

Intermediário 5 2 7

Avançado 12 11 23

10 Qual o seu nível de conhecimento em informática?

Não se aplica 0 0 0

Sim 4 4 8

Você já utilizou o dispositivo Nokia 770 Internet

Tablet?

Não 16 16 32

Diariamente 0 0 0

Algumas vezes por semana 0 1 1

Algumas vezes por mês 1 0 1

Ocasionalmente 3 3 6

Com que freqüência você utiliza o Nokia 770 Internet

Tablet?

Não se aplica 16 16 32

Telefone celular 20 20 40

PDA (Personal Digital Assistant) 6 4 10

Smartphone 4 3 7

Qual dos produtos listados abaixo você utiliza ou já

utilizou?

Nenhum destes 0 0 0

Péssima 1 0 1

Ruim 0 0 0

Regular 8 8 16

Boa 7 10 17

14 Qual a sua familiaridade com a língua inglesa?

Ótima 4 2 6

Legenda: L – Usuários dos testes laboratoriais

C – Usuários dos testes de campo

T – Total de usuários

145

Figura 38 – Distribuição numérica do Grau de Instrução dos respondentes.

Figura 39 – Distribuição numérica do Sexo dos respondentes.

Figura 40 – Distribuição numérica da Destreza Manual dos respondentes.

Grau de Instrução

1010

Ensino médio Superior Pós-graduação

Grau de Instrução

Ensino médio Superior Pós-graduação

Laboratório

Campo

Sexo

Masculino Feminino

Sexo

Masculino Feminino

Laboratório

Campo

Destreza Manual

Destro Canhoto Ambidestro

Destreza Manual

Destro Canhoto Ambidestro

Laboratório

Campo

146

Figura 41 – Distribuição numérica do Uso de Corretivos Visuais dentre os

respondentes.

Figura 42 – Distribuição numérica da Faixa Etária dos respondentes.

Conforme estabelecido na etapa de planejamento, todos os usuários dos

testes possuem experiência prévia no uso de sistemas computacionais há mais

de um ano e, em sua maioria (36 indivíduos ou 90% do universo amostral),

utilizam tais sistemas diariamente (vide Tabela 13). Além disto, todos os

usuários recrutados possuem familiaridade com a língua inglesa. Apenas um

respondente classificou sua familiaridade com tal língua como péssima,

enquanto a grande maioria (33 indivíduos ou 82,5% do universo amostral)

classificou sua familiaridade como regular ou boa.

Conforme apresentado na Figura 43, a grande maioria dos usuários

utiliza, predominantemente, a plataforma computacional Windows (32

indivíduos ou 80% do universo amostral). Este questionamento mostrou-se

pertinente no âmbito desta pesquisa, uma vez que o sistema operacional do

Nokia 770 Internet Tablet é baseado numa distribuição do Linux (Debian).

Uso de Corretivos Visuais

Sim Não

Uso de Corretivos Visuais

Sim Não

Laboratório

Campo

Faixa Etária

Menos de 18 anos 18-23 anos 24-29 anos

Faixa Etária

Menos de 18 anos 18-23 anos 24-29 anos

Laboratório

Campo

147

Figura 43 – Distribuição numérica da Plataforma Computacional mais

utilizada pelos respondentes.

Constata-se uma predominância de respondentes que se auto-avaliaram

usuários avançados de informática (23 indivíduos ou 57,5% do universo

amostral), enquanto 7 indivíduos (17,5% do universo amostral) declararam-se

como usuários intermediários e 10 participantes (25% do universo amostral)

declararam-se como usuários com conhecimento básico em informática.

Figura 44 – Distribuição numérica do nível de Conhecimento em Informática

dos respondentes.

Conforme o item 11 da Tabela 13, apenas oito usuários do universo

amostral tinham experiência prévia com o produto avaliado, compreendendo

assim a categoria de usuários experientes. A maioria deste contingente de

usuários experientes (6 participantes ou 75% do universo de usuários

experientes) utiliza o produto avaliado ocasionalmente (Figura 45).

Conforme pode ser visto na Figura 46, todos os usuários possuíam

Plataforma Computacional

Windows Linux

Plataforma Computacional

Windows Linux

Laboratório

Campo

Conhecimento em Informática

Básico Intermediário Avançado

Conhecimento em Informática

Básico Intermediário Avançado

Laboratório

Campo

148

experiência prévia com telefones celulares, 10 indivíduos (25% do universo

amostral) já utilizaram um PDA (Personal Digital Assistant) e 7 usuários

(17,5% do universo amostral) já utilizaram um smartphone. Portanto, todos

os participantes possuíam experiência com dispositivos móveis.

Figura 45 – Distribuição numérica da Freqüência de Uso do Produto.

Figura 46 – Distribuição numérica da Experiência Prévia com Produtos

Similares.

Observa-se que os participantes dos testes laboratoriais e dos testes de

campo apresentam características similares. Apenas no que se refere às faixas

etárias, constata-se que houve uma inversão na predominância relacionada às

duas faixas etárias mais representativas.

Com os dados coletados com o USer (User Sketcher), é possível afirmar

Freqüência de uso do Nokia 770

Algumas vezes por semana

Algumas vezes por mês

Ocasionalmente

Freqüência de uso do Nokia 770

Algumas vezes por semana

Algumas vezes por mês

Ocasionalmente

Laboratório

Campo

Experiência com Dispositivos

Móveis

Telefone celular PDA Smartphone

Experiência com Dispositivos

Móveis

Telefone celular PDA Smartphone

Laboratório

Campo

149

que o participante típico no processo de avaliação do Nokia 770 Internet

Tablet apresenta as seguintes características:

• possui como grau de instrução pós-graduação (completa ou

incompleta) ou graduação (completa ou incompleta), é

predominantemente do sexo feminino, encaixa-se na faixa etária de

18 a 29 anos, destro e usa corretivos visuais (óculos ou lentes de

contato);

• possui experiência no uso de sistemas computacionais há mais de 1

ano, utilizando-os diariamente;

• possui nível de conhecimento classificado como

intermediário/avançado em informática;

• possui experiência prévia no uso de dispositivos móveis; e

• não possui experiência prévia com o produto avaliado.

5.3.2 Resultados da Análise da Satisfação dos Usuários

O questionário para sondagem da satisfação dos usuários (USE - User

Satisfaction Enquirer), composto por 38 itens, divide-se em três seções: (i)

Uso e Navegação, composta por 17 itens relacionados à comunicação do

produto, à localização dos itens de menu e navegação, à compreensão das

mensagens apresentadas, ao uso dos aplicativos mais comuns e ao uso dos

modos de entrada de dados do dispositivo; (ii) Documentação on-line e off-

line, formada por 6 questões relacionadas ao uso da ajuda on-line e off-line

(manual) do produto; e (iii) Você e o Produto, composta por 15 itens

relacionados às impressões do usuário sobre alguns aspectos sondados nas

seções precedentes, assim como aspectos relacionados a sua aceitação do

produto.

As 23 primeiras questões, relacionadas às seções Uso e Navegação e

Documentação on-line e off-line, estão associadas a uma escala de 5 pontos,

constituída dos adjetivos muito fácil, fácil, nem fácil nem difícil, difícil e muito

difícil. Enquanto as últimas 15 questões, relacionadas à seção Você e o

Produto, estão associadas à seguinte escala de 5 pontos: concordo totalmente,

concordo, nem concordo nem discordo, discordo e discordo totalmente.

Para cada questão apresentada, além de assinalar uma resposta nesta

escala, os usuários de teste deveriam associar um grau de importância (valor

150

entre 0 e 10) para cada item do questionário. Utilizando essas duas

informações fornecidas por cada um dos usuários, a ferramenta WebQuest

(2006) calcula um índice de satisfação subjetiva dos usuários em relação ao

produto (Oliveira, 2005; Queiroz, 2005).

A Tabela 14 contém a totalização das respostas dos usuários de teste ao

USE, administrado imediatamente após a utilização do produto avaliado. Para

cada item do questionário, apresentam-se as opções de resposta e o número

de usuários que optaram por cada uma das opções nos testes realizados em

campo e naqueles realizados em laboratório.

Tabela 14 – Síntese dos resultados da sondagem da satisfação dos usuários

(1/4).

SONDAGEM DA SATISFAÇÃO DOS USUÁRIOS

USE (User Satisfaction Enquirer)

AMBIENTE

# ITEM OPÇÕES

L C

Muito fácil 1 2 3

Fácil 11 8 19

Nem fácil nem difícil 7 8 15

Difícil 1 2 3

01 Uso do produto na realização de tarefas de interesse

Muito difícil 0 0 0

Muito fácil 3 1 4

Fácil 8 7 15

Nem fácil nem difícil 6 9 15

Difícil 3 2 5

Comunicação com o produto (terminologia, simbologia,

linguagem, realimentação da informação e das ações em

geral)

Muito difícil 0 1 1

Muito fácil 2 2 4

Fácil 7 9 16

Nem fácil nem difícil 7 3 10

Difícil 4 6 10

03 Localização dos itens de menu associados às tarefas

Muito difícil 0 0 0

Muito fácil 2 1 3

Fácil 4 6 10

Nem fácil nem difícil 10 6 16

Difícil 3 6 9

04 Visualização das instruções e advertências do produto

Muito difícil 1 1 2

Muito fácil 2 1 3

Fácil 8 10 18

Nem fácil nem difícil 6 5 11

Difícil 4 4 8

05 Compreensão das instruções e advertências do produto

Muito difícil 0 0 0

Muito fácil 3 0 3

Fácil 13 14 27

Nem fácil nem difícil 2 4 6

Difícil 2 2 4

06 Navegação pelas janelas de diálogo do produto

Muito difícil 0 0 0

Muito fácil 3 0 3

Fácil 5 6 11

Nem fácil nem difícil 9 11 20

Difícil 3 3 6

07 Recuperação de situações de erro

Muito difícil 0 0 0

Muito fácil 4 1 5

Fácil 7 9 16

Nem fácil nem difícil 7 9 16

Difícil 2 1 3

08 Compreensão das mensagens de erro apresentadas

Muito difícil 0 0 0

151

Tabela 14 – Síntese dos resultados da sondagem da satisfação dos usuários

(2/4).

SONDAGEM DA SATISFAÇÃO DOS USUÁRIOS

USE (User Satisfaction Enquirer)

AMBIENTE

# ITEM OPÇÕES

L C

Muito fácil 3 3 6

Fácil 11 8 19

Nem fácil nem difícil 4 7 11

Difícil 2 2 4

Navegação através das diferentes opções do menu,

janelas de diálogo e barra de ícones do produto

Muito difícil 0 0 0

Muito fácil 2 2 4

Fácil 9 8 17

Nem fácil nem difícil 6 4 10

Difícil 3 6 9

Compreensão da estruturação dos menus, barras de

ícones ou listas de informações disponibilizadas pelo

produto

Muito difícil 0 0 0

Muito fácil 6 2 8

Fácil 4 12 16

Nem fácil nem difícil 6 5 11

Difícil 4 1 5

Uso dos botões de Navegação, Cancelar, Menu e Início

(Home)

Muito difícil 0 0 0

Muito fácil 5 5 10

Fácil 5 13 18

Nem fácil nem difícil 8 2 10

Difícil 2 0 2

12 Uso das funções/ botões de zoom e tela cheia

Muito difícil 0 0 0

Muito fácil 15 11 26

Fácil 3 8 11

Nem fácil nem difícil 1 1 2

Difícil 0 0 0

13 Uso da caneta stylus associada à tela sensível ao toque

Muito difícil 1 0 1

Muito fácil 9 8 17

Fácil 8 7 15

Nem fácil nem difícil 2 4 6

Difícil 0 1 1

Processo de entrada de dados textuais através do teclado

virtual

Muito difícil 1 0 1

Muito fácil 0 0 0

Fácil 4 2 6

Nem fácil nem difícil 4 6 10

Difícil 7 5 12

Processo de entrada de dados textuais através do

reconhecimento de escrita

Muito difícil 5 7 12

Muito fácil 7 4 11

Fácil 9 4 13

Nem fácil nem difícil 4 11 15

Difícil 0 1 1

16 Processo de navegação em páginas Web

Muito difícil 0 0 0

Muito fácil 5 4 9

Fácil 13 10 23

Nem fácil nem difícil 2 5 7

Difícil 0 1 1

17 Uso do aplicativo de correio eletrônico

Muito difícil 0 0 0

Muito fácil 0 1 1

Fácil 2 1 3

Nem fácil nem difícil 16 17 33

Difícil 2 1 3

Localização e acesso aos mecanismos de ajuda on-line do

produto

Muito difícil 0 0 0

Muito fácil 0 1 1

Fácil 1 0 1

Nem fácil nem difícil 17 18 35

Difícil 2 1 3

19 Uso dos mecanismos de ajuda on-line do produto

Muito difícil 0 0 0

Muito fácil 0 1 1

Fácil 1 0 1

Nem fácil nem difícil 17 18 35

Difícil 2 1 3

Compreensão das informações de interesse existentes na

ajuda on-line.

Muito difícil 0 0 0

152

Tabela 14 – Síntese dos resultados da sondagem da satisfação dos usuários

(3/4).

SONDAGEM DA SATISFAÇÃO DOS USUÁRIOS

USE (User Satisfaction Enquirer)

AMBIENTE

# ITEM OPÇÕES

L C

Muito fácil 3 0 3

Fácil 8 1 9

Nem fácil nem difícil 6 3 9

Difícil 3 0 3

Localização e acesso às informações de interesse no

manual do produto (ajuda off-line).

Muito difícil 0 0 0

Muito fácil 1 0 1

Fácil 9 1 10

Nem fácil nem difícil 8 3 11

Difícil 2 0 2

22 Uso do manual do produto (ajuda off-line)

Muito difícil 0 0 0

Muito fácil 2 0 2

Fácil 9 1 10

Nem fácil nem difícil 8 3 11

Difícil 1 0 1

Compreensão das informações de interesse existentes no

manual do produto (ajuda off-line)

Muito difícil 0 0 0

Concordo totalmente 9 10 19

Concordo 9 6 15

Nem concordo nem discordo 1 3 4

Discordo 1 1 2

Acho que o produto é bastante atraente, o que estimula

seu uso.

Discordo totalmente 0 0 0

Concordo totalmente 3 3 6

Concordo 10 7 17

Nem concordo nem discordo 6 6 12

Discordo 1 4 5

25 Acho a interface do produto bastante clara e compreensível

Discordo totalmente 0 0 0

Concordo totalmente 4 3 7

Concordo 12 7 19

Nem concordo nem discordo 3 3 6

Discordo 1 6 7

Os ícones, botões e símbolos apresentados pelo produto

têm tamanhos satisfatórios e são facilmente reconhecíveis

pelos usuários

Discordo totalmente 0 1 1

Concordo totalmente 0 1 1

Concordo 4 3 7

Nem concordo nem discordo 4 2 6

Discordo 5 9 14

A interface Web deste produto é suficientemente similar à

interface de outros produtos que eu já utilizei

Discordo totalmente 7 5 12

Concordo totalmente 3 3 6

Concordo 8 5 13

Nem concordo nem discordo 5 8 13

Discordo 4 4 8

A visualização e a leitura das informações na tela do

dispositivo é agradável.

Discordo totalmente 0 0 0

Concordo totalmente 2 0 2

Concordo 1 3 4

Nem concordo nem discordo 1 1 2

Discordo 10 13 23

O brilho/reflexo da tela dificulta a visualização das

informações.

Discordo totalmente 6 3 9

Concordo totalmente 9 9 18

Concordo 7 8 15

Nem concordo nem discordo 2 1 3

Discordo 1 2 3

O tamanho e peso do produto são convenientes para seu

uso e transporte.

Discordo totalmente 1 0 1

Concordo totalmente 3 2 5

Concordo 6 4 10

Nem concordo nem discordo 5 5 10

Discordo 5 6 11

31 As respostas do produto às minhas ações é muito lenta.

Discordo totalmente 1 3 4

Concordo totalmente 3 3 6

Concordo 4 3 7

Nem concordo nem discordo 9 8 17

Discordo 4 5 9

Sempre me sinto no controle das ações quando uso o

produto.

Discordo totalmente 0 1 1

153

Tabela 14 – Síntese dos resultados da sondagem da satisfação dos usuários

(4/4).

SONDAGEM DA SATISFAÇÃO DOS USUÁRIOS

USE (User Satisfaction Enquirer)

AMBIENTE

# ITEM OPÇÕES

L C

Concordo totalmente 3 1 4

Concordo 9 11 20

Nem concordo nem discordo 7 4 11

Discordo 1 3 4

Consigo executar as tarefas de modo direto ao usar o

produto.

Discordo totalmente 0 1 1

Concordo totalmente 2 0 2

Concordo 7 2 9

Nem concordo nem discordo 7 14 21

Discordo 3 3 6

Não acho que as informações da ajuda deste produto são

suficientemente eficazes para tirar minhas dúvidas.

Discordo totalmente 1 1 2

Concordo totalmente 2 0 2

Concordo 6 3 9

Nem concordo nem discordo 5 14 19

Discordo 7 3 10

De um modo geral, a quantidade de informações

oferecidas pela ajuda do produto é insuficiente para

solucionar meus problemas e dúvidas.

Discordo totalmente 0 0 0

Concordo totalmente 2 0 2

Concordo 7 2 9

Nem concordo nem discordo 6 15 21

Discordo 5 3 8

De um modo geral, a qualidade das informações

oferecidas pela ajuda do produto não contribui para a

solução dos meus problemas e dúvidas.

Discordo totalmente 0 0 0

Concordo totalmente 4 4 8

Concordo 14 11 25

Nem concordo nem discordo 1 3 4

Discordo 1 2 3

37 De um modo geral, sinto-me satisfeito ao usar o produto.

Discordo totalmente 0 0 0

Concordo totalmente 6 7 13

Concordo 10 8 18

Nem concordo nem discordo 4 0 4

Discordo 0 5 5

Recomendaria sem hesitação o uso do produto aos meus

colegas.

Discordo totalmente 0 0 0

Legenda: L – Usuários dos testes laboratoriais

C – Usuários dos testes de campo

T – Total de usuários

Oliveira (2005), baseado em alguns autores (e.g. Bayley e Pearson

(1983)), concebeu uma análise do índice de satisfação subjetiva, apresentada

no Quadro 35, na qual é associada uma descrição textual para cada uma das

faixas de valores dos índices.

Quadro 35 – Análise do indicador de satisfação subjetiva do USE.

INTERVALO DESCRIÇÃO

0,67 a 1,00 Satisfação Máxima

0,33 a 0,66 Bastante Satisfeito

0,01 a 0,32 Pouco Satisfeito

0,00 Neutro

-0,01 a -0,32 Pouco Insatisfeito

-0,33 a -0,66 Bastante Insatisfeito

-0,67 a -1,00 Insatisfação Máxima

Fonte: Oliveira (2005).

O índice de satisfação subjetiva obtido na avaliação do Nokia 770

154

Internet Tablet foi 0,330 (BASTANTE SATISFEITO) para os testes

laboratoriais e 0,237 (POUCO SATISFEITO) para os testes realizados em

campo. De forma geral, tais índices revelam que os usuários avaliaram o

produto de forma positiva

Sob o ponto de vista da confrontação dos resultados laboratoriais com

os de campo, constata-se que o índice de satisfação foi menor no campo do

que em laboratório. Mais uma vez, infere-se que tal resultado esteja associado

ao ambiente de teste, uma vez que testes de campo propiciam maior nível de

distração dos usuários.

Verifica-se que em 13 dos 38 itens

(01, 03, 04, 10, 16, 17, 25 a 27, 32,

33, 37, 38) a avaliação negativa (Difícil ou Muito difícil) foi maior nos testes de

campo

, em 14 itens (08, 11 a 13, 18 a 23, 31, 34 a 36) a avaliação negativa

foi maior no laboratório e nos demais itens (11) a mesma quantidade de

usuários do laboratório e do campo avaliou o produto negativamente.

Por outro lado, em 23 itens

(01, 02, 06 a 10, 14 a 17, 21 a 26, 28, 32 e

35 a 38) a avaliação positiva (Fácil e Muito fácil) foi maior nos testes

laboratoriais, em 8 itens (03 a 05, 11 a 13, 30 e 31) a avaliação positiva foi

maior nos testes de campo e nos 7 itens restantes a mesma quantidade de

usuários de laboratório e de campo avaliou o produto de forma positiva.

Portanto, constata-se que há diferenças no que diz respeito à satisfação

subjetiva dos usuários na avaliação laboratorial e na avaliação de campo.

Como a avaliação positiva foi significativamente maior nos testes laboratoriais

em relação aos testes de campo, o índice de satisfação subjetiva, conforme

apresentado anteriormente, foi maior nos testes realizados em laboratório em

relação àqueles realizados em campo.

Conforme apresentado na Tabela 14, a maioria dos itens do

questionário de satisfação foi avaliada de forma positiva e/ou neutra. As

respostas aos itens 3 e 10 mostram que cerca de 10 usuários de teste, em

cada item, avaliaram de forma negativa aspectos relacionados aos menus do

dispositivo. Resultado condizente com a Falha 01 da mensuração do

desempenho (Quadro 27) e com as falhas relacionadas à Parte 14 do padrão

ISO 9241 (Quadro 26).

Os itens 14 e 15, relacionados ao processo de entrada de texto,

reforçam a Falha 02 (Quadro 27) e as falhas 25 a 31, relacionadas ao padrão

ISO 14754 (Quadro 26). Tal resultado ainda é corroborado pelos comentários

155

verbais dos usuários durante as sessões de teste, onde estes indicaram sua

preferência pelo teclado virtual.

O item 31, relacionado à capacidade de processamento do dispositivo,

reforça as falhas 03, 08 e 16 relativas à mensuração do desempenho. As

respostas ao item 35 mostram que 11 usuários de teste (27,5% do universo

amostral) acreditam que a quantidade de informações disponíveis na ajuda é

insuficiente. Tal resultado tem relação com as falhas 21 e 22 detectadas

durante a mensuração do desempenho.

Oito usuários de teste avaliaram de forma negativa o item 26,

associando este resultado à Falha 12, relacionada à Parte 16 do padrão ISO

9241 (Quadro 26).

Os itens 18 a 23 apresentam uma grande concentração das respostas

em uma avaliação neutra (Nem fácil nem difícil). Este resultado é decorrente

do baixo número de consultas à ajuda, principalmente nos testes de campo.

Uma vez que o manual do produto não foi disponibilizado nos testes de

campo, apenas os usuários categorizados como experientes poderiam avaliar

este tipo de ajuda, pois já conheciam o produto. Portanto, observa-se que os

itens 21, 22 e 23 apresentam seus resultados relacionados a 24 usuários, 20

usuários dos testes laboratoriais e quatro (4) usuários experientes dos testes

de campo. O número pequeno de avaliações negativas para os itens 21, 22 e

23, também relativos ao manual, está relacionado ao fato que apenas dois (2)

usuários detectaram as falhas relacionadas ao manual do produto (falhas 21 e

22, vide Quadro 27).

No Quadro 36 apresenta-se um sumário dos problemas detectados e um

parecer sobre o produto avaliado com base na sondagem da satisfação do

usuário.

Quadro 36 – Sumário das falhas detectadas no processo de sondagem da

satisfação dos usuários.

ID ASPECTO ITEM DO USE

01 LOCALIZAÇÃO E SEQÜÊNCIA DAS OPÇOES DE MENU 03, 10

02 APRESENTAÇÃO DAS OPÇÕES NOS MENUS 02, 26

03 SÍMBOLOS E ÍCONES 26

04 ENTRADA DE DADOS TEXTUAIS ATRAVÉS DA CANETA STYLUS 15

05 CAPACIDADE DE PROCESSAMENTO 31

06 EXECUÇÃO DE SEQÜÊNCIA DE AÇÕES DE MODO DIRETO 32, 33

07 MECANISMOS DE AJUDA ON-LINE E OFF-LINE 18 a 23

PARECER: Apesar dos respondentes do questionário de satisfação terem avaliado o Nokia 770 Internet

Tablet de forma positiva, os aspectos que apresentam problemas precisam ser corrigidos a fim de otimizar o

processo de interação do usuário com o produto.

156

Além da aplicação do questionário, a sondagem da satisfação dos

usuários foi mensurada pelos comentários verbais feitos durante os testes e

pela entrevista não-estruturada ao fim das sessões de teste. A realização da

entrevista mostrou-se bastante positiva, pois permitiu: (i) esclarecer

determinadas reações dos usuários; (ii) coletar a opinião do usuário

relacionada a alguns aspectos-chave do produto; e (iii) sintetizar suas

principais impressões sobre o produto.

5.4 Síntese dos Resultados Apresentados

No Quadro 37, apresenta-se uma comparação dos resultados obtidos a partir

dos três enfoques avaliatórios que fundamentam a abordagem de avaliação

ora descrita. Os resultados estão agrupados em 13 níveis genéricos de

problemas detectados na condução da avaliação (coluna Nível Genérico) e,

para cada categoria de problema, há um ou mais subníveis de problemas

(coluna Nível Específico). Os problemas listados nesta última coluna estão

diretamente relacionados às falhas detectadas durante o processo de inspeção

de conformidade e de mensuração do desempenho.

As três últimas colunas, IC (Inspeção de Conformidade), MD

(Mensuração do Desempenho) e SS (Sondagem da Satisfação) associam os

problemas listados nos níveis genérico e específico aos enfoques avaliatórios

considerados na abordagem híbrida.

157

Quadro 37 – Confronto dos resultados obtidos a partir dos diferentes enfoques avaliatórios (1/2).

ID NÍVEL GENÉRICO NÍVEL ESPECÍFICO IC MD SS

A opção de menu Utilities está no agrupamento incorreto.

A opção Details está no agrupamento incorreto.

Inconsistência na localização das opções do painel de menu View.

Inconsistência no agrupamento das opções do painel de menu Details.

A sub-opção New window deveria ser a primeira opção do painel.

O painel de menu associado à opção Folders não mantém a ordem convencional das sub-opções.

LOCALIZAÇÃO E SEQÜÊNCIA DAS

OPÇOES DE MENU

Ausência de opção de salvamento no menu popup.

02 NAVEGAÇÃO NOS MENUS

Os menus não são dotados de seleção cíclica.

9 9

A técnica gráfica (...) deve ser utilizada junto a sub-opção Personalization do menu Home | Screen.

A técnica gráfica utilizada para distinguir opções de menu de mensagens de aviso, no painel de

menu associado ao correio eletrônico, não é adequada.

O tamanho e tipo da fonte empregado em “No new messages” não distinguem essa mensagem das

demais opções do painel.

APRESENTAÇÃO DAS OPÇÕES NOS

MENUS

A sub-opção Personalization conduz a outro diálogo, mas não indica tal condução.

Ausência de uma indicação visual de indisponibilidade no processo de mover e-mails entre

determinadas pastas.

A barra de progresso do aplicativo de correio eletrônico não indica a taxa de carregamento real.

04 RETORNO DE INFORMAÇÕES

Indicação de seleção muito discreta.

Ausência de mecanismos de seleção múltipla no aplicativo de correio eletrônico.

Ausência de seleção contínua de objetos no aplicativo de correio eletrônico.

Ausência de mecanismo para arrastar um grupo de objetos (e-mails).

Ao mover um e-mail, arrastando-o com a caneta, a indicação visual apresentada (+) está incorreta.

No aplicativo de correio eletrônico, não é possível termos nenhum item (e-mail) selecionado.

05 MANIPULAÇÃO DE OBJETOS

A seleção de uma pasta no aplicativo de correio eletrônico implica na seleção automática do

primeiro e-mail contido pasta.

As metáforas utilizadas para as opções Zoom e Find são muito semelhantes.

06 SÍMBOLOS E ÍCONES

O ícone de indicação do status da conexão sem fio não indica visualmente se a conexão está forte,

regular ou fraca.

O comando via reconhecimento de escrita para exclusão não foi adotado.

O comando via reconhecimento de escrita para inserção de espaços em branco não foi adotado.

O comando via reconhecimento de escrita para copiar trechos selecionados de texto não foi

adotado.

ENTRADA DE DADOS TEXTUAIS

ATRAVÉS DA CANETA STYLUS

O comando via reconhecimento de escrita para copiar trechos selecionados de texto, com uso de

buffer, não foi adotado.

158

Quadro 37 – Confronto dos resultados obtidos a partir dos diferentes enfoques avaliatórios (2/2).

ID NÍVEL GENÉRICO NÍVEL ESPECÍFICO IC MD SS

O comando via reconhecimento de escrita para recortar trechos selecionados de texto não foi

adotado.

O comando via reconhecimento de escrita para colar trechos selecionados de texto não foi adotado.

ENTRADA DE DADOS TEXTUAIS

ATRAVÉS DA CANETA STYLUS

O comando via reconhecimento de escrita para desfazer uma ação anterior não foi adotado.

Inserção do acento til (~).

Operação de zoom é lenta.

Operação de salvamento de anexo é lenta e não fornece retorno visual de processamento.

09 CAPACIDADE DE PROCESSAMENTO

Baixa capacidade de processamento associada à ausência de indicação visual de processamento.

Ausência de indicação visual para a caneta stylus.

Dificuldade de acesso ao botão direcional esquerdo.

Suporte de apoio para mesa mostrou-se inadequado em algumas situações.

Após uso prolongado, dispositivo apresenta concentração de calor.

10 ASPECTOS DE HARDWARE

Dispositivo torna-se pesado em sessões de uso longas.

Ausência de um campo para que o usuário especifique um valor de zoom próprio.

Arquivo anexo a e-mail é carregado diretamente com um clique.

Aplicativo de correio eletrônico não mantém contexto de salvamento anterior.

Audio player não salva modificações na playlist e, nem questiona o usuário se as alterações devem

ou não ser salvas.

Associação errônea para zoom de 100%.

EXECUÇÃO DE SEQÜÊNCIA DE AÇÕES

DE MODO DIRETO

A operação de zoom limita-se a alguns aplicativos.

O contexto de seleção de itens não é mantido na ajuda on-line.

Manual impresso contém poucas informações.

MECANISMOS DE AJUDA ON-LINE E OFF-

LINE

Manual impresso não está consistente com o aplicativo.

Ausência de mecanismos de ajuda no formulário Add contact do correio eletrônico.

A movimentação do cursor entre os campos de um e-mail é falha.

9 9

A movimentação entre as partes dia, mês e ano do campo Time period não é automática.

O campo Minimum file size não verifica se o valor digitado é aceito.

13 PROCESSAMENTO DE FORMULÁRIOS

Inconsistência no posicionamento inicial do cursor em distintos formulários.

Legenda: IC – Inspeção de Conformidade

MD – Mensuração do Desempenho

SS – Sondagem da Satisfação Subjetiva

159

É importante observar que as células relacionadas às colunas de

Inspeção de Conformidade (IC) e Mensuração do Desempenho (MD)

possuem a mesma dimensão das células associadas à coluna Nível

Específico. Por outro lado, as células associadas à coluna Sondagem da

Satisfação (SS) possuem a mesma dimensão daquelas células associadas à

coluna Nível Genérico. Portanto, os problemas listados no Nível Específico

estão diretamente relacionados com as falhas detectadas durante o

processo de inspeção e mensuração do desempenho, enquanto coluna

relativa à sondagem da satisfação exibe resultados em um nível mais

genérico.

A sondagem da satisfação dos usuários tem como um dos seus

propósitos reforçar ou refutar os problemas de usabilidade detectados nos

demais enfoques. Indica-se na coluna Sondagem da Satisfação (SS),

através de um marcador apropriado, se os resultados obtidos reforçam

(9)

ou refutam

(8) as falhas detectadas nos demais enfoques.

Refutar um problema de usabilidade, não significa sua inexistência ou

que não deve ser corrigido. Refutá-lo indica um impacto menor na execução

das tarefas, tendo sido, portanto, pouco percebido pela maioria dos

usuários de teste.

A categoria de problemas Navegação nos menus foi refutada pelos

resultados obtidos com a sondagem da satisfação dos usuários, pois o item

09 do USE foi avaliado, em sua maioria, positivamente. Quanto ao Retorno

das informações, os dados coletados a partir do item 02 mostram que uma

pequena quantidade de usuários (06) avaliou o produto de forma negativa

(vide Tabela 14).

A Entrada de dados através do teclado virtual foi bem avaliada (item

14), pois apenas dois (02) usuários avaliaram este aspecto do produto-alvo

negativamente. Apesar deste resultado ir de encontro à Falha 02, detectada

durante a mensuração do desempenho, tal falha necessita ser corrigida.

Por fim, a sondagem da satisfação ainda refutou os problemas

relacionados ao Hardware do dispositivo. As respostas aos itens 11 a 13, 29

e 30 do USE, de forma geral, avaliaram o produto de maneira positiva.

Enquanto durante a mensuração do desempenho foram detectados cinco

(05) problemas relacionados ao hardware do dispositivo.

Observando o Quadro 37, constata-se que algumas categorias de

160

falhas estão mais relacionadas a um determinado enfoque avaliatório. Por

exemplo, os problemas relacionados à capacidade de processamento, a

aspectos de hardware e aos mecanismos de ajuda estão ligados à

mensuração do desempenho, enquanto aqueles problemas relativos à

apresentação das opções nos menus, a manipulação de objetos e aos

símbolos e ícones utilizados estão mais relacionados ao processo de

inspeção de conformidade do produto a um padrão.

Em todo o processo de avaliação foram detectados 55 problemas de

usabilidade. Apenas dois problemas (3,6%) foram detectados por ambos os

enfoques, inspeção de conformidade e mensuração do desempenho,

resultando, assim, em 53 problemas de usabilidade.

Foram detectadas 32 falhas (58,2%) no processo de inspeção de

conformidade e 23 (41,8%) no processo de mensuração do desempenho

dos usuários. Constata-se ainda que 78,2% (43) dos problemas detectados

na inspeção de conformidade e na mensuração do desempenho foram

corroborados ou refutados pelos dados obtidos com a sondagem da

satisfação dos usuários. Apenas os problemas relacionados à Navegação nos

menus e ao Processamento de formulários não foram cobertos pelo

questionário de sondagem da satisfação dos usuários.

A partir dos resultados obtidos com a validação da metodologia,

percebeu-se que: (i) os enfoques avaliatórios que compõem a abordagem

híbrida ora discutida se complementam, a fim de produzirem uma avaliação

mais completa do que se aplicados separadamente; (ii) não existem

diferenças significativas entre os dados coletados nos testes laboratoriais e

aqueles coletados nos testes de campo; (iii) não existem diferenças entre

os dados laboratoriais coletados quando o dispositivo estava afixado à mesa

e quando permaneceu móvel; e (iv) aqueles usuários categorizados como

intermediários e experientes foram mais significantes com relação à

detecção de problemas de usabilidade.

161

Capítulo 6 – Considerações Finais

Neste capítulo, são apresentadas as discussões finais acerca deste trabalho

de pesquisa. Inicialmente, retoma-se o contexto de desenvolvimento deste

trabalho, apresentando as motivações e justificativas para seu

desenvolvimento. Em seguida, apresentam-se as conclusões advindas com

os resultados obtidos com a aplicação da abordagem híbrida. E, por fim,

apresentam-se algumas proposições para trabalhos futuros.

6.1 Visão Contextual da Pesquisa

A avaliação da usabilidade de um produto pode ser realizada a partir de

uma diversidade de técnicas e/ou enfoques avaliatórios. Assim como a

abordagem híbrida original, a abordagem híbrida para avaliação da

usabilidade de dispositivos móveis ora apresentada fundamenta-se na

premissa que ao envolver mais de um enfoque avaliatório, melhores

resultados são alcançados, uma vez que os resultados de cada enfoque

podem ser confrontados.

Conforme mencionado em capítulos anteriores (e.g. Capítulos 1 e 2),

há discussões na literatura acerca da necessidade de adaptações nas

abordagens e técnicas tradicionais de avaliação quando os alvos do

processo de avaliação são os dispositivos móveis.

Diante disso, investigou-se as adaptações necessárias a serem feitas

na abordagem híbrida de avaliação concebida por Queiroz (2001). Assim

sendo, a adaptação focalizou dois aspectos, do ponto de vista do enfoque

da mensuração do desempenho dos usuários, a saber: (i) o ambiente de

realização dos testes; e (ii) a mobilidade do dispositivo durante a condução

dos testes de usabilidade. Então, formularam-se duas hipóteses de

investigação: (i) os dados coletados nos testes de campo diferenciam-se

daqueles coletados nos testes laboratoriais; e (ii) os dados coletados em

laboratório com o dispositivo fixo a uma superfície diferenciam-se daqueles

coletados nos testes laboratoriais com o dispositivo livre para

deslocamento.

Investigaram-se também as necessidades de adaptação relacionadas

à sondagem da satisfação dos usuários através do uso de questionários,

além da investigação no enfoque da inspeção de conformidade, de forma a

162

identificar a necessidade de incorporação de padrões específicos para esta

categoria de dispositivos.

Após a concepção teórica da adaptação requerida na abordagem

original, a aplicação da abordagem proposta, através de um estudo de caso,

possibilitou a avaliação da abordagem híbrida adaptada à avaliação de

dispositivos móveis.

Assim, esta pesquisa teve como objetivo geral investigar a adequação

necessária na abordagem híbrida original, de forma a possibilitar a

avaliação de dispositivos móveis, focando em aspectos: (i) vantagens da

realização de testes de usabilidade no campo, uma vez que o contexto de

uso de um dispositivo móvel não se limita a um ambiente de escritório

simulado em laboratório; e (ii) impacto da mobilidade do dispositivo, em

ambiente laboratorial, nos resultados obtidos.

6.2 Conclusões

A partir da aplicação da abordagem híbrida para avaliação da usabilidade de

dispositivos móveis, conclui-se que os três enfoques de avaliação que

compõem a metodologia (inspeção de conformidade, mensuração do

desempenho e sondagem da satisfação) complementam-se, possibilitando

uma avaliação mais completa. Portanto, o caráter complementar dos

enfoques avaliatórios que compõem a abordagem, já verificado por Queiroz

(2001) para dispositivos desktop, também é válido para dispositivos

móveis.

Conclui-se que os enfoques inspeção de conformidade e mensuração

do desempenho detectam problemas de usabilidade de naturezas distintas,

enquanto a sondagem da satisfação do usuário possibilita corroborar ou

refutar os problemas de usabilidade detectados, indicando inclusive o

impacto das falhas nas tarefas.

No que concerne à inspeção de conformidade, listam-se como

resultados obtidos o conjunto de padrões passíveis de aplicação nos

dispositivos móveis e a verificação da aplicabilidade de padrões destinados

a sistemas desktop (partes 14, 16 e 17 do padrão internacional ISO 9241)

para a inspeção de sistemas e/ou dispositivos móveis.

A adaptação da abordagem de avaliação original fundamentou-se

163

principalmente na mensuração do desempenho, na qual se incluiu a

realização de testes de campo. O estudo comparativo realizado para avaliar

o impacto da mobilidade do usuário mostrou não existir diferenças

significativas entre os resultados obtidos no laboratório e aqueles obtidos no

campo, no que diz respeito aos indicadores objetivos selecionados (tempo

de execução, número de opções incorretas, número de ações incorretas,

número de erros repetidos e número de consultas à ajuda). Na verdade,

constatou-se apenas uma diferença relacionada ao número de consultas à

ajuda, entretanto tal diferença, conforme explicado no capítulo anterior,

deveu-se às formas de ajuda disponibilizadas em cada ambiente de teste.

Portanto, o experimento demonstrou que aplicações que requerem muita

interação com o usuário, especialmente entrada textual são inapropriadas

para serem executadas enquanto este se movimenta pelo ambiente de

teste, devido à divisão de atenção exigida. Isto reforça o fato de que, para o

escopo do produto-alvo avaliado, o ambiente de avaliação não necessitava

diferir do ambiente utilizado para avaliar dispositivos desktop.

Considerando as especificidades e dificuldades inerentes à realização

de testes no campo e as peculiaridades do dispositivo avaliado, conclui-se

que, para esta avaliação, a relação custos-benefícios da realização de testes

de campo não se mostrou compensadora, uma vez que exigiu muito mais

esforço do avaliador para realizá-los no tocante ao acompanhamento da

sessão de teste, ao registro da interação e ao controle dos equipamentos de

apoio ao registro do processo interativo.

A avaliação da mobilidade do dispositivo sobre os dados coletados

durante os testes laboratoriais (dispositivo fixado à mesa versus dispositivo

livre para movimentação) permitiu constatar que não houve diferença

estatística significativa entre os dados relativos às duas situações de teste.

Ou seja, a fixação do dispositivo não causou nenhum impacto sobre os

indicadores objetivos coletados nem sobre o número de falhas detectadas.

Do ponto de vista do número de falhas, constatou-se que, no tocante

ao perfil dos usuários, aqueles categorizados como intermediários e

experientes contribuíram de forma mais significativa para a detecção de

falhas.

Dentre os resultados obtidos neste trabalho, pode-se ainda citar o

desenvolvimento do aparato para suporte da micro-câmera sem fio (Figura

33), a fim de tornar possível o registro em vídeo da interação dos usuários

164

com o dispositivo nos testes de campo. O aparato desenvolvido sofreu

adaptações no curso da pesquisa, evoluindo de um equipamento maior e

mais pesado (360g) para um aparato mais leve e simples (245g). Apesar

de, durante a entrevista não-estruturada, os usuários afirmarem que o

aparato não interferiu na execução das tarefas, percebeu-se que eles

preferiram apoiá-lo sobre a mesa disponível no ambiente de teste de

campo. Portanto, acredita-se ainda que sua otimização venha a torná-lo

menos intrusivo.

Apesar de ser considerado como um resultado de natureza

secundária, pois não era o foco principal deste trabalho, cita-se ainda como

resultado desta pesquisa o relatório de avaliação do dispositivo Nokia 770

Internet Tablet.

Portanto, a partir da aplicação da abordagem híbrida, dos dados

coletados e da análise realizada, conclui-se que a abordagem híbrida se

mostrou eficaz na detecção de problemas de usabilidade com

dispositivos móveis e que adaptações mínimas nas técnicas de

avaliação tradicionais são suficientes para englobar a avaliação de

dispositivos móveis.

6.3 Proposições para Trabalhos Futuros

É importante dar continuidade à linha de pesquisa de avaliação da

usabilidade de dispositivos móveis, a fim de fortalecer a abordagem

descrita. Apesar da possibilidade de generalização dos resultados obtidos

com esta pesquisa, é preciso considerar que a avaliação foi conduzida para

um produto específico e em função de um conjunto de condições específicas

(e.g. o escopo de avaliação do produto).

Com o objetivo de consolidar a validação da abordagem de avaliação

apresentada e discutida neste documento, mostra-se pertinente a aplicação

do processo de avaliação da usabilidade ora descrito a outras categorias de

dispositivos móveis (e.g. telefones celulares, smartphones), sendo mantidas

as hipóteses desta pesquisa, de forma a corroborar (ou refutar) os

resultados obtidos neste trabalho (i.e. influência da mobilidade do usuário e

da mobilidade do dispositivo sobre os resultados dos testes).

Sugere-se a realização de testes de campo em ambiente totalmente

aberto, sujeito a variações de temperatura e iluminação (e.g. ambientes

165

sujeitos à iluminação solar).

Sugere-se também uma nova comparação da influência da

mobilidade do dispositivo nos testes laboratoriais, desta vez feita com um

número maior de usuários de teste em laboratório (> 30), de modo a

reforçar a validação dos resultados obtidos nesta pesquisa.

Sugere-se ainda o uso de telefones celulares como estudo de caso

para aplicação da abordagem ora apresentada, uma vez que tais

dispositivos apresentam uma grande difusão no mercado consumidor. A

condução da avaliação da usabilidade de outros dispositivos móveis,

especialmente no campo, possibilitará também aperfeiçoar o aparato de

suporte/ afixação da micro-câmera utilizada para o registro da interação do

usuário com o dispositivo.

Encontram-se na literatura várias opiniões acerca da relação entre o

número de usuários e o número de falhas detectadas. Assim, propõe-se

como trabalho futuro a análise desta relação, de forma a identificar um

número mínimo de usuários necessário para atingir um percentual pré-

especificado de identificação de falhas (e.g. 85% das falhas de usabilidade

de um dispositivo móvel está associada à pelo menos 10 usuários de teste).

A investigação de alternativas para captura automática de dados, de

forma transparente ao usuário, durante a interação usuário-produto

também se mostra como um importante nicho de pesquisa. Por exemplo, a

adaptação do software de captura remota de vídeo, utilizado nesta

pesquisa, a uma outra categoria de dispositivos móveis.

No que diz respeito à infra-estrutura do LIHM (Laboratório de

Interfaces Homem-Máquina), sugere-se o desenvolvimento de aplicativos

que auxiliem no processo de condução dos testes de usabilidade, de forma

a possibilitar a geração integrada de vídeos de melhor qualidade,

possibilitando análises retrospectivas mais ágeis e melhor contextualizadas

das sessões de teste.

166

Referências Bibliográficas

ACER – Acer TravelMate 100 Tablet PC. 2005. Disponível em:

<http://www.acersupport.com/notebook/html/tmc100_tabletpc.html>.

Acesso em: 15 out. 2005.

ANATEL – Agência Nacional de Telecomunicações. Dados relevantes do

SMC/ SMP. Disponível em: <http://www.anatel.gov.br/comunicacao_

movel/smp/>. Acesso em: 23 Jan. 2007.

ANTONIAC, P. A taxonomy of mobility: some implications and

requirements for mobile information appliances. Control engineering

and applied informatics, vol. 7, n. 4, p. 3-10, 2005.

BARNUM, C.; BEVAN, N.; COCKTON, G.; NIELSEN, J.; SPOOL, J; WIXON, D.

The magic number 5: is it enough for web testing? In Proceedings of

CHI 2003, Estados Unidos, Abril, 2003.

BETIOL, A. H. Avaliação de usabilidade para os computadores de

mão: um estudo comparativo entre três abordagens para ensaios de

interação. 2004. 210 f. Tese (Doutorado em Engenharia de Produção) –

Pós-graduação em Engenharia de Produção, Universidade Federal de Santa

Catarina, Florianópolis, 2004.

BOWDEN, S.; THORPE, A.; BALDWIN, A. Usability testing of hand held

computing on a construction site. Proceedings of the CIB W78

Conference, Auckland, New Zealand, April, 2003.

BRAUN, D. Brasil tem 32 milhões de computadores. IDG Now, 04 Abril

2006, Disponível em: <http://idgnow.uol.com.br/computacao_pessoal/

2006/04/04/idgnoticia.2006-04-04.0451240863/IDGNoticia _view>. Acesso

em: 17 Novembro 2006.

CAMSTUDIO. CamStudio – Free Screen Recording Software. 2006,

Disponível em: <http://www.camstudio.org/>. Acesso em: 20 Jul. 2006.

CHINCHOLLE, D.; GOLDSTEIN, M. The finger-joint-gesture wearable

keypad. Interact’99 – Workshop on Mobile Devices, Edinburgh, Scotland,

1999.

167

CROASMUN, J. Are Ergonomists Really Consulted in Mobile Phone

Design? Ergoweb, 17 Jul. 2004, Disponível em: <http://www.ergoweb.

com/news/detail.cfm? id=961>. Acesso em: 04 Jun. 2005.

CRUZ, R. Venda de computadores cresceu 24% em 2005.

Estadao.com.br, 05 Abril 2006, Disponível em: <http://www.link.estadao.

com.br/index.cfm%3Fid_conteudo%3D6985+%22computadores+em+uso

%22&hl=pt-BR&gl=br&ct=clnk&cd= 10>. Acesso em: 22 Janeiro 2007.

DIGIT WIRELESS. 2005. Disponível em: <http://www.digitwireless.

com>. Acesso em: 15 nov. 2005.

DISA – Defense Information Systems Agency. Mobile and wireless device

addendum to the wireless: Security technical implementation guide. V.1,

2005.

DUDA, S.; SCHIEL, M.; HESS, J. M. Mobile Usability. Empfehlungen für die

Entwicklung benutzerfreundlicher mobiler Datendienste, 2002.

DUMAS, J. S.; REDISH, J. C. A practical guide to usability testing. UK:

Intellect, Ltd, 1999. 416 p.

FAULKNER, L. Beyond the five-user assumption: Benefits of increased

sample sizes in usability testing. Behaviour Research Methods,

Instruments & Computers, p. 379-383, 2003.

GORLENKO, L.; MERRICK, R. No wires attached: Usability challenges in

the connected mobile world. IBM Systems Journal, vol. 42, n. 4, p. 639-

651, 2003.

GRANT, J. Developing usability principles and guidelines for web

content on PDAs. SIMS Research Students’ Colloquium, 2004.

HAGEN, P.; ROBERTSON, T.; KAN, M.; SADLER, K. Emerging research

methods for understanding mobile technology use. In Proceedings of

OZCHI 2005, Australia, November, 2005.

International Eletrotechnical Commission - IEC. Inside the IEC – General

Information. 2000. Disponível em: <http://www.iec.ch/ gnote1-e.htm>.

Acesso em: 18 Jul. 2005.

168

INTERNATIONAL STANDARD ORGANIZATION - ISO. ISO 9241

Ergonomics requirements for office work with visual displays

terminals (VDTs) - Part 1: General introduction. International Standard,

Suécia, 2001.

ISO – International Organization for Standardization. ISO 9241 –

Ergonomic Requirements for Office Work with Visual Display

Terminals (VDTs) – Part 10: Dialogue principles. Geneva, 1996.

INTERNATIONAL STANDARD ORGANIZATION - ISO. ISO 9241

Ergonomics requirements for office work with visual displays

terminals (VDTs) - Part 11: Guidance on usability. International Standard,

Suécia, 1998.

ISO – International Organization for Standardization. ISO 9241 –

Ergonomic Requirements for Office Work with Visual Display

Terminals (VDTs) – Part 14: Menu Dialogues. Geneva, 1997.

ISO – International Organization for Standardization. ISO 9241 –

Ergonomic Requirements for Office Work with Visual Display

Terminals (VDTs) – Part 16: Direct manipulation dialogues. Geneva,

1999b.

ISO – International Organization for Standardization. ISO 9241 –

Ergonomic Requirements for Office Work with Visual Display

Terminals (VDTs) – Part 17: Form filling dialogues. Geneva, 1998b.

ISO – International Organization for Standardization. ISO 9241 –

Ergonomics of human-system interaction – Part 110: Dialogue

principles. Geneva, 2006.

ISO – International Organization for Standardization. ISO 14754 – Pen-

Based Interfaces – Common gestures for Text Editing with Pen-

Based Systems. Geneva, 1999.

ISO – International Organization for Standardization. ISO 18021 – User

interfaces for mobile tools for management of database

communications in a client-server model. Geneva, 2002.

ISO – International Organization for Standardization. ISO 24755 – Screen

169

icons and symbols for personal mobile communication device.

Geneva, 2006a.

ISO – International Organization for Standardization. Overview of the

ISO System. 2006b. Disponível em: <http://www.iso.org/iso/en/

aboutiso/introduction/index.html>. Acesso em: 25 Nov. 2006.

ITU – International Telecommunication Union. E.161 - Arrangement of

digits, letters and symbols on telephones and other devices that can

be used for gaining access to a telephone network. 2001.

KAASINEN, E.; AALTONEN, M.; KOLARI, J.; MELAKOSKI, S.; LAAKKO, T.

Two approaches to bringing internet services to WAP devices. The

International Journal of Computer and Telecommunications Networking, v.3,

n. 1-6, Jun., p. 231-246, 2000.

KAIKKONEN, A.; KALLIO, T.; KEKÄLÄINEN, A.; KANKAINEN, A.; CANKAR,

M. Usability testing of mobile applications: a comparison between

laboratory and field testing. Journal of Usability Studies, v. 1, n. 1, Nov.,

p. 4-16, 2005.

KAMBA, T.; ELSON, S. A.; HARPOLD, T.; STAMPER, T. SUKAVIRIYA, P. N.

Using small screen space more efficiently. In Proceedings of CHI’96,

April, p.383-390, 1996.

KETOLA, P.; RÖYKKEE, M. The three facets of usability in mobile

handsets. 2002, Disponível em: <www.cs.colorado.edu/~palen/

chi_workshop/papers/ketola.pdf>. Acesso em: 06 Jun. 2005.

KIM, H.; KIM, J.; LEE, Y.; CHAE, M.; CHOI, Y. An empirical study of the

use of contexts and usability problems in mobile internet. In

Proceedings of the 35

Hawaii International Conference on System Sciences

(HICSS 35 ‘02), 2002.

KJELDSKOV, J. Evaluating the usability of a mobile guide: the

influence of location, participants and resources. Behaviour and

Information Technology, p. 51-65, 2005.

KJELDSKOV, J.; SKOV, M. B.; ALS, B. S.; HOEGH, R. T. Is it worth the

hassle? Exploring the added value of evaluating the usability of

170

context-aware mobile systems in the field. In Mobile HCI, p. 61-73,

2004.

KJELDSKOV, J.; STAGE, J. New techniques for usability evaluation of

mobile systems. International Journal of Human-Computer Studies, v. 60,

n. 5-6, May, p. 599-620, 2004.

KJELDSKOV, J. Just-in-place Information for Mobile Device

Interfaces. In Proceedings of the 4

International Symposium on Mobile

Human-Computer Interaction, p. 271-275, 2002.

KLOCKAR, D.; CARR, D. A.; HEDMAN, A.; JOHANSSON, T. BENGTSSON, F.

Usability of mobile phones. In Proceedings of the 19th International

Symposium on Human Factors in Telecommunications, December, p. 197-

204, 2003.

KONKKA, K. Indian needs - Cultural end-user research in Mombai. In:

LINDHOLM, C.; KEINONEN, T. Mobile usability: How Nokia changed the face

of the mobile phone. USA: McGraw-Hill, 2003. cap. 4, p. 97-112.

LIHM – Laboratório de Interface Homem-Máquina. 2006. Disponível

em: <http://www.lihm.paqtc.org.br>. Acesso em: 02 Dez. 2006.

LINDHOLM, C.; KEINONEN, T; KILJANDER, H. Mobile usability: How

Nokia changed the face of the mobile phone. USA: McGraw-Hill, 2003,

320 p.

LITTLE SPRINGS DESIGN - Text input on mobile devices. 2005.

Disponível em: <http://www.littlespringsdesign.com/design/ textinput/>.

Acesso em: 15 nov. 2005.

MACKENZIE, I. C.; SOUKOREFF, R. W. Text entry for mobile computing:

models and methods, theory and practice. Human-Computer

Interaction, p. 147-198, 2002.

MALLICK, M. Mobile and wireless design essentials. Canada: Wiley

Publishing, Inc., 2003, 470 p.

MARK, G., CHRISTENSEN, U., & SHAFAE, M. A methodology using a

micro camera for studying mobile IT usage and person mobility. In

171

CHI Workshop on Mobile Communications: Understanding Users, Adoption &

Design, 2001.

Motorola - Motorola Timeport P935. 2005a. Disponível em:

<http://commerce.motorola. com/cgi-bin/ncommerce3/

ProductDisplay?prrfnbr=211961&prmenbr=126&pager_cgrfnbr

=13&zipcode=>. Acesso em: 13 out. 2005.

Motorola - Motorola V635. 2005b. Disponível em: <http://hellomotola.

motorola.com/ br/flash/V635/default.shtml>. Acesso em: 15 out. 2005.

NIELSEN, J. Return on Investment for Usability. Jakob’s Nielsen

Alertbox. 07 jan. 2003, Disponível em: <http://www.useit.com/

alertbox/20030107.html>. Acesso em: 18 de nov. 2004.

NIELSEN, J. Why you only need to test with 5 users. Jakob’s Nielsen

Alertbox. 19 Mar. 2000, Disponível em: <http://www.useit.com/alertbox/

20000319.html>. Acesso em: 21 Jul. 2005.

NIELSEN, J. Usability Engineering. Cambridge: Academic Press, 1993,

362 p.

NIEMINEN-SUNDELL, R.; VÄÄNÃNEN-VAINIO-MATILLA, K. Usability meets

sociology for richer consumer studies. In: LINDHOLM, C.; KEINONEN,

T. Mobile usability: How Nokia changed the face of the mobile phone. USA:

McGraw-Hill, 2003. cap. 5, p. 113-129.

NOKIA – Nokia 770 Internet Tablet. 2005a. Disponível em: <http://

europe.nokia.com/nokia/0,,74866,00.html>. Acesso em: 15 out. 2005.

NOKIA – Nokia 1100. 2005b. Disponível em: <http://www.nokia.com.

br/cda1?id= 56823>. Acesso em: 15 out. 2005.

NOKIA – Nokia 6610. 2005c. Disponível em: <http://europe.nokia.com/

nokia/ 0,1522,,00.html?orig=/phones/6610/>. Acesso em: 15 nov. 2005.

NOKIA GROUP. 2005. Disponível em: <http://www.nokia.com>. Acesso

em: 14 nov. 2005.

OLIVEIRA, R. C. L. de. WebQuest: Uma Ferramenta Web Configurável

para a Sondagem da Satisfação Subjetiva do Usuário. 2005. 224 p.

172

Dissertação de Mestrado (Mestrado em Informática) – Pós-graduação em

Informática, Universidade Federal de Campina Grande, Campina Grande,

2005.

PalmOne – Palm Zire. 2005a. Disponível em: <http://www.palm.com/

us/products/ handhelds/zire72/>. Acesso em: 15 out. 2005.

PalmOne – Treo 650. 2005b. Disponível em: <http://www.palm.com/

us/products/ smartphones/treo650/>. Acesso em: 15 out. 2005.

PalmOne – Tugsten T5. 2005c. Disponível em: <http://www.palm.com/

us/products/ handhelds/tungsten-t5/>. Acesso em: 15 out. 2005.

PO, S. Mobile usability testing and evaluation. 2003. 114 p. Thesis for

degree (Bachelor of Information Systems) – Department of Information

Systems, University of Melbourne, Australia, 2003.

PREECE, J.; ROGERS, Y.; SHARP, H. Design de interação: além da

interação homem-computador. Porto Alegre: Bookman, 2005. 548 p.

QUEIROZ, J. E. R. DE; OLIVEIRA, R. C. L. DE; TURNELL. M. F. Q. V.

WebQuest: A Configurable Web Tool to Prospect the User Profile and

User Subjective Satisfaction. In: HCI International 2005. Las Vegas,

Nevada. July 22-27. Volume 2 - The Man. of Information: E-Business, the

Web, and Mobile Computing. 2005.

QUEIROZ, J. E. R. Abordagem híbrida para a avaliação da usabilidade

de interfaces com o usuário. 2001. 410 p. Tese (Doutorado em

Engenharia Elétrica) – Pós-graduação em Engenharia Elétrica, Universidade

Federal da Paraíba, Campina Grande, 2001.

RIM – Research in Motion. 2005. Disponível em: <www.rim.net>. Acesso

em: 13 out. 2005.

ROSSON, M. B.; CARROLL, J. M. Usability engineering: Scenario-based

development of human-computer interaction. San Francisco: Academic

Press, 2002, 444 p.

ROTO, V.; OULASVIRTA, A.; HAIKARAINEN T.; KUORELAHTI, J.

LEHMUSKALLIO H.; NYYSSÖNEN, T. Examining mobile phone use in the

173

wild with quasi-experimentation. Technical Report, Helsinki Institute for

Information Technology, 2004.

RUBIN, J. Handbook of usability testing. Nova Iorque: John Willey &

Sons, Ltd, 1994. 352 p.

SALEMBIER, P.; KAHN, J.; CALVET, G.; ZOUINAR, M.; RELIEU, M. “Just

Follow me”. Examining the use of a multimodal mobile device in

natural settings. In Proceedings of the HCI International Conference, July,

2005.

SENSEBOARD – Senseboard Virtual Keyboard. 2005. Disponível em:

<http://www.senseboard.com>. Acesso em: 15 nov. 2005.

SHACKEL, B. Human Factors for Informatics Usability. University Press,

Cambridge, 1991.

SILFVERBERG, M. The one-row keyboard: a case study in mobile text

input. In: LINDHOLM, C.; KEINONEN, T. Mobile usability: How Nokia

changed the face of the mobile phone. USA: McGraw-Hill, 2003. cap. 7, p.

156-168.

SONYERICSSON – SonyEricsson P800 Smartphone. 2005a. Disponível

em: <http://www.sonyericsson.com/spg.jsp?cc=global &lc=en&ver=4001&

template=pp1_1_1&zone=pp&lm=pp1&pid= 9940>. Acesso em: 15 out.

2005.

SONYERICSSON – SonyEricsson T610. 2005b. Disponível em:

<http://www.sonyericsson.com/spg.jsp?cc=global&lc=en&ver=4001&templ

ate=pp1_1_1&zone=pp&lm=pp1&pid=10055>. Acesso em: 15 out. 2005.

SONYERICSSON – SonyEricsson W800. 2005c. Disponível em:

<www.sonyericsson.com/walkmanphone/>. Acesso em: 15 out. 2005.

SPOOL, J. The Usability of Usability. Webword.com, 25 Jul. 2001,

Disponível em: <http://www.webword.com/ interviews/spool2. html>.

Acesso em: 04 Jun. 2005.

ST. AMANT, R.; HORTON, T. E.; RITTER, F. E. Model-based evaluation of

cell phone menu interaction. In Proceedings of the ACM Conference on

174

Human Factors in Computing Systems (CHI‘04), April, p. 343-350, 2004.

TEGIC – TEGIC Communications. 2005. Disponível em:

<http://www.tegic.com>. Acesso em: 14 nov. 2005.

THINKOUTSIDE – THINK OUTSIDE Stowaway XT Ultra-Thin Portable

Keyboard. 2005. Disponível em: <http://www.thinkoutside.com/products/

vsaplm/vsaplm_product. html>. Acesso em: 15 nov. 2005.

TRIGENIX. Usability Lab Factsheet. 2004, Disponível em: <http://web.

archive.org/web/ 20040624092837/trigenix.com/ support/Usability.pdf>.

Acesso em: 21 Jul. 2005.

Real VNC - VNC Server. 2006, Disponível em:

<http://www.realvnc.com>. Acesso em: 20 Jul. 2006.

VKB – Virtual Keyboard. 2005. Disponível em:

<http://www.virtualdevices.net>. Acesso em 15 nov. 2005.

WATERSON, S.; LANDAY, J. A.; MATTHEWS, T. In the Lab and Out in the

Wild: Remote Web Usability Testing for Mobile Devices. In

Proceedings of the Conference on Human Factors in Computing Systems

CHI ‘02, p. 796-797, 2002.

WebQuest – Portal do WebQuest. 2006. Disponível em:

<http://www.lihm.paqtc.org.br/webquest/>. Acesso em: 04 Dez. 2006.

WEISER, M. Some computer science problems in ubiquitous

computing. In. Communications of the ACM 36, n. 7, Jul., p. 75-84, 1993.

WEISS, S. Handheld usability. Nova Iorque: John Willey & Sons, Ltd,

2002, 291 p.

X11VNC – A VNC Server for real X displays. 2006, Disponível em:

<http://www.karlrunge.com/x11vnc/>. Acesso em: 20 Jul. 2006.

ZHU, M. A speech recognition interface for PDAs and cell phones.

Drexel University, Philadelphia, 2004.

175

Anexo A – Material de Treinamento

[email protected]fcg.edu.br danilo.sous[email protected]

DSC/CCT/UFCG

[email protected]fcg.edu.br danilo.sousa@gmail.comdanilo@dsc.ufcg.edu.br danilo.sous[email protected]

Roteiro



Introdução



Principais Funções



O Dispositivo



Mecanismos de Entrada de Texto



Meios de Acesso à Internet

[email protected]fcg.edu.br danilo[email protected]danilo@dsc.ufcg.edu.br danilo.sousa@gmail.com

Introdução

 O Nokia 770 Internet Tablet é um dispositivo

móvel com funções de PDA (Personal Digital

Assistant), mas sem funcionalidades de

telefone.

 Foi lançado em 2005, em mercados

selecionados da Europa e da América do

Norte.

 O Nokia 770 Internet Tablet é um dispositivo

móvel com funções de PDA (Personal Digital

Assistant), mas sem funcionalidades de

telefone.

 Foi lançado em 2005, em mercados

selecionados da Europa e da América do

Norte.

[email protected]fcg.edu.br danilo[email protected]danilo@dsc.ufcg.edu.br danilo.sousa@gmail.com

Principais Funções

 Browser Web

 Correio Eletrônico

 Browser Web

 Correio Eletrônico

danilo@dsc.ufcg.edu.br danilo.sousa@gmail.comdanilo@dsc.ufcg.edu.br danilo.sousa@gmail.com

Principais Funções

 Visualização de Imagens

 Aplicativo de Áudio e Vídeo

 Visualização de Arquivos PDF

 Calculadora

 Jogos

 Outros

 Visualização de Imagens

 Aplicativo de Áudio e Vídeo

 Visualização de Arquivos PDF

 Calculadora

 Jogos

 Outros

[email protected]fcg.edu.br danilo[email protected]danilo@dsc.ufcg.edu.br danilo.sousa@gmail.com

O Dispositivo

176

danilo@dsc.ufcg.edu.br danilo.sousa@gmail.comdanilo@dsc.ufcg.edu.br danilo.sousa@gmail.com

O Dispositivo

 1 – Conector para o carregador

 2 – Porta mini USB

 3 – Saída de Áudio

 4 – Caneta stylus

 1 – Conector para o carregador

 2 – Porta mini USB

 3 – Saída de Áudio

 4 – Caneta stylus

[email protected]fcg.edu.br danilo[email protected]danilo@dsc.ufcg.edu.br danilo.sousa@gmail.com

Modos de Entr ada Textual

Modos de Entrada Textual

 Teclado Virtual

 Reconhecimento de Escrita

 Teclado Virtual

 Reconhecimento de Escrita

Teclado Virtual

Reconhecimento de Escrita

[email protected]fcg.edu.br danilo[email protected]danilo@dsc.ufcg.edu.br danilo.sousa@gmail.com

Acesso à Internet



Duas formas de acesso:



WLAN (wireless local area network)



Rede local sem fio



Telefone Celular com Bluetooth



Duas formas de acesso:



WLAN (wireless local area network)



Rede local sem fio



Telefone Celular com Bluetooth

Internet

Rede sem fio

Nokia 770

Acesso Wi-fi

Telefone Celular

Internet

Nokia 770

Acesso Bluetooth

[email protected]g.edu.br danilo.sousa@gmail.com

DSC/CCT/UFCG

Grupo de

Interfaces

GIHM

Universidade Federal de Campina Grande

Departamento de Engenharia Elétrica

Departamento de Sistemas e Computação

Fundação Parque Tecnológico da Paraíba

Homem-Máquina

177

Anexo B - Cadastro de Participação

Cadastro de Participação

LIHM – Laboratório de Interface Homem-Máquina

www.lihm.paqtc.org.br

Dados Pessoais

Nome

Endereço Residencial

Logradouro Número

Complemento

Bairro CEP

Cidade Estado

Telefone Celular

E-mail

Endereço Profissional

Empresa/Instituição

Logradouro Número

Complemento

Bairro CEP

Cidade Estado

Telefone Fax

E-mail

Endereço preferencial para contato

( ) Residencial ( ) Profissional

Nível de instrução

( ) Ensino médio incompleto

( ) Ensino médio completo

( ) Superior incompleto

( ) Superior completo

Área de Formação (Nível Superior)

( ) Outro

Observações:

178

Anexo C - Documento de Aceitação das Condições de

Teste

LIHM – Laboratório de Interface Homem-Máquina

www.lihm.paqtc.org.br

Autorização

Autorizo a utilização das imagens e sons registrados durante a sessão de teste com

produto Nokia 770 Internet Tablet, realizada em ____ de _____________ de ______.

Saliento que tais imagens e sons poderão ser utilizados para fins de análise de dados e

geração de relatórios.

Campina Grande, ____ de _______________ de ______.

______________________________________________

Nome:

CPF:

RG:

179

Anexo D - Termo de Confidencialidade

LIHM – Laboratório de Interface Homem-Máquina

www.lihm.paqtc.org.br

Termo de CONFIDENCIALIDADE

Comprometo-me a manter completo e absoluto sigilo, em relação a quaisquer dados,

materiais, informações transmitidas, documentos, especificações técnicas ou comerciais, de que

venha a ter conhecimento, ou acesso de forma verbal e/ou escrita; ou que a mim venha a ser

confiado em razão deste teste com o produto Nokia 770 Internet Tablet, realizado em ____ de

_______________ de ______. Não podendo, sob qualquer pretexto, reproduzir, divulgar, ceder,

vender, doar, explorar, comercializar, revelar, utilizar ou dele dar conhecimento a terceiros

estranhos.

Declaro estar ciente de que, na forma da lei, sou responsável civilmente

pela divulgação indevida, descuidada ou incorreta utilização das informações de

natureza confidencial que me tenham sido reveladas.

Campina Grande, ____ de _______________ de ______.

______________________________________________

Nome:

CPF:

RG:

180

Anexo E - Questionário para Delineamento do Perfil

LIHM – Laboratório de Interface Homem-Máquina

www.lihm.paqtc.org.br

USer (User Sketcher)

1 – Você é do sexo:

{ Masculino { Feminino

2 – Seu grau de instrução:

{ Ensino Médio Incompleto { Superior Completo

{ Ensino Médio Completo { Pós-graduação Incompleta

{ Superior Incompleto { Pós-graduação Completa

3 – Você é:

{ Destro (Direito) { Ambidestro (Direito e Esquerdo)

{ Canhoto (Esquerdo)

4 – Você usa óculos ou lentes de contato:

{ Sim { Não

5 – Você pertence à faixa etária de:

{ Menos de 18 anos { 30 -35 anos

{ 18-23 anos { Acima de 35 anos

{ 24-29 anos

6 – Você tem experiência prévia no uso de sistemas computacionais (computador)? Caso sua

resposta seja Não, assinale a opção “Não se aplica” nas questões 7, 8, 9 e 10.

{ Sim { Não

7 – Há quanto tempo você usa sistemas computacionais (computador)?

{ Menos de 3 meses { Mais de 1 ano

{ Entre 3 meses e 1 ano { Não se aplica

8 – Com que freqüência você usa sistemas computacionais (computador)?

{ Diariamente { Ocasionalmente

{ Algumas vezes por semana { Não se aplica

{ Algumas vezes por mês

9 – Qual a plataforma computacional que você utiliza com mais freqüência?

{ Windows { Outra

{ Linux { Não se aplica

10 – Qual o seu nível de conhecimento em Informática?

{ Básico { Avançado

{ Intermediário { Não se aplica

11 – Você já utilizou o dispositivo Nokia 770 Internet Tablet? Caso sua resposta seja Não, assinale

a opção “Não se aplica” na questão 12.

{ Sim { Não

181

12 – Com que freqüência você utiliza o Nokia 770 Internet Tablet?

{ Diariamente { Ocasionalmente

{ Algumas vezes por semana { Não se aplica

{ Algumas vezes por mês

13 – Qual dos produtos listados abaixo você utiliza ou já utilizou?

 Telefone Celular  Smartphone

 PDA (Personal Digital Assistant)  Nenhum destes

14 – Qual a sua familiaridade com a língua inglesa?

{ Péssima { Boa

{ Ruim { Ótima

{ Regular

182

Anexo F - Questionário para Sondagem da Satisfação

LIHM – Laboratório de Interface Homem-Máquina

www.lihm.paqtc.org.br

USE (User Satisfaction Enquirer)

Uso e Navegação

1 Uso do produto na realização de tarefas de interesse. Importância

(0-10)