ads:
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
INSTITUTO DE INFORMÁTICA
PROGRAMA DE PÓS-GRADUAÇÃO EM COMPUTAÇÃO
E-Avalia - Um Agente para Avaliação de
Ensino-Aprendizagem em Educação a Distância
por
ALESSANDRA PEREIRA RODRIGUES
Dissertação submetida à avaliação,
como requisito parcial para a obtenção do grau de Mestre
em Ciência da Computação
Prof. Dr. Cláudio Fernando Resin Geyer
Orientador
Porto Alegre, novembro de 2002.
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
2
CIP – CATALOGAÇÃO NA PUBLICAÇÃO
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
Reitora: Profª. Wrana Panizzi
Pró-Reitor de Ensino: Prof. José Carlos Ferraz Hennemann
Pró-Reitor Adjunto de Pós-Graduação: Prof. Jaime Evaldo Fensterseifer
Diretor do Instituto de Informática: Prof. Philippe Olivier Alexander Navaux
Coordenador do PPGC: Prof. Dr. Carlos Alberto Heuser
Bibliotecária-Chefe do Instituto de Informática: Beatriz Regina Bastos Haro
Rodrigues, Alessandra Pereira
E-Avalia - Um Agente para Avaliação de Ensino-
aprendizagem em Educação a Distância / por Alessandra Pereir
a
Rodrigues. - Porto Alegre: PPGC da UFGRS, 2002.
112 f.: il.
Dissertação (Mestrado) – Universidade Federal do Rio
Grande do Sul. Programa de Pós-Graduação em Computação,
Porto Alegre, BR – RS, 2002. Orientador: Geyer, Cláudio F. R.
1. Educação a Distância. 2. Avaliação 3. Agentes 4. Java I.
Geyer, Cláudio Fernando Resin. II. Título.
ads:
3
Agradecimentos
Agradeço a Deus por tudo e por mais esta oportunidade na minha vida.
Agradeço aos meus pais e meu irmão que me apoiaram e souberam me entender
nos momentos mais difíceis desta etapa.
Ao meu marido, Nixon da Rosa Westendorff, pela paciência, carinho,
compreensão e por estar sempre presente em todos os momentos desta etapa.
Ao Professor Cláudio Geyer pelo apoio, atenção e pelo carinho e respeito com que
trata os seus alunos.
Aos colegas do Projeto SEMEAI, pelas reuniões, trocas de idéias e amizade.
A todas as pessoas que de uma forma ou de outra contribuíram para a realização
desse trabalho.
O presente trabalho foi realizado com o apoio da CAPES, entidade do Governo
Brasileiro voltada para a formação de recursos humanos.
4
Sumário
Lista de Abreviaturas............................................................................... 7
Lista de Figuras........................................................................................ 8
Lista de Tabelas...................................................................................... 10
Resumo.................................................................................................... 11
Abstract .................................................................................................. 13
1 Introdução ........................................................................................... 15
1.1 Motivação............................................................................................................ 15
1.2 Proposta............................................................................................................... 16
1.3 Organização......................................................................................................... 17
2 Agentes Inteligentes em Educação a Distância.................................. 18
2.1 Inteligência Artificial Distribuída....................................................................... 18
2.2 Agentes Inteligentes............................................................................................. 21
2.2.1 Características dos Agentes ................................................................................21
2.2.2 Agentes Pedagógicos.......................................................................................... 22
2.3 Modelos de Avaliação em Educação a Distância................................................23
2.3.1 Aulanet ..............................................................................................................23
2.3.2 WebCT .............................................................................................................. 26
2.3.3 Topclass.............................................................................................................28
2.3.4 Web Course in a Box..........................................................................................29
2.3.5 Teleduc .............................................................................................................. 30
2.3.6 Smart ................................................................................................................. 33
2.3.7 Hyperlearning Meter System.............................................................................. 34
2.3.8 Hot Potatoes....................................................................................................... 34
2.3.9 Question Mark Perception.................................................................................. 37
2.3.10 Avalweb........................................................................................................... 38
2.3.11 Comparação entre os Modelos e Ferramentas de Avaliação em EAD................ 40
2.4 Avaliação em Agentes Pedagógicos .................................................................... 41
2.4.1 Sistema de Alertas.............................................................................................. 41
2.4.2 Javal................................................................................................................... 43
2.4.3 Proposta de Ferramentas e Agentes Inteligentes para um Ambiente de Ensino-
Aprendizagem na Web....................................................................................... 46
2.4.4 Proposta para um Ambiente de Avaliação Pedagógica - AMAPED .................... 47
2.4.5 Utilizando Agentes no Suporte à Avaliação Informal no Ambiente de Instrução
Baseada na Web - AULANET ........................................................................... 47
2.4.6 Comparação entre os Modelos que utilizam Agentes Pedagógicos...................... 50
2.5 Ferramentas para Avaliação Informal em Educação a Distância..................... 50
2.5.1 Analogvb ........................................................................................................... 51
2.5.2 Access Miner ..................................................................................................... 52
2.5.3 Mecanismos Complementares de Avaliação ....................................................... 52
5
2.5.4 Comparação entre as Ferramentas para Avaliação Informal em Educação a
Distância............................................................................................................ 54
2.6 Resumo ................................................................................................................ 54
3 E-Avalia - Agente para Avaliação do Ensino-Aprendizagem em
EAD...................................................................................................... 56
3.1 Introdução ...........................................................................................................56
3.2 SEMEAI – SistEma Multiagente de Ensino-Aprendizagem na Internet .......... 56
3.3 Avaliação nos Processos de Ensino-Aprendizagem............................................ 60
3.4 Arquitetura do Agente E-Avalia......................................................................... 62
3.5 Modelo Funcional do Agente E-Avalia............................................................... 63
3.5.1 Conjunto de Regras de Produção........................................................................ 65
3.5.2 Compromissos.................................................................................................... 66
3.5.3 Habilidades ........................................................................................................66
3.6 Perfil do Aluno .................................................................................................... 70
3.7 Módulo Professor ................................................................................................ 72
3.7.1 Operações para Administração do Agente .......................................................... 73
3.7.2 Operações do Agente na Criação da Avaliação................................................... 75
3.7.3 Operações do Agente na Obtenção dos Resultados Alcançados pelo Aluno ........ 82
3.7.4 Operações do Agente na Verificação dos Resultados Alcançados pelo Aluno.....83
3.7.5 Operação do Agente na Análise, Detecção e Diagnóstico dos Resultados obtidos
junto ao Perfil do Aluno.....................................................................................83
3.7.6 Operações do Agente na Apresentação dos Resultados ao Professor (feedback) . 84
3.8 Módulo Aluno...................................................................................................... 85
3.8.1 Operações do Agente na Apresentação da Avaliação ao Aluno........................... 86
3.8.2 Operações do Agente na Apresentação dos Resultados ao Aluno (feedback) ...... 87
3.9 Comparação entre o E-Avalia e Modelos de Avaliação baseados em Agentes
Pedagógicos estudados ....................................................................................... 88
4 Implementação do Agente E-Avalia................................................... 90
4.1 Introdução ...........................................................................................................90
4.2 Tecnologias Utilizadas......................................................................................... 90
4.2.1 Metodologia de Desenvolvimento ...................................................................... 90
4.2.2 Linguagem de Programação ............................................................................... 90
4.2.3 Banco de Dados ................................................................................................. 91
4.3 Geração de Relatórios Dinâmicos....................................................................... 91
4.4 Interface............................................................................................................... 92
4.5 Instalação do Software........................................................................................ 92
5 Resultados Obtidos.............................................................................. 95
5.1 Introdução ...........................................................................................................95
6 Conclusão............................................................................................. 98
6.1 Limitações e Trabalhos Futuros ......................................................................... 99
Anexo 1 Diagrama de Classes.............................................................. 100
Anexo 2 Dicionário de Dados............................................................... 101
Anexo 3 Instrumento de Avaliação do E-Avalia................................. 106
6
Anexo 4 Sugestões Registradas pelos Alunos...................................... 108
Referências............................................................................................ 109
7
Lista de Abreviaturas
CAPES Coordenação de Aperfeiçoamento e Pesquisa do Ensino Superior
CGI Common Gateway Interface
CSW Computing Skills Workshop
EAD Educação a Distância
Fig. Figura
HTML Hypertext Markup Language
IA Inteligência Artificial
IAD Inteligência Artificial Distribuída
IE Internet Explorer
PAPED Programa de Apoio à Pesquisa em Educação a Distância
RDP Resolução Distribuída de Problemas
SEMEAI SistEma Multiagente de Ensino Aprendizagem na Internet
SMA Sistemas Multiagentes
SMART Special Multimedia Arenas for Refining Thinking
Tab. Tabela
UFRGS Universidade Federal do Rio Grande do Sul
WBC Web Course in a Box
WBT Web-Based Training
WebCT Web Course Tools
WWW World Wide Web
8
Lista de Figuras
FIGURA 2.1 - Relação entre as áreas.......................................................................... 18
FIGURA 2.2 - Classificação dos Sistemas Multiagentes.............................................. 20
FIGURA 2.3 - Taxonomia de Agentes ........................................................................ 22
FIGURA 2.4 - Taxonomia de Agentes Pedagógicos.................................................... 23
FIGURA 2.5 - Arquitetura do Quest............................................................................25
FIGURA 2.6 - Página principal do TelEduc ................................................................31
FIGURA 2.7 - Página de entrada do TelEduc.............................................................. 32
FIGURA 2.8 - Tela principal do HotPotatoes.............................................................. 34
FIGURA 2.9 - Tela de entrada de dados da ferramenta JQuiz...................................... 36
FIGURA 2.10 - Tela de configuração de saída de arquivos no HotPotatoes................. 37
FIGURA 2.11 - Gerenciador de questões .................................................................... 38
FIGURA 2.12 - Gerenciador de sessão........................................................................ 38
FIGURA 2.13 - Modelo do AvalWeb.......................................................................... 40
FIGURA 2.14 - Arquitetura do Sistema de Alertas...................................................... 42
FIGURA 2.16 - Modelo do ambiente Javal .................................................................44
FIGURA 2.17 - Modelo proposto para o suporte à avaliação informal no AulaNet...... 49
FIGURA 2.18 - Estrutura para avaliação do aluno [HAC 99] ...................................... 53
FIGURA 3.1 - Arquitetura do ambiente SEMEAI - SistEma Multiagente de Ensino
Aprendizagem na Internet .................................................................... 57
FIGURA 3.2 - Arquitetura do agente E-Avalia............................................................ 63
FIGURA 3.3 - Modelo de agente E-Avalia.................................................................. 64
FIGURA 3.4 - Estrutura cognitiva do agente E-Avalia................................................65
FIGURA 3.5 - Troca de mensagens entre o EAV e o AGT.......................................... 67
FIGURA 3.6 - Troca de mensagens entre o EAV e o AGT.......................................... 67
FIGURA 3.8 - Fluxo de Operações destinadas à identificação do perfil do aluno ........ 71
FIGURA 3.9 - Teste Psicológico................................................................................. 71
FIGURA 3.10 - Opções de escolha para teste psicológico ........................................... 72
FIGURA 3.11 - Resultado do Teste Psicológico.......................................................... 72
FIGURA 3.12 - Cadastro do Professor........................................................................73
FIGURA 3.13 - Autenticação...................................................................................... 73
FIGURA 3.14 - Cadastro de Cursos ............................................................................ 74
FIGURA 3.15 - Cadastro de Competências ................................................................. 74
9
FIGURA 3.16 - Cadastro de Habilidades..................................................................... 75
FIGURA 3.17 - Botão Dica......................................................................................... 79
FIGURA 3.18 - Cadastro da questão do tipo certo ou errado ....................................... 80
FIGURA 3.20 - Cadastro do Teste Personalizado........................................................ 81
FIGURA 3.21 - Cadastro de Alunos............................................................................ 82
FIGURA 3.22 - Cubo no formato html........................................................................ 85
FIGURA 3.23 - Cubo no formato xls ..........................................................................85
FIGURA 3.24 - Interface do agente na apresentação da avaliação ao aluno ................. 86
FIGURA 4.1 - Conexão com banco de dados Postgresql............................................. 91
FIGURA 4.2 - Interface do agente E-Avalia................................................................ 92
FIGURA 4.4 - Interface do CD ................................................................................... 93
FIGURA 5.1 - Respostas das perguntas objetivas do instrumento de avaliação do
E-Avalia............................................................................................... 96
FIGURA 5.2 - Respostas da pergunta número quatro do instrumento de avaliação do
E-Avalia............................................................................................... 97
FIGURA 5.3 - Respostas da pergunta número oito do instrumento de avaliação do
E-Avalia............................................................................................... 97
10
Lista de Tabelas
TABELA 2.1 - Comparação entre modelos e ferramentas de avaliação em EAD......... 40
TABELA 2.2 - Legenda dos modelos e ferramentas de avaliação................................ 41
TABELA 2.3 - Comparação entre modelos que utilizam agentes pedagógicos ............ 50
TABELA 2.4 - Legenda dos modelos e ferramentas de avaliação................................ 50
TABELA 3.1 - Modalidades e funções da avaliação.................................................... 61
TABELA 3.2 - Vantagens e desvantagens do uso de questões..................................... 77
TABELA 3.3 - Normas de construção de questões...................................................... 78
TABELA 3.4 - Comparação entre o agente E-Avalia e os agentes pedagógicos
estudados............................................................................................88
TABELA 3.5 - Legenda dos modelos de avaliação baseados em agentes pedagógicos 88
TABELA 5.1 - Porcentagem de Perfis por Instituição .................................................95
11
Resumo
Este trabalho tem por objetivo a construção e a prototipação de um modelo de
avaliação de alunos no ensino a distância, utilizando a tecnologia de agentes. Para tal,
foram utilizados os conceitos de avaliação formativa descritos por Bloom em [BLO83].
O agente para avaliação desenvolvido neste trabalho foi denominado E-Avalia, no
intuito de expressar a avaliação do Ensino-Aprendizagem.
O agente E-Avalia permite a criação de uma estrutura de competências e
habilidades que compõe um curso. Desta forma, os alunos são avaliados
qualitativamente de acordo com as habilidades pré-definidas pelo professor para cada
competência do curso.
As avaliações são realizadas ao término de cada unidade de ensino, que
corresponde a uma competência do curso, essas por sua vez são compostas por questões
de vários tipos, cada qual com uma habilidade associada, ou seja, um objetivo
específico.
O relatório entregue ao aluno como resultado da sua avaliação é descritivo e
contém as habilidades atingidas e as habilidades não atingidas acompanhadas das
prescrições necessárias para atingi-las. Já os relatórios disponíveis para o professor
mostram além dos dados qualitativos e dados quantitativos permitindo que sejam
tomadas decisões gerenciais em função dos resultados como um todo.
Percebe-se, nos sistemas de ensino a distância existentes, que os modelos de
avaliação tem como objetivo principal fornecer dados classificatórios dos alunos,
através de avaliações somativas.
A avaliação formativa ao contrário da avaliação somativa tem o propósito de
fornecer dados qualitativos em relação à aprendizagem dos alunos, constatar se os
objetivos estabelecidos foram alcançados pelos alunos e fornecer dados para aperfeiçoar
o processo ensino-aprendizagem.
O agente E-Avalia foi desenvolvido para ser integrado ao ambiente SEMEAI –
SistEma Multiagente de Ensino Aprendizagem na Internet. O processo de integração
dos agentes do SEMEAI é de responsabilidade do agente Tutor, que tem como função
gerenciar os eventos ocorridos dentro do ambiente e encaminhar as ações aos agentes
responsáveis.
O agente Seleciona Estratégia, desenvolvido em [PER99] e utilizado no SEMEAI,
tem a função de selecionar uma estratégia de ensino baseado no perfil do aluno.
A avaliação formativa foi utilizada com o intuito de fornecer resultados que
provoquem a mudança da estratégia utilizada no ambiente de ensino, a fim de melhorar
o ensino e a aprendizagem dos alunos.
Foram realizados dois estudos de caso para validar o agente E-Avalia. O primeiro
estudo de caso foi realizado com empregados da instituição Emater através do ambiente
TelEduc, no qual foi proposta a avaliação dos objetivos de uma unidade do curso
StarOffice. O segundo estudo de caso foi realizado com alunos de ensino médio e
técnico do Centro Federal de Educação Tecnológica de Pelotas – CEFET-RS, no qual
foi proposta a avaliação dos objetivos de uma unidade do curso de Informática Básica.
A principal diferença entre os dois estudos de caso é que o primeiro foi realizado
totalmente a distância, sem contato com os alunos, e o segundo foi realizado com o
12
auxílio do professor da disciplina em sala de aula. Os resultados dos estudos de caso
estão no capítulo cinco deste trabalho.
Palavras-Chave: avaliação, ensino a distância, avaliação formativa, agente.
13
TITLE: “E-AVALIA: A AGENT FOR ASSESSMENT OF TEACH-LEARNING IN
DISTANCE EDUCATION”
Abstract
The objective of this work is the construction and a prototype of a student’s
evaluation model concerning to distantly education, using the agents technology. For
such, the concepts of formative evaluation described by Bloom in [BLO83] were used.
The agent for evaluation developed in this work was denominated E-Avalia, with
the intention of expressing the evaluation of the Teach-Learning process. (Ensino-
Aprendizagem)
The E-Avalia agent allows the creation of a competence and ability structure
which composes a course. This way the students are evaluated qualitatively according to
the pre-defined abilities by the teacher for each course competence.
The evaluations are accomplished at the end of each teaching unit, which
corresponds to a competence of the course, these then, are composed by several kinds of
matters, each one with an associated ability, in other words, an specific goal.
The report delivered to the student as a result of his evaluation is descriptive and
contains the reached abilities and the non-reached abilities together with the necessary
advices to reach them. Otherwise the available reports given to the teachers show more
than qualitative and quantitative data allowing managerial decisions be taken in function
of the results as a whole.
We realize that in the distantly education systems, the evaluation models have as a
main objective just to supply student’s classifying data, through a summation
assessment.
On the contrary, the formative evaluation rather than that in summation has the
purpose of supplying qualitative data regarding the students learning, verifying if the
established objectives were reached by the students and supplying data to improve the
teaching-learning process.
The E-Avalia agent was developed to be integrated into the SEMEAI environment
– System Multiagent of Teaching-Learning on the Internet. The integration process of
the SEMEAI agents belongs to a tutor’s responsibility agent, which has as the function
to manage the events occurred inside the environment and to send the actions to the
responsible agents.
The Selects Strategy agent, developed in [PER99] and used in SEMEAI, has the
function of selecting a teaching strategy based on student’s profile.
The formative evaluation was used with the intention of supplying results that
arise the changing of the strategy used in the teaching environment, in order to improve
the teaching and student’s learning.
Two studies were done to validate the agent E-Avalia. The first study of case was
accomplished with employees of the Emater institution through the TelEduc
environment, in which it was proposed the evaluation of the objectives in an unit of the
StarOffice course. The second study of case was accomplished with high school
students and the technician ones of the Centro Federal de Educação Tecnológica de
Pelotas – CEFET-RS, in which it was proposed the evaluation objectives of an unit of
the basic computer science course. The main difference between both studies of case
14
was that the first one was accomplished distantly, without any contact with the students,
and the second one was accomplished with the help of the teacher’s subject in the
classroom. The results of both, studies of case are in chapter five of this work.
Keywords: evaluation, distantly teaching, formative evaluation, agent.
15
1 Introdução
Este trabalho apresenta um agente para avaliação baseado nos conceitos de
avaliação formativa, com o intuito de avaliar alunos de forma qualitativa. Na interação
com o ambiente de EAD, o agente E-Avalia poderá comunicar-se com outros agentes,
influenciando o comportamento dos mesmos, ou seja, possibilitando a mudança de
estratégia ou metodologia de ensino, caso se perceba um baixo desempenho do aluno.
1.1 M otivação
A Inteligência Artificial Distribuída, sub-área da Inteligência Artificial, tem sido
uma das tecnologias mais utilizadas na resolução de problemas na área de educação a
distância.
Os agentes pedagógicos surgiram da necessidade de adotar o paradigma de
agentes para obter a melhor exploração da interação e mudanças dinâmicas em
ambientes de ensino-aprendizagem [GIR99a].
A avaliação do ensino-aprendizagem pode ser classificada em somativa, formativa
e diagnóstica. Culturalmente, o tipo de avaliação mais utilizado é a somativa, que
classifica os alunos através de notas. Em contraste à somativa, a avaliação formativa
preocupa-se com a recuperação dos objetivos não alcançados pelo aluno, com a
regulação da aprendizagem e para isso busca acompanhar o desenvolvimento do aluno
sem classificá-lo com notas.
Dos ambientes e ferramentas analisados quanto ao processo de avaliar alunos em
educação a distância pode-se dizer que os ambientes AulaNet e WebCT são os que mais
se destacam. No entanto ambos são ambientes com o código fonte fechado e o ambiente
WebCT necessita de licença de uso com custo elevado.
O ambiente de EAD TelEduc vem sendo muito utilizado por instituições de
ensino e também por várias instituições dos mais diversos ramos que necessitam de
ambientes de educação para capacitar seus funcionários. O ambiente utiliza o método de
portfólio para gerenciar e avaliar a aprendizagem dos alunos, no entanto não conta com
ferramentas para realizar avaliação formal dos mesmos, através de testes e questões. O
TelEduc tem a grande vantagem de ser um ambiente de software com distribuição livre
e sem custos.
As ferramentas HotPotatoes e QuestionMark Perception são ferramentas
específicas de avaliação que possibilitam a configuração de saída das questões e testes.
Por outro lado são ferramentas proprietárias e por isso dificultam a integração com
ambientes de EAD.
A utilização da tecnologia de agentes no domínio de avaliação do ensino-
aprendizagem tem desempenhado um papel importante no acompanhamento do
progresso do aluno [MEN98], [MUS2001].
A carência de instrumentos de avaliação com características necessárias, como
código fonte livre para adequação às características particulares dos ambientes e à
integração com ambientes de EAD, foi uma das motivações para realizar este trabalho.
A maioria dos sistemas de avaliação existentes tem como foco a avaliação
somativa, perdendo-se muitas vezes a qualidade e a importância do processo. Em
função disso, a avaliação proposta neste trabalho concentra-se no conceito de avaliação
16
formativa, que tem como foco a recuperação dos objetivos não atingidos pelo aluno,
através da avaliação dos objetivos estabelecidos nas unidades de ensino de um curso.
O ambiente SEMEAI possui um agente chamado Seleciona_Estratégia, o qual tem
como principal objetivo selecionar uma estratégia de ensino para um determinado
modelo de aluno [PER99]. O agente E-Avalia interage com o agente Seleciona
Estratégia no intuito de validar a estratégia aplicada ao perfil do aluno.
1.2 Pr oposta
O modelo do agente para avaliação apresentado neste trabalho tem como função
identificar problemas no desempenho do aluno, auxiliando-o na recuperação dos
objetivos não alcançados e colaborando com o agente responsável pela seleção de
estratégia dentro do ambiente de EAD, ou seja, quando for reconhecido o problema de
aprendizado, o agente deve avisar o agente responsável pela seleção de estratégia, o
qual deve apontar uma nova estratégia de ensino.
Além disso, um modelo de avaliação informal é apresentado para suprir a
necessidade de avaliar aspectos comportamentais que devem ser levados em
consideração na formação de um indivíduo.
A partir dos resultados obtidos da avaliação formal e informal, o agente
proporcionará feedback tanto para o aluno como para o professor, propiciando que
ambos façam sua auto-avaliação, ou seja, o julgamento de seu próprio desempenho nas
atividades realizadas.
O modelo de agente E-Avalia apresentado no capítulo 3 pretende amenizar os
problemas encontrados na tarefa de avaliar alunos em EAD.
O protótipo implementado terá seu código fonte aberto para que outros usuários
possa utilizá-lo e principalmente adequá-lo às suas necessidades sem custo de
utilização.
A proposta deste trabalho concentra-se na criação de um agente para avaliação do
ensino-aprendizagem em EAD denominado E-Avalia, baseado nos conceitos de
avaliação formativa, englobando a avaliação por habilidades e competências.
A principal diferença entre a proposta deste trabalho e dos ambientes e
ferramentas de avaliação existentes está na proposta do tipo de avaliação que o agente
E-Avalia se propõe implementar e por ser um protótipo com código fonte aberto.
O agente E-Avalia está integrado ao ambiente SEMEAI, SistEma Multiagente de
Ensino-Aprendizagem na Internet, ambiente proposto em projeto aprovado pela
FAPERGS.
Foi utilizada a tecnologia de agentes para criação da ferramenta de avaliação dos
processos de ensino-aprendizagem a distância devido a existência de outros trabalhos
participantes do projeto já terem implementado tal tecnologia.
O SEMEAI é composto por uma sociedade de agentes que cooperam entre si para
atingir os objetivos individuais de cada agente. A sociedade de agentes conta com sete
agentes, a comunicação entre eles é realizada através da troca de mensagens.
Esta dissertação foi selecionada pelo PAPED - Programa de Apoio à Pesquisa em
Educação a Distância, iniciativa da CAPES/MEC – Coordenação de Aperfeiçoamento e
Pesquisa do Ensino Superior – Ministério da Educação.
17
1.3 Organização
Este trabalho está organizado da seguinte forma:
O capítulo dois tem o objetivo de organizar os conceitos e as principais
características das áreas envolvidas neste trabalho.
Os conceitos e características das áreas de IA e IAD são discutidos no início do
capítulo dois. Em seguida são apresentados os conceitos e a classificação dos agentes, a
qual tem a finalidade de introduzir os agentes pedagógicos, foco desse trabalho.
Alguns modelos de avaliação em EAD e alguns agentes pedagógicos são
apresentados no capítulo dois com o objetivo de obter uma visão do estado da arte em
termos de avaliação em EAD e especificamente a avaliação em agentes pedagógicos.
No capítulo três é apresentado o modelo do agente E-Avalia proposto por este
trabalho, identificando as principais diferenças entre o agente proposto e os modelos de
avaliação apresentados no capítulo dois.
No capítulo quatro, apresenta-se a implementação do modelo proposto no capítulo
três, bem como as tecnologias utilizadas nessa implementação.
No capítulo cinco são apresentados os estudos de casos realizados e os resultados
alcançados através dos mesmos.
No capítulo seis são apresentadas as conclusões desse trabalho, as suas limitações
e os trabalhos futuros que podem ser desenvolvidos a partir deste.
18
2 Agentes Inteligentes em Educação a Distância
Este capítulo apresenta alguns conceitos importantes para o desenvolvimento
desse trabalho, como os conceitos de inteligência artificial distribuída, sistemas
multiagentes, agentes e especificamente os agentes pedagógicos. O capítulo descreve
como essas tecnologias tem sido utilizadas no domínio avaliação do ensino-
aprendizagem em educação a distância, o qual é domínio desse trabalho.
2.1 Inteligência Artificial Distribuída
Enquanto a Inteligência Artificial tem como modelo de inteligência o
comportamento individual humano, cuja ênfase é colocada em representação de
conhecimento e métodos de inferência, o modelo de inteligência utilizada em
Inteligência Artificial Distribuída é baseado no comportamento social, sendo a ênfase
colocada nas ações e interações entre agentes, conforme [SIC92].
A Inteligência Artificial Distribuída, vem se desenvolvendo com o objetivo de
estudar soluções de problemas cooperativos através de um grupo descentralizado de
processos ou agentes. A IAD divide-se em duas sub-áreas [ALV97]: Resolução de
Problemas Distribuídos e Sistemas Multiagentes. A fig. 2.1 descreve a relação entre as
áreas.
FIGURA 2.1 - Relação entre as áreas
Conforme [ALV97], a motivação inicial de uma resolução distribuída de
problemas é um problema inicial preciso que deve ser solucionado. A estratégia de
resolução apresenta as seguintes características [ALV97]:
a) o problema é resolvido por um conjunto de agentes, fisicamente distribuídos
em diversas máquinas conectadas via rede. Tais agentes são concebidos para
solucionar um determinado problema particular;
b) uma organização é concebida para restringir o comportamento destes agentes.
Tal organização, na maioria dos casos, é completamente definida durante a
fase de concepção do sistema;
c) a interação entre os agentes é realizada seja por troca de mensagens, seja por
meio do compartilhamento de dados comuns. A estrutura destas trocas é quase
sempre definida completamente durante a fase de concepção do sistema, sendo
intimamente relacionada ao modelo algorítmico subjacente (como por
exemplo, o quadro negro) e ao problema que o sistema deve resolver;
Inteligência
A
rtificial
Inteligência
Artificial
Distribuída
RDP
SMA
19
d) os agentes são executados de modo concorrente, para aumentar a velocidade
de resolução;
e) os agentes cooperam, dividindo entre si as diversas partes do problema
original (subproblemas, tarefas), ou podem até mesmo aplicar diferentes
estratégias de resolução para uma mesma tarefa;
f) existe a noção de um controle global, na maior parte dos casos implícitos aos
agentes, que garante um comportamento global coerente do sistema, conforme
a organização inicialmente prevista. Tal controle pode ser implementado quer
de modo centralizado (por exemplo, pela criação de um agente responsável
pela gerência do sistema), quer de modo distribuído.
Segundo Demazeau e Müller em [ALV97], a área de SMA se interessa pelo
estudo de agentes autônomos em um universo multiagente. O termo autônomo designa
aqui o fato de que o agente tem uma existência própria, independente da existência de
outros agentes. Como não existe um problema definido a priori que o sistema deve
resolver, o objetivo da área é estudar modelos genéricos a partir dos quais se pode
conceber agentes, organizações e interações, de modo a poder instanciar tais conceitos
quando se deseja resolver um problema particular. Dito de um outro modo, o objetivo é
conceber os meios a partir dos quais se pode assegurar que agentes desejam cooperar e
efetivamente o façam com o intuito de resolver um problema específico quando este for
apresentado ao sistema.
A abordagem de SMA apresenta as seguintes características [ALV97]:
a) os agentes são concebidos independentemente de um problema particular a ser
resolvido. O projeto de um agente deve resultar numa entidade capaz de
realizar um determinado processamento, e não numa entidade capaz de
realizar este processamento exclusivamente no contexto de uma aplicação alvo
particular;
b) a concepção das interações também é realizada independentemente de uma
aplicação-alvo particular.;
c) a mesma filosofia anterior pode ser estendida ao projeto das organizações.
Normalmente, se distingue as funcionalidades necessárias a uma resolução
particular dos agentes que irão efetivamente implementar tais funcionalidades;
d) durante a fase de resolução, os agentes utilizam suas representações locais dos
protocolos de interação e das organizações para raciocinar e agir. Deste modo,
não existe um controle global do sistema, este é implementado de forma
totalmente descentralizada nos agentes.
Os sistemas multiagentes podem ser classificados em três categorias: Agentes
Reativos, Agentes Cognitivos e Agentes Híbridos. A fig. 2.2 representa a classificação
dos sistemas multiagentes.
20
FIGURA 2.2 - Classificação dos Sistemas Multiagentes
Os agentes reativos são considerados mais simples que os agentes cognitivos, não
possuem representação de seu ambiente, portanto todas as informações relativas ao seu
comportamento estão no ambiente e suas reações dependem unicamente de sua
percepção [ALV97].
As principais características dos agentes reativos são:
a) baseiam-se em modelos de organização etológica, relacionados ao
comportamento dos animais;
b) possuem uma representação implícita do conhecimento sobre o ambiente e
sobre os outros agentes;
c) o seu comportamento baseia-se no que é percebido a cada instante do
ambiente;
d) não mantém histórico das suas ações, portanto o resultado de uma ação
passada não exerce influência em ações futuras;
e) geralmente, a sociedade de agentes reativos possui um grande número de
membros.
Os agentes cognitivos, diferente dos reativos, estão associados à noção de
estados mentais, como intenção, crença, desejo, compromisso, escolha e capacidades,
análogos ou similares aos humanos [SHO93].
Os agentes cognitivos são inteligentes e agem de acordo com o seu conhecimento,
porque dispõem de uma capacidade de raciocínio sobre uma base de conhecimento e
aptidões para tratar de informações diversas. Tais informações estão ligadas ao domínio
da aplicação e são relativas às interações dos agentes entre si e entre os agentes e seu
ambiente [FRO97].
As principais características dos agentes cognitivos são:
a) possuem uma representação explícita do conhecimento sobre o ambiente e
sobre os outros agentes;
b) mantém histórico das suas ações, portanto o resultado de uma ação passada
pode exercer influência em ações futuras;
Inteligência
Artificial
Inteligência
Artificial
Distribuída
RDP
SM
A
A
gentes
Reativos
A
gentes
Cognitivos
A
gentes
Híbridos
21
c) a sociedade de agentes cognitivos possui o máximo de doze agentes;
d) são dotados de raciocínio e decidem quais objetivos devem alcançar,
planejando suas ações;
e) a comunicação entre os agentes cognitivos em uma sociedade é realizado
através da troca de mensagens.
As arquiteturas dos agentes reativos e cognitivos podem ser combinadas formando
uma terceira arquitetura para os sistemas multiagentes, denominada híbrida.
Os agentes híbridos possuem características reativas relacionadas aos eventos que
ocorrem no ambiente e características cognitivas na definição simbólica do mundo para
a tomada de decisões. O objetivo desta arquitetura é combinar as características dos
agentes reativos e cognitivos tornando-a mais adequada na construção de agentes.
2.2 Agentes Inteligentes
Pesquisadores envolvidos com agentes inteligentes oferecem uma variedade de
definições, cada um tentando explicar o seu próprio uso para palavra agente. Um agente
pode ser visto como um programa de computador que é capaz de comunicar, cooperar e
aprender. Eles possuem a habilidade de tomar conta de algumas tarefas humanas e
interagir com pessoas como se assim o fossem.
[WOO95] sugere inclusive algumas representações para utilização no campo de
agentes inteligentes para as seguintes entidades ou processos: agente humano, agente
inteligente, ferramenta de software ou aplicação, comunicação ou interação, observação
e interface. Definiremos agora, resumidamente, cada uma delas:
a) Agente Humano: qualquer pessoa que interage direta ou indiretamente com
um sistema de computador - geralmente chamada de usuário ou usuário final;
b) Agente Inteligente: uma entidade que comporta-se como um agente;
c) Ferramenta de Software ou Aplicação: qualquer software que não seja um
agente. Inclui os softwares normalmente utilizados no processo de
informações, como editores de texto, planilhas e agendas eletrônicas,
programas de desenho e editoração, etc. [DEC95];
d) Comunicação ou Interação: a seta indica passagem de controle ou informação
podem ser transmitidas entre as entidades;
e) Observação: a seta indica uma entidade esta obtendo informações sobre o
estado de outra entidade;
f) Interface: o ponto pelo qual duas entidades comunicam-se ou interagem. Com
relação à interação homem-software, esta é tradicionalmente conhecida como
a interface do usuário.
2.2.1 Características dos agentes
Tomando como base às características comuns dos agentes, pode-se identificar um
conjunto de características que tornam uma tarefa ou aplicação suscetível a uma
abordagem com base na tecnologia de agentes. As seguir as propriedades especificadas
por [WOO95]:
a) Adaptação: Tarefa que requer um certo grau de adaptabilidade; o agente
necessita desenvolver habilidades para executá-la aprendendo melhores ou
22
novos meios. O que também inclui métodos para evitar falhas e se adaptar as
próprias necessidades, desejos e objetivos pessoais do usuário;
b) Pesquisa: A tarefa não é completamente definida, o agente deve considerar
uma grande quantidade de possíveis soluções, escolhendo uma das mais
adequadas de acordo com sua experiência;
c) Demonstração: A tarefa envolve aprendizado e treinamento. Isto inclui ensinar
os usuários a usar ferramentas de software de maneira mais eficaz e também,
por outro lado, fornecer explicações de que o próprio agente está fazendo;
d) Ajuda: A tarefa requer um certo grau de cooperação entre o usuário e o agente.
O agente poderia fazer críticas construtivas ao modo de trabalhar do usuário,
ou dar "dicas" sobre como utilizar melhor os recursos do sistema;
e) Autonomia: A tarefa requer atenção constante ou regular, mas pouca ou
nenhuma entrada ou interação. Dessa forma, delegar esta tarefa seria muito
útil e benéfico. Um exemplo seria o monitoramento de sistemas simples, onde
uma mudança no comportamento poderia gerar a execução automática de
alguma tarefa ou ação;
f) Assincronia: A tarefa tem um intervalo significativo entre seu início e término.
Este intervalo poderia ser devido ao tempo de processamento de grandes
quantidades de informações ou mesmo a falta de informações vitais em um
determinado momento.
2.2.2 Agentes Pedagógicos
Os agentes pedagógicos surgiram da necessidade de adotar o paradigma de
agentes para obter a melhor exploração da interação e mudanças dinâmicas em
ambientes de ensino-aprendizagem [GIR99a]. Os agentes pedagógicos incorporam
várias características dos Agentes de Software e algumas da categoria Vida Artificial. A
figura 2.3 representa a taxonomia de agentes.
FIGURA 2.3 - Taxonomia de Agentes
Biológicos Robóticos
Com
p
utationa
l
A
gentes
A
gentes de
Software
V
ida Artificial
A
gentes de
Tarefas
Específicas
A
gentes de
Diversão
A
gentes
Pedagógicos
23
Os agentes pedagógicos podem ser divididos em orientados à metas (tutor,
mentor, assistente) e orientados à utilidade (Moo e Agentes para Web). A figura 2.4
apresenta a classificação dos agentes pedagógicos.
FIGURA 2.4 - Taxonomia de Agentes Pedagógicos
2.3 Modelos de Avaliação em Educação a Distância
A avaliação no ensino a distância tem sido considerada de fundamental
importância no processo de ensino-aprendizagem, pois por meio desse processo, pode-
se verificar o aprendizado do aluno e, a partir destes resultados, tomar as decisões
necessárias para a melhoria do ensino através da Internet. A seguir serão descritos
alguns ambientes e ferramentas que modelam e/ou implementam o processo de
avaliação no ensino a distância.
2.3.1 AulaNet
O AulaNet é uma ferramenta de ensino a distância e um ambiente de software
baseado na Web, desenvolvido pelo Laboratório de Engenharia de Software (LES) do
Departamento de Informática da PUC-Rio. O ambiente AulaNet possibilita a
administração, criação, manutenção e participação em cursos a distância [AUL2002].
Os objetivos do AulaNet são de adotar a Web como um ambiente educacional;
promover a transição viável das salas de aulas convencionais para as salas de aula
virtuais, dando a oportunidade de re-utilizar o material educacional existente; e criar
comunidades de conhecimento [LUC97].
O ambiente AulaNet possui uma ferramenta específica para avaliar alunos a
distância chamada Quest. Quest é uma ferramenta para a geração de questões e
automática correção, incorporada às facilidades providas pelo AulaNet. O propósito
desta ferramenta é suportar o processo de avaliação educacional através da Web e
colher os resultados deste processo.
O principal objetivo do Quest [CHO98] é servir como uma ferramenta de
avaliação baseada na Web do ambiente educacional AulaNet. As outras metas incluem a
redução dos custos de questões, criação de relatórios para o professor, retorno para os
estudantes e ressalto dos aspectos cognitivos da avaliação.
A
gentes
Pedagógicos
Tutor Mentor
Orientados à
utilidade
Orientados à
meta
A
gentes
para Web
Moo
A
ssistente
24
O ambiente AulaNet tem dois módulos distintos: o módulo de criação e
manutenção do curso para os professores e o módulo de comparecimento do curso para
os estudantes. No módulo de criação e manutenção do curso, o professor pode
configurar o curso para ter o serviço de exame.
Enquanto alguns ambientes como QUIZIT [TIN96], CADAL Quiz [CAR97] e
QUIZSite [UNI96] necessitam de conhecimentos em computação para criação de suas
questões, o ambiente Quest facilita a inclusão de questões, provendo uma interface
gráfica acessível, tornando possível que qualquer professor, sem conhecimentos de
computação, utilize o software.
Outras características da ferramenta Quest incluem [CHO98]:
a) três estilos de apresentação de questões: múltipla escolha (com cinco escolhas
de resposta), verdadeiro ou falso e questão de lacuna;
b) facilidades de edição: permite mover a posição das questões, remover questões
e inserir questões a partir de outras existentes. Isso é feito automaticamente
devido à interface gráfica provida pelo Quest. O Quest provê um caminho
fácil de reeditar questões criadas, com a opção “save as”, para o professor não
perder a questão original;
c) modificações nas questões: enquanto edita a questão, o professor deve
fornecer algumas informações, por exemplo, o tópico do material instrucional
que será coberto, o nível do domínio cognitivo que testará e avaliará. Estas
informações serão usadas quando for mostrada a estatística gerada pela
correção automática da questão;
d) correção automática: o processo de correção será feito automaticamente pela
ferramenta. O professor somente necessita especificar a resposta correta no
momento da edição;
e) resultados mostrados para os estudantes: como Quest é uma ferramenta de
auto-avaliação, os estudantes não necessitam ser dependentes do professor
para saber o resultado de sua performance;
f) armazenagem dos resultados para o estudante: armazena informações para
serem mostradas em qualquer tempo aos estudantes. Essas informações
incluem: grade com o total de pontos do teste, número de questões do teste,
número de questões que o estudante respondeu corretamente, número de
questões respondidas incorretamente, tempo transcorrido durante a resolução
do teste, os tópicos anexados nas questões do teste e uma opção para os
estudantes revisarem seu teste, comparando a resposta certa com a que ele
respondeu;
g) estatísticas detalhadas para o professor: o professor pode ter muitas
informações derivadas da correção do teste. A principal idéia atrás dessas
estatísticas é prover o professor de uma maneira de visualizar o
desenvolvimento do aprendizado dos estudantes, onde eles são colocados de
frente às dificuldades e comparada à performance do grupo com a sua, um por
um, individualmente.
A arquitetura do Quest é baseada na Web, onde sua interface é desenvolvida,
usando programas CGI para prover todas as funcionalidades. A fig. 2.5 mostra a
arquitetura da ferramenta.
25
FIGURA 2.5 - Arquitetura do Quest
A arquitetura tem uma camada de apresentação, que é a interface do usuário. Esta
camada basicamente é composta de páginas HTML que ajudam o professor a criar,
editar e manter todos os testes. Existem também algumas dicas para ajudar o professor
durante o processo. Por exemplo, se o professor quer criar uma questão de análise, a
ferramenta oferece uma lista de verbos que são comumente utilizados para escrever
questões de análise. Outra tarefa da camada de apresentação é a validação das
informações, verificar se o professor não deixou um campo em branco, se ele colocou a
data etc.
A camada de aplicação é responsável por todas as funcionalidades providas pela
ferramenta. Essa camada é composta de programas CGI escritos em CGILua segundo
[CHO98]. A camada usa objetos Lua segundo [CHO98] para tratar das questões, a
geração e exposição de testes, correção automática e estatística de retorno dos
resultados para ambos, professores e estudantes.
A camada de objetos Lua oferece todas as funcionalidades necessárias para
permitir a troca de dados entre programas CGI dentro de uma camada de aplicação e
camada de dados. Essa camada acessa o banco de dados e também permite escrita e
manutenção de arquivos de teste HTML.
A camada de dados é composta de dois bancos de dados e um diretório de
arquivos. A primeira base de dados é um banco de dados Microsoft Access, usado para
armazenar as questões e os testes. Os objetos Lua do Quest somente acessam esta base
de dados. A segunda base de dados refere-se aos dados do ambiente de manutenção do
curso, que descreve os cursos e os estudantes que usarão a ferramenta. O diretório de
arquivos contém todos os arquivos HTML e os testes gerados.
...
Camada de Apresentação
Camada de Aplicação
Camada de
Objetos Lua
Camada de Dados
Páginas HTML
Programas CGI
Objeto Lua
1
Objeto Lua
2
Objeto Lua
3
Objeto Lua
n
BD Quest
A
rquivos
de
Questões
Manutenção
do Curso
26
2.3.2 WebCT
WebCT é uma ferramenta que facilita a criação de um ambiente educacional
baseado em interface WWW [GOL97]. Pode ser usado para criar cursos on-line
completos ou como interface de apoio para cursos comuns.
O ambiente WebCT foi desenvolvido pelo Departamento de Ciência da
Computação da Universidade de British Columbia no Canadá. Suas principais
características são:
a) interface amigável;
b) conjunto de ferramentas que facilitam o aprendizado, comunicação e
colaboração;
c) conjunto de ferramentas administrativas que auxiliam o professor no decorrer
do curso;
d) disponibilidade para criar cursos ou simplesmente acessibilidade a material de
cursos já existentes;
e) exigência mínima de conhecimentos em computação por parte do aluno e do
professor.
O WebCT possui quatro classes de usuários: administrador, designer
(desenvolvedor / professor), monitor e aluno.
Cada classe de usuários trabalha da seguinte forma:
a) Administrador: existe somente uma conta de administrador que é responsável
por inicializar, apagar cursos e alterar as senhas dos designers;
b) Designer: cada curso possui uma conta para o designer que normalmente será
o instrutor do curso. Essa pessoa poderá manipular todo o curso, criar provas,
acompanhar o desempenho dos alunos, controlar freqüência, criar as contas
dos alunos etc;
c) Monitor: cada curso pode ter vários monitores. O monitor tem os mesmos
privilégios que o aluno além de possuir acesso às avaliações, aos testes e ao
desempenho de cada estudante;
d) Aluno: cada curso pode ter vários alunos. O designer é o responsável pela
criação das contas dos alunos e pode permitir que cada um altere sua senha.
O WebCT Student Management permite ao designer criar e acompanhar o
andamento dos alunos e monitores. Possui também as seguintes funções:
a) criar um número arbitrário de colunas para armazenar os dados dos alunos;
b) integrar o módulo de provas e notas;
c) facilitar upload e download de informações;
d) habilitar/desabilitar uma conta guest, ou seja, para visitantes.
As principais opções da parte administrativa são:
a) controle de alunos;
b) acompanhamento do aluno;
c) grupos de alunos;
d) controle de monitores;
27
e) acompanhamento de utilização das páginas do curso;
f) cópia de segurança dos dados do curso.
O WebCT permite que o designer trabalhe no curso sem que a visão do aluno seja
alterada. Isso quer dizer que o desenvolvedor pode incluir módulos, tópicos, provas
mostrando para o aluno somente quando ele julgar necessário.
A avaliação no WebCT inicia com a criação categorias através das quais,
posteriormente as provas serão classificadas. Essas categorias podem se referir ao nível
de dificuldade de cada prova ou ao conteúdo ao qual está relacionada.
Após criar as categorias, o professor deve escolher o tipo de questão que incluirá
na prova. O WebCT oferece cinco tipos de questões: múltipla escolha, relacionamento
de colunas, respostas curtas, de cálculo e discursivas.
Nos quatro primeiros tipos, as questões são corrigidas automaticamente pelo
software a partir da resposta correta especificada pelo professor no momento da
elaboração da prova. As questões discursivas devem ser corrigidas pelo professor.
No momento da edição de cada questão, o professor deve preencher um campo
com a resposta certa, para que no caso da correção automática o software reconheça a
resposta, e também para facilitar a correção feita pelo professor, no caso de questões
discursivas, que pode optar por tornar visível para o aluno a resposta correta na entrega
da prova.
Cada questão deve ser pontuada para que o professor, ou o software, atribua nota
aos alunos de acordo com o número de acertos.
Após finalizar a elaboração da prova, o WebCT permite ao desenvolvedor
habilitá-la e desabilitá-la conforme sua necessidade, assim como permite configurar o
tempo de duração, número de tentativas para a resolução da prova e a colocação de
mensagens ao final da mesma. Existem também opções de como mostrar somente a
nota, ou mostrar a nota e as respostas.
O WebCT permite colocar uma determinada duração para a prova e o número de
tentativas.
Existem alguns controles que podem ser feitos pelo professor sobre o aluno, como
o controle de acesso ao curso. O nome de cada aluno aparece como um link, através do
qual o professor pode fazer uma análise detalhada do histórico do aluno no curso. Esta
vantagem do WebCT é consideravelmente importante, pois o professor tem como
controlar a freqüência de seus alunos, fator este que, dependendo do professor, pode ser
importante no momento da avaliação.
O WebCT permite ao professor visualizar o gerenciamento geral de alunos como
o nome completo, a identificação, a data do primeiro acesso, o último acesso, número de
artigos lidos e postados e o gerenciamento individual do aluno com dados como o nome
completo, identificação e o histórico das páginas visitadas pelo aluno bem como o
tempo de acesso de cada página.
Algumas facilidades são oferecidas por este software como a possibilidade de
configuração da prova de acordo com as necessidades dos professores. Durante a
resolução da prova é mostrado ao aluno um cronômetro com o tempo limite para a
realização da mesma. Além disso, o gerenciamento dos alunos é de responsabilidade do
professor, o que lhe permite fazer um controle de freqüência dos alunos e de suas
participações em outras atividades.
28
Outra vantagem, consideravelmente importante é que o aluno pode visualizar sua
prova após ser corrigida. Dessa forma, o aluno tem a possibilidade de fazer sua auto-
avaliação e acompanhar a avaliação do professor, para que, diante de suas
considerações, possa identificar os pontos que foram absorvidos e os que devem ser
reforçados.
2.3.3 TopClass
O TopClass fornece um ambiente de sala de aula virtual para gerenciar todos os
aspectos de conteúdo e gerenciamento da sala de aula e dá flexibilidade em um
ambiente de aprendizagem na Web. O TopClass é um produto da WBT Systems, na qual
WBT significa Treinamento Baseado na Web (Web-Based Training). O fundador da
WBT System passou uma década pesquisando o uso da tecnologia na educação e
treinamento, com ênfase especial na área de educação distribuída e a distância
[GOM99a].
A idéia que motivou o desenvolvimento do TopClass foi unir aspectos de
colaboração da aprendizagem em sala de aula com aprendizagem no ritmo determinado
pelo aluno. Isso está baseado em três idéias fundamentais [WBT98]:
a) um ambiente de aprendizagem integrado;
b) gerenciamento do conteúdo;
c) gerenciamento de classe (turma).
O sistema TopClass identifica três tipos de usuários [GOM99]:
a) estudante: o TopClass oferece para os estudantes páginas de cursos individuais
e customizadas, o que permite ao instrutor adicionar e remover o material
instrucional de cada aluno individualmente sem influir nos demais alunos;
b) instrutor (professor): são os responsáveis pelos cursos oferecidos. Os
instrutores são responsáveis pela criação e edição dos dados de turmas, alunos
e testes, pelo suporte aos alunos, pelo monitoramento das áreas de discussão,
pela correção dos testes e respostas às perguntas e dúvidas dos alunos;
c) administrador: são responsáveis pela manutenção do sistema como um todo.
Estes usuários têm acesso a todas as funções disponibilizadas no servidor e
podem realizar tarefas como: criação e edição de cursos e turmas,
gerenciamento de estudantes e instrutores, indicação de estudantes e
instrutores às devidas turmas, delegação de permissões de administração aos
instrutores e gerenciamento das permissões de acesso.
No sistema TopClass, os testes são criados a partir de um banco de questões
armazenadas. Esses testes podem ainda ser gerados randomicamente pelo sistema,
criando-se provas diferentes para cada execução. Os testes podem ser criados de forma
global para o curso como um todo ou como páginas de testes para cada pasta que o
curso contém.
O instrutor pode definir que as questões sejam apresentadas uma por vez ou todas
em uma página. Também pode ser configurada a permissão aos alunos de realizarem a
mesma prova várias vezes.
O sistema TopClass permite que as provas sejam automaticamente corrigidas,
com a pontuação definida pelo professor ou enviadas para o respectivo professor
corrigir. A correção automática inclui feedback definido pelo professor para cada
29
questão. Essa facilidade só é recomendada para questões do tipo verdadeiro/ falso e
múltipla escolha.
O TopClass permite oito tipos diferentes de questões:
a) text: preenchimento de espaços em branco ou respostas abertas;
b) pick one: múltipla escolha com uma única correta;
c) upload: pedido de envio de um arquivo;
d) mcobjs: múltipla escolha envolvendo arquivos multimídia (som, imagens,
animações);
e) mca: múltipla escolha com várias respostas corretas;
f) list matching: ligação entre duas colunas;
g) imagemap: imagem clicável (formato NCSA);
h) boolean: verdadeiro e falso.
Uma ferramenta disponibilizada permite ao professor especificar ações especiais
baseadas nos resultados dos testes dos alunos:
a) adicionar material institucional: fornece ao aluno mais material para o estudo,
como, por exemplo, uma página de reforço;
b) notificar professor: envia uma mensagem ao professor indicando quais os
alunos não atingiram a nota mínima nos testes;
c) remover material instrucional: permite aos alunos que atingiram notas altas
pular certos conteúdos que foram programados pelo professor;
d) matricular alunos: condiciona o acesso ao novo curso baseado nas notas obtido
pelos alunos. O banco de dados do sistema TopClass permite a matrícula
manual ou um bloco de alunos cadastrados. A matrícula em bloco é muito útil
quando existe um número muito grande de alunos a serem cadastrados no
sistema. Neste módulo de matrícula, o administrador configura o sistema para
aceitar o arquivo de entrada, em formato texto, contendo todas as informações
referentes aos alunos.
O servidor TopClass inclui um conjunto de ferramentas que auxiliam o professor
no acompanhamento do progresso dos alunos pelo curso oferecido. Com isso, o
monitoramento que pode ser feito individualmente ou por relatórios da turma inteira,
que são enviados para arquivos de uma planilha eletrônica.
O sistema provê estatísticas relacionadas aos resultados de testes e provas on-line,
tais como o acompanhamento das páginas visitadas pelo aluno.
2.3.4 Web Course in a Box
O sistema Web Course in a Box foi desenvolvido na Virginia Commonwealth
University e é distribuído para instituições de ensino gratuitamente. É uma ferramenta
para criação e gerenciamento de cursos para instrução via WWW.
O WBC é composto por três partes, que são: um servidor para administradores do
sistema, ferramentas de autoria para professores e instrutores e páginas de cursos para
alunos.
O instrutor pode utilizar as ferramentas disponibilizadas pelo WBC para criar
testes e exercícios de múltipla escolha ou resposta direta. Essa função é mais útil na
30
realização de exercícios para a auto-avaliação do aluno, e não como ferramenta de
avaliação formal, pois não armazena os resultados em um banco de dados.
O sistema realiza a correção de todas as questões e pode fornecer os resultados a
cada resposta feita pelo aluno ou somente após responder todas as questões. Além disso,
o instrutor pode utilizar mensagens de resposta de acordo com o desempenho do aluno,
bem como informações extras para questões respondidas erroneamente.
2.3.5 TelEduc
O TelEduc é um ambiente para a criação, participação e administração de cursos
na Web. Ele foi concebido tendo como alvo o processo de formação de professores para
informática educativa, baseado na metodologia de formação contextualizada
desenvolvida por pesquisadores do Nied (Núcleo de Informática Aplicada à Educação)
da Unicamp. O TelEduc foi desenvolvido de forma participativa, ou seja, todas as suas
ferramentas foram idealizadas, projetadas e depuradas segundo necessidades relatadas
por seus usuários. Com isso, ele apresenta características que o diferenciam dos demais
ambientes para educação a distância disponíveis no mercado, como a facilidade de uso
por pessoas não especialistas em computação, a flexibilidade quanto a como usá-lo, e o
oferecimento de um conjunto enxuto de funcionalidades [TEL2001].
O TelEduc foi concebido tendo como elemento central a ferramenta que
disponibiliza Atividades. Isso possibilita ação onde o aprendizado de conceitos em
qualquer domínio do conhecimento é feito a partir da resolução de problemas, com o
subsídio de diferentes materiais didáticos como textos, software, referências na Internet,
dentre outros, que podem ser colocadas para o aluno usando ferramentas como: material
de apoio, leituras, perguntas freqüentes, etc [TEL2001].
A intensa comunicação entre os participantes do curso e a ampla visibilidade dos
trabalhos desenvolvidos também são pontos importantes, por isso foi desenvolvido um
amplo conjunto de ferramentas de comunicação como o correio eletrônico, grupos de
discussão, mural, portfólio, diário de bordo, bate-papo etc, além de ferramentas de
consulta às informações geradas em um curso como a ferramenta intermap, acessos etc
[TEL2001].
O TelEduc é um software livre; é possível redistribuí-lo e/ou modificá-lo sob os
termos da GNU General Public License versão 2, como publicada pela Free Software
Foundation.
A página principal do TelEduc apresenta algumas opções de menu que
possibilitam a criação de um novo curso, a entrada em um curso existente, conhecer o
ambiente de ensino a distância, entrar em contato com os desenvolvedores do ambiente
bem como pedir apoio aos mesmos, conforme a fig. 2.6.
31
FIGURA 2.6 - Página principal do TelEduc
A página de entrada do curso é dividida em duas partes. No lado esquerdo estão as
ferramentas que serão utilizadas durante o curso e no lado direito é apresentado o
conteúdo correspondente a uma determinada ferramenta selecionada no lado esquerdo
[TEL2001], como mostra a fig. 2.7.
Ao entrar no curso, é apresentado o conteúdo da ferramenta "Agenda", que
contém informações atualizadas, dicas ou sugestões dos professores para os alunos.
Essa página funciona como um canal de comunicação direto dos professores com os
alunos. Nela são colocadas informações que seriam fornecidas normalmente no início
de uma aula presencial. O conteúdo da "Agenda" é atualizado de acordo com a
dinâmica do curso [TEL2001].
Cada curso apoiado pelo ambiente TelEduc pode utilizar um subconjunto das
ferramentas. Assim, pode acontecer de, em um determinado momento do curso,
algumas ferramentas não estarem visíveis no menu à esquerda e, portanto, não
disponíveis. Oferecer ou não uma ferramenta, em diferentes momentos do curso, faz
parte da metodologia adotada por cada formador. Geralmente, se há a inserção de uma
nova ferramenta, esse fato é avisado ao usuário por meio da Agenda [TEL2001].
32
FIGURA 2.7 - Página de entrada do TelEduc
A avaliação no ambiente Teleduc é realizada através do método de portfólio. O
método de portfólio é baseado no registro da caminhada do aluno, ou seja, todas as
atividades que forem executadas pelo aluno são armazenadas nesta ferramenta.
O portfólio permite que os participantes do curso armazenem textos e arquivos a
serem utilizados ou desenvolvidos durante o curso, bem como endereços da Internet.
Esses dados podem ser particulares, compartilhados apenas com os formadores ou
compartilhados com todos os participantes do curso. Cada participante pode ver os
portfólios dos demais, podendo ainda fazer comentários sobre eles.
As atividades propostas pelos professores são inseridas na ferramenta Atividades.
A ferramenta Material de apoio apresenta informações úteis relacionadas à temática do
curso, subsidiando o desenvolvimento das atividades propostas. Na ferramenta Leituras
são disponibilizados artigos relacionados à temática do curso e algumas sugestões de
revistas, jornais, endereços na Web etc.
A ferramenta Parada Obrigatória contém materiais que visam a desencadear
reflexões e discussões entre os participantes ao longo do curso.
Além dessas ferramentas o ambiente disponibiliza ferramentas de socialização dos
alunos como chat, correio eletrônico, mural e fórum.
O Diário de Bordo é uma ferramenta utilizada para facilitar que os alunos
descrevam e reflitam sobre seu processo de aprendizagem. Enfim, o aluno pode
descrever, registrar, analisar seu modo de pensar, expectativas, conquistas,
questionamentos e suas reflexões sobre a experiência vivenciada no curso e na atividade
de cada dia. As anotações dos alunos poderão ser lidas e comentadas pelos formadores.
A ferramenta Acessos permite aos professores acompanharem a freqüência de
acesso dos usuários ao curso e às suas ferramentas.
Os formadores têm acesso a todas as ferramentas citadas acima e acesso exclusivo
às ferramentas abaixo [TEL2001]:
33
a) Intermap - permite aos formadores visualizar a interação dos participantes do
curso nas ferramentas Grupos de Discussão e Bate-Papo;
b) Administração - permite aos formadores disponibilizar materiais nas diversas
ferramentas do ambiente, bem como configurar opções em algumas delas.
Permite ainda gerenciar as pessoas que participam do curso.
Existem alguns ambientes um pouco menos conhecidos, com funcionalidades
específicas. Em geral, são projetos de universidades que pesquisam sobre o tema
educação a distância, que não são comercializados para outras instituições.
2.3.6 SMART
SMART foi desenvolvido por um grupo de Cognição e Tecnologia da
Universidade de Vanderbilt em 1994. O grupo e outros pesquisadores pesquisaram,
durante 10 anos, com estudantes e professores, os caminhos para motivação e avaliação
do aprendizado.
SMART (Special Multimedia Arenas for Refining Thinking) envolve uso
interativo da internet e software multimídia. A internet serve para três funções
importantes: age como uma ferramenta de avaliação formativa para prover feedback
individualizado para os estudantes, cria uma comunidade de aprendizado mostrando
dados submetidos pelos participantes das salas de aula e promove a discussão e reflexão
de conceitos importantes [SMA97].
No SMART, a internet funciona como uma ferramenta para o trabalho do
professor e uma ferramenta de avaliação [SMA97].
Avaliação Formativa pelos estudantes é sinônimo de atividades de auto-avaliação,
em que estudantes refletem suas concepções. Avaliação Formativa pelos professores
envolve monitoramento dos conhecimentos dos estudantes e habilidades para propósito
de tomada de decisão instrucional [SMA97].
No SMART, estudantes interagem por ciclos de solução de problemas e revisão.
Estudantes acessam sua página na internet, SMART WWWeb, durante a fase de
revisão. Essencialmente, SMART WWWeb possui três funções: Primeiro, provê
feedback individualizado para estudantes. O feedback sugere aspectos do trabalho do
estudante que são necessários na revisão e recursos de sala de aula que estudantes
podem usar como ajuda para a revisão. O feedback não fala para o estudante a resposta
certa. O feedback da Web é gerado dos dados que os estudantes inserem
individualmente [SMA97].
A segunda função do SMART WWW é coletar, organizar e mostrar os dados
coletados das salas de aula. Esta característica permite o professor e sua classe discutir
diferentes estratégias de solução. Esta discussão provê uma rica fonte de informações
para o professor de como os estudantes estão pensando sobre o problema e é planejada
para estimular estudantes a refletir.
A terceira sessão do SMART WWWeb é Kids Online. Kids Online consiste na
explanação pelos estudantes atores. As explanações são baseadas em textos com
narração de áudio.
Estudantes são questionados para escolher e justificar sua escolha na ferramenta.
34
2.3.7 Hyperlearning Meter System
O Hyperlearning Meter System [MEN98] é um sistema específico para avaliação
e certificação, utilizado na George Mason University. O sistema apresenta questões
individualizadas para cada aluno, nunca repetindo a mesma questão; gera as questões a
partir de modelos preparados pelos instrutores; e fornece estatísticas sobre o progresso
do aluno baseado num mapa conceitual do domínio de conhecimento que está sendo
avaliado. Também permite ao instrutor definir pontos de realimentação aos alunos, com
informações das deficiências de cada um e os módulos a serem estudados que poderão
ajudar.
Hyperlearning significa aprendizado ricamente interconectado, ambiente
descentralizado, em que o individual deve pegar responsabilidade para o que é
aprendido e não pode confiar em direção para uma autoridade central. Hyper significa
por cima e além de simples dimensão, como em hyperspace ou hypertext.
Segundo [HYP98], o Hyperlearning Meter pode ser usado por qualquer
organização que mede aprendizado: de cursos colegiais a companhias de treinamento. O
centro de desenvolvimento do Hyperlearning Meter oferece a instalação do
Hyperlearning Meter em sua organização e criação de questões, base de dados de
questões e testes.
As ferramentas descritas a seguir pertencem a categoria das ferramentas stand
alone, ou seja, são ferramentas independentes de um ambiente de EAD, mas podem ser
utilizadas na Web para realizar avaliações de alunos.
2.3.8 Hot Potatoes
Hot Potatoes é um pacote de seis ferramentas ou programas de autoria,
desenvolvido pelo Grupo de Pesquisa e Desenvolvimento do Centro de Computação e
Mídia da Universidade de Victoria, Canadá. Possibilitam a criação de seis tipos de
exercícios interativos para a Web. As páginas criadas usam a programação Javascript
para a interatividade, compatíveis com todas as versões dos navegadores Internet
Explorer e Netscape, ambas para plataformas Windows ou Macintosh [PON2001].
A figura 2.8 apresenta a tela principal do HotPotatoes.
FIGURA 2.8 - Tela principal do HotPotatoes
35
Os seis tipos de questões são:
a) JBC – Múltipla escolha;
b) JQuiz – Respostas curtas a questões dissertativas;
c) JMix – Ordenar sentenças;
d) JCross – Palavras Cruzadas;
e) JMatch – Ligar as respostas da 2ª coluna de acordo com a primeira;
f) JCloze – Preencher as lacunas.
Duas das ferramentas, JMath e JMix, produzem páginas com recursos DHTML
(exercícios de clicar-arrastar-soltar), mas somente funcionam nas versões mais recentes
dos navegadores (Internet Explorer 5.0 e Netscape 6 ou superiores). As ferramentas de
autoria também aceitam caracteres acentuados, podendo, desta forma, serem criados
exercícios em qualquer idioma baseado em caracteres romanos, incluindo francês,
alemão, italiano, português e vários outros [POT2001].
Embora os exercícios sejam construídos usando Javascript, não é necessário
conhecimento algum sobre esta linguagem de programação. Tudo o que se precisa saber
é entrar com os dados - textos, questões, respostas etc - e os programas criarão,
automaticamente, a página web. Desta forma, basta enviar a página criada para o
servidor, para serem acessados via Internet. Os programas são feitos de forma que quase
todos os aspectos das páginas podem ser customizados, basta saber HTML ou JScript,
que é possível modificar tanto o funcionamento como a formatação ou aparência da
página dos exercícios [POT2001].
A seguir será descrito, etapa por etapa, o processo de criação de um exercício
usando JQuiz, para demonstrar alguns dos conceitos básicos. Estas são as três etapas
básicas:
a) entrada de dados (questões, respostas etc.);
b) configuração da página do exercício (links para os botões, instruções e outras
características da página);
c) criação das páginas Web (compilando o exercício em páginas HTML ou
DHTML).
A primeira etapa é entrar com as questões e respostas do exercício. Quando do
início do programa JQuiz entra-se com o título, questão e duas respostas como mostra a
fig. 2.8. Foram incluídas como respostas duas possíveis variações da resposta: a palavra
"six" e o dígito "6". Isso significa que o programa aceitará ambas as respostas como
corretas, como mostra a fig. 2.9.
36
É preciso salvar o arquivo para o caso de querer modificá-lo futuramente. Cada
um dos programas do Hot Potatoes salva os dados no seu próprio formato especial de
arquivo. No JQuiz, os arquivos terminam com a extensão ".jqz". É importante salvar os
dados, uma vez que os programas não podem atualizar as páginas para fazer as
modificações; a única forma de modificá-los é abrir os arquivos do formato do
programa, fazer as alterações e exportá-los novamente para o formato de página web.
FIGURA 2.9 - Tela de entrada de dados da ferramenta JQuiz
Quando um programa do Hot Potatoes cria uma página web, ele faz a combinação
de três informações:
a) Os dados incluídos na entrada;
b) A configuração da informação;
c) Um conjunto de arquivos ou modelos, contendo a estrutura da página.
A informação de configuração é uma coleção de fragmentos de texto, incluindo
instruções para fazer o exercício, texto dos botões e links, que podem variar de um
exercício para outro, como mostra a fig. 2.10.
37
FIGURA 2.10 - Tela de configuração de saída de arquivos no HotPotatoes
Quando tiver realizado as alterações, pressione "OK" e volte para a tela principal
do programa.
O último passo é criar uma página Web a partir dos dados incluídos. Para realizar
esta etapa é preciso apenas clicar em "Export to Web" no menu "File" e nomear o
arquivo.
2.3.9 Question Mark Perception
Question Mark Perception é um conjunto de aplicações que permite usuários
criarem questões e organizarem-nas em testes para distribuição on-line. Perception tem
sido especialmente desenvolvido para instrutores, educadores e outros usuários para
criar e apresentar avaliações em computadores on-line.
O Question Mark é dividido em dois módulos principais, que são: Question
Manager e Session Manager, Gerenciador de Questão e Gerenciador de Sessão
respectivamente.
O Question Manager permite aos usuários criar perguntas e respostas e armazenar
em um banco de dados. Fornece também a funcionalidade para estas perguntas serem
pontuadas, e definir o feedback a ser dado aos participantes que respondem às
perguntas.
O Session Manager é usado para organizar as questões em testes, que são salvos
em uma base de dados de sessão. Essas sessões podem ser especificadas de várias
formas, dando ao usuário controle completo sobre as informações dos participantes.
38
FIGURA 2.11 - Gerenciador de questões
Question Manager e Session Manager usam banco de dados, em que armazenam
duas bases de dados: questões e sessões. Essas bases de dados tipicamente residem na
máquina do cliente.
Depois de criadas as questões, utilizando o Gerenciador de Questões pode-se
colocar as mesmas em sessões com o Gerenciador de Sessões. Sessão é o nome usado
no Perception para testes ou exames. As sessões são armazenadas em banco de dados
de sessões, no formato .MDB.
A fig. 2.12 mostra a tela do Gerenciador de Sessões.
FIGURA 2.12 - Gerenciador de sessão
2.3.10 AvalWeb
Este sistema foi desenvolvido como requisito parcial para dissertação de mestrado
de Rodrigo Cardoso [CAR2001]. O AvalWeb é um sistema que possui como foco
39
principal o gerenciamento de questões e aplicação de avaliações via Web com base em
requisições de professores. Também possui um módulo de auto-avaliação, com retorno
imediato para o aluno, que integra o sistema de gerência de questões dando ênfase mais
no processo de ensino/aprendizagem do que na avaliação propriamente dita.
O público envolvido na utilização do AvalWeb é composto basicamente por dois
tipos de usuário:
a) Professor – É o responsável pela disciplina da qual estarão disponíveis
questões para avaliar os alunos. Este tipo de usuário tem acesso irrestrito a
opções como cadastramento de disciplinas, tópicos, questões e criação de
avaliações;
b) Aluno - Fará parte apenas de avaliações propostas, não sendo possível seu
acesso ao sistema, sem o conhecimento da senha fornecida a ele pelo
professor. O aluno tem acesso a determinados tipos de informações relativas
as suas avaliações anteriores e em alguns casos também a auto-avaliações.
Não é necessária a presença de um administrador. Tarefas que necessitariam de
sua presença, como a liberação de acesso aos alunos, são realizadas automaticamente,
através da interação entre o professor e a ferramenta.
O AvalWeb pode ser utilizado por qualquer instituição, empresa ou profissional,
que tenha como uma de suas necessidades avaliar pessoas.
Para a utilização do sistema é necessário um cadastro prévio, realizado através de
formulários, que irão registrar professores e alunos.
Existem dois tipos de usuários, os alunos e professores. Para realizar o cadastro no
sistema, no caso de professores, deve ser escolhida a opção “Novo professor”, que
depois de selecionada exibe uma tela que solicita seus dados, juntamente com os dados
da Instituição, disciplina e turma.
O login e a senha do professor são cadastrados a seu critério. O outro tipo de
usuário é o aluno, que realiza seu cadastro na opção “Novo aluno”, insere seus dados
pessoais e a turma da qual quer fazer parte e aguarda um e-mail de resposta com a sua
senha para acesso ao sistema.
Automaticamente após preencher seu cadastro, o sistema envia um e-mail para o
professor contendo os dados principais do aluno inclusive com a senha aleatoriamente
gerada pelo sistema, armazenada juntamente com os dados pessoais do estudante.
Caso o professor aceite a inscrição do aluno para aquela disciplina, simplesmente
escolhe a opção reply de seu software de correio eletrônico, fazendo com que os dados
sejam enviados para o aluno juntamente com a senha de acesso.
Na figura abaixo é apresentado o esquema representativo de acesso ao sistema,
que varia de acordo com o tipo de usuário. Professores e alunos passam pelo processo
de login, tendo acesso aos respectivos módulos de acordo com o seu tipo.
40
FIGURA 2.13 - Modelo do AvalWeb
No caso do professor, além do acesso a diversos cadastros como o de disciplinas,
tópicos, instituição, alunos, dados pessoais e turmas, também é possível criar questões,
gerar avaliações e visualizar relatórios.
Para o aluno, é possível a alteração de dados pessoais, realização de avaliações ou
auto-avaliações e consulta das notas e questões respondidas por ele em avaliações
anteriores.
Para que as avaliações possam ser disponibilizadas pelos professores e
posteriormente respondidas pelos alunos, é necessário que antes seja efetuado o
cadastramento dos dados requeridos.
2.3.11 Comparação entre os modelos e ferramentas de avaliação em EAD
A comparação entre os ambientes de EAD apresentados nas seções anteriores,
segundo alguns critérios está descrita abaixo:
TABELA 2.1 - Comparação entre modelos e ferramentas de avaliação em EAD
Modelos \ Critérios 1 2 3 4 5 6 7 8 9 10
Avaliação Formal (Questões, Testes) X X X X X X X X
Avaliação Informal (Monitoramento) X X X X
Tipo
*
de Avaliação Utilizada S S S S F F F S S S
Feedback ao aluno X X X X X X S X
Feedback ao professor X X X X X X X
*
S – Somativa, D – Diagnóstica, F - Formativa
41
TABELA 2.2 - Legenda dos modelos e ferramentas de avaliação
Nº CORRESPONDENTE MODELO
1 AulaNet
2 WebCT
3 TopClass
4 Web Course in a Box
5 TelEduc
6 SMART
7 Hyperlearning Meter System
8 HotPotatoes
9 Question Mark
10 AvalWeb
A comparação entre os modelos de avaliação para educação a distância analisados
permite extrair algumas conclusões:
a) existem poucos modelos de avaliação que oferecem as funcionalidades
necessárias a um ambiente de educação a distância;
b) as ferramentas HotPotatoes e Question Mark são softwares fechados, com
custo operacional elevado e não possibilitam a interação com ambientes de
EAD;
c) os ambientes de EAD, AulaNet e WebCT, oferecem vários recursos para
realizar a avaliação em EAD dentro de seus próprios ambientes e possuem
código fonte fechado. O AulaNet tem sido distribuído gratuitamente, já para o
uso do WebCT é necessário adquirir a licença do software que é limitada ao
número de usuários e bastante onerosa;
d) na maioria das ferramentas o tipo de avaliação utilizada é a avaliação
somativa;
e) a avaliação informal é realizada em algumas ferramentas, mas na maioria dos
casos, quando esta está presente é dispensada a avaliação formal. A avaliação
informal deveria ser utilizada apenas como subsídio à formal.
2.4 Avaliação em Agentes Pedagógicos
Os trabalhos apresentados nas seções a seguir modelam e/ou implementam o
processo de avaliação utilizando a tecnologia de agentes.
2.4.1 Sistema de Alertas
O Sistema de Alertas desenvolvido em [MUS2001] construiu um sistema de
alertas para apoio ao ensino, com o objetivo de amenizar esta limitação da educação a
distância, ajudando o professor a ter um acompanhamento mais completo das atividades
dos alunos. Além disso, o próprio aluno pode receber alguns estímulos, ajuda, avisos,
etc.
O Serviço de alertas é composto pelos seguintes módulos: Editor de Alertas, Base
de Conhecimento, Monitor de Eventos, Servidor de Alertas e Banco de Dados. A fig.
2.14 apresenta a arquitetura do sistema de alertas.
42
FIGURA 2.14 - Arquitetura do Sistema de Alertas
a) Editor de alertas: módulo de construção e gerenciamento dos alertas. Através
de uma página Web, permite ao usuário (professor, coordenador do curso,
etc.) identificar os tipos de alertas desejados, especificar as condições que
devem ser monitoradas e as ações que devem ser realizadas na ocorrência
destas condições;
b) Base de conhecimento: representa as situações de exceção que devem ser
detectadas e geralmente são representadas através de regras. Uma regra é,
simplesmente, um par condição-ação: dada a existência da condição expressa,
faça a ação. As regras são expressas da seguinte forma: SE <condição>
ENTÃO <ação>;
c) Monitor de eventos: é o módulo que detecta a ocorrência de um evento de
interesse e avisa o módulo Servidor de Alertas;
d) Servidor de alertas: este módulo processa as regras associadas com os alertas,
contidas na base de conhecimento, acessa a base de dados e, no momento que
ocorre um evento crítico, emite o alerta correspondente, definido
anteriormente através do editor de alertas;
e) Base de dados: contém os dados sobre todas as atividades realizadas pelos
alunos no curso. A estrutura que faz esta coleta de informações e
armazenamento na base de dados foi implementada pelo grupo de inteligência
artificial do Projeto Tapejara;
f) Base de mensagens: contém todas as mensagens que podem ser enviadas pelo
sistema de alertas. As mensagens são definidas no Editor de alertas.
A seguir, é mostrado o funcionamento do Sistema de Alertas especificado
anteriormente, e como o protótipo que coloca em prática esta estrutura foi
implementado.
43
processamento
da mensagem
nova
mensagem
Base de
conhecimento
Ciclo do Sistema de Alertas
determinação da
regra aplicável
execução da ação
estabelecida na regra
evento
temporal
alerta
FIGURA 2.15 - Processo de Execução do Sistema de Alertas
Após recebimento da mensagem de aviso, que informa a ocorrência de um evento
de interesse, ou detecção de evento temporal, o sistema executa um conjunto de
operações para emissão dos alertas. As operações, mostradas na fig. 2.15, estão
descritas a seguir na seqüência em que são executadas.
a) processamento da mensagem recebida: neste momento, o sistema decompõe a
mensagem KQML e reconhece qual a tarefa que esta propõe;
b) operação de acesso à base de conhecimento: a partir da análise da mensagem,
o sistema de alertas consulta a base de conhecimento e determina qual regra é
aplicável para a corrente situação;
c) execução da ação estabelecida na base de conhecimento: cada regra existente
na base de conhecimento possui uma ação associada. É neste momento que
tais ações são executadas pelo sistema de alertas.
2.4.2 Javal
O ambiente Javal foi desenvolvido em [EMI2002] visando dotar o ambiente do
aluno de agentes embarcados capazes de monitorá-lo, detectando situações de dúvida e
iniciando procedimentos de auxílio. Estes agentes permitem simular a presença do
professor, oferecendo-se para auxílio na solução das questões, quando determinado.
O ambiente Javal, conforme a fig. 2.16 é concebido por módulos que englobam
um conjunto de classes de objetos, visando assegurar modularidade e independência
entre eles, de forma a torná-lo uma estrutura portável, segura e escalável. Os agentes do
ambiente são instruídos pelo professor sobre como se comportar ante uma possível
situação de dúvida, obtida através do monitoramento de sensores no ambiente do aluno.
44
FIGURA 2.16 - Modelo do ambiente Javal
Os módulos componentes do ambiente Javal são os seguintes:
a) Modulo de Controle de Avaliações (MCA) - Responsável pelo controle geral
do ambiente Javal. Localizado no servidor, coordena as atividades de
comunicação, autenticação e segurança, elaboração de avaliação,
armazenamento e distribuição dos Módulos de Avaliação Remota (MAR) aos
alunos, sobre uma estrutura de rede ou Internet;
b) Módulos de Avaliação Remota (MAR) - unidades de avaliação remota
distribuídas aos alunos através do ambiente de rede, empregando o recurso de
applets em páginas Web. Os MAR incorporam agentes embarcados
responsáveis pelo acompanhamento do aluno durante a execução da avaliação
e geração de relatórios;
c) Módulo de Montagem de Avaliações (MMA) - Responsável por apresentar ao
professor uma interface gráfica para desenvolvimento do seu ambiente de
avaliação. Permite a criação de avaliações e suas questões, bem como de toda
a sua estrutura de pontuação, disponibilização de recursos e configuração de
comportamento de agentes. Como baseia-se em ambiente Web, dispensa
qualquer tipo de instalação de software no lado do professor, facilitando a
criação de avaliações em qualquer computador da rede ou da Internet;
d) Módulo de Armazenamento de Dados (MAD) - Consiste de um banco de
dados que tem por finalidade armazenar avaliações, informações para agentes,
perfis, dicionários, relatórios de avaliação e questões, bem como prover a
infraestrutura necessária para a criação de objetos avaliação e armazenamento.
Cada módulo envolve um conjunto de classes organizadas em pacotes de acordo
com suas funcionalidades.
O modelo conceitual do ambiente Javal considera uma série de entradas e saídas
de informação, sendo capaz de tratar cada uma com seus módulos. Para uma análise de
45
suas funcionalidades básicas, o modelo do sistema foi desenvolvido para interagir com
dois tipos de atores definidos: professor e aluno.
As interações com o professor envolvem aspectos operacionais do sistema e
pedagógicos da avaliação, enquanto que as interações com o aluno envolvem aspectos
comportamentais.
As interações que o professor realiza com o sistema, compreendem os seguintes
fluxos de informações:
a) A avaliação - compreende o objeto de avaliação propriamente dita, com
informações relativas à instituição, professor, turma de aula, matéria, assunto,
disciplina, valor das questões e tudo que diz respeito à avaliação, com seus
aspectos didáticos e formais;
b) Diretrizes operacionais - compreende informações que permitem instruir os
alunos e agentes específicos para a execução da avaliação. Englobam a
definição da avaliação quanto a sua execução (individual ou em grupo), o
tempo destinado à sua realização, a data de início e de término, a ativação do
recurso de recolhimento automático da avaliação, tutores para os itens da
questão e disponibilização ou não de recursos durante a execução;
c) Diretrizes temporais - compreende aspectos ligados aos agentes que
acompanharão o aluno durante a execução da avaliação, analisando o
componente tempo de execução. Permite estabelecer tempo máximo e mínimo
para a solução de cada item, dentro do qual os agentes monitoram situações de
demora do aluno e que desencadeiam procedimentos de auxílio, dentro do
estabelecido pelas diretrizes operacionais;
d) Diretrizes comportamentais - contempla aspectos comportamentais
relacionados aos sensores que estarão presentes no ambiente do aluno,
especialmente na interface gráfica. Minimizações de janela, modificação de
respostas são aspectos monitorados e, caso ocorram fora da margem prevista
pelo professor, desencadeiam procedimentos de auxílio ao aluno, dentro das
diretrizes operacionais;
e) Orientações para a execução - compreende instruções sobre a execução da
prova, que o professor pode disponibilizar para o aluno, orientando-o sobre
como proceder durante sua realização;
f) Recursos a disponibilizar - compreende o conjunto de recursos que o professor
pode disponibilizar para que o aluno os consulte, em situação de dúvida,
durante a avaliação. Envolve páginas da web, serviços de comunicação em
grupo, lista de discussão, sala de chat, página web da disciplina, arquivos de
áudio, vídeo, imagens, etc.
O sistema disponibiliza ao professor uma série de informações, fruto da atividade
de avaliação, as quais envolvem:
a) Relatórios comportamentais - visam apresentar ao professor aspectos ligados
ao comportamento do aluno frente a cada item que lhe foi apresentado, como
questões “puladas” ou resolvidas fora do tempo previsto, uso de recursos
disponibilizados, e outras informações necessárias para que o professor
adeque recursos ou tempo ao tipo de perfil considerado, em avaliações futuras;
b) Dúvidas ocorridas - envolve o conjunto de questões cuja resposta não ocorreu
dentro do limite de tempo previsto e que, para sua solução, o aluno tenha sido
46
obrigado a consultar recursos disponibilizados pelo professor. São
informações importantes para um reestudo sobre a elaboração de questões ou
disponibilização de recursos pelo professor;
c) Resultado da avaliação - envolve os aspectos formais da avaliação,
informando o grau obtido pelo aluno como fruto da realização da questão;
2.4.3 Proposta de ferramentas e agentes inteligentes para um ambiente de ensino-
aprendizagem na Web
Segundo [VAV98], quando se pensa em ambiente de ensino-aprendizagem,
pensa-se logo em professor/aluno. No entanto, as tarefas de gerenciar e manter este
ambiente não cabe a nenhum deles, e sim a um terceiro, não ativo no processo, mas que
também é indispensável - o administrador do ambiente. Sendo assim, as ferramentas que
compõem a estrutura proposta são agrupadas em três categorias, cada uma atendendo a
um tipo de usuário:
1. ferramentas de configuração do curso (FCC) - direcionadas ao professor;
2. ferramentas para apoio ao aluno (FAA) - direcionadas aos alunos;
3. ferramentas de suporte à administração (ESA) - direcionadas ao
administrador.
A proposta descrita em [VAV98] implementa uma ferramenta de avaliação, na
qual o professor cria e gerencia todo o processo de avaliação do aluno. Para facilitar tal
processo, essa ferramenta é subdividida nos seguintes módulos:
a) cria/altera avaliação: nesta opção o professor tem a oportunidade de
criar/alterar a avaliação. Cada avaliação elaborada está relacionada com uma
das Unidades de Aprendizagem disponíveis. Como tipo de questões possíveis
para a avaliação encontram-se: escolha simples, múltipla escolha, discursiva e
trabalho - neste último tipo o professor indica um prazo (desejável) de entrega,
e descreve o trabalho a ser realizado, sendo que a diferença entre este item e
os outros é que a resposta a este item é o envio de um arquivo pelo aluno, e
nos outros casos a resposta é feita preenchendo-se a avaliação apresentada;
b) comentário: em todas as questões de escolha simples ou de múltipla escolha é
solicitado ao aluno que, além de marcar a resposta certa, as questões sejam
comentadas de forma a justificar o porquê da escolha. Assim, este módulo
permitirá ao professor acessar os comentários feitos pelos alunos. O objetivo
do desenvolvimento desse recurso é fornecer ao professor a possibilidade de
verificar o conhecimento do aluno, no que diz respeito a cada questão de
escolha;
c) discursiva: módulo que possibilita a correção das questões discursivas, além
de permitir ao professor alterar a nota do aluno, sem precisar para tanto,
acessar o módulo de boletim, descrito anteriormente;
d) download de trabalhos: o professor pode solicitar que o aluno realize um
trabalho e, tendo-o concluído, envie-o em um arquivo. Portanto, através deste
módulo o professor terá acesso a todos os trabalhos enviados, com a data de
envio, a unidade a qual o trabalho corresponde e o nome do aluno que o
remeteu.
Conta também com uma trilha de progresso que permite ao professor monitorar o
progresso dos alunos no curso, quais unidades visitadas e ferramentas utilizadas.
47
2.4.4 Proposta para um Ambiente de Avaliação Pedagógica - AmAPed
O Ambiente de Avaliação Pedagógica - AmAPed - deve atuar como gerador de
questões e provas para o professor, observador do desempenho do aluno, consultor para
determinação de estratégias de ensino e terapias adequadas ao aluno em interação. Estas
diferentes funções necessitam de ações em paralelo, como a observação do
comportamento e desempenho do aluno frente às questões e exercícios para o aluno e
proposituras de terapia em caso de necessidades, isto tudo dentro de um ambiente que é
dinâmico, porquanto o aluno está em interação e o sistema está em atuação com o aluno,
aprendendo e se adequando [BER97].
O ambiente proposto por Magda Bercht em [BER97], propõe uma arquitetura
multiagente, híbrida quanto a ser baseada em agentes cognitivos e reativos e é
constituída de Observadores de Desempenho e Comportamento, de Avaliação de
Desempenho, de Analistas Pedagógicos e de um Mediador de Construção. O Mediador
de Construção tem a tarefa de, através de instruções específicas do professor, determinar
os principais itens a serem observados e analisados quanto aos objetivos instrucionais,
suprir a base de conhecimento associadas de modo a prover as formas e maneiras dos
comportamentos reativos dos Observadores de Comportamento e Desempenho.
Além disso, o Mediador de Construção gerencia uma base de questões, exercícios
e problemas de acordo com os conteúdos e objetivos dos professores. Este Banco de
Questões é constituído somente de originais e podem ser geradas variantes de questões
dadas as especificações de cada produtor de questão ou professor. Uma linguagem ou
ambiente para possibilitar a interação com o professor é necessária, quanto à descrição
de questões a serem aplicadas e fórmulas para geração das questões sinônimas.
O meio de interação deve prover a possibilidade de especificação de itens
importantes a serem analisados, se necessário, para cada processo Tutor-aluno. A
primeira versão adota uma interface orientada por menus e caixas de parâmetros e
diálogos, bem dirigida, devido aos problemas naturais de comunicação livre entre um
sistema de computação e um agente humano.
Os Observadores de Desempenho e de Comportamento agem como uma
sociedade de sistemas baseados em comportamentos, e atuam durante a interação com o
aluno, como se sensores fossem. Seus dados e informações das observações ficam à
disposição em uma área de comunicação, Área de Estudos e Comunicação para uso de
todos os agentes que necessitarem, especificamente os agentes da Sociedade de
Analistas. O uso de uma área comum de estudos e informações para todos os agentes,
foi adotada de forma a diminuir o fluxo de mensagens entre as diferentes sociedades de
agentes.
Os Analistas são agentes cognitivos e cabe a eles a análise dos comportamentos
do aluno para orientar o tutor quanto às interações instrucionais a serem adotadas a
seguir.
2.4.5 Utilizando Agentes no Suporte à Avaliação Informal no Ambiente de
Instrução baseada na Web - AulaNet
Este trabalho apresenta um modelo baseado em agentes para o suporte a avaliação
informal no AulaNet - um ambiente de instrução baseada na Web. Neste modelo, o
processo de interação dos alunos com o ambiente de ensino desempenha um papel
48
fundamental, fornecendo, aos professores, os mecanismos necessários a uma avaliação
mais eficaz de seus alunos e design institucional.
Instrução baseada na Web (IBW) pode ser definida como o uso da WWW como
um meio para a publicação de material de um curso, apresentação de tutoriais, aplicação
de testes e comunicação com os estudantes. Ela também compreende o uso da Web para
a apresentação de conferências multimídia de forma síncrona e assíncrona.
Os mecanismos de avaliação presentes em ambientes IBW estão restritos aos
instrumentos de avaliação formal, tais como aqueles existentes em ambientes
tradicionais de ensino, ou seja, trabalhos individuais, provas, listas de exercícios, entre
outros. No AulaNet esse tipo de avaliação é realizado pelo Quest, que tem por objetivo,
determinar os resultados finais do processo de aprendizado, isto é, os processos e os
produtos que descrevem a natureza e a extensão do aprendizado, seu grau de
correspondência com os objetivos da instrução e sua relação com o ambiente de
aprendizado [NOY98].
Devido à inexistência do caráter presencial em ambientes IBW, os mecanismos de
avaliação informal são extremamente complexos. Por essa razão, os professores perdem
o feedback necessário a compreensão dos processos de aprendizagem dos alunos, que
permitem não somente avaliá-los, como também apontar possíveis distorções no design
instrucional [MEN98].
Em [MEN98], acredita-se que através da observação do comportamento dos
alunos durante o processo de interação com o Ambiente poderemos captar
conhecimento acerca do processo de aquisição de conhecimento dos mesmos, que
permitirá uma complementação aos processos de avaliação existentes no AulaNet.
Através deste processo espera-se determinar como o aluno chega aos resultados
apresentados; quais os caminhos percorridos com relação ao material didático; quais as
fontes consultadas e com que freqüência; se o aluno utiliza fontes suplementares
fornecidas pelo professor; se o aluno tem iniciativa de pesquisar fontes suplementares
por conta própria; qual a sua contribuição em atividades conjuntas; se o aluno entra em
contato com professor e instrutores somente em datas próximas as datas de entrega de
trabalhos, ou se mantém contato regular, qual a sua assiduidade em tarefas em grupo
(chats, videoconferências, etc.); se os trabalhos demonstram preferir determinados tipos
de mídias a outros; e se o ritmo do conjunto dos alunos no consumo de material didático
é homogêneo.
Para atingir esses objetivos foi proposto um modelo baseado em agentes
assistentes de tarefa, representado pela fig. 2.17, para o suporte à avaliação informal no
AulaNet.
49
FIGURA 2.17 - Modelo proposto para o suporte à avaliação informal no AulaNet
O modelo acima é uma agência composta de três agentes assistentes de tarefas,
cada um com uma funcionalidade distinta. O "Agente 1" é o Agente Assistente de
Tarefa de Monitoração, responsável pelo monitoramento do processo de interação dos
alunos com o Ambiente, onde é criado um log da interação desses alunos com o
Ambiente, que reflete o processo de aprendizagem dos alunos em um curso. Esse agente
possui componentes no cliente, gerando um histórico de navegação do aluno, e no
servidor, para percorrer as listas de discussão, a fim de verificar a participação de alunos
em atividades conjuntas. A atuação desse agente é totalmente transparente para os
alunos, de forma a não comprometer o processo de ensino-aprendizagem. O professor é
assistido por um Agente Assistente de Tarefa de Avaliação de Alunos ("Agente 2"),
responsável pela consulta ao log de interação, ao modelo de alunos do AulaNet e a uma
base de conhecimentos responsável pela interpretação desse log de interação. Esse
agente também é capaz de confrontar as informações decorrentes dos processos de
avaliação informal com as informações resultantes dos processos de avaliação formal do
AulaNet, oferecendo um auxílio mais eficaz ao professor.
O professor também é assistido por um Agente Assistente de Tarefa de Avaliação
de Design ("Agente 3"), responsável pela consulta ao log da interação, ao modelo
instrucional do AulaNet e a uma base de conhecimentos responsável pela interpretação
do log de interação. Esse agente é capaz de indicar possíveis distorções no design
instrucional, refletidas em decorrência do comportamento verificado dos alunos e,
conseqüentemente, oferecendo os mecanismos necessários à realização das correções
verificadas, na busca do alcance da qualidade desejada. Os agentes assistentes de
avaliação atuam como consultores - toda a decisão sobre modificações no design
instrucional ou à avaliação dos alunos cabe ao professor. Esses agentes se baseiam em
Agente 1
Agente 2
Agente 3
Log de
Intera
ç
ão
BC para
interpretar o
lo
g
BC para
interpretar o
lo
g
reflete
reflete
consulta
consulta
consulta
Modelo
Institucional
Modelo de
Alunos
Aluno
Professor
Curso no
Ambiente
AulaNet
gera
consulta
observa
reflete
utiliza
interface
utiliza
mantém
consulta
assiste
consulta
avalia
50
um modelo de classificação e sua implementação se dá através do uso de regras de
produção, com a utilização de informações probabilísticas.
2.4.6 Comparação entre os modelos que utilizam agentes pedagógicos
A tabela 2.3 compara os agentes pedagógicos apresentados nas seções anteriores,
segundo alguns critérios.
TABELA 2.3 - Comparação entre modelos que utilizam agentes pedagógicos
Modelos \ Critérios 1 2 3 4 5
Avaliação Formal (Questões, Testes) X X X
Avaliação Informal (Monitoramento) X X X X
Tipo
*
de Avaliação Utilizada D D S D D
Feedback ao aluno X
Feedback ao professor X X
*
S – Somativa, D – Diagnóstica, F - Formativa
TABELA 2.4 - Legenda dos modelos e ferramentas de avaliação
Nº CORRESPONDENTE MODELO
1 Sistema de Alertas
2 Javal
3 Proposta de ferramentas e agentes inteligentes para um
ambiente de ensino-aprendizagem na Web
4 Proposta para um Ambiente de Avaliação Pedagógica –
AmAPed
5 Utilizando Agentes no Suporte à Avaliação Informal no
Ambiente de Instrução baseada na Web - AulaNet
A comparação entre os modelos de avaliação baseados em agentes pedagógicos
permite que algumas conclusões sejam extraídas:
a) os modelos de avaliação que utilizam a tecnologia de agentes procuram
desempenhar o papel da avaliação com maior fidelidade, preocupando-se com
o aluno e as reações do mesmo no ambiente;
b) uma das características e vantagem na utilização dos agentes é a autonomia,
ou seja, os agentes podem ser utilizados separadamente do ambiente ao qual
eles foram propostos, possibilitando a integração de um agente em vários
ambientes de EAD;
c) a maioria dos agentes utilizados no domínio avaliação da aprendizagem
utilizam a avaliação diagnóstica para avaliar o comportamento do aluno. A
avaliação diagnóstica se comparada à avaliação formativa é um tipo de
avaliação com menos funcionalidade, não tem a intenção de acompanhar a
evolução do aluno e sim diagnosticar a sua trajetória em um determinado
momento. Pode-se dizer que o tipo de avaliação diagnóstica está inserida na
concepção da avaliação formativa.
2.5 Ferramentas para avaliação informal em educação a distância
Existem alguns ambientes, um pouco menos conhecidos, com funcionalidades
específicas, que preocupam-se em avaliar as atividades dos alunos de uma maneira mais
51
completa. Em geral, são projetos de Universidades que pesquisam sobre o tema
educação a distância, não comercializados para outras instituições.
2.5.1 AnalogVB
Uma das técnicas sugeridas para acompanhamento das atividades dos alunos é a
análise dos arquivos de logs dos servidores WWW [AZE2000]. Log é um repositório de
registros que contém informações que devem ser preservadas para futuras consultas.
Com a análise dos logs, pode-se verificar a quantidade de hits, page views e unic
user que são feitos por dia ao servidor ou por homepage. Um hit é o número de
solicitações feitas ao servidor, sejam páginas, arquivos gráficos ou de áudio. Page views
é a quantidade de acessos à página, se a página é acessada mais de uma vez pelo mesmo
usuário, a contagem é incrementada. Unic user é quantidade de acessos à página, porém
se a página é acessada mais de uma vez pelo mesmo usuário, isto não interfere na
contagem.
Em sistemas de ensino via Internet, como não há mais a interação em sala de aula
entre aluno-professor e aluno-aluno, interação esta considerada de extrema importância
no processo de ensino-aprendizagem, os professores estão desenvolvendo agentes
inteligentes que possam monitorar os alunos para que seja escolhido um caminho
próprio para cada perfil do estudante, suprindo desta forma, a lacuna criada com este
tipo de ensino. Porém, os tutores virtuais poderão auxiliar os alunos mais
adequadamente, quanto maior for a quantidade de informações sobre o comportamento
de cada aluno. Como os registros dos logs de acessos ao servidor Web de ensino a
distância são armazenados, esses registros podem fornecer o comportamento de cada
aluno no tocante aos acessos aos arquivos (páginas) armazenadas no servidor Web, e
isso auxiliará os tutores virtuais a avaliar o comportamento de cada aluno.
Com as informações armazenadas no arquivo de log, é possível descobrir a média
de sessões de alunos por dia, as páginas mais acessadas no site. Estes dados podem
auxiliar a determinar quais páginas são vistas com menor freqüência ou não são
acessadas, quais alunos participam mais efetivamente das tarefas, quais alunos não
participam, etc.
O objetivo desta análise é de auxiliar o professor nos processos de avaliação de
seus alunos, avisando de possíveis problemas que podem estar ocorrendo.
Existem basicamente dois tipos de logs: o de acessos e de erros. Quando o
servidor Web está funcionado, cada solicitação de documento ou arquivo é registrada
sob a forma de um item separado no arquivo de log do servidor. Os erros são registrados
em outro arquivo. Os logs de erro são valiosos por mostrarem tentativas de acesso a
documentos controlados realizadas por usuários não autorizados e por relatarem
problemas do servidor.
Há uma grande quantidade de ferramentas que através da análise do arquivo de
log dos servidores Web, fornecem informações estatísticas sobre os acessos às páginas.
Porém devido às características dos hiperdocumentos disponibilizados na rede, estas
informações não são suficientes para desvendar o comportamento do navegador.
O uso da ferramenta AnalogVB auxilia e apoia os agentes e os tutores virtuais
inteligentes na análise do comportamento dos alunos dos cursos de ensino a distância,
através da extração de dados dos registros de log do arquivo de log de acessos gerados
por um servidor Web. A partir destes registros de log, a ferramenta AnalogVB, possui
um módulo que gera arquivos com o nome de cada usuário/aluno que acessou o servidor
52
Web. Cada arquivo gerado, contém o nome dos arquivos acessados pelo usuário/aluno e
que estão armazenados no servidor Web, conforme registrado no arquivo de log de
acessos do servidor Web.
2.5.2 Access Miner
A ferramenta Access Miner foi desenvolvida em [BRU2000] e é ferramenta de
mineração de dados na descoberta do comportamento do usuário da Web.
A mineração de dados tem por objetivo extrair informações implícitas e
potencialmente úteis de dados.
Normalmente este processo consiste em uma série de etapas, que inicia com a
seleção do conjunto ou amostra dos dados a serem processados. Estes dados podem ser
submetidos a uma etapa de pré-processamento onde são transformados para um formato
adequado para o algortimo de mineração, que procura por regras ou padrões ocultos nos
dados. Finalmente, as informações descobertas são selecionadas e formatadas para a
exibição, a fim de serem interpretadas e avaliadas, de forma que se selecione os
conhecimentos úteis resultantes de todo o processo. Estas técnicas podem ser utilizadas
para auxiliar a compreensão do comportamento do usuário da Web, através da
descoberta de padrões ou regularidades que descrevem o seu perfil.
A solução proposta faz uso de um script (programa) inserido nas páginas que se
pretende registrar o acesso ao site.
Este script gera um identificador exclusivo para a seção de navegação e solicita, a
cada página carregada, a execução no servidor de outro script. Este programa é
responsável por armazenar as informações em um arquivo que registra todos os acessos.
Estes dados são submetidos a uma etapa de processamento que tem por objetivo
agrupar acessos consecutivos do mesmo usuário, gerando como resultado um conjunto
de seções. Estas seções são submetidas ao processo de mineração para se descobrir
regras de associação entre os alunos.
Muitas ferramentas de análises de sites, podem refletir apenas a própria
organização do site, demostrando não o comportamento ou preferências do usuário, mas
o fato de que esta pode ser a única alternativa para o mesmo chegar até a página
desejada.
Observa-se que nenhuma destas técnicas resolve completamente o problema de
descoberta do comportamento do usuário da Web, mas integradas a outras soluções,
podem ajudar no resultado final.
2.5.3 Mecanismos Complementares de Avaliação
O modelo de avaliação proposto por Luciano Hack em [HAC99], apresenta os
seguintes mecanismos, como meio de obtenção de informações para a avaliação do
aluno na educação a distância:
a) Rastreamento: registro de cada passo que é dado pelo aluno (página que
acessou, data e hora), identificando que tipo de acesso o aluno tem feito
(unidades visitadas, ferramentas utilizadas, etc.), bem como o tempo gasto
com o acesso desses;
b) Controle do fluxo de informações: identificação da participação dos alunos
nas ferramentas de correio eletrônico, salas de bate-papo e lista de discussão,
53
registrando informações referentes a sua utilização, com relação a quantidade
e qualidade da informação trocada, na quantidade, será feito o registro do
número de vezes que o aluno participou da ferramenta, e na qualidade,
também será armazenado algumas contribuições dadas, para posterior
avaliação;
c) Ferramenta Ponto de Vista: organiza um ambiente, onde o professor pode
apresentar uma questão, e através das respostas e posterior avaliação dos
próprios colegas, obter de forma organizada, as melhores definições. Esta é
uma maneira de classificar os alunos, não apenas por proporcionarem as
respostas consideradas superiores, como pela participação neste tipo de
mecanismo;
d) Ferramenta Votação: procura fornecer uma ferramenta, onde o professor pode
obter um retorno rápido dos alunos sobre determinado assunto. E assim,
através das respostas dos alunos, o professor poderá rever a forma como está
conduzindo ou apresentando o curso. Também será através desta ferramenta
que o aluno fará sua auto-avaliação.
Estas funcionalidades, devem ser implementadas de tal forma, que o professor não
necessite de grandes conhecimentos, a não ser a utilização do browser, bem como possa
obter os resultados esperados sem grandes manobras e gasto de tempo, mas que tudo
esteja ao seu alcance de forma simples e direto via Internet. A fig. 2.18 apresenta a
estrutura de avaliação proposta por [HAC99].
FIGURA 2.18 - Estrutura para avaliação do aluno [HAC 99]
BROWSER
Cliente
Lista de Discussão Mail Chat
Rotina de
Obtenção de
Info
Rotina de
Recepção de
Logs
Rotina de
Navegação
Rotina de
Consenso
Rotina de
Avaliação
Servidor
BD
Disco
54
Pode-se observar que os dados, que fornecerão registros para a avaliação do fluxo
de informações, virão através de ferramentas de bate-papo, mail e lista de discussão, que
terão suas informações registradas no disco, para posterior busca e seleção de
informações úteis para a avaliação do aluno, registrando-as no banco de dados.
As informações da parte de rastreamento, serão fornecidas através da
comunicação da rotina de navegação, que gerencia toda a parte de acesso ao curso na
Web, com a rotina de registro de logs, que ficará responsável por armazenar as
informações úteis para a avaliação no banco de dados.
E por último a rotina de consenso, que cuidará de implementar a ferramenta de
consenso, proporcionando que os alunos primeiramente dêem a sua resposta a questão
levantada, e assim que possível façam uma avaliação das respostas dadas.
2.5.4 Comparação entre as ferramentas para avaliação informal em educação a
distância
Basicamente os três trabalhos apresentados nas seções anteriores possuem a
mesma concepção, ou seja, procuram armazenar as informações informais dos acessos
dos alunos as páginas pré-estabelecidas [AZE2000], [BRU99], [HAC99] e também o
monitoramento do uso de ferramentas dentro de um ambiente [HAC99].
A tecnologia utilizada em cada um dos trabalhos [AZE2000], [BRU99], [HAC99]
são diferentes e em função disso possuem vantagens e desvantagens na sua utilização.
2.6 Resumo
Este capítulo apresentou uma visão do estado da arte da avaliação do ensino-
aprendizagem em ambientes e ferramentas de EAD.
Foram apresentados vários ambientes de educação a distância e agentes
pedagógicos que implementam o processo de avaliação, os quais serviram para verificar
como esse processo tem sido absorvido nos ambientes de EAD existentes e quais
melhorias ainda podem ser feitas para aperfeiçoar a prática de avaliação nestes
ambientes.
A tecnologia de agentes pedagógicos tem sido muito utilizada na construção de
ambientes e ferramentas que implementam os processos de ensino-aprendizagem
inclusive no domínio avaliação [BER97], [VAV98], [MEN98], [MUS2001],
[EMI2002].
Dos ambientes e ferramentas analisados no requisito avaliação pode-se dizer que
os ambientes AulaNet e WebCT são os que mais se destacam no processo de avaliar
alunos em Educação a Distância. No entanto são ferramentas com o código fonte
fechado e o WebCT necessita de licença de uso com um custo elevado.
O ambiente de EAD TelEduc vem sendo muito utilizado por instituições de
ensino e também por várias instituições dos mais diversos ramos que necessitam do
ambiente para capacitar seus funcionários. O ambiente utiliza o método de portfólio
para gerenciar e avaliar a aprendizagem dos alunos, no entanto não conta com
ferramentas para realizar avaliação formal dos mesmos, através de testes e questões. O
ambiente TelEduc tem uma grande vantagem de ser um ambiente de software com
distribuição livre e sem custos.
55
As ferramentas HotPotatoes e QuestionMark Perception são ferramentas
específicas de avaliação que possibilitam a configuração de saída das questões e testes,
no entanto, são ferramentas proprietárias e dificultam a integração com ambientes de
EAD.
As ferramentas para avaliação informal procuram armazenar informações dos
alunos no acesso às páginas de um servidor Web [AZE2000], páginas pré-estabelecidas
[BRU99] ou às ferramentas dentro de um ambiente [HAC99]. A partir das informações
armazenadas sobre os acessos, cada proposta utiliza uma forma de análise dos dados
como mineração de dados [BRU99], geração de arquivos por usuários com todo o
histórico dos acessos [AZE2000].
O modelo de agente Avaliação proposto no capítulo 3 pretende amenizar alguns
dos problemas encontrados na tarefa de avaliar alunos em EAD.
56
3 E-Avalia - Agente para avaliação do ensino-aprendizagem
em EAD
Este capítulo descreve o modelo de um agente para avaliação do ensino-
aprendizagem em educação a distância proposto neste trabalho, denominado E-Avalia.
O agente E-Avalia tem a função de auxiliar os agentes humanos, professor e aluno, na
tarefa de criar e resolver uma avaliação respectivamente, possibilitando que as
dificuldades dos alunos sejam conhecidas pelo professor através da avaliação dos
objetivos pré-estabelecidos para cada unidade de ensino.
3.1 Introdução
Este trabalho visa buscar melhores resultados para os processos de ensino-
aprendizagem baseado em estudos realizados sobre a avaliação definidos por Benjamim
Bloom em [BLO83], de forma a construir um agente capaz de realizar o processo de
avaliação tornando-a mais simples para o professor e mais justa para o aluno.
O modelo proposto neste trabalho tem como objetivo principal o resgate do aluno.
Em função disso, os resultados colhidos durante o processo de avaliação servirão como
fonte para a tomada de decisões, com vistas a contribuir no aprendizado do aluno.
As contribuições desta proposta concentram-se, principalmente nas seguintes
questões:
a) a arquitetura do agente: modelada para ser integrada em ambientes
educacionais que necessitam do processo de avaliação;
b) avaliação formativa: o agente E-Avalia utiliza os conceitos da avaliação
formativa descritos por Bloom em [BLO87];
c) a integração do agente em um ambiente em desenvolvimento: este agente é
parte fundamental do processo de ensino-aprendizagem no ambiente
SEMEAI, pois garante um resultado baseado na avaliação do aluno, integrado
aos demais agentes do ambiente;
d) geração de um protótipo do agente avaliação, versão “stand alone”, com o
intuito de contribuir no processo de educação presencial;
e) utilização: poderá ser utilizado em salas de aula presenciais ou a distância.
A seção a seguir descreve o ambiente SEMEAI, do qual o agente E-Avalia faz
parte.
3.2 SEMEAI – SistEma Multiagente de Ensino-Aprendizagem na
Internet
Esta seção tem o objetivo de contextualizar o agente E-Avalia no seu ambiente de
funcionamento. Como foi dito anteriormente, o agente E-Avalia está integrado ao
SistEma Multiagente de Ensino e Aprendizagem na Internet - SEMEAI, como mostra a
fig. 3.1:
57
FIGURA 3.1 - Arquitetura do ambiente SEMEAI - SistEma Multiagente de Ensino
Aprendizagem na Internet
A arquitetura do ambiente SEMEAI é constituído por sete agentes: os agentes
Interface Aluno e Professor, um agente Seleciona Estratégia desenvolvido por Adriana
Pereira em [PER99]; um agente Modelo Aluno desenvolvido por Viviane Carvalho em
[CAR2000]; os agente Tutor e Seleciona Material desenvolvidos por Alex Oliveira em
[OLI2001] e o agente E-Avalia que foi modelado e implementado por este trabalho.
Os agentes desenvolvidos utilizam a tecnologia de sistemas multiagentes aliada a
uma abordagem orientada a objetos, implementados na linguagem Java para garantir
portabilidade e execução através da WWW.
O agente Tutor é o responsável pela integração dos agentes desenvolvidos no
projeto SEMEAI, tem como função gerenciar os eventos ocorridos dentro do ambiente e
encaminhar as ações aos agentes responsáveis.
Os objetivos principais do ambiente SEMEAI são:
a) adaptar-se às características particulares do aprendiz;
b) monitorar o desempenho do aprendiz, fornecendo caminhos alternativos de
aprendizado;
c) sugerir seqüências de currículos;
d) ser um sistema extensível e portável.
A seguir apresenta-se uma visão geral de todos os agentes envolvidos no ambiente
SEMEAI:
a) Agente Modelo Aluno: Sua contribuição influencia fundamentalmente as
ações do agente Seleciona Estratégia. Conforme estudos feitos em
[CAR2000], para determinar o perfil de um aluno pode-se utilizar o sistema de
Estilos de Aprendizagem definido por [MAR96], o qual dá ênfase a um teste
psicológico que classificará o aprendiz de acordo com suas características
pessoais;
A
gente E-
A
valia
A
gente Modelo
Aluno
A
gente Seleciona
Material
A
gente Seleciona
Estratégia
Interface Aluno Interface Professo
r
Informações do
Sistema
Domínio de
Conhecimento
SEMEAI
Servidor
Cliente
58
b) Agente Tutor: O modelo proposto neste ambiente procura conceber um tutor
que se adapte a ambientes de ensino, baseados em domínios de conhecimento
genéricos, que primam pelo uso de estratégias pedagógicas no EAD. Baseado
no princípio de colaboração nos Sistemas Multiagentes, o tutor é responsável
pela geração da seqüência de aulas para o modelo de aluno, assim como por
definir o método mais provável de ensino para o mesmo, a partir das
informações recebidas dos agentes Interface e Modelo Aluno. O Tutor possui
dois tipos básicos de funcionamento: uma estrutura cognitiva baseada em
crenças e uma estrutura reativa baseada em eventos. As crenças, consideradas
como o conhecimento do agente a respeito do estado corrente do aluno, são
enviadas ao agente Modelo Aluno e utilizadas pela atividade de seleção de
estratégia na composição de regras de produção, constituindo o formalismo
utilizado para o raciocínio do agente. Os eventos constituem os estímulos
necessários para reação dos agentes às transformações específicas ocorridas
durante o processamento;
c) Agente E-Avalia: Sua função é auxiliar o processo de ensino qualitativo,
avaliando os resultados das atividades oferecidas ao aluno durante sua
interação com o sistema. São avaliados tanto aspectos formais quanto
informais (interação no sistema). Essas características favorecem duas tarefas
essenciais ao processo: a detecção da eficácia das metodologias empregadas
para a criação da seqüência das aulas e, ainda, a revisão dos métodos de
ensino utilizados em determinado momento pelo tutor, de forma a identificar a
necessidade de alterar o perfil do aluno conforme seu grau de aproveitamento
no andamento do curso;
d) Agente Seleciona Estratégia: Baseado no modelo de crenças atualizado pelo
agente Tutor a cada tópico do curso, este agente possui a capacidade de
decidir pela mudança de método dentro de uma estratégia, ou até mesmo pela
mudança da própria estratégia para criação das seqüências de ensino. É
baseado no trabalho de (PER99) e respeita a visão construtivista de Bruner,
encontrada em Costa [COS97], segundo a qual, a aprendizagem é resultado de
uma construção contínua que considera as modificações dos atributos da
estrutura cognitiva (o modelo de crenças) face às novas informações. Durante
a escolha ou reavaliação de uma estratégia, o agente deve procurar o
esgotamento das possibilidades da estratégia atual. Para isso, torna-se
necessária a utilização de todos os métodos disponíveis para aquela estratégia.
Cada método possui uma seqüência de táticas que são executadas para atingir
seu objetivo. Maiores informações quanto às estratégias, métodos e táticas
utilizadas podem ser encontradas em (PER99);
e) Agente Seleciona Material: A tarefa deste agente consiste em criar roteiros
para exploração das lições armazenadas no repositório do sistema de acordo
com o método informado. Esses roteiros ou seqüências são os planos pelos
quais pretende-se apresentar o conteúdo aos alunos, colaborando em seu
processo de aprendizagem. Dois fatores contribuem para o sucesso na seleção
de conteúdo: a existência de material adequado e a escolha de métodos
apropriados. O segundo é de responsabilidade do agente Seleciona Estratégia.
Entretanto, o primeiro fator, essencial para a execução dos métodos de ensino,
é totalmente de responsabilidade da interface com o professor. Essa interface
deve sempre orientar no sentido de preencher as aulas com material suficiente
para todas as táticas disponíveis. Um exemplo interessante pode ser
59
encontrado em [SIL2000] em que foram desenvolvidas interfaces diferentes
para cada tipo de atividade proposta pelo sistema. São considerados materiais
possíveis de armazenamento: conceitos, exercícios, textos, estudo de casos e
ilustrações, entre outros;
f) Agentes Interface Aluno e Interface Professor: A interface, dividida em dois
agentes básicos, responsáveis pela interação direta com o aluno e com o
professor ou especialista, possui características que permitem sua utilização
via Internet, provendo mecanismos de acesso e interação com os demais
agentes do ambiente. A interface do aluno possui características adicionais
para a exposição dos conteúdos selecionados. Através de controles internos
mantém a seqüência com que a apresentação deve ser feita. Além disso,
também é responsável por sinalizar o início do processo de tutoria após a
conexão com o ambiente. A interface com o professor possui como
característica principal a função de servir como assistente às atividades de
inserção, revisão e exclusão de conteúdos no repositório de informações do
sistema. Esta interface deve ser suficientemente inteligente para auxiliar o
professor na classificação dos conteúdos de acordo com categorias pré-
definidas e configuráveis como: conceitos, textos, estudo de casos e
exercícios, entre outros. Deve possuir também métodos apropriados para
manipular esse conhecimento de acordo com o esquema de representação
escolhido para o armazenamento na base.
No domínio de conhecimento (repositório de dados) estão armazenadas todas as
informações como conteúdos e exercícios relativos aos cursos disponibilizados pelo
sistema. O repositório deve utilizar o esquema de armazenamento baseado em frames
(RUS95), bastante apropriado para a classificação dos materiais inseridos no sistema.
Baseado nas relações entre objetos, as redes de frames permitem que os conceitos
próximos e em diferentes graus de profundidade mantenham ligações, facilitando a
inferência de novas relações entre os assuntos.
Interação entre os agentes no ambiente SEMEAI
O agente E-Avalia comunica-se diretamente com outros dois agentes
pedagógicos, agente Tutor e agente Modelo Aluno e com dois agentes humanos,
professor e aluno.
Além da interação direta do agente E-Avalia com alguns agentes do ambiente
SEMEAI, existe também a interação desses agentes entre si para formar um elo de
cooperação entre todos.
A seguir serão descritas as interações entre os agentes do ambiente SEMEAI:
a) Interação entre o agente Modelo Aluno e o agente Seleciona Estratégia: Esta
interação ocorre pelo monitoramento constante dos eventos gerados no agente
Modelo Aluno por parte do Seleciona Estratégia. É fundamental para garantir
a eficácia do método em prática e para detectar possíveis mudanças no
processo de ensino. Através dessa interação identifica-se quando um tópico
precisa ser remodelado para nova apresentação;
b) Interação entre o agente Seleciona Estratégia e o agente Seleciona Material:
Possui como objetivo principal a seleção do material de acordo com o método
adequado. É realizada pela notificação do agente Seleciona Estratégia ao
60
agente Seleciona Material de um método e de um tópico do curso o qual deve
ser construído por uma seqüência de ensino de acordo com o método;
c) Interação entre o agente Seleciona Material e o agente Modelo Aluno:
Geralmente quando um tópico precisa ser gerado novamente é preciso saber
até onde o aluno sabe. Essa é a atividade do modelo de crenças implementado
no Modelo Aluno e alimentado pelo Tutor. Através de consultas diretas ao
modelo o agente responsável pela seleção do material pode definir até onde
precisa ensinar novamente;
d) Interação entre o agente Tutor e o agente E-Avalia: Nessa interação a idéia
principal é favorecer o processo de ensino-aprendizagem valorizando o
empenho do aluno durante as avaliações oferecidas. Isso quer dizer que o
agente E-Avalia pode, a qualquer momento, mediante constatação de
problemas de desempenho, verificados através dos métodos e avaliação do
aluno, solicitar ao agente Tutor a revisão de suas crenças em relação à
aprendizagem do mesmo. O agente Tutor tem a tarefa de avisar ao agente E-
Avalia o momento de realizar a avaliação do aluno, ou seja, quando uma
unidade de ensino for concluída pelo aluno;
e) Interação entre o agente Tutor e o agente Seleciona Estratégia: O Tutor é
responsável por enviar ao Seleciona Estratégia o perfil do aluno no momento,
de forma que seja adotada a estratégia de ensino conforme o perfil. Caso o
Tutor, através da revisão das suas crenças, identifique dificuldades na
aprendizagem, o Seleciona Estratégia é avisado, o que pode resultar na
alternância dos métodos, ou, até mesmo, da estratégia adotada;
f) Interação entre o agente E-Avalia e o agente Modelo Aluno: O agente E-
Avalia verifica com o agente Modelo Aluno qual é o perfil do aluno que será
avaliado. A avaliação não é diferenciada a cada perfil. O perfil do aluno será
utilizado mais tarde junto aos resultados da avaliação, com o objetivo de
analisar possíveis problemas de desempenho relacionados aos perfis. A análise
dos resultados juntamente com a informação sobre o perfil do aluno resultará
na detecção e no diagnóstico dos problemas de desempenho.
A seção a seguir descreve os conceitos sobre avaliação do ensino-aprendizagem
utilizados no decorrer deste trabalho, considerados de extrema importância para o
entendimento da concepção da avaliação utilizada no desenvolvimento do agente E-
Avalia.
3.3 Avaliação nos processos de ensino-aprendizagem
A avaliação é considerada uma das principais etapas no processo de ensino-
aprendizagem, etapa que não pode ser desvinculada de todas as outras do processo.
Além disso, pode-se dizer que a avaliação dos alunos deve ser feita a todo o momento,
durante todo o desenrolar do processo de ensino-aprendizagem. A avaliação é uma
atividade-meio e não uma atividade-fim que servirá apenas para comprovar dados, ela
deve ser vista como meio para análise, detecção e diagnóstico dos problemas de
desempenho dos alunos através de seus resultados.
A avaliação apresenta três funções básicas, que são as funções de diagnosticar,
controlar e classificar. Relacionadas a essas três funções, existem três modalidades:
diagnóstica, formativa e somativa [HAY2000].
61
Conforme a tabela abaixo, pode-se verificar as modalidades, funções e propósitos
da avaliação segundo [HAY2000].
TABELA 3.1 - Modalidades e funções da avaliação
Modalidade
(tipo)
Função Propósito
(para que usar)
Época
(quando aplicar)
Diagnóstica Diagnosticar - Verificar a presença ou
ausência de pré-requisitos
para novas aprendizagens;
- Detectar as dificuldades
específicas de
aprendizagem, tentando
identificar suas causas.
Início do ano ou semestre,
ou no início de uma
unidade de ensino.
Formativa Controlar - Constatar se os objetivos
estabelecidos foram
alcançados pelos alunos;
- Fornecer dados para
aperfeiçoar o processo
ensino-aprendizagem.
Durante o ano letivo, isto é,
ao longo do processo
ensino-aprendizagem.
Somativa Classificar - Classificar os resultados
de aprendizagem
alcançados pelos alunos, de
acordo com níveis de
aproveitamento
estabelecidos.
Ao final de um ano ou
semestre letivo, ou ao final
de uma unidade de ensino.
Fonte: Avaliação do processo ensino-aprendizagem, Regina Cazaux Haydt, 2000, pag. 19
Das modalidades de avaliação apresentadas na tabela 3.1, a concepção da
modalidade formativa é a base para o modelo do agente E-Avalia.
Segundo Bloom e seus colaboradores, a avaliação formativa [BLO83]:
a) ocorre durante o processo de instrução;
b) inclui todos os conteúdos importantes de uma etapa de construção;
c) fornece feedback ao aluno do que aprendeu e do que precisa aprender;
d) fornece feedback também ao professor, informando-o quanto às falhas dos
alunos e quanto a aspectos da instrução que devem ser modificados (métodos,
conteúdos, etc.);
e) ajuda o aluno a aprender de forma organizada e contribui para que não haja
acúmulo de conteúdos, de forma a não sobrecarregar o aluno;
f) tem como conseqüência o atendimento às diferenças individuais dos alunos e a
indicação de medidas alternativas de recuperação às falhas de aprendizagem;
g) pode constituir-se em fonte de motivação para o aluno, à medida que é
particularmente adequada para mostrar-lhe que atingiu ou quase atingiu o
domínio esperado em determinada etapa da instrução.
Bloom e seus colaboradores [BLO83] são da opinião que os alunos não devem
receber notas em testes formativos – devem ser informados se atingiram ou não o
domínio esperado, e devem receber, simultaneamente, orientação quanto ao que fazer
no caso de não o terem atingido.
62
O modelo de avaliação proposto neste trabalho procura implementar as idéias de
Bloom e seus colaboradores em uma visão mais moderna, definindo competências e
habilidades para o ensino. Portanto, será avaliado se o aluno atingiu uma habilidade ou
não, e no caso de não atingir, o aluno deverá ser orientado quanto ao que fazer.
A avaliação formativa pode ser referenciada a uma norma ou a um critério. Em
referência à norma compara-se à informação que se tem sobre um aluno com a
informação que se tem de um grupo de alunos similares, utilizando-se como referência a
informação sobre rendimento de um grupo de indivíduos na mesma tarefa. Em
referência a um critério compara-se a informação que se tem sobre um aluno com algum
critério de atuação e algumas descrições do comportamento esperado. Estes critérios
estão normalmente especificados em termos de objetivos já estabelecidos.
A avaliação em referência a um critério é verificada quando descreve-se a atuação
do aluno num campo específico de tarefas essenciais do ensino, avaliando-se em função
de objetivos previamente formulados.
No escopo deste trabalho será utilizada a avaliação formativa em referência a
critérios, baseando-se em objetivos previamente estabelecidos pelo professor.
Apesar de se argumentar que a avaliação formativa é uma intenção, uma atitude,
isso não significa a inexistência de um método ou técnica que exige pelo menos três
etapas fundamentais, assim descritas em [BLO83]:
a) recolher informações relativas aos progressos e dificuldades de aprendizagem
sentidos pelos alunos;
b) interpretar as informações na perspectiva de referência criterial e, à medida do
possível, diagnosticar os fatores que estão na origem das dificuldades de
aprendizagem observadas no aluno;
c) adaptar as atividades de ensino e de aprendizagem de acordo com as
interpretações das informações recolhidas;
Para o aluno que ainda não dominou uma determinada unidade, o teste formativo
revela os pontos específicos de dificuldade, isto é, as questões que respondeu
incorretamente, e as idéias, habilidades e processos sobre os quais ainda precisa
trabalhar. Estes testes são da maior utilidade quando o diagnóstico aponta os elementos
de uma hierarquia de aprendizagem que o aluno ainda não dominou. Observou-se que
os alunos respondem melhor aos resultados dos testes formativos quando estes o
remetem a materiais ou processos instrucionais específicos que tenham por objetivos
ajudá-los a sanar suas dificuldades. O “diagnóstico” deve vir acompanhado de uma
“prescrição” muito específica, para que os alunos possam utilizá-lo com eficácia.
3.4 Arquitetura do agente E-Avalia
A arquitetura do agente E-Avalia é uma arquitetura cliente/servidor. Do lado do
cliente é necessário apenas um browser com acesso a internet. Do lado do servidor, são
necessários um banco de dados Postgresql, o pacote Postgresql com as classes para
conexão com o banco de dados, via JDBC, e as applets Java do protótipo E-Avalia.
Há a possibilidade de utilizar outros bancos de dados para trabalhar com o agente
E-Avalia. Optou-se por utilizar o banco de dados postgresql porque o mesmo é gratuito
e o projeto Semeai utiliza-se deste na implementação dos demais agentes que o
compõem.
63
A figura 3.2 representa a arquitetura do agente E-Avalia.
FIGURA 3.2 - Arquitetura do agente E-Avalia
3.5 Modelo funcional do agente E-Avalia
O modelo funcional do agente E-Avalia está dividido em 3 módulos distintos,
inteiramente integrados entre si. São eles:
a) Módulo I – Avaliação Formal e Informal – O módulo I do agente E-Avalia
possui funções específicas para cada um dos agente humanos: Professor e
Aluno. Para o professor, é possível administrar um curso, criando sua
estrutura, incluindo questões e gerando testes. O aluno pode realizar a
avaliação de um curso em que ele esteja inscrito. Todas as ações do aluno com
relação a avaliação serão monitoradas, como o tempo utilizado para responder
cada questão, o tempo de duração de toda a avaliação e a seqüência em que as
questões foram respondidas;
b) Módulo II – Resultados da Avaliação – tem o objetivo de gerar os resultados
da avaliação de forma a emitir feedback ao aluno quanto aos objetivos que
atingiu e os objetivos que ainda necessita atingir, acompanhado de uma
prescrição do que fazer para atingi-los;
c) Módulo III – Detecção e Diagnóstico dos Problemas de Desempenho – é
realizado um diagnóstico dos problemas de desempenho com o objetivo de
investigar aspectos que necessitam ser melhorados como, conteúdo do curso,
estratégia de ensino aplicada ao perfil do aluno, questões da avaliação do
aluno e outros fatores que podem ser detectados em função de um curso
específico ou que podem servir para todos os cursos em geral.
A integração do modelo do agente E-Avalia com os demais agentes do ambiente
SEMEAI está descrito na fig. 3.3.
64
FIGURA 3.3 - Modelo de agente E-Avalia
LEGENDA:
Avaliação
Formal e
Inf
o
rm
a
l
Agente Humano (Aluno)
Geração
Agente Modelo
Aluno
Perfil
Análise
Resultados
da
Avalia
ç
ão
Detecção e
Diagnóstico dos
Problemas de
Desem
p
enho
Emite Mensagem com
feedback
Agente Tutor
Emite Mensagem com
aviso para avaliar
Emite Mensagem com
feedback
A
gente E-Avalia
A
gente Humano
(Professor)
Ut
iliz
a
Agente Seleciona
Estratégia
Agente Seleciona
Material
Agentes do ambiente SEMEAI
Agente E-Avalia
Módulo I do Agente E-Avalia: Avaliação Formal e Informal
Módulo II do Agente E-Avalia: Resultados da Avaliação
Módulo III do Agente E-Avalia: Detecção e Diagnóstico dos Problemas de Desempenho
65
A fig. 3.4 descreve a funcionalidade do agente E-Avalia, bem como sua estrutura
cognitiva e as operações necessárias para realizar suas ações.
FIGURA 3.4 - Estrutura cognitiva do agente E-Avalia
A estrutura cognitiva utilizada na modelagem do agente E-Avalia é baseada no
trabalho de Adriana Pereira em [PER99], que utiliza a combinação das propostas de
Shoham em [SHO93] e Ayala em [AYA95], visando atender os objetivos específicos do
agente.
A estrutura cognitiva do agente E-Avalia baseia-se em um conjunto de regras de
produção, habilidades e compromissos, que serão descritas nas seções seguintes.
3.5.1 Conjunto de Regras de Produção
O conjunto de regras de produção do agente representam as competências e
habilidades que o aluno deve atingir. O histórico do aluno, testes e respostas das
avaliações em função das competências e habilidades também compõem as regras de
Estrutura Cognitiva
Outros
agentes do
ambiente
Mensagens
recebidas/
enviadas
Habilidades
- Competências
- Habilidades
- Grau de
exigência
Compromissos
Compromissos
Criação e
apresentação da
avaliação
Geração e
verificação dos
resultados da
avaliação
Criação de
Compromissos
- Histórico do
aluno
- Testes
- Respostas
Análise dos
resultados,
detecção e
diagnóstico dos
problemas de
desempenho
Regras de
Produção
66
produção do agente, pois é a partir dos resultados que será construída a evolução do
aluno.
O agente E-Avalia possui seis regras de produção que dividem-se em dois grupos
em função das suas habilidades. O primeiro grupo é composto pelas competências de
um curso, as habilidades referentes a cada competência e o grau de exigência para cada
competência e habilidade. As regras de produção encontradas neste grupo permitem que
sejam realizadas ações como a criação e a apresentação da avaliação.
O segundo grupo de regras de produção é composto pelos testes, respostas dos
testes e histórico do aluno. Esse grupo de regras de produção permite que sejam
verificados e gerados os resultados da avaliação pelo agente. Permite também que sejam
analisados os resultados e detectados problemas de desempenho.
As regras de produção são expressas como forma de representação do
conhecimento, através de uma sintaxe, a saber:
Um exemplo de regra de produção existente no agente E-Avalia:
3.5.2 Compromissos
Os compromissos são acordos comunicados por outros agentes, através de
mensagens. De acordo com as mensagens recebidas de outros agentes, o agente E-
Avalia executa um conjunto de ações específicas para realizar seus compromissos.
O agente E-Avalia está preparado para realizar seis compromissos, a
administração do sistema, a construção da avaliação, a apresentação da avaliação ao
aluno, a verificação do rendimento do aluno, a análise dos resultados baseada no perfil
do aluno e a detecção e diagnóstico dos problemas de desempenho.
Cada compromisso possui um conjunto de ações que estão definidas dentro das
habilidades do agente.
3.5.3 Habilidades
As habilidades são as ações que o agente pode executar e a comunicação com os
demais agentes do ambiente. A habilidade é utilizada pelo agente para associar uma
ação com pré-condições necessárias para realizar esta ação, conforme [PER99].
O agente E-Avalia possui habilidades como criação e apresentação da avaliação,
geração e verificação dos resultados da avaliação, análise, detecção e diagnóstico dos
problemas de desempenho e é capaz de gerar compromissos baseado nas mensagens
recebidas pelos demais agentes do ambiente.
As ações são o resultado dos compromissos do agente. Para determinar o curso de
uma ação foram criadas regras de comportamento [SHO91]. As regras podem ser vistas
conforme o formato WHEN-IF-THEN.
IF cond_1 AND cond_2 AND ...
THEN action_a AND action_b AND …
I
F término da avaliação
THEN gera resultados
A
ND emite feedback aos alunos
67
A parte WHEN determina as mensagens recebidas de outros agentes. O IF
compara o estado mental corrente com as condições requeridas para que a regra seja
aplicada. O THEN define as ações do agente e mudanças mentais executadas em
resposta ao evento corrente, estado mental e ambiente externo.
O agente Tutor, desenvolvido por [OLI2001], o qual faz parte do ambiente
SEMEAI, é o responsável por requisitar a avaliação do aluno, enviando uma mensagem
ao agente E-Avalia com a informação que o aluno terminou a unidade de ensino de um
determinado curso.
As mensagens enviadas e recebidas utilizam o protocolo de comunicação
desenvolvido em [PER99], especificado para ser utilizado nos demais agentes do
ambiente educacional SEMEAI.
O formato da mensagem é composto pelo identificador da mensagem (Avaliar,
Reavaliar), o agente que está enviando a mensagem (AGT – agente Tutor, EAV –
agente E-Avalia), a sessão corrente (1) e o agente que está recebendo a mensagem
(AGT – agente Tutor, EAV – agente E-Avalia).
A fig. 3.5 mostra a troca de mensagens entre os agentes E-Avalia e Tutor. O
agente E-Avalia recebe uma mensagem do agente Tutor com o identificador “Avaliar”,
a qual indica que o EAV deve apresentar a avaliação ao aluno identificado na seção
corrente. Ao receber a mensagem, o EAV confirma o recebimento da mesma.
FIGURA 3.5 - Troca de mensagens entre o EAV e o AGT
O agente E-Avalia de posse dos resultados da avaliação, verifica, de acordo com
as suas regras de produção, se o aluno atingiu os objetivos da unidade de ensino.
Através de uma mensagem ao agente Tutor, o agente E-Avalia deve informá-lo se o
resultado da avaliação foi suficiente ou insuficiente. Se o resultado for insuficiente, o
agente Tutor executa a reavaliação da estratégia de ensino, conforme a fig. 3.6.
FIGURA 3.6 - Troca de mensagens entre o EAV e o AGT
Algumas ações, decorrentes das habilidades do agente E-Avalia, devem ser
executadas a fim de atingir seus compromissos. Para isso, as próximas seções
descrevem as operações necessárias.
A
gente E-
A
valia
A
gente Tutor
1: (Avaliar; AGT; 1; EAV)
A
gente E-
A
valia
A
gente Tutor
2: (Confirma; EAV; 1; AGT)
Agente E-Avalia
A
gente Tutor
1: (Reavaliar; EAV; 1; AGT)
Agente E-Avalia
A
gente Tutor
2: (Confirma; AGT; 1; EAV)
68
O modelo de avaliação proposto aqui está dividido em dois módulos: módulo
professor e módulo aluno. As operações serão descritas levando-se em consideração
essa divisão, com o objetivo de especificar quais as ações e em que momentos elas são
executadas por cada um dos módulos. A figura 3.7 representa o fluxo das operações
executadas pelo agente E-Avalia.
69
FIGURA 3.7 - Fluxo de Operações Iniciais do agente E-Avalia
Tela de
Apresentação
Cadastro de
Aluno
Cadastro de
Professor
A
utentica
ç
ão
Se Professor
Sim
Tela de
Apresentação
Professor
Cadastro de
Cursos
Cadastro de
Competências
Cadastro de
Habilidades
Cadastro das
Questões
Cadastro de
Testes
Múltipla
Simples
Ordenação
C ou E
Ordenação
de Frases
Dissertativa
A
ssociação
A
l
eató
ri
o
P
e
r
so
n
a
liz
ado
V
erifica
Perfil
Não
Sim
Cadastrado?
Existe?
Não
Se Aluno
Não
Realiza
Teste Psicol.
Obtém
Perfil
Realiza
Avaliação
70
A tela de apresentação do agente E-Avalia destina os agentes humanos professor e
aluno para os seus devidos módulos. Nesta tela são possíveis de serem seguidos três
caminhos diferentes, que são:
a) Cadastro do Aluno;
b) Cadastro do Professor;
c) Aluno ou Professor já cadastrados.
Se o usuário escolher a opção de Cadastro do Aluno então será encaminhado a
uma applet que contém um formulário para cadastro dos dados do aluno. Se o usuário
escolher a opção de Cadastro do Professor então será encaminhado a uma applet que
contém um formulário para cadastro dos dados do professor. Tão logo o cadastro de
qualquer um dos usuários seja realizado, os mesmos deverão passar pela autenticação
do agente.
Quando o usuário escolher a opção aluno ou professor já cadastrado então o
agente remeterá o usuário diretamente a tela de autenticação. No processo de
autenticação, o agente detecta o tipo de usuário autenticado e encaminha o mesmo para
o módulo correspondente.
Se o usuário for do tipo aluno, então ele passará pela verificação do perfil,
trabalho desenvolvido por Viviane Carvalho em [CAR2000] e integrado ao agente E-
Avalia. É verificado se o aluno possui um perfil cadastrado, se o mesmo já o possui
então ele é encaminhado diretamente à applet de avaliação, que apresentará as opções
disponíveis de acordo com as unidades de ensino do curso em que o aluno está
matriculado.
Se o usuário for do tipo professor, então será apresentado ao mesmo uma série de
opções disponíveis no módulo professor, como todos os cadastros necessários para a
administração do agente E-Avalia.
A seção a seguir detalha a etapa de verificação e identificação dos perfis de
alunos.
3.6 Perfil do Aluno
O perfil do aluno utilizado nesta dissertação foi desenvolvido por outro trabalho
que faz parte do projeto SEMEAI e por esse motivo está sendo integrado ao E-Avalia.
Existem vários estudos na área de psicologia com o objetivo de descobrir o perfil
de um aluno. Uma das formas de trabalhar com o perfil do aluno é através dos estilos de
aprendizagem. Estilos são um dos muitos tipos de diferenças individuais que afetam a
aprendizagem.
O trabalho realizado por Viviane Carvalho em [CAR2000] desenvolveu um
agente que identifica os estilos de aprendizado através de um teste psicológico. O teste
psicológico é uma experiência simples que procura identificar se o aluno possui um
perfil dependente ou independente.
A figura 3.8 apresenta as operações destinadas à identificação do perfil do aluno
integrado ao agente E-Avalia.
71
FIGURA 3.8 - Fluxo de Operações destinadas à identificação do perfil do aluno
O aluno deve olhar atentamente a figura 3.9 e marcar as opções que ele consegue
visualizar na figura 3.10.
FIGURA 3.9 - Teste Psicológico
V
erifica
Perfil
Não
Sim
Existe?
Realiza
Teste Psicol.
Obtém
Perfil
Realiza
Avaliação
72
Após o aluno visualizar a figura, deve clicar no botão “Prosseguir”. A figura 3.10
mostra as opções que são oferecidas ao aluno para que marque o que conseguiu
visualizar na figura.
FIGURA 3.10 - Opções de escolha para teste psicológico
O aluno pode escolher o número de opções que desejar. Após escolher as opções
que visualizou deve clicar no botão “Confirma”. Em seguida uma tela com o resultado
do teste psicológico é mostrado ao aluno, conforme a figura 3.11.
Quando o aluno não consegue visualizar as faces e a taça ao mesmo tempo, o
aluno pertence ao campo dependente. Em outras palavras, se ele não consegue separar
uma figura de seu fundo ou vice-versa, é pertencente ao campo dependente.
Se o aluno consegue visualizar faces e taças ao mesmo tempo, é pertencente ao
campo independente, pois conseguiu separar a figura de seu fundo ou vice-versa.
Pessoas que pertencem ao campo independente tendem a ser pessoas analíticas,
elas tendem a enfocar com forma e precisão, elas gostam de planejar o que tem que
dizer ou escrever.
Por outro lado, pessoas que pertencem ao campo dependente tendem a ser pessoas
sintéticas, não costumam planejar suas ações.
A figura 3.11 mostra o resultado do teste psicológico, apresentado ao aluno
através de uma applet Java.
FIGURA 3.11 - Resultado do Teste Psicológico
3.7 Módulo Professor
O módulo Professor é o responsável pelas operações de administração do agente,
criação de avaliações, geração e análise dos resultados, detecção e diagnóstico dos
problemas de desempenho.
73
O agente E-Avalia pode ser utilizado integrado a um ambiente de EAD ou
utilizado na versão stand alone, de acordo com as necessidades do processo de ensino-
aprendizagem do ambiente de ensino.
Este módulo disponibiliza ferramentas para a administração do agente, criação de
questões e geração de testes. Os testes são aplicados ao aluno quando uma unidade de
ensino é concluída por ele no ambiente SEMEAI. Na versão do agente E-Avalia stand
alone o professor define o momento que deseja realizar a avaliação com seus alunos.
3.7.1 Operações para administração do agente
Inicialmente é necessário que o professor realize o seu cadastro, através de uma
applet Java como mostra a figura 3.12.
FIGURA 3.12 - Cadastro do Professor
Após realizado o cadastro, o professor entra no sistema e uma tela de autenticação
lhe é apresentada conforme a fig. 3.13. Nesta tela devem ser inseridos o seu nome e a
sua senha, anteriormente cadastrados.
FIGURA 3.13 - Autenticação
Após a autenticação do professor no sistema, uma tela com várias opções lhe é
apresentada permitindo que a administração do agente através dos dados que serão
incluídos no banco de dados.
O modelo de avaliação proposto utiliza os conceitos de avaliação formativa
juntamente com os conceitos de competência e habilidade, atualmente utilizados nos
níveis de ensino médio e técnico.
Uma competência refere-se a um conjunto de habilidades de um domínio de
conhecimento. Refere-se aos objetivos gerais de um curso ou de um domínio de
conhecimento.
74
As habilidades referem-se aos objetivos específicos dentro de uma unidade de
ensino, podem ser traduzidas em “saber fazer”.
As competências e as habilidades são classificadas como essenciais e não
essenciais. As habilidades essenciais são aquelas que devem obrigatoriamente ser
atingidas pelos alunos dentro da competência do curso. As habilidades não essenciais
poderão ser desenvolvidas nas demais competências do curso. Da mesma forma, as
competências são essenciais quando devem ser atingidas para a conclusão do curso e
não essenciais quando não necessitam ser atingidas para a conclusão de um curso.
Inicialmente, o professor deve cadastrar um curso, conforme a fig. 3.14, as
competências do curso e as habilidades referentes a cada competência, as quais
compõem as regras de produção do agente. É necessário que os cadastros sejam
realizados nesta ordem, pois dependem entre si.. Um curso pode conter várias
competências e cada competência pode conter várias habilidades, sendo que uma
habilidade pode estar incluída em mais de uma competência.
FIGURA 3.14 - Cadastro de Cursos
Após o cadastro do curso, devem ser cadastradas as competências, conforme a fig.
3.15.
FIGURA 3.15 - Cadastro de Competências
Para atingir uma competência é necessário que o aluno adquira as habilidades
essenciais incluídas na mesma.
75
Uma habilidade está associada a uma competência de um curso específico.
Quando cadastra-se uma habilidade deve ser informado o curso, a competência
associada e o tipo da habilidade, ou seja, se ela é essencial ou não essencial.
FIGURA 3.16 - Cadastro de Habilidades
Para atingir uma competência é necessário que o aluno adquira as habilidades
essenciais incluídas na mesma.
No domínio de conhecimento “StarOffice” por exemplo, a competência geral seria
o próprio domínio, ou seja, “ser competente em StarOffice”. A competência geral pode
dividir-se em competências específicas, neste caso seriam: StarWriter, StarCalc,
StarImpress e Aplicação de Estilos.
Cada uma das competências específicas poderia ainda ser detalhada em
habilidades necessárias para atingi-las, como por exemplo, para atingir a competência
“StarWriter” é necessário que o aluno “saiba fazer”: abrir um documento novo, abrir
documento existente, salvar documentos, editar documentos, entre outras habilidades.
Algumas dessas habilidades são essenciais para que o aluno adquira a
competência “StarWriter”, outras no entanto, podem ser adquiridas em outras
competências dentro do mesmo curso, então chamamos as mesmas de não essenciais.
3.7.2 Operações do agente na criação da avaliação
No módulo professor, a avaliação formal é realizada através de testes compostos
de questões. As questões são previamente formuladas pelo professor de acordo com o
curso, a competência que ele deseja avaliar e a habilidade, podendo ser de oito tipos:
múltipla escolha, escolha simples, dissertativa, lacuna ou complemento, ordenação de
fatos, ordenação de frases, associação e certo ou errado.
No protótipo desenvolvido, o professor deverá preocupar-se apenas com o
planejamento das questões e o preparo, as demais atividades serão realizadas pelo
agente E-Avalia.
O modelo proposto implementa os sete tipos de questões objetivas e uma questão
do tipo dissertativa.
Os tipos de questões objetivas e dissertativas utilizados são [MEL94]:
76
a) questões de lacuna ou complemento: são sentenças com algumas partes (no
máximo três) omitidas, correspondendo a espaços em branco (lacunas), que
devem ser preenchidos com palavras ou números;
b) questões de certo ou errado, verdadeiro ou falso: consistem em sentenças, de
preferência afirmativas, para serem julgadas e uma das palavras dos seguintes
pares deve ser assinalada: certo ou errado, verdadeiro ou falso;
c) questões de associação: são questões formadas por duas colunas, entre as
quais o examinando deve estabelecer algum tipo de relação;
d) questões de ordenação: são questões que solicitam ao examinando que
coloque em ordem determinados elementos, conforme o critério especificado
pelo professor;
e) questões de múltipla escolha: são compostas de uma parte introdutória ou
suporte e de várias alternativas. Este tipo de questão pode apresentar mais de
uma reposta correta;
f) questões de escolha simples: são compostas de uma parte introdutória ou
suporte e de várias alternativas. Este tipo de questão pode apresentar uma
única resposta correta;
g) questões de ordenação de frases: são compostas por palavras que formam
uma frase. O objetivo destas questões é ordenar as palavras formando o
sentido correto da frase;
h) questões dissertativas: são questões em que a aluno elabora sua própria
resposta. As questões devem ser formuladas com clareza, especificando uma
habilidade mental que se deseja que o aluno evidencie.
Alguns exemplos sobre os tipos de questões objetivas e dissertativas podem ser
encontrados em [ROD2000].
Cada tipo de questão possui vantagens e desvantagens na sua utilização. A tabela
3.2 apresenta as vantagens e desvantagens das questões.
77
TABELA 3.2 - Vantagens e desvantagens do uso de questões
Tipos de
Questões
Vantagens
Desvantagens
Lacuna - menor possibilidade de acerto casual;
- relativa facilidade de construção e
correção da questão;
- possibilidade de avaliação de uma
amostra significativa do conteúdo, em
pouco tempo, por serem respostas rápidas.
- somente avalia a capacidade de
memorização e de compreensão do
conteúdo do educando.
Certo ou
Errado
- relativa facilidade de serem elaboradas,
embora requeiram cuidados para não se
tornarem ambíguas;
- abrangência de uma amostra significativa
do conteúdo, por serem respostas rápidas.
- possibilidade de 50% de acerto
casual.
Associação - abrangência do conteúdo;
- fácil elaboração e correção.
- grande possibilidade de acerto
casual;
- na interligação entre os itens, um
erro em uma das frases pode
provocar outros.
Ordenação - abrangência do conteúdo;
- fácil elaboração e correção;
- possibilidade de verificar a capacidade do
examinando de fazer relações.
- limitação do conteúdo, pois só é
possível de utilizar este tipo de
questão para conteúdos que
permitam uma ordenação.
Múltipla
Escolha/
Escolha
Simples
- permitem a verificação de objetivos nos
níveis de compreensão, interpretação,
raciocínio dedutivo e indutivo, julgamento,
aplicação etc;
- reduzem a possibilidade de erro casual na
medida em que se aumenta o número de
alternativas. Um bom número de
alternativas é cinco;
- rapidez tanto no responder como na
correção das questões.
- dificuldade de elaboração das
questões;
- maior quantidade de material e de
tempo na organização do teste.
Ordenação
de Frases
- fácil elaboração. - pouca abrangência de conteúdos.
Dissertativa - relativa facilidade na elaboração das
questões;
- reduzida possibilidade de acerto casual;
- possibilidade de avaliação de habilidades
intelectuais mais elevadas.
- favorecimento à subjetividade do
professor na correção;
- limitada abrangência do conteúdo e
necessita maior tempo necessário na
correção.
Fonte
*
: Avaliação pedagógica: função e necessidade. Maria Cecília Melchior, 1994.
*Dados retirados da bibliografia em forma textual e transcritos no formato de tabela.
78
A tabela 3.3 apresenta as normas de construção para cada um dos tipos de
questões:
TABELA 3.3 - Normas de construção de questões
Tipos de questões Normas de construção
Lacuna ou
complemento
- evitar fornecer “pistas” para as respostas com a colocação de
artigos antes da lacuna;
- colocar em cada frase um número de lacunas que não prejudique a
clareza da mesma (no máximo três);
- nas lacunas devem constar apenas os elementos relevantes da
sentença;
- evitar a possibilidade de mais de uma resposta correta em cada
lacuna;
- elaborar as sentenças de forma clara, objetiva e precisa, sem
informações desnecessárias;
- reformular as frases do material de estudo ao elaborar a questão.
Certo ou errado;
verdadeiro ou
falso
- elaborar frases curtas;
- usar, preferencialmente, frases positivas;
- destacar a negação quando tiver de ser usada;
- evitar a inclusão de palavras ou expressões que sugiram
declarações falsas ou verdadeiras, tais como: nunca, nenhum,
somente etc;
- construir frases a partir de elementos importantes do conteúdo;
- evitar frases parcialmente certas ou parcialmente erradas;
- apresentar frases verdadeiras ou falsas misturadas, sem nenhum
critério predeterminado.
Associação - elaborar instruções completas, explicado a forma de associação;
- elaborar, sempre que possível, frases positivas;
- evitar construções gramaticais indicativas da alternativa correta;
- procurar uniformizar a extensão das questões;
- fazer a segunda coluna com mais itens que a primeira;
- manter a homogeneização quanto ao conteúdo e a forma
gramatical;
- não construir alternativas que englobem outras;
- não incluir mais de um aspecto do conteúdo na mesma opção;
- apresentar, sempre que possível, as questões em ordem lógica.
Ordenação - apresentar no mínimo três elementos para serem ordenados;
- evitar fornecer indícios de resposta;
- deixar bem claros o critério e o ponto de partida da ordenação
desejada;
- manter o paralelismo gramatical entre os elementos a serem
ordenados;
- de preferência, não usar a forma negativa de redação;
- não incluir recomendações desnecessárias.
Fonte
*
: Avaliação pedagógica: função e necessidade, Maria Celina Melchior, 1994.
*Dados retirados da bibliografia em forma textual e transcritos no formato de tabela.
79
Tipos de questões Normas de construção
Múltipla escolha/
Escolha Simples
- apresentar todas as alternativas como plausíveis de serem a
resposta;
- evitar a inclusão de palavras ou expressões que sugiram
declarações falsas ou verdadeiras, tais como: nunca, nenhum,
somente etc;
- preferencialmente, não usar a alternativa “todas as respostas
acima” ou “nenhuma das respostas”;
- evitar fornecer indícios de respostas como a colocação de artigos;
- usar, de preferência, frases positivas, mas, se for necessário usar a
negativa, essa deve ser destacada;
- colocar em cada questão apenas uma parte do conteúdo.
Ordenação de
Frases
- elaborar frases longas, com mais de cinco palavras.
Dissertativa - Elaborar questões com os aspectos relevantes do conteúdo
desenvolvido e de acordo com as habilidades trabalhadas;
- Usar a linguagem mais simples possível, mas que transmita o
significado do que se deseja como resposta de forma delimitada e
precisa;
- Certificar-se de que o examinando terá tempo suficiente;
- Organizar logo após sua elaboração sua correção, o que permite a
descoberta de eventuais defeitos na construção das instruções e
questões, possibilitando a correção antes da aplicação do teste;
- Não oferecer escolha de questões.
Fonte
*
: Avaliação pedagógica: função e necessidade, Maria Celina Melchior, 1994.
*Dados retirados da bibliografia em forma textual e transcritos no formato de tabela.
A descrição dos tipos de questões, as normas para construção e vantagens e
desvantagens de cada uma delas, estarão disponíveis na interface do módulo do
professor no botão Dica, conforme a fig. 3.17, possibilitando que o professor no
momento da construção das questões possa consultar e tirar dúvidas sobre os tipos das
questões.
FIGURA 3.17 - Botão Dica
Em seguida, devem ser cadastradas as questões que vão compor os testes das
competências do curso. O professor pode cadastrar o número de questões que desejar.
As questões serão armazenadas no banco de dados para posterior confecção dos testes.
Ao cadastrar uma questão, o professor deve indicar o curso onde pretende inserir a
questão, a competência do curso e a habilidade que pretende atingir com a questão
cadastrada, conforme a fig. 3.18.
80
FIGURA 3.18 - Cadastro da questão do tipo certo ou errado
Cada questão visa a avaliar uma habilidade de uma competência do curso. Em
função das habilidades, o aluno tem um acompanhamento nas avaliações, procurando o
seu resgate quando uma habilidade essencial não for atingida.
Quando da inclusão das questões o professor deve inserir as respostas corretas e
uma justificativa para cada alternativa da questão com o intuito de dar um feedback ao
aluno, mesmo quando a sua resposta estiver correta.
O teste será apresentado sempre que o aluno terminar uma unidade de ensino e
poderá ser confeccionado pelo professor ou, aleatoriamente pelo agente, conforme a fig.
3.19.
81
FIGURA 3.19 - Cadastro de Testes
Caso o professor escolha o tipo de teste aleatório, o agente seleciona as questões
de acordo com a competência do curso. Caso contrário, no momento da confecção do
teste serão mostrados ao professor todos os cabeçalhos das questões inseridas no banco
de dados, para que o professor escolha quais as questões deseja inserir, conforme a fig.
3.20. O professor deve confeccionar mais de um teste, para que, caso o aluno não tenha
sucesso no primeiro, tenha uma nova oportunidade.
Caso o professor não realize o cadastro do teste o agente E-Avalia fará essa
operação verificando quais as questões o aluno não respondeu no momento em que o
mesmo concluir uma unidade de ensino ou solicitar a avaliação.
FIGURA 3.20 - Cadastro do Teste Personalizado
82
Assim que o professor estiver como estes cadastros prontos, deve cadastrar os
seus alunos no curso criado. Os alunos podem ser cadastrados pelo professor ou pelo
administrador do sistema ou simplesmente o próprio aluno pode realizar seu cadastro,
conforme fig. 3.21.
FIGURA 3.21 - Cadastro de Alunos
O módulo professor é basicamente igual para ambos os tipos de sistema: versão
integrada ao ambiente SEMEAI e versão do agente E-Avalia stand alone.
3.7.3 Operações do agente na obtenção dos resultados alcançados pelo aluno
As respostas dos alunos às questões propostas na avaliação são armazenadas no
banco de dados e possibilitam que os resultados possam ser verificados a fim de ajudar
o aluno nas suas dificuldades.
A avaliação informal busca acompanhar o aluno em função do comportamento
que ele tem durante a interação com o agente. Os dados obtidos através desta avaliação
servirão para a detecção e diagnóstico dos problemas de desempenho.
A avaliação informal a distância visa corresponder à técnica de observação
executada pelos professores em salas de aulas presenciais no intuito de aferir resultados
não identificados na avaliação formal.
Pode-se dizer que a avaliação informal é um apoio à avaliação formal, composta
de informações complementares para que se possa diagnosticar um resultado verdadeiro
e justo para a avaliação como um todo.
No processo de avaliação informal a distância são monitoradas algumas
informações específicas, como:
a) nome do usuário que está realizando a avaliação;
b) data e hora que o aluno começou a avaliação;
c) data e hora que o aluno terminou a avaliação;
d) tempo utilizado para responder cada questão;
e) ordem de resolução das questões do teste seguidas pelo aluno.
Essas informações são retiradas através de um atributo da tabela de respostas no
banco de dados que armazena a data e a hora de cada questão enviada ao banco de
dados pelo aluno.
83
3.7.4 Operações do agente na verificação dos resultados alcançados pelo aluno
Nesta operação serão verificadas as respostas e o comportamento do aluno em
função do que lhe foi apresentado. Esta operação é responsável também por enviar a
partir dos resultados obtidos, mensagens para o agente responsável pela seleção de
estratégia e para os agentes humanos, professor e aluno, como feedback do seu trabalho.
O modelo proposto utiliza a avaliação formativa como base para a sua
implementação. Baseado neste, os resultados devem exprimir as habilidades adquiridas
pelo aluno dentro de cada unidade do curso.
O conteúdo da mensagem enviada ao aluno deve orientá-lo quanto às atitudes que
deve tomar a fim de recuperar os objetivos não atingidos detectados na avaliação.
Os resultados das avaliações serão armazenados no banco de dados a fim de gerar
um histórico sobre o aluno e o seu desempenho, para que mais tarde sejam feitas
considerações sobre a trajetória do aluno e, portanto melhorar todas as etapas do
processo de ensino-aprendizagem em função dos perfis dos alunos avaliados. Ao longo
do tempo, poderão ser detectados erros e acertos comuns para determinados perfis de
alunos e isso pode ajudar o ambiente SEMEAI a tratar os alunos pelas suas diferenças e
não tratá-los como um todo.
Esta operação destina-se a tratar o terceiro módulo do agente E-Avalia. Nesta
etapa, a partir de uma base de dados histórica, serão detectadas possíveis causas para os
fracassos dos alunos.
Muitas vezes, o fracasso do aluno é determinado como somente dele e isto não é
uma verdade, pois podem acontecer fatos que ocasionem esse problema como, por
exemplo, o conteúdo mal formulado, perfil do aluno mal traçado e não condizente com
a realidade, a avaliação não representar corretamente as habilidades da competências
que devem ser avaliadas, entre outras. Baseado nas causas conhecidas de obtenção do
fracasso escolar e de outras que podem ser descobertas, esta etapa do modelo se propõe
a detectá-las e tomar providências juntamente com a sociedade de agentes que compõe
o ambiente SEMEAI a fim de amenizar este problema.
A partir do histórico gerado no banco de dados poderá ser realizada uma análise a
fim de detectar as causas que geraram o fracasso do aluno em determinada competência
do curso.
3.7.5 Operação do agente na análise, detecção e diagnóstico dos resultados obtidos
junto ao perfil do aluno
Um dos objetivos do modelo do agente para avaliação proposto é identificar as
dificuldades dos alunos evidenciando suas causas. Para isso deve ser construída uma
base de casos a fim de identificar quais são as causas das dificuldades em função do
número de ocorrências das mesmas.
De posse dos resultados das avaliações dos alunos o agente realiza uma análise
desses resultados comparando com o perfil do aluno.
A intenção do agente nesta operação é verificar se algum problema grave está
ocorrendo. De acordo com suas regras de produção, o agente verifica para cada perfil de
aluno as habilidades alcançadas e as habilidades não alcançadas dentro de cada
competência.
84
O agente deve enviar mensagens ao professor com as situações que considera
como possíveis de serem causas para as dificuldades dos alunos de acordo com suas
regras de produção.
Alguns critérios serão considerados na obtenção das causas dos problemas de
desempenho, como:
a) número de erros igualmente cometidos por alunos de um mesmo curso;
b) erros cometidos em função de pré-requisitos ou objetivos essenciais (o aluno
não aprendeu porque não satisfez um objetivo da competência anterior) entre
outros que podem ser revelados a fim de detectar problemas de desempenho.
A detecção e o diagnóstico destas causas servirão como feedback ao professor e
também aos demais agentes do ambiente SEMEAI.
A partir da detecção destas causas podem ser tomadas algumas providências,
como:
a) mudança do material de ensino;
b) mudança de estratégia aplicada ao perfil do aluno;
c) maior ou menor rigor na elaboração das questões e dos testes;
d) mudança de perfil de aluno.
O que o aluno precisa é de um feedback que o informe a respeito do que aprendeu
e do que ainda necessita aprender, porém, o que é ainda mais vantajoso para o aluno, se
puder ser obtido, é uma análise das causas de suas dificuldades, isso é, uma análise não
só onde, mas também porque apresentou dificuldades.
Acredita-se ainda que o uso da análise estrutural de uma unidade de aprendizagem
em relação aos erros cometidos pelo aluno no teste formativo pode oferecer-lhe um tipo
de diagnóstico das fontes de suas dificuldades.
Para a implementação desta operação do agente E-Avalia é necessário que sejam
criadas regras que registrem em um banco de casos os casos em que o perfil do aluno
aliado a uma estratégia de ensino não foram satisfatórios para o sucesso do aluno no
curso e ao mesmo tempo enviem mensagem aos agentes responsáveis pelas ações
corretivas a serem tomadas a partir deste diagnóstico.
3.7.6 Operações do agente na apresentação dos resultados ao professor (feedback)
Para gerência dos resultados da avaliação dos alunos pelo professor é necessário
um eficiente sistema de relatórios dinâmicos.
Para geração dos relatórios dinâmicos foi utilizada a tecnologia OLAP (On-Line
Analitical Proccess), a qual permite a construção de cubos, disponível na ferramenta
Analises Service do SQL Server [MIC2002].
O cubo pode ser visualizado através de uma página HTML, conforme a figura
3.22, ou também através de um cubo local, no formato de uma planilha eletrônica (xls),
conforme a figura 3.23. Para acessá-los em tempo real o cliente necessita ter o Web
Components instalado e deve possuir acesso ao servidor onde encontra-se o cubo
instalado.
85
FIGURA 3.22 - Cubo no formato html
FIGURA 3.23 - Cubo no formato xls
3.8 Módulo Aluno
O módulo aluno é o responsável pela operação de apresentação da avaliação ao
aluno. Neste módulo são realizados dois tipos de avaliação: formal e informal. A
avaliação formal dar-se-á por meio da apresentação das avaliações aos alunos. A
avaliação informal é realizada no momento da interação do aluno com o ambiente, na
qual o aluno é monitorado em todas as suas ações dentro do ambiente, bem como datas
e horários de acesso, tempo despendido em cada questão do teste, buscando saber as
dificuldades dentro da unidade de ensino e as causas que as ocasionaram.
86
3.8.1 Operações do agente na apresentação da avaliação ao aluno
Ao receber a mensagem do agente Tutor para avaliar, o agente E-Avalia verifica,
através da sessão que lhe foi passada na mensagem, quem é o aluno e qual a unidade de
ensino que o mesmo concluiu. Com estas informações o agente E-Avalia faz uma
consulta ao histórico do aluno a fim de saber se o aluno está executando a avaliação
desta unidade de ensino pela primeira vez ou se já executou em outro momento, se for
pela primeira vez, o agente mostra ao aluno a avaliação correspondente. Caso contrário,
o agente verifica que avaliação já foi executada pelo aluno e procura uma nova
avaliação definida pelo professor. Se não houver outra avaliação definida pelo
professor, o agente cria uma nova avaliação com as questões inseridas no banco de
dados. A fig. 3.24 apresenta a interface do agente E-Avalia para apresentação da
avaliação ao aluno.
FIGURA 3.24 - Interface do agente na apresentação da avaliação ao aluno
Na versão integrada ao ambiente SEMEAI, o aluno receberá a sua avaliação
sempre que uma unidade de ensino terminar. O teste será mostrado ao aluno através de
uma applet em Java apresentada na figura 3.24. O aluno deverá responder cada uma das
questões na seqüência que preferir e terá a sua disposição botões que facilitarão a
navegação entre as questões do teste, onde ele poderá percorrê-lo, avançar de questão
em questão, ir para a última questão, voltar para a primeira questão, retroceder de
questão em questão. Logo que o aluno estiver com certeza de sua resposta poderá enviá-
87
la através do botão Enviar disponível na interface, fazendo com que a questão
desaparece do teste, ficando no mesmo somente as não resolvidas.
O processo do aluno escolher a ordem em que responde as questões faz com que o
aluno possa ser avaliado informalmente enquanto responde o teste, ou seja, todo o
percurso que ele fizer entre as questões será monitorado buscando saber quanto tempo o
mesmo gastou para resolver cada questão, quais as questões foram deixadas por último
para serem resolvidas, quanto tempo gastou na resolução de todo o teste, questões certas
por objetivos, questões erradas por objetivos, buscando dar um feedback imediato ao
aluno em relação a sua performance.
Na versão stand alone, a avaliação pode aparecer ao aluno em duas situações
diferentes: o professor usa o agente E-Avalia em sala de aula presencial para ajudá-lo no
processo de avaliação e neste caso a avaliação é apresentada ao aluno no momento que
o professor definir. De outra forma, o aluno pode usar o agente para exercitar os
conteúdos ministrados em um curso previamente cadastrado e fazer sua auto-avaliação.
Nesta versão, é escolhido o momento para ser feita a avaliação, tanto pelo professor,
quanto pelo aluno, como mostram os casos citados anteriormente.
O processo de avaliação informal dá-se sem o conhecimento prévio do aluno, ou
seja, o aluno está sendo monitorado durante a avaliação formal sem saber. É importante
esta etapa da avaliação porque visa observar o comportamento do aluno perante as
situações que estão sendo colocadas a ele. Optou-se por não informar ao aluno que está
sendo observado porque isto pode gerar um desconforto no mesmo podendo não
manifestar o seu verdadeiro perfil.
O agente E-Avalia não tem a intenção de amedrontar os alunos durante as etapas
de avaliação, ao contrário, procura deixá-los bastante a vontade para que possam
expressar suas verdadeiras dificuldades e perfis.
Durante o processo de avaliação informal, procuram-se dados que venham a
comprovar as dificuldades dos alunos em determinados assuntos para que os mesmos
possam ser ajudados durante o processo de aprendizagem e assim não fiquem
desmotivados com a sua performance.
Muitas vezes, em salas de aula tradicionais tem-se evasão, desistências de alunos
por motivos como baixa performance, desmotivação e falta de ajuda para superar suas
limitações.
Em sala de aula presencial, os alunos são observados pelos professores a fim de
complementar as avaliações formais. No ensino a distância, a avaliação informal realiza
o mesmo papel da observação, procura identificar aspectos não observados na avaliação
formal, principalmente com relação ao comportamento.
3.8.2 Operações do agente na apresentação dos resultados ao aluno (feedback)
O retorno (feedback) aos alunos será realizado através do e-mail do aluno
cadastrado, conforme figura 3.25.
88
FIGURA 3.25: E-mail enviado ao aluno com retorno da sua avaliação
Sempre que o aluno concluir uma avaliação irá receber em sua caixa de
mensagens um e-mail com o conteúdo da figura 3.23. As informações sobre o seu
desempenho na avaliação são relacionadas aos objetivos definidos pelo professor para
uma unidade do curso.
O aluno recebe o percentual geral dos acertos da avaliação, em seguida são
listados todos os objetivos que foram avaliados e posteriormente como foi o
desempenho do aluno em cada objetivo proposto através das questões da avaliação. Para
finalizar são recomendadas algumas atividades para melhorar o desempenho do aluno,
se necessário.
3.9 Comparação entre o E-Avalia e modelos de avaliação baseados em
agentes pedagógicos estudados
A tabela 3.4 compara os modelos de avaliação baseados em agentes pedagógicos
apresentados no capítulo dois com o agente E-Avalia.
TABELA 3.4 - Comparação entre o agente E-Avalia e os agentes pedagógicos
estudados
Modelos \ Critérios 1 2 3 4 5 6
Avaliação Formal (Questões, Testes) X X X X
Avaliação Informal (Monitoramento) X X X X X
Tipo
*
de Avaliação Utilizada F D D S D D
Feedback ao aluno X X
Feedback ao professor X X X
*
S – Somativa, D – Diagnóstica, F - Formativa
TABELA 3.5 - Legenda dos modelos de avaliação baseados em agentes pedagógicos
Caro(a) Aluno(a) Fulano de Tal
Na avaliação da unidade Descrição da Competência do Curso Descrição do
Curso você obteve um percentual de acertos de Percentual de acertos.
As habilidades avaliadas nesta avaliação foram:
Habilidade 1
Habilidade 2
Habilidade 3
Das habilidade propostas na avaliação você atingiu plenamente: Habilidade 1
Das habilidade propostas na avaliação você atingiu parcialmente: Habilidade 2
Das habilidade propostas na avaliação não você atingiu: Habilidade 3
Baseado nos resultados encontrados solicitamos que algumas medidas sejam
tomadas como:
Leituras, práticas, exercícios, links para visitar
“
Lembre-se: a avaliação tem o objetivo de ajudar o aluno a verificar as suas
dificuldades e prescrever medidas que podem ser tomadas a fim de atingir os
objetivos propostos.”
89
Nº CORRESPONDENTE MODELO
1 Agente E-Avalia
2 Sistema de Alertas
3 Javal
4 Proposta de ferramentas e agentes inteligentes para um
ambiente de ensino-aprendizagem na Web
5 Proposta para um Ambiente de Avaliação Pedagógica –
AmAPed
6 Utilizando Agentes no Suporte à Avaliação Informal no
Ambiente de Instrução baseada na Web - AulaNet
A comparação entre os modelos de avaliação baseados em agentes pedagógicos
com o modelo do agente E-Avalia permite ressaltar algumas diferenças:
a) A principal diferença do E-Avalia em relação aos modelos de avaliação dos
agentes pedagógicos estudados no capítulo dois está no tipo de avaliação
utilizada. O E-Avalia está baseado nos conceitos de avaliação formativa
encontrados em [BLO87] envolvendo os conceitos de competência e
habilidade na estrutura da avaliação, enquanto os demais agentes pedagógicos
apresentados no capítulo dois deste trabalho utilizam outros tipos de avaliação
como, diagnóstico e somativa.
b) Outra diferença importante está relacionada ao feedback ao aluno. O agente E-
Avalia retorna ao aluno um relatório descritivo das habilidades que o aluno
atingiu em determinada competência do curso e das habilidade que ainda não
atingiu, acompanhado de uma prescrição das atividades que necessita fazer
para atingir as habilidades esperadas.
c) O feedback ao professor foi considerado de extrema importância pois permite
que o professor interfira no processo de ensino-aprendizagem em EAD
baseado nas informações disponíveis nos relatórios dinâmicos. Nos relatórios
dinâmicos é permitida a combinação de várias informações, como perfil,
aluno, teste, habilidades e questões.
3.10 Resumo
A avaliação do ensino-aprendizagem é um processo amplo, com a possibilidade
de ser utilizada com várias intenções. A intenção com a qual foi desenvolvido o modelo
de avaliação deste trabalho foi a formativa, com o objetivo de construir uma avaliação
qualitativa que permite mostrar as dificuldades do aluno e recuperar os objetivos não
atingidos por ele.
Este trabalho não tem como objetivo de acabar com os problemas da avaliação,
mas amenizá-los de forma a contribui com o processo de ensino-aprendizagem como
um todo.
90
4 Implementação do agente E-Avalia
Este capítulo tem o objetivo de apresentar o protótipo desenvolvido neste trabalho
bem como os recursos utilizados na sua implementação, baseado no modelo de
avaliação apresentado no capítulo 3. O protótipo está disponível no endereço
http://triton.ucpel.tche.br/~ale/CD/E-Avalia.html.
4.1 Introdução
O protótipo desenvolvido visa a atender dois tipos de sistemas diferentes, um na
versão stand alone, onde o agente E-Avalia não depende de outros agentes para seu
funcionamento e o outro na versão integrada ao ambiente de educação a distância –
SEMEAI.
A versão apresentada neste capítulo refere-se a uma versão semi-integrada ao
ambiente SEMEAI. A arquitetura do agente bem como sua implementação foi realizada
tendo por base o ambiente SEMEAI, o que tornará viável a sua integração.
O agente E-Avalia no ambiente SEMEAI relaciona-se com os agentes Modelo de
Aluno e Tutor. A integração do agente E-Avalia com o agente Modelo de Aluno foi
realizada e validada no estudo de caso apresentada no capítulo cinco.
A integração do Agente E-Avalia com o agente Tutor não foi utilizada no estudo
de caso em função de utilizar no estudo de caso um outro ambiente de EAD que é o
TelEduc. Como a estratégia de ensino no TelEduc é bem livre e não existe um
monitoramento do aluno em relação à navegação sobre o conteúdo, optou-se pela
iniciativa do aluno de realizar a avaliação, utilizando-se da mesma estratégia aplicada ao
conteúdo.
4.2 Tecnologias utilizadas
Esta seção tem o objetivo de descrever as ferramentas utilizadas na construção do
agente E-Avalia.
4.2.1 Metodologia de desenvolvimento
A metodologia de desenvolvimento utilizada foi a prototipação, permitindo que as
etapas de análise, projeto e implementação ocorressem em paralelo.
A modelagem do diagrama de classes foi construída através da ferramenta
Rational Rose baseada nos conceitos de UML – Unified Modeling Language
[BOO2000]. O anexo 1 apresenta o diagrama de classes do agente E-Avalia.
Um dicionário de dados foi construído com o objetivo de especificar a descrição e
os tipos de dados de cada atributo das tabelas do banco de dados, conforme anexo 2.
4.2.2 Linguagem de Programação
A linguagem de programação utilizada na implementação do protótipo foi a
Linguagem Java. A ferramenta utilizada na programação foi a ferramenta jdk1.1.3,
fornecida pela SUN gratuitamente em [SUN2002]. A implementação do agente é
baseada em applets em Java [DEI2001], [LEM99].
91
Java é uma linguagem de programação orientada a objetos desenvolvida pela
Sun Microsystems. Modelada depois de C++, a linguagem Java foi projetada para ser
pequena, simples e portável a todas as plataformas e sistemas operacionais, tanto o
código fonte como os binários. Esta portabilidade é obtida pelo fato da linguagem ser
interpretada, ou seja, o compilador gera um código independente de máquina chamado
byte-code. No momento da execução este byte-code é interpretado por uma máquina
virtual instalado na máquina. Além de ser integrada à Internet, Java também é uma
excelente linguagem para desenvolvimento de aplicações em geral.
Uma applet Java é uma tecnologia que permite o desenvolvimento de programas
escritos em Java que podem ser executados dentro de páginas HTML [RAM99]. Estas
páginas podem então ser visualizadas em um browser.
Uma aplicação Java é um programa mais geral escrito na linguagem Java. Não
requer um browser para sua execução. De fato, Java pode ser usada para criar todo tipo
de aplicações que usualmente implementa-se com outras linguagens mais
convencionais.
4.2.3 Banco de Dados
O banco de dados escolhido para a implementação da base dados foi o Postgresql
[POS2002], pois além ser um software gratuito, acompanha o sistema operacional
LINUX. A versão do Postgresql que está sendo utilizada é a versão 7.0.
O acesso ao banco de dados através da linguagem Java é realizado por um
conjunto de classes específicas chamado JDBC (Java Database Connectivity). JDBC é
uma API (Application Programming Interface) independente da plataforma de banco de
dados que facilita o desenvolvimento de programas Java.
JDBC é formada por uma camada abstrata baseada em especificações
estabelecidas para acesso a banco de dados. Os drivers JDBC são acessados pelo
programa Java através do JDBC Driver Manager, que é a implementação de uma classe
Java usada pelos solicitantes do serviço JDBC (programas Java) e pelos provedores de
serviço – os drivers JDBC.
O agente executa um conjunto de operações para cumprir os seus compromissos.
Uma das operações executadas pelo agente refere-se a operação de conexão com o
banco de dados, descrita na fig. 4.1.
FIGURA 4.1 - Conexão com banco de dados Postgresql
4.3 Geração de relatórios dinâmicos
Para a geração de relatórios dinâmicos foi desenvolvido um sistema de cubos,
utilizando a tecnologia OLAP da SQL Server, com o objetivo de facilitar as consultas
try
{
if (conn == null)
{
Class.forName("postgresql.Driver");
conn = DriverManager.getConnection (jdbc:postgresql://200.17.82.56:5432/semeai",
"postgres", "postgres");
}
}
catch
(
Exce
p
tion e
){
S
y
stem.out.
p
rintln
(
e
);}
92
pelo professor e possibilitar a montagem de seus próprios relatórios de acordo com as
suas necessidades. A partir dos relatórios é possível gerar gráficos dos dados
apresentados no relatório.
Para acessar o cubo com todas as informações dos resultados dos alunos é
necessário que a máquina do cliente possua instalado os componentes da Web (Web
Componentes) disponível no pacote Office da Microsoft. O cubo também poderá ser
visualizado através de um arquivo da planilha Excel com dados de um servidor ou com
dados local através de um cubo local.
4.4 Interface
A interface do agente avaliação foi realizada através de applets Java e está
dividida em dois módulos distintos: professor e aluno.
FIGURA 4.2 - Interface do agente E-Avalia
4.5 Instalação do software
Alguns requisitos básicos são necessários para a instalação do agente. Na máquina
do cliente é necessário um browser com acesso à internet e plug-in Java. Na máquina
servidora são requisitos: Servidor Web e Sistema Operacional Linux com instalação do
pacote Postgresql juntamente com as classes do agente.
Como resultado deste trabalho foi produzido um CD com todos os requisitos
necessários desde os arquivos para instalação do browser, artigos utilizados no trabalho,
links visitados durante a pesquisa e todos as classes construídas no desenvolvimento do
agente.
A figura 4.2 apresenta a estrutura dos arquivos encontrados no CD através de um
mapa mental construído através do software Mind Manager.
Neste CD encontra-se ainda um Manual de Instalação e um Manual de Utilização
do agente E-Avalia.
93
FIGURA 4.3 - Mapa Mental do CD
O CD produzido tem o objetivo de documentar todas as atividades desenvolvidas
durante o mestrado e principalmente deixar ao alcance de outros pesquisadores da área,
como fonte de estudo e até mesmo ponto de partida para estudos mais avançados na
área de Educação a Distância e Sistemas Multiagentes.
FIGURA 4.4 - Interface do CD
A apresentação do CD é realizada em Flash e tem sua entrada principal dividida
em quatro links: Dados de Identificação, Documentos, Softwares e Links.
Nos dados de identificação são encontrados os dados principais da autora e da
dissertação de mestrado.
Nos Documentos podem ser encontrados todos os documentos produzidos durante
a dissertação de mestrado, como o Plano de Estudo e Pesquisa, o Trabalho Individual, a
própria dissertação, as apresentações realizadas para o grupo Semeai, os artigos
publicados, etc.
No link Softwares encontra-se o protótipo desenvolvido, bem como as
ferramentas utilizadas no desenvolvimento. É também um repositório de alguns
94
softwares estudados durante o trabalho de mestrado, como o HotPotatoes, o Perception
e outros.
Nos Links são encontrados vários links para acesso a documentos que estão na
Internet e outros ainda que estão no próprio CD e portanto podem ser acessados off-line.
95
5 Resultados Obtidos
Para obter resultados sobre a aplicação deste trabalho forma realizados dois
estudos de caso, utilizando ambientes de ensino e público alvo diferentes. Os resultados
obtidos permitem verificar a validade do modelo e protótipo desenvolvidos.
5.1 Introdução
Para a obtenção de resultados do E-Avalia foram realizados dois estudos de caso.
O primeiro estudo de caso foi realizado na instituição EMATER - Associação
Riograndense de Assistência Técnica em Extensão Rural, cujo público foram os
empregados da instituição. O segundo estudo de caso foi realizado no CEFET-RS -
Centro Federal de Educação Tecnológica de Pelotas, cujo público foram alunos de
ensino médio e técnico.
No primeiro estudo de caso, o agente E-Avalia foi integrado ao ambiente
TelEduc, ambiente utilizado pela instituição para ministrar cursos a distância, com o
acompanhamento da Professora Ciliane Minetto. O segundo estudo de caso foi realizado
no ambiente de sala de aula presencial, no qual os alunos foram acompanhados pela
professora Adriana Bordini.
O objetivo principal destes estudos de caso foi verificar a validade do protótipo do
agente E-Avalia. A aplicação deste estudo de caso agregou ao ambiente Teleduc o
processo de avaliação do ensino-aprendizagem na Internet, já que este ambiente não
possui mecanismos de avaliação formal para verificação da aprendizagem.
Foram utilizados domínios de conhecimento diferentes para cada um dos estudos
de casos. O domínio utilizado no estudo de caso realizado na EMATER foi o
“StarOffice 5.2”, visto que um dos objetivos da instituição está voltado para a utilização
de softwares livres. O domínio utilizado no CEFET foi “Informática Básica”.
Os estudos de caso somaram 94 alunos participantes, sendo que 17 alunos
participaram através da EMATER e os outros 77 alunos participaram através do
CEFET. Em ambos estudos de caso os alunos participaram da etapa de verificação de
perfil, na qual foi detectado o perfil de cada um deles, conforme a tabela 5.1
TABELA 5.1 - Porcentagem de Perfis por Instituição
Instituição/Perfil
Perfil Dependente Perfil Independente
EMATER 5 29,41% 12 70,59%
CEFET-RS 41 53,25% 36 46,75%
Percebeu-se com o estudo de caso realizado na EMATER que os alunos com
perfil independente possuem maior facilidade no aprendizado através do ambiente
TelEduc. Dos 17 alunos, 71,43% dos alunos que atingiram mais da metade dos
objetivos da unidade StarWriter do Curso de StarOffice pertencem ao perfil
independente e apenas 28,52 % dos alunos pertencem ao perfil dependente.
Já no CEFET onde foi realizado o estudo de caso com o agente E-Avalia stand
alone, 53,57 % dos alunos que conseguiram atingir maior parte dos objetivos do curso
pertencem ao perfil independente e 46,43 % dos alunos pertencem ao perfil dependente.
96
Dos 77 alunos do CEFET, 21 alunos (27,27%) tiveram menos do que 50% dos
objetivos atingidos. Na EMATER, apenas 3 alunos (17,67%) tiveram menos que 50%
dos objetivos atingidos.
Foi aplicada aos alunos e empregados que participaram deste estudo de caso uma
avaliação do E-Avalia, onde os mesmos puderam expressar suas opniões. O instrumento
de avaliação aplicado foi formulado de maneira empírica e encontra-se no Anexo 3
deste trabalho. Os resultados deste instrumentos estão apresentados nos gráficos das
figuras 5.1, 5.2 e 5.3.
Avaliação do Agente E-Avalia
0
20
40
60
80
100
Sim Não
Respostas
Porcentagem de Respostas
1. O E-Avalia pode ajudar na verificação da aprendizagem?
2. Há mais motivação quando sabe-se que será avaliado por um instrumento formal de
avaliação?
3. As avaliações (testes) no final de cada etapa podem reduzir as dificuldades nas etapas
subseqüentes?
6. Você acha que a avaliação pode motivar a freqüentar mais uma sala de aula ou um
ambiente de Educação a Distância, conforme o seu caso?
7. Você acha que o resultado da avaliação pode ajudar a verificar os pontos que não foram
atingidos e a partir daí buscar ajudar nestes aspectos?
FIGURA 5.1 - Respostas das perguntas objetivas do instrumento de avaliação do E-
Avalia
97
4. Qual
(
is
)
foi
(
ram
)
o
(
s
)
sentimento
(
s
)
que teve quando acabou
de realizar a avaliação?
0
20
40
60
80
100
Satisfação Motivação Outro
Sentimento
Respostas
Porcentagem de Respostas
FIGURA 5.2 - Respostas da pergunta número quatro do instrumento de avaliação do E-
Avalia
8. Como f oi o desempenho do E-Avalia em questão de
performance
0
20
40
60
80
100
Excelente Bom Regular Ruim
Respostas
Porcentagem de
Respostas
FIGURA 5.3 - Respostas da pergunta número oito do instrumento de avaliação do E-
Avalia
98
6 Conclusão
Este trabalho apresentou o agente pedagógico desenvolvido para avaliar alunos
em ambientes de educação a distância através da internet. O agente realiza avaliações
após o término de cada unidade de ensino verificando o alcance dos objetivos
estabelecidos.
O modelo de avaliação apresentado neste trabalho não teve o propósito de
resolver todos os problemas ligados a avaliação da aprendizagem, mas sim amenizar
algumas das incertezas em relação a este processo.
O processo de avaliação em sala de aula presencial ainda remete muitas dúvidas
aos professores, é um processo que necessita além de técnicas e instrumentos para
resolvê-lo, de intencionalidade. De nada adianta mudar ferramentas, se o professor
continuar classificando os alunos em bons e maus [VAS2000].
Segundo [VAS2000], quem quer fazer uma avaliação mais justa para ajudar o
aluno a superar suas dificuldades pode começar mudando a intenção no ato de avaliar.
O tipo de avaliação proposta neste trabalho baseia-se na intenção de recuperação,
resgate, alcance dos objetivos, superação das dificuldades, superação das limitações.
Não é propósito aqui, classificar o aluno ou dar notas para os testes. O testes propostos
no modelo do agente visam acompanhar o crescimento do aluno e em função dos
resultados não satisfatórios, recuperar os objetivos não alcançados.
O protótipo apresentado pode ser utilizado tanto em educação a distância como
em salas de aula presencial, com apenas um requisito indispensável: o computador com
internet. Assim o professor poderá acompanhar seus alunos e atendê-los na medida em
que surgirem as dúvidas. Para usar este agente fora de sala de aula, os requisitos são os
mesmos, a única diferença é que o professor não está acompanhando ao vivo o trabalho
desenvolvido pelo aluno e sim através do retorno que o agente E-Avalia lhe dará em
função das atuações do aluno no ambiente.
Foram realizados dois estudos de casos, com públicos diferentes e versões
diferentes do agente. O primeiro estudo de caso foi realizado na instituição EMATER –
Assistência Técnica de Extensão Rural, onde foi utilizado o agente E-Avalia integrado
ao ambiente TelEduc, ambiente utilizado pela instituição para prover cursos de
capacitação aos seus empregados. Esse estudo de caso tem características bem próprias
da EAD como a separação entre professor e aluno. Neste caso, todo o curso foi
realizado a distância inclusive a avaliação. O total de alunos participante neste ambiente
foi 17. O número de alunos que envolveu o curso de StarOffice foi bem superior ao
número de alunos que realizaram a avaliação, pois os alunos tinham muitas dificuldades
em acessar a internet em função do tipo de conexão utilizada.
O segundo estudo de caso foi realizado no Cefet-RS (Centro Federal de Educação
Tecnológica) na cidade de Pelotas, na qual participaram quatro turmas dos cursos médio
e técnico, no total de 77 alunos. O segundo estudo de caso possuiu características um
pouco diferentes do primeiro como por exemplo, os alunos não estavam utilizando um
ambiente de EAD, portanto o agente foi utilizado na versão stand alone, no qual os
alunos realizaram a avaliação em sala de aula juntamente com o professor responsável
pela turma.
Percebeu-se em função dos resultados obtidos que a estratégia de ensino aplicada
no TelEduc não atende a todos os perfis de alunos existentes. Já na sala de aula
presencial onde o professor procura dar um atendimento diferenciado aos alunos em
99
função dos seus perfis (características pessoais) a porcentagem de alunos com perfil
dependente que atingem a maior parte dos objetivos é relativamente alta.
O ambiente TelEduc possui uma única forma de mostrar o conteúdo aos alunos,
não possibilitando a diferenciação da forma de apresentação dos conteúdos a cada perfil
de aluno. Considera-se que esse fator é um dos principais motivos pelo qual os alunos
com perfil dependente não possuem sucesso na realização de cursos a distância através
do ambiente TelEduc. Em função disso, foi sugerido aos formadores dos cursos do
TelEduc na instituição EMATER que o material do curso de StarOffice fosse
modificado buscando uma maior interatividade com os alunos, não deixando-o muito
solto no ambiente, como costuma ser. Acredita-se que a mudança na forma de
apresentação do conteúdo dentro do ambiente TelEduc pode melhorar o desempenho
dos alunos com perfil dependente.
Os dois estudos de caso realizados foram de grande importância para validação e
experimento do protótipo E-Avalia. Ambos contribuíram para o crescimento e
melhoramento da implementação do agente.
O agente E-Avalia foi integrado inicialmente com o agente Modela Aluno,
responsável pela verificação do perfil do aluno. Os demais agentes do ambiente
SEMEAI serão integrados ao agentes E-Avalia e Modela Aluno posteriormente em
função de ajustes que estão sendo realizados no agente Tutor e Seleciona Material, que
estão sendo desenvolvidos por alunos da Universidade La Salle.
Foram encaminhadas algumas sugestões, através da pesquisa realizada após a
utilização do agente E-Avalia, sendo que algumas já foram implementadas. A lista de
todas as sugestões está disponível no Anexo V desse trabalho.
6.1 Limitações e trabalhos futuros
A partir do modelo e protótipo apresentados, propõe-se como trabalhos futuros a
criação de uma base de casos para armazenar as diversas situações de fracasso no
aprendizado do aluno, a fim de identificar quais são as causas das dificuldades.
Outra limitação do trabalho é referente à ajuda. Na inclusão das questões, o agente
E-Avalia auxilia o professor com as normas de construção de cada tipo de questão. As
normas estão disponíveis inicialmente no formato html e poderão ser acessadas através
de um botão disponível na interface da criação de cada um dos tipos das questões.
Posteriormente, seria ideal se fosse implementado um agente animado para auxiliar o
professor sempre que o mesmo fosse inserir pela primeira vez um tipo de questão ou
então solicitasse ajuda.
Atualmente, os relatórios de monitoramento para o professor estão implementados
em uma ferramenta que necessita de licença para o uso. O ideal é que fosse construída
uma ferramenta própria para geração de relatórios do agente E-Avalia. A
implementação de um sistema de relatórios dinâmico, onde o professor possa escolher a
composição do relatório, ou seja, quais são os dados que irão o compor, utilizando por
exemplo, como categorias: curso, competências, habilidades, questões, testes, perfil,
alunos e respostas. Esse com certeza seria um ótimo recurso de monitoramento dos
alunos para o professor.
100
ANEXO 1 Diagrama de Classes
Lacuna
frase : char
palavra1 : char
palavra2 : char
Ordenacao_Frases
frase : char
MultiplaEscolha
alternA : char
alternB : char
alternC : char
alternD : char
alternE : char
resp1 : int
resp1 : int
resp3 : int
resp4 : int
resp5 : int
justifA : char
justifB : char
justifC : char
justifD : char
justifE : char
Associacao
alternA : char
alternB : char
alternC : char
alternD : char
alternE : char
opcaoA : char
opcaoB : char
opcaoC : char
opcaoD : char
opcaoE : char
resp1 : int
resp2 : int
resp3 : int
resp4 : int
resp5 : int
Ordenacao_Fatos
fatoA : char
fatoB : char
fatoC : char
fatoD : char
fatoE : char
resp1 : int
resp2 : int
resp3 : int
resp4 : int
resp5 : int
justifA : char
justifB : char
justifC : char
justifD : char
justifE : char
Dissertativa
resp : char
CertoouErrado
alternA : char
alternB : char
alternC : char
alternD : char
alternE : char
resp1 : int
resp2 : int
resp3 : int
resp4 : int
resp5 : int
justifA : char
justifB : char
justifC : char
justifD : char
justifE : char
1
1
1
1
0..1
parametros
codtipoteste : int
noquestoes : int
pcquestessenc : int
1
1
tipoquest
codtipoquest : int
descricao : char
1
1 1
tipousuario
codtipo : int
descricao : char
1..*
usuario
codusuario : int
nomeusuario : char
email : char
senha : char
codtipo : int
1 1
1..*
1..*
1..*
1
curso
codcurso : int
nomecurso : char
1..*
1..*
1..*
1..*
1..*
tipocompethab
codtipocomphab : int
descricao : char
1
tipoteste
codtipoteste : int
nometipoteste : char
0..1
1
1
1
1..*
questoes
codquest : int
codtipoquest : int
cabecalho : char
1
1
1
competencia
codcompetencia : int
descricao : char
codcurso : int
codtipocomphab : int
1 1..*
1..*
teste
codteste : int
codcompetencia : int
codquest : int
1
1
1
1..*
1
1..*
Simples
alternA : char
alternB : char
aletrnC : char
alternD : char
alternE : char
resp1 : int
resp2 : int
resp3 : int
resp4 : int
resp5 : int
justifA : char
justifB : char
justifC : char
justifD : char
justifE : char
habilidades
codhabilidade : int
descricao : char
codtipocomphab : int
1..*
1..*
1..*
1..*
Atingiu
codatingiu : int
descricao_atingiu : char
pc_de_atingiu : int
pc_ate_atingiu : int
Ponto_Habilidade
codusuario : int
codhabilidade : int
codatingiu : int
resposta
codteste : int
codquest : int
codusuario : int
resp1 : int
resp2 : int
resp3 : int
resp4 : int
resp5 : int
palavra1 : char
palavra2 : char
frase : char
resp : char
datahora : timestamp
Resultados
codusuario : int
codteste : int
codquest : int
resultado : int
Finaliza_avalia
codteste : int
codusuario : int
101
ANEXO 2 Dicionário de Dados
Tabela: usuario
Nome do Campo Tipo Descrição
Βcodusuario
Int Código do usuário
Nomeusuario Char(50) Nome do usuário
Email char(30) Email do usuário
Senha char(8) Senha do usuário
Codtipo Int Código do tipo de usuário
Tabela: curso
Nome do Campo Tipo Descrição
Βcodcurso
Int Código do curso
Nomecurso char(30) Nome do curso
Tabela: competencia
Nome do Campo Tipo Descrição
Βcodcompetencia
Int Código da competência
Descricao char(100) Descrição da competência
Codcurso Int Código do curso
Codtipocomphab Int Código do Tipo de Competência e
Habilidade
Tabela: habilidades
Nome do Campo Tipo Descrição
Βcodhab
Int Código da Habilidade
Descricao char(100) Descrição da Habilidade
Codtipocomphab Int Código do Tipo de Competência e
Habilidade
Tabela: tipocompethab
Nome do Campo Tipo Descrição
Βcodtipocomphab
Int Código do tipo de
competência/habilidade
Descricao char(10) Descrição do tipo de
competência/habilidade
Tabela: tipousuario
Nome do Campo Tipo Descrição
Βcodtipo
Int Código do tipo de usuário
Descricao char(10) Descrição do usuário
102
Tabela: teste
Nome do Campo Tipo Descrição
Βcodteste
Int Código do teste
Βcodcompetencia
Int Código da competência
Βcodquest
Int Código da questão
Codtipoquest Int Código do tipo da questão
Tabela: tipoteste
Nome do Campo Tipo Descrição
Βcodtipoteste
Int Código do tipo de teste
Nometipoteste char(20) Descrição do tipo do teste
Tabela: questoes
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
Codtipoquest Int Código do tipo da questão
Cabecalho char(100) Cabeçalho da questão
Tabela: tipoquest
Nome do Campo Tipo Descrição
Βcodtipoquest
Int Código do tipo da questão
Descricao char(20) Descrição do tipo de questão
Tabela: Dissertativa
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
Resp char(100) Resposta da questão
Tabela: MultiplaEscolha
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
AlternA char(100) Descrição da alternativa A
AlternB char(100) Descrição da alternativa B
AlternC char(100) Descrição da alternativa C
AlternD char(100) Descrição da alternativa D
AlternE char(100) Descrição da alternativa E
resp1 Int Descrição da resposta 1
resp2 Int Descrição da resposta 2
resp3 Int Descrição da resposta 3
resp4 Int Descrição da resposta 4
resp5 Int Descrição da resposta 5
JustifA char(100) Descrição da justificativa A
JustifB char(100) Descrição da justificativa B
JustifC char(100) Descrição da justificativa C
JustifD char(100) Descrição da justificativa D
JustifE char(100) Descrição da justificativa E
103
104
Tabela: Simples
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
AlternA char(100) Descrição da alternativa A
AlternB char(100) Descrição da alternativa B
AlternC char(100) Descrição da alternativa C
AlternD char(100) Descrição da alternativa D
AlternE char(100) Descrição da alternativa E
resp1 Int Descrição da resposta 1
resp2 Int Descrição da resposta 2
resp3 Int Descrição da resposta 3
resp4 Int Descrição da resposta 4
resp5 Int Descrição da resposta 5
JustifA char(100) Descrição da justificativa A
JustifB char(100) Descrição da justificativa B
JustifC char(100) Descrição da justificativa C
JustifD char(100) Descrição da justificativa D
JustifE char(100) Descrição da justificativa E
Tabela: Lacuna
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
Frase char(100) Descrição da frase
Palavra1 char(100) Descrição da palavra1
Palavra2 char(100) Descrição da palavra2
Tabela: CertoouErrado
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
AlternA char(100) Descrição da alternativa 1
AlternB char(100) Descrição da alternativa 2
AlternC char(100) Descrição da alternativa 3
AlternD char(100) Descrição da alternativa 4
AlternE char(100) Descrição da alternativa 5
resp1 Int Descrição da resposta 1
resp2 Int Descrição da resposta 2
resp3 Int Descrição da resposta 3
resp4 Int Descrição da resposta 4
resp5 Int Descrição da resposta 5
JustifA char(100) Descrição da justificativa 1
JustifB char(100) Descrição da justificativa 2
JustifC char(100) Descrição da justificativa 3
JustifD char(100) Descrição da justificativa 4
JustifE char(100) Descrição da justificativa 5
105
Tabela: Associacao
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
AlternA char(100) Descrição da alternativa A
AlternB char(100) Descrição da alternativa B
AlternC char(100) Descrição da alternativa C
AlternD char(100) Descrição da alternativa D
AlternE char(100) Descrição da alternativa E
OpcaoA char(100) Descrição da opção A
OpcaoB char(100) Descrição da opção B
OpcaoC char(100) Descrição da opção C
OpcaoD char(100) Descrição da opção D
OpcaoE char(100) Descrição da opção E
resp1 Int Descrição da resp1
resp2 Int Descrição da resp2
resp3 Int Descrição da resp3
resp4 Int Descrição da resp4
resp5 Int Descrição da resp5
Tabela: Ordenacao_Fatos
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
FatoA char(100) Descrição do fato A
FatoB char(100) Descrição do fato B
FatoC char(100) Descrição do fato C
FatoD char(100) Descrição do fato D
FatoE char(100) Descrição do fato E
resp1 Int Descrição da resp1
resp2 Int Descrição da resp2
resp3 Int Descrição da resp3
resp4 Int Descrição da resp4
resp5 Int Descrição da resp5
Tabela: Ordenacao_Frases
Nome do Campo Tipo Descrição
Βcodquest
Int Código da questão
Frase char(100) Descrição da frase
Tabela: parametros
Nome do Campo Tipo Descrição
Βcodtipoteste
Int Código do tipo do teste
Noquestoes Int Número de questões
Pcquestessenc Int Percentual de questões essenciais
106
Tabela: resposta
Nome do Campo Tipo Descrição
Βcodteste
Int Código do teste
Βcodquest
Int Código da questão
Βcodusuario
Int Código do Usuário
resp1 Int Resposta 1
resp2 Int Resposta 2
resp3 Int Resposta 3
resp4 Int Resposta 4
resp5 Int Resposta 5
Palavra1 Char Resposta para questão Lacuna
Palavra2 Char Resposta para questão Lacuna
Frase Char Resposta para questão Ordenação_Frases
Resp Char Resposta para questão Dissertativa
Datahora timestamp Data e Hora de gravação
Tabela: ponto_habilidade
Nome do Campo Tipo Descrição
Βcodteste
int Código do teste
Βcodhabilidade
int Código da habilidade
Βcodatingiu
int Código do Rendimento
Tabela: resultados
Nome do Campo Tipo Descrição
Βcodteste
int Código do teste
Βcodusuario
int Código do Usuário
Βcodquest
int Código da questão
Resultado int Resultado
Tabela: atingiu
Nome do Campo Tipo Descrição
Βcodatingiu
int Código do Rendimento
Descricao_atingiu char(30) Descrição do Rendimento dos Objetivos
pc_de_atingiu int Percentual mínimo de objetivos
pc_ate_atingiu int Percentual máximo de objetivos
Tabela: finaliza_avalia
Nome do Campo Tipo Descrição
Βcodteste
Int Código do teste
Βcodusuario
Int Código do Usuário
107
ANEXO 3 Instrumento de avaliação do E-Avalia
108
ANEXO 4 Sugestões registradas pelos alunos
Sugestões registradas na Quinta pergunta no instrumento de avaliação do E-Avalia:
Continuar, achei muito bom.
Que deve ser realizado para cada módulo do curso, para medir o aprendizado do aluno.
Gostaria se possível fosse aplicado um teste durante o curso, e outro no final.
Seria interessante que houvesse uma avaliação a cada etapa.
Achei muito interessante esta forma de avaliação. seria bom ter a avaliação também do
starcalc.
Quando você erra sua resposta, você vai ver na tela - resposta errada - mas não vai saber
qual a certa pois no lugar está escrito apenas - resposta errada. acharia interessante poder
visualizar a resposta.
Interessante o método pois como é uma "novidade" a expectativa foi grande.
Talvez poderia ter sido um pouquinho mais detalhada a explicação, quanto à verificação da
correção das respostas (deu a entender que talvez aparecesse uma tela nova, dizendo se a
questão estava certa no final dos testes, o software poderia mostrar o resultado do
desempenho do aluno.
No final do teste, não podemos ver se acertamos a última pergunta. quando respondemos
a última pergunta e clicamos em "enviar" entra direto no "avaliação do agente e-avalia"
E-avalia está ótimo. Tive alguns erros na hora de ler mas isso foi falta de atenção.
Acho que foi bem legal fazer este tipo de teste e também bem mais interessante para o
aluno .
Eu gostei.
Achei bem interessante, dá mais segurança para nós continuarmos pois veremos se
aprendemos ou não.
Mais perguntas
Gostaria que as perguntas fossem um pouco mais objetivas
Ser usado com mais freqüência na sala de aula
É um bom método de avaliação
Um bom programa de testes e muito bom para os alunos verificarem se aprenderam ou
não certas matérias.
Fazer mais questões
É um método muito bom de teste.
Deveria ser mais objetivo
Que as perguntas e respostas estivessem disponíveis para impressão.
Eu achei legal o teste psicológico. é uma coisa diferente que eu nunca tinha feito antes. e o
modo de avaliação do programa é bem legal e deixa tudo bem mais rápido. vocês estão de
parabéns
As telas de apresentação podiam ter mais animação
Ficaria legal com alguns fundos nas páginas...
Mais opções
É bem legal e prático. bem melhor que as avaliações normais. poderia ter mais figuras
como a inicial
Acho que deveria ter uma explicação melhor sobre as respostas.
Era importante que o símbolo do browser se movimentasse para sabermos que a página
está rodando.
Quando fosse respondida uma questão que ela fosse de certa maneira "esmaecida"
deixando mais em evidência.
109
Referências
[ALV97] ALVARES, Luís Otávio Campos; SICHMAN, Jaime Simão. Introdução
aos Sistemas Multiagentes. In: JORNADA DE ATUALIZAÇÃO EM
INFORMÁTICA, JAI, 16., 1997. Anais... Brasília: Unb, 1997. p.1-37.
[AUL2002] AULANET. Disponível em: <http://www.cead.puc-rio.br/ambientes.asp>.
Acesso em: 7 nov. 2002.
[AZE99] AZEVEDO, Luis Alberto de Oliveira. Análise de atividades de alunos de
sistemas de ensino via Internet. In: SEMANA ACADÊMICA DO PPGC
DA UFRGS, 4., 1999. Anais... Porto Alegre: PPGC da UFRGS, 1999.
[BER96] BERCH, Magda. Ambientes de ensino inteligentes: a avaliação
pedagógica no apoio a modelagem de estratégias de ensino na perspectiva
de arquitetura de agentes. 1996. Trabalho Individual (Mestrado em Ciência
da Computação) – Instituto de Informática, UFRGS, Porto Alegre.
[BER97] BERCH, Magda. Avaliação Pedagógica como fator para a construção
de estratégias de ensino em ambientes de ensino-aprendizagem
computadorizados. 1997. Exame de Qualificação. (Doutorado em Ciência
da Computação) – Instituto de Informática, UFRGS, Porto Alegre.
[BOO2000] BOOCH, Grady; RUMBAUGH, James; JACOBSON, Ivar. UML: Guia
do Usuário. Rio de Janeiro: Campus, 2000.
[BLO83] BLOOM, Benjamin S.; HASTINGS, J. Thomas; MADAUS, George F.
Manual de avaliação formativa e somativa do aprendizado escolar.
São Paulo: Pioneira, 1983.
[CAR97] CARBONE, Angela; SCHENDZIELORZ, Peter. Developing and
Integrating a Web-Based Quiz into the Curriculum. In: WEBNET, 1997.
Proceedings... Austrália: Monash University, 1997.
[CAR2001] CARDOSO, Rodrigo Ferrugem. AvalWeb – Sistema Interativo para
gerência de questões e aplicações de avaliações na Web. 2001.
Dissertação. (Mestrado em Ciência da Computação) – Instituto de
Informática, UFRGS, Porto Alegre.
[CAR2000] CARVALHO, Viviane. Um Agente para determinar modelo de aluno
baseado em Estilos de Aprendizagem. 2000. Trabalho de conclusão.
(Bacharelado em Ciência da Computação) - Departamento de Informática,
UNICRUZ, Cruz Alta.
[CHO98] CHOREN, Ricardo; BLOIS, Marcelo; FUKS, Hugo. QUEST: An
Assessment Tool for Web-Based Learning. In: WEBNET. 1998.
Proceedings... Orlando, Flórida, USA: [s.n.], 1998.
110
[COS97] COSTA, Rosa Maria E. da; SANTOS, Neide; ROCHA, Ana Regina C. da.
Diretrizes Pedagógicas para Modelagem de Usuário em Sistemas Tutoriais
Inteligentes. In: TALLER INTERNATIONAL DE SOFTWARE
EDUCATIVO, TISE, 1997. Proceedings... Santiago, Chile: [s.n.], 1997.
[DEI2001] DEITEL, H. M.; DEITEL, P. J. Java como Programar. Porto Alegre:
Bookman, 2001.
[EMI2002] EMILIANO, José Pereira. Javal – Modelo de Ambiente de Avaliação
Remota Multiagente Baseada em Tutores Embarcados. 2002.
Dissertação (Mestrado em Ciência da Computação) – Instituto de
Informática, UFRGS, Porto Alegre.
[FRO97] FROZZA, Rejane. SIMULA – Ambiente para Desenvolvimento de
Sistemas Multiagentes Reativos. 1997. Dissertação (Mestrado em
Ciência da Computação) – Instituto de Informática, UFRGS, Porto Alegre.
[GIR98] GIRAFFA, Lúcia Maria Martins. Selecting Teaching Strategies using
Pedagogical Agents. 1998. Proposta de Tese de Doutorado (Doutorado
em Ciência da Computação) – Instituto de Informática, UFRGS, Porto
Alegre.
[GIR99] GIRAFFA, Lúcia Maria Martins. Estratégias de Ensino em Sistemas
Tutores Inteligentes Modelados através da Tecnologia de Agentes. Revista
Brasileira de Informática na Educação, Florianópolis, n.5, p. 9-17, set.
1999.
[GIR99a] GIRAFFA, Lúcia Maria Martins; VICCARI, Rosa Maria. Intelligent
Tutoring systems built using Agents techniques. Revista de Educação,
Ciência e Cultura, Canoas, v.4, n.1, p.23-40, 1999.
[GOL97] GOLDBERG, Murray W.; SALARI, Sasan. An Update on WebCT
(World-Wide-Web Course Tools) - a Tool for the creation of
sophisticated Web-based Learning Environments. Disponível em:
<http://star.ucc.nau.edu/~nauweb97> Acesso em: jan. 2002.
[GOM99] GOMES, Antônio Flávio. Estudo de tecnologias para educação / ensino
a distância. 1999. Trabalho Individual. (Mestrado em Ciência da
Computação) – Instituto de Informática, UFRGS, Porto Alegre.
[GOM99a] GOMES, Antônio Flávio. Implementação de sites com sistema de ajuda
baseado no perfil do usuário. In: SEMANA ACADÊMICA DO PPGC DA
UFRGS, 4., 1999. Anais... Porto Alegre: PPGC da UFRGS, 1999.
[HAC2000] HACK, Luciano Emilio. Mecanismos Complementares para a
Avaliação do Aluno na Educação a Distância. 2000. Dissertação.
(Mestrado em Ciência da Computação) – Instituto de Informática,
UFRGS, Porto Alegre.
111
[HAC99a] HACK, Luciano Emilio. Mecanismos complementares para a avaliação do
aluno na educação a distância. In: SEMANA ACADÊMICA DO PPGC
DA UFRGS, 4., 1999. Anais... Porto Alegre: PPGC da UFRGS, 1999.
[HAC99] HACK, Luciano. Avaliação no contexto da Educação a Distância
apoiada na internet. 1999. Trabalho Individual. (Mestrado em Ciência da
Computação) – Instituto de Informática, UFRGS, Porto Alegre.
[HAY2000] HAYDT, Regina Cazux. Avaliação do processo Ensino-aprendizagem.
São Paulo: Ática, 2000.
[HYP98] HYPERLEARNING Meter Brochure. 1998. Disponível em:
<http://cne.gmu.edu/hlmeter/hlmbro.html>. Acesso em: 31 mar. 2000.
[LEM99] LEMAY, Laura; CADENHEAD, Rogers. Aprenda em 21 dias Java 2.
Rio de Janeiro: Campus, 1999.
[LUC97] LUCENA, C. et al. AulaNet: um ambiente para desenvolvimento e
manutenção de cursos na WWW. Rio de Janeiro: Departamento de
Informática, PUC-Rio, 1997. (Monografias em Ciência da Computação).
[MAR96] MARIANI. L. Investigating Learnings Styles. Perspectives, a Journal of
Tesol, Italy, v.21, n.2 / v.22, n.1, 1996. Disponível em:
<http://utenti.tripod.it/learning-paths/Paperstyles.htm>. Acesso em: nov.
2001.
[MEL94] MELCHIOR, Maria Celina. Avaliação Pedagógica: função e necessidade.
Porto Alegre: Mercado Aberto, 1994.
[MEN98] MENEZES, Ronald A.; FUKS, Hugo; GARCIA, Ana Cristina B.
Utilizando agentes no suporte à avaliação informal em ambientes de
instrução baseada na Web - AulaNet. In: SIMPÓSIO BRASILEIRO DE
INFORMÁTICA EM EDUCAÇÃO, SBIE, 9., 1998, Fortaleza. Anais...
Fortaleza: SBC, 1998.
[MIC2002] MICROSOFT SQL Server. Disponível em: <http://www.microsoft.com>.
Acesso em: set. 2002.
[MOI99] MOISSA, Harry Erwin. Agente identificador de fatores motivacionais e
afetivos em um ambientes de ensino-aprendizagem. In: SEMANA
ACADÊMICA DO PPGC DA UFRGS, 4., 1999. Anais... Porto Alegre:
PPGC da UFRGS, 1999.
[MUS2001] MUSA, Daniela Leal. Um Sistema de Alertas Inteligentes para
Ambientes de Ensino na Internet. 2001. Dissertação. (Mestrado em
Ciência da Computação) – Instituto de Informática, UFRGS, Porto Alegre.
[OLI2001] OLIVEIRA, A. F. G. Agente Tutor Inteligente em um Ambiente
Multiagente para Ensino-aprendizagem a Distância. 2001. Trabalho de
112
Conclusão de Curso. (Bacharelado em Ciência da Computação) –
Departamento de Informática, Universidade La Salle. Canoas.
[PER99] PEREIRA, Adriana S. Um Agente para Seleção de Estratégias de
Ensino em Ambientes Educacionais na Internet. 1999. Dissertação.
(Mestrado em Ciência da Computação) – Instituto de Informática,
UFRGS, Porto Alegre.
[PER99a] PERRENOUD, Philippe. Construir as competências desde a escola.
Porto Alegre: Artemed, 1999.
[PER2001] PERCEPTION. Tutorial Question Mark. Disponível em:
<http://www.questionmark.com/perception>. Acesso em: 19 maio 2001.
[PON2001] PONTE, Emerson Del. Tutorial do Hot Potatoes. Disponível em:
<http://www.ufpel.tche.br/~delponte/hot/tutorial.html>. Acesso em: 22
maio 2001.
[POS2002] POSTGRESQL Database. Disponível em: <http://www.postgresql.org>
Acesso em: 2002.
[RAM99] RAMALHO, José Antônio Alves. HTML Dinâmico. São Paulo:
Berkeley, 1999.
[REH97] REHAK, Daniel R. A database architecture for web-based distance
Education. In: WEBNET, 1997. Proceedings... Pittsburgh: Carnegie
Mellon University, 1997.
[ROD2000] RODRIGUES, Alessandra P. O processo avaliação de ensino-
aprendizagem em ensino a distância. 2000. Trabalho Individual.
(Mestrado em Ciência da Computação) – Instituto de Informática,
UFRGS, Porto Alegre.
[RUS95] RUSELL, S. J. Artificial Intelligence: A Modern Approach. [S.l.].:
Prentice-Hall, 1995.
[SIL2000] SILVA, José C. T.; FERNANDES, J. R. AMON-AD: um agente
inteligente para avaliação de aprendizagem em ambientes baseados na
Web. In: CONGRESSO NACIONAL DA SOCIEDADE BRASILEIRA
DE COMPUTAÇÃO, 20., 2000, Curitiba. Integração Universidade-
Empresa: anais. Curitiba: PUC-PR, 2000.
[SIC92] SICHMAN, J. S.; DEMAZEAU, Y.; BOISSIER, O. When can knowledge-
based systems be called agents? In: SIMPÓSIO BRASILEIRO DE
INFORMÁTICA EM EDUCAÇÃO, SBIE, 3., 1992, Rio de Janeiro.
Anais... Rio de Janeiro: SBC, 1992. p.172-185.
[SMA97] COGNITION AND TECNOLOGY GROUP AT VANDERBILT. A Smart
Curriculum for Middle-School Science Instruction: A Web-Based
113
Curriculum Integrating Assessment and Instruction. In: WEBNET, 1997.
Proceedings... USA: Vanderbilt University, 1997.
[SMI2001] SMITH, Corine; STRICK, Lisa. Dificuldades de Aprendizagem de A a
Z. Porto Alegre: Artemed, 2001.
[SUN2002] SUN MICROSYSTEMS. Linguagem Java. Disponível em:
<http://java.sun.com>. Acesso em: 2002.
[TEL2001] TELEDUC. Disponível em:
<http://hera.nied.unicamp.br/teleduc/pagina/index.html>. Acesso em: 2001.
[TIN96] TINOCO L.C.; FOX E., EHROCH R.; FUCKS, H. Quisit: an interactive
quiz system for www-based instruction. In: SIMPÓSIO BRASILEIRO DE
INFORMÁTICA NA EDUCAÇÃO, SBIE, 7., 1996. Belo Horizonte.
Anais... Belo Horizonte: UFMG: ICEX, 1996. p. 365-378.
[UNI2001] UNIVERSITY of Indiana. Disponível em:
<http://best.indiana.edu/faq.html>. Acesso em: 2001.
[VAS2000] VASCONCELOS, Celso dos Santos. Intencionalidade: Palavra-chave da
avaliação. Nova Escola, [S. l.], 2001.
[VAV98] VAVASSORI, Fabiane Barreto; GAUTHIER, Fernando Álvaro Ostuni.
Proposta de Ferramentas e Agentes Inteligentes para um Ambientes de
Ensino/Aprendizagem na Web. In: SIMPÓSIO BRASILEIRO DE
INFORMÁTICA EM EDUCAÇÃO, SBIE, 9., 1998, Fortaleza. Anais...
Fortaleza: SBC, 1998.
[VIC96] VICCARI, Rosa Maria. Sistemas Tutores Inteligentes: abordagem
tradicional X abordagem de agentes. Porto Alegre: CPGCC da UFRGS,
1996. Tutorial apresentado no Simpósio Brasileiro de Inteligência
Artificial, 13., 1996.
[ZAN99] ZANATTA, Alexandre Lazaretti. Análise dos padrões de interações de
alunos remotos participantes de atividades colaborativas. In: SEMANA
ACADÊMICA DO PPGC DA UFRGS, 4., 1999. Anais... Porto Alegre:
PPGC da UFRGS, 1999.
[WBT98] WBT SYSTEM. Online Learning Business Solutions. San Francisco,
1998.
[WEB98] WEBCT Online Tutorial. Disponível em:
<http://www.ccuec.unicamp.br/treinamentos/webct>. Acesso em: jun.1998.
[WOO95] WOOLDRIDGE, M.; JENNINGS, N. R. Intelligent Agents: Theory and
Practice. In: KNOWLEDGE ENGINEERING REVIEW. 1995. Disponível
em: <http://www.csc.liv.ac.uk/~mjw/pubs/ker95.pdf>. Acesso em: 2002.
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
