ads:
Universidade de Brasília
Faculdade de Educação
JOÃO LUIZ HORTA NETO
AVALIAÇÃO EXTERNA:
a utilização dos resultados do Saeb 2003 na gestão do sistema público de ensino
fundamental no Distrito Federal.
.
Brasília - DF
2006
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
i
Universidade de Brasília
Faculdade de Educação
JOÃO LUIZ HORTA NETO
AVALIAÇÃO EXTERNA:
a utilização dos resultados do Saeb 2003 na gestão do sistema público de ensino
fundamental no Distrito Federal.
Dissertação de Mestrado apresentada ao Programa de
Pós-graduação em educação da Universidade de
Brasília, para obtenção de grau de Mestre em
Educação com concentração na área de Políticas
Públicas e Gestão da Educação.
Orientadora: Profª Drª Marília Fonseca
Brasília - DF
2006
ads:
ii
Universidade de Brasília
Faculdade de Educação
AVALIAÇÃO EXTERNA:
a utilização dos resultados do Saeb 2003 na gestão do sistema público de ensino
fundamental no Distrito Federal.
Brasília, 24 de outubro de 2006.
_______________________________________________
Profa. Dra. Marília Fonseca
Orientadora - UnB
_______________________________________________
Prof. Dr. Amaury Patrick Gremaud
Examinador externo - USP
_______________________________________________
Profa. Dr. José Antonio Vieira
Examinador - UnB
_______________________________________________
Prof. Dr. Erasto Fortes Mendonça
Suplente - UnB
iii
AGRADECIMENTOS
Acredito que as nossas conquistas não são fruto somente das nossas vontades e dos
nossos esforços. Elas acontecem principalmente graças ao encontro virtuoso com mulheres e
homens com quem dividimos esse planeta, ou mesmo com aqueles que já não o habitam. A
nossa vitória também é a vitória de cada um deles.
Aos meus pais João Luiz e Lourdes, que com seu afeto e proteção constantes
permitiram que essa minha longa jornada pudesse acontecer sem muitos percalços.
Aos meus filhos Eduardo, que mesmo não estando entre nós, não cansa de me ensinar
coisas sobre a vida; Marcelo um lutador, dono de uma deliciosa energia, um homem que
caminha em busca do seu destino, em quem procuro me espelhar quando sinto vontade de
fraquejar; Isabel, a minha doce menina, desabrochando na forma de uma linda mulher, um
poço de ternura, que não me deixa esquecer como é alegre viver.
À minha mulher Selma, pessoa vibrante, decidida e sensível, a paixão da minha vida.
Seu estímulo e incentivo transformaram em realidade esse sonho acalentado há muitos anos.
Sem o seu carinho e compreensão pelo tempo que roubei do nosso convívio, teria sido muito
difícil concluir esse desafio. Sem suas orientações, discussões profícuas e leituras atentas do
texto, muitas das minhas idéias não poderiam ganhar corpo e coerência. Compartilhar com ela
todos esse momentos, só fez aumentar a minha paixão e o meu amor.
À minha orientadora, Profª Marília Fonseca pelo estímulo constante. Graças à sua
visão sobre a ciência e a sua generosidade em dar substância às minhas idéias, pude trilhar um
caminho seguro e tranqüilo.
Aos meus colegas da turma de mestrado em Políticas Públicas o meu mais profundo
reconhecimento. Graças às nossas discussões, pontos de vista discordantes pude aprender
muito e adquirir uma base sólida que me permitiu concluir esta pesquisa.
Aos dirigentes da Secretaria de Educação do Distrito Federal participantes desta
pesquisa que além de cederem um pedaço importante de seu dia de trabalho demonstraram
uma enorme vontade de construir uma educação pública de qualidade.
À direção do Inep, nas figuras dos Professores Eliezer Pacheco, Reynaldo Fernandes,
Dilvo Ristoff e Valéria de Oliveira que me apoiaram nessa jornada. O apoio que recebi do
Instituto para participar do programa de mestrado foi decisivo.
A todos vocês, meu muito obrigado.
iv
RESUMO
Este trabalho discorre sobre a utilização da avaliação externa, em especial o Sistema
de Avaliação da educação Básica, Saeb, como um instrumento para a melhoria da qualidade
educacional. A avaliação externa, iniciada no Brasil no início dos anos 1980 culminando com
a criação do Saeb no final dessa década, tem procurado fornecer informações para que os
sistemas de ensino possam conhecer melhor a sua realidade e a partir daí desenvolver ações
para que, no âmbito de suas competências possam superar os problemas apontados por ela.
Para entender melhor a problemática que envolve a avaliação externa de escolas e sistemas,
foram consultados diversos autores que auxiliam na compreensão do papel desempenhado
pela avaliação externa no desenho e acompanhamento de políticas públicas na área
educacional em inúmeros países e em diferentes momentos históricos. No caso brasileiro, são
apresentados alguns aspectos peculiares das primeiras medições em educação até chegar-se à
institucionalização do Saeb. Para dar conta dessa tarefa, são consultados diversos autores,
destacando-se entre eles Vianna, Ristoff, Dias Sobrinho, Ravela, Bonamino, Pilatti e Pestana.
O trabalho também apresenta a estrutura geral e a metodologia do Saeb como exemplo de
uma avaliação em larga escala, além de uma discussão sobre os principais resultados
apresentados pelos relatórios nacionais que divulgam os resultados dos diversos ciclos de
avaliação realizados. O objetivo nuclear deste trabalho é analisar de que forma a Secretaria de
Educação do Distrito Federal utiliza as informações produzidas pelo Saeb, para gerir o ensino
fundamental da rede pública. A pesquisa é de natureza qualitativa e para a sua realização
foram utilizadas a análise documental e entrevistas semi-estruturadas com a finalidade de
conhecer a percepção dos gestores da Secretaria com relação ao Saeb. Os resultados
indicaram que os dirigentes, apesar de conhecerem pouco os resultados dessa avaliação,
reafirmam a importância dessa avaliação para atuar sobre as fragilidades do sistema. No
entanto, como não existe uma atividade sistemática de planejamento das ações da Secretaria,
essa parece ser a principal razão para que os dados do Saeb não sejam utilizados. Além disso,
a pesquisa aponta que os gestores entrevistados parecem não compreender suficientemente as
informações produzidas pelo Saeb. Ao final do trabalho, são apresentadas sugestões para o
aprimoramento do Saeb e algumas indicações de futuras linhas de pesquisa.
Palavras-chave: avaliação; avaliação externa; Saeb; ensino fundamental.
.
v
ABSTRACT
This dissertation deals with Brazilian elementary schools external evaluation from the
beginning of the 1980´s until the creation of the Basic Education Evaluation System -
“Sistema de Avaliação da Educação Básica – Saeb”, at the end of this decade. The external
evaluation has been offering information to the education systems to provide these systems
with a better knowledge about reality, and use this information as input to get over the
problems identified by each evaluation. In order to better understand the complexity that
surround the external evaluation of schools and educational systems, it was examined the
literature on the subject, specially the one focused on the external empirical evidence, where
several authors investigate the role played by external evaluation in the draft and monitoring
of educational public policies in different countries and in more than one historical period. To
the Brazilian case, it is obtainable singular aspects of the first measurements of external
evaluation in education until the implementation of the Saeb. The literature on the Brazilian
case consists of Vianna, Ristoff, Dias Sobrinho, Ravela, Bonamino, Pilatti e Pestana. This
research presents the general structure and methodology of the Saeb as an example of a large
scale evaluation, together with an analysis of the main results offered by national reports of
several evaluations done in the period studied. However, the main focus of this work is to
examine in which way the Federal District Education Secretary - “Secretaria de Educação do
Distrito Federal” uses the information produced by Saeb as input in the management of the
educational system of the public schools. This is a qualitative research where it was
implemented documental analysis and semi-structured interviews. The results indicate that,
even though the managers do not know much about Saeb’s result, they reinforce the
importance of the evaluation to overcome the fragilities of the public educational system. It
seems that the non-existence of a systematic planning in the Federal District Education
Secretary is the main reason for the non-utilization of Saeb’s results as input. Furthermore, the
research indicates that the managers interviewed seem to do not understand enough the
information produced by Saeb. At the end it is present some suggestions to improve the Saeb
and also some indication for future researches.
Key words: evaluation, Saeb, elementary education.
vi
SUMÁRIO
INTRODUÇÃO........................................................................................................................12
CAPÍTULO 1 - UM OLHAR RETROSPECTIVO SOBRE A AVALIAÇÃO EXTERNA NO
BRASIL ..........................................................................................................26
1.1 Das primeiras estatísticas educacionais à avaliação externa......................................26
1.2 Das primeiras avaliações da educação básica, na década de 1980, até a
institucionalização do Saeb, em 2005. .....................................................................35
CAPÍTULO 2 - DESVELANDO A ESTRUTURA DO OBJETO DE ESTUDO: elaboração
dos instrumentos de avaliação em larga escala, metodologia utilizada pelo
saeb e a divulgação de seus resultados. ..........................................................45
2.1 Características de uma avaliação em larga escala. ....................................................45
2.2 Metodologia utilizada pelo Saeb ...............................................................................54
2.3 Os Relatórios Nacionais utilizados para divulgar os resultados do Saeb. .................65
CAPÍTULO 3 - ANALISANDO AS REPERCUSSÇÕES DOS RESULTADOS DO SAEB
DE 2003 JUNTO À SECRETARIA DE EDUCAÇÃO DO DISTRITO
FEDERAL.......................................................................................................88
3.1 A Secretaria de Educação do Distrito Federal e a organização do seu planejamento.
..................................................................................................................................90
3.2 A Secretaria de Educação do Distrito Federal e a utilização dos resultados do Saeb
................................................................................................................................109
CONSIDERAÇÕES FINAIS .................................................................................................131
REFERÊNCIAS .....................................................................................................................136
APÊNDICE I – CARTA DE APRESENTAÇÃO..................................................................141
APÊNDICE II – ROTEIRO DE ENTREVISTA ...................................................................142
vii
LISTA DE QUADROS
Quadro 1: Sistemas de avaliação de aprendizagens na América Latina...................................34
Quadro 2: Relação de descritores associados ao tópico procedimentos de leitura da 4ª série do
ensino fundamental, de acordo com a Matriz de Referência do Saeb de 1999. ....55
Quadro 3: Quantidade de tópicos e descritores por área e série avaliada de acordo com a
Matriz de Referência do Saeb de 1999..................................................................56
Quadro 4: Exemplo de um item de Língua Portuguesa, construído de acordo com a Matriz de
Referência do Saeb de 1999, para o tópico “Procedimentos de leitura” e o
descritor “D1 - Localizar informações explícitas num texto”. ..............................57
Quadro 5: Evolução da amostra utilizada pelo SAEB 1990-2003. ..........................................58
Quadro 6: Escala de desempenho para os dois primeiros níveis de Língua Portuguesa da 4ª
série do ensino fundamental 2001. ........................................................................64
Quadro 7: Língua Portuguesa: porcentagem de alunos para cada ponto da escala..................68
Quadro 8: Língua Portuguesa: descrição das habilidades em cada ponto da escala. ...............69
Quadro 9: Língua Portuguesa: aproveitamento (quantidade de acertos) médio por série e
habilidade...............................................................................................................70
Quadro 10: Matemática: porcentagem de alunos em cada ponto da escala. ............................70
Quadro 11: Matemática: descrição das habilidades no ponto 150 da escala............................70
Quadro 12: Matemática: aproveitamento (número de acertos) médio por área de conteúdo,
habilidade e série. ..................................................................................................70
Quadro 13: Proficiência: médias das distribuições por série e área avaliada...........................71
Quadro 14: Aproveitamento médio por série e área avaliada. .................................................71
Quadro 15: Distribuição porcentual dos alunos por pontos da escala de desempenho, por série
e área avaliada. ......................................................................................................71
Quadro 16: Relação entre os pontos da escala de proficiência e etapas da educação básica. ..73
Quadro 17: Conclusões sobre o desempenho dos alunos de 4ª e 8ª série do ensino
fundamental, em Língua Portuguesa, em função do seu posicionamento na escala
de proficiência. ......................................................................................................74
Quadro 18: Distribuição percentual dos alunos por pontos da escala. .....................................74
Quadro 19: Proficiência: médias das distribuições por série e área avaliada...........................75
Quadro 20: Definição dos níveis de proficiência. ....................................................................76
Quadro 21: Descrição da escala de proficiência de Língua Portuguesa...................................77
Quadro 22: Definição dos níveis de proficiência por área. ......................................................78
viii
Quadro 23: Descrição das habilidades dos alunos por nível. ...................................................79
Quadro 24: Distribuição dos alunos por nível de proficiência em Língua Portuguesa e
Matemática. ...........................................................................................................80
Quadro 25: Relação entre os pontos da escala e as etapas da educação básica........................80
Quadro 26: Estágios de construção de competência e os pontos da escala de proficiência.....82
Quadro 27: Proficiência mínima por área e etapa da educação básica.....................................82
Quadro 28: Comparação entre os dados de 2001 e 2003 para a associação entre níveis de
proficiência e série por área avaliada.....................................................................83
Quadro 29: Construção de competências e desenvolvimento de habilidades de leitura de
textos de gêneros variados em cada um dos estágios para a 4ª série do ensino
fundamental. ..........................................................................................................84
Quadro 30: Construção de competências e desenvolvimento de habilidades de leitura de
textos de gêneros variados em cada um dos estágios para a 8ª série do ensino
fundamental. ..........................................................................................................84
Quadro 31: Distribuição percentual dos alunos por estágio de construção de competências, por
área e série avaliada...............................................................................................85
Quadro 32: Média de desempenho do Brasil e do Distrito Federal entre 1995 e 2003............86
Quadro 33: Taxas de Rendimento 2004: Brasil, regiões e Distrito Federal...........................109
ix
LISTA DE FIGURAS
Figura 1: Curvas Características de dois itens..........................................................................61
Figura 2: Definição do item B como um item âncora ..............................................................62
Figura 3: Organograma simplificado da Secretaria de Educação do Distrito Federal. ............89
x
LISTA DE SIGLAS
Aneb: Avaliação Nacional da Educação Básica.
Anresc: Avaliação Nacional do Rendimento Escolar.
Codeplan: Companhia de Desenvolvimento do Planalto Central
Consed: Conselho de Secretários de Educação
Deif: Diretoria de Educação Infantil e Fundamental.
DRE: Diretoria Regional de Ensino
DF: Distrito Federal.
Eape: Escola de Aperfeiçoamento dos Profissionais da Educação
Enade: Exame Nacional de Desempenho dos Estudantes
ENC: Exame Nacional de Cursos
Fundescola: Fundo de Fortalecimento da Escola
GDF: Governo do Distrito Federal.
Geres: Grupo Executivo para a Reforma da Educação Superior
IEA: International Association for the Evaluation of Educational Achievement
IBGE: Instituto Brasileiro de Geografia e Estatística
Inep: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira
LDB: Lei de Diretrizes e Bases da Educação Nacional
LLECE: Laboratório Latino Americano de Evaluación de la Calidad de la Educación
MEC: Ministério da Educação.
Naep: National Assessment of Education Progress
NCP: Núcleo de Coordenação Pedagógica.
OCDE: Organization for Economic Co-operation and Development
ONG: Organização não Governamental
Orealc: Oficina Regional de Educación para América Latina y el Caribe
Paiub: Programa da Avaliação Institucional das Universidades Brasileiras
Paru: Programa de Avaliação da Reforma Universitária
PCN: Parâmetros Curriculares Nacionais
PDDE: Programa Dinheiro Direto para a Escola
PIB: Produto Interno Bruto
Pirls: Progress in International Reading Literacy Study
Pisa: Programme for International Student Assessment
PNAD: Pesquisa Nacional por Amostra de Domicílios.
xi
PNE: Plano Nacional de Educação
Saeb: Sistema de Avaliação da Educação Básica.
Saep: Sistema de Avaliação do Ensino Público de 1º Grau.
Saepe: Sistema de Avaliação Educacional de Pernambuco
Saresp: Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo
Sediae: Secretaria de Avaliação e Informação Educacional.
Seneb: Secretaria Nacional de Educação Básica
SIEd: Sistema de Informações Educacionais
Sige: Sistema Integrado de Gestão Escolar.
Simave: Sistema Mineiro de Avaliação da Educação Pública
Sinaes: Sistema Nacional de Avaliação da Educação Superior.
Spaece: Sistema Permanente de Avaliação Educacional do Ceará
Subep: Subsecretaria de Educação Pública (referida neste trabalho como Área
Pedagógica).
Subip: Subsecretaria de Informação e Planejamento (referida neste trabalho como Área de
Planejamento).
Timss: Trends in International Mathematics and Science Study
TCT: Teoria Clássica dos Testes
TRI: Teoria de Resposta ao Item.
Unesco: Organização das Nações Unidas para a Educação, a Ciência e a Cultura.
WEI: World Education Indicators
12
INTRODUÇÃO
Esta dissertação, desenvolvida dentro do Programa de Mestrado da Faculdade de
Educação da Universidade de Brasília, vincula-se à linha de pesquisa de Políticas Públicas e
Gestão da Educação Básica.
O objetivo do trabalho foi pesquisar a repercussão dos resultados do ciclo de 2003 do
Sistema de Avaliação da Educação Básica - Saeb - na gestão do sistema público de ensino
fundamental do Distrito Federal.
Meu interesse pelo tema da avaliação de sistemas educacionais surgiu quando, em
1996, iniciei meu trabalho no Ministério da Educação, em Brasília. Durante quatro anos atuei
no Fundescola, um programa direcionado ao ensino fundamental, atendendo as regiões Norte,
Nordeste e Centro-Oeste, onde inicialmente fiz parte da equipe que desenhou o programa e
depois coordenei a sua implantação na Região Norte. Atualmente, trabalhando no Inep, em
atividades voltadas à avaliação da educação, aumentou ainda mais meu interesse em estudar
os usos que são feitos das avaliações externas, em especial o Sistema de Avaliação da
Educação Básica - Saeb.
A função exercida no Fundescola exigia um contato permanente com centenas de
escolas e com as equipes dirigentes das secretarias municipais de educação de 108 municípios
da Região Norte, e das secretarias estaduais de educação de todos os estados dessa região. Foi
nessa época que a avaliação da educação básica, por meio do Saeb, passou a ter maior
destaque nas políticas educacionais do ministério.
A qualidade do ensino fazia parte do discurso dos dirigentes e dos professores da
região, mas não era possível observar a tradução desses discursos em ações efetivas. A
principal preocupação dos dirigentes da região nessa época era com a construção e ampliação
de escolas. Era patente a precariedade da estrutura das secretarias de educação, tanto estaduais
como municipais, com destaque para a falta de dados objetivos que pudessem subsidiar as
discussões a cerca da qualidade da educação e ao mesmo tempo orientar as ações
desenvolvidas pelas suas equipes. Os diretores das escolas e os dirigentes das secretarias não
tinham em mãos dados elementares como o número de aprovados, taxas de evasão e
repetência. Como então seria possível para as escolas elaborarem um projeto pedagógico, ou
para as secretarias elaborarem um planejamento? Na época, percebi que esses dados só eram
considerados relevantes quando as secretarias estavam envolvidas na elaboração de projetos
para obtenção de recursos financeiros junto ao Ministério da Educação - MEC. Para obtê-los,
13
buscavam as informações junto ao Instituto Nacional de Estudos e Pesquisas Anísio Teixeira
– Inep, autarquia vinculada ao MEC.
Na época da divulgação dos resultados do Saeb, aconteciam intensos debates junto às
equipes dirigentes das secretarias estaduais, estimulados pelo destaque que o tema recebia na
mídia. O principal ponto desse debate era a associação feita entre os resultados positivos
obtidos na avaliação com as políticas que estavam sendo implantadas pelo governo local.
Quando o resultado era desfavorável, associava-se o fracasso à antiga administração que havia
deixado a situação chegar a um estado lastimável que estava sendo recuperado pouco a pouco.
Neste período, não tive conhecimento de nenhum debate em que se discutisse o significado
dos resultados e o sentido da avaliação realizada, e nem de que forma eles poderiam ser
utilizados para melhorar da qualidade da educação na região.
De uma forma geral, no Brasil e em outros países, a avaliação externa, tal como se
configura no Saeb, é um tema ainda em construção e que vem suscitando debates entre
dirigentes educacionais de todos os níveis, como os professores e pesquisadores
1
. Discute-se,
entre outras questões, aquelas ligadas à qualidade do ensino, às medidas em educação, à
responsabilização por resultados e prestação de contas à sociedade. Esse debate torna-se mais
intenso quando se discute a relevância da avaliação externa para impulsionar melhorias no
sistema educacional como um todo. Estes temas fazem parte de uma complexa problemática,
que merece ser analisada em seu conjunto.
Em muitos países, os alunos são submetidos a avaliações com o objetivo de verificar
se estão adquirindo os conhecimentos e as competências necessárias para a conclusão de um
nível ou ciclo do sistema educativo. Com essas avaliações, os órgãos educacionais poderiam
indicar os referenciais de qualidade que deveriam ser seguidos, ou controlar processos
desenvolvidos pelas escolas.
O aumento do interesse pela avaliação do desempenho dos alunos coincide com o
momento em que houve um forte aumento da demanda por educação nos países centrais, que
levaram a questionamentos com relação ao conteúdo que se aprende na escola e as
necessidades da vida em sociedade. Quando a educação era restrita à elite que mantinha seus
1
Diferentemente da avaliação externa, a avaliação da aprendizagem escolar está presente no dia-a-dia dos
professores e dos alunos. Os professores contam com vasta produção teórica e com resultados de pesquisas, que
oferecem uma base sólida para decidir sobre a progressão dos seus alunos e para auxiliá-los no seu processo de
aprendizagem. Professores também passam por processos de avaliação No caso brasileiro, por determinação
constitucional, para ingressar na carreira docente da rede pública de ensino, os professores se submetem a um
concurso de provas e títulos. Em alguns países, como o Chile, os professores também são avaliados pelos
diretores das escolas e por supervisores do sistema educacional, ou mesmo por meio de sistemas que emitem
uma certificação para o profissional atuar na função docente.
14
filhos na escola, ela mesma controlava seus resultados, não havendo necessidade de uma
avaliação externa. Este aspecto aparece claramente em uma entrevista
2
concedida por Ralph
Tyler (2005). Segundo o autor, com a crise de 1930 nos Estados Unidos, houve um aumento
muito grande de jovens que procuravam o ensino secundário, motivados principalmente pela
falta de emprego. Devido a esta forte demanda, no estado americano de Ohio, surgiu a
preocupação com o desempenho desses novos alunos que anteriormente à crise não estariam
cursando esse nível de ensino, dando início a um estudo que ficou conhecido como Eight
Year Study. Na proposta de Tyler, a avaliação da aprendizagem integrava o modelo de
elaboração de currículo, e este currículo deveria assumir características de planejamento das
atividades educacionais.
Trava-se um grande e profícuo debate abordando algumas questões problematizadoras
sobre a avaliação externa, entre elas, as metodologias, as medidas, a relação avaliação-
qualidade e a responsabilização pelos resultados.
Primeiramente é necessário diferenciar uma prova aplicada por um professor aos seus
alunos, de um sistema de avaliação externa. Uma prova é um evento único e independente,
com ênfase em um conjunto de objetivos cognitivos que incide sobre o futuro imediato do
aluno e cuja interpretação independe do seu contexto sócio-econômico ou educacional. Já um
sistema de avaliação, que tem como principais usuários, mas não únicos e exclusivos, os
sistemas de ensino, é um processo que envolve um levantamento periódico de dados com o
objetivo de captar a evolução do quadro educacional (TAMASSIA, 2004). Para tanto, utiliza
tanto testes de rendimento com o objetivo de verificar o desempenho dos alunos, como
questionários que procuram levantar os fatores do contexto que interferem nesse desempenho.
A análise dos questionários pode indicar aos governos as áreas de intervenção prioritárias,
com o objetivo de ampliar a eficácia das políticas educacionais. Esses questionários, após um
tratamento matemático adequado, podem estabelecer possíveis relações entre o desempenho
do aluno e os fatores investigados pelo questionário, sem que, no entanto, seja possível
estabelecer relações de causalidade, já que são inúmeros e entrelaçados os fatores que podem
explicar esse desempenho.
A abordagem defendida por Tyler, apresentada brevemente nesse texto, recebeu
inúmeras críticas, pois se considerava que a avaliação passaria a ser um sinônimo de uma
simples medida. Neste sentido, ela teria uma característica inflexível e limitada, pois levaria
em consideração apenas alguns dos conhecimentos ensinados e que eram escolhidos para
2
Entrevista concedida a Jeri Ridings Nowakowski, da Universidade de Michigan, em novembro de 1981.
15
serem avaliados nas provas. Além disso, as avaliações estariam condicionando os currículos, e
fazendo com que a escola, e principalmente os professores, perdessem sua autonomia para
definir os conteúdos e as abordagens mais adequados aos seus alunos, dentro do contexto
social em que viviam. Muitos autores referem-se a essa abordagem, utilizando denominações
como meritocrática, somativa, tecnicista ou positivista. Barreto (2001, p.55) identifica seus
defensores como pertencentes ao “núcleo duro da avaliação da aprendizagem”, já que eles
partiriam de um paradigma que a autora chama de positivista, pois teriam a intenção de
analisar a complexa realidade social utilizando-se de ferramentas estatísticas.
As avaliações consideradas somativas estariam, segundo alguns autores, avaliando
apenas os resultados da aprendizagem e não os processos que estariam sendo construídos
durante a aprendizagem. Portanto, não teriam nenhum significado importante, já que a
educação seria um fenômeno essencialmente qualitativo. Além disso, não respeitariam a
diversidade de aprendizagens que se apresenta em diferentes contextos, nem mesmo a
diversidade dos alunos. Assim sendo, essas avaliações poderiam estar indicando uma
homogeneização na difusão dos conhecimentos. Como esses conhecimentos estariam sendo
difundidos a partir do núcleo central de poder, a avaliação estaria fortalecendo o poder nas
mãos do Estado, e com isso, limitando a atuação dos agentes locais.
Como oposição a este modelo, Barreto (op. cit.) indica que começaram a ser
construídas novas abordagens que levassem em conta não apenas a dimensão cognitiva do
aluno, mas as dimensões social e afetiva, seus valores, motivações e até mesmo a sua própria
história de vida. Nessas novas abordagens, conhecidas como avaliações diagnósticas, ela
deixaria de girar exclusivamente em torno do aluno e da preocupação de medir tecnicamente
seu rendimento. A autora cita alguns autores que desenvolveram pesquisas dentro dessa
abordagem, como: Luckesi, que centra seu trabalho no que a autora chama de pedagogia do
exame; Franco que estabelece como unidade de análise o vínculo entre o indivíduo e a
sociedade em uma dimensão histórica; Saul que desenvolve em seu trabalho as bases de uma
avaliação chamada de emancipatória.
Lüdke (1995, apud BARRETO, 2001) defende que a avaliação esteja fortemente
integrada ao processo de ensino aprendizagem, de forma a atender as necessidades dos alunos
e dos professores, com uma característica de auxiliar no desenvolvimento desses atores. Mas,
a autora admite que uma avaliação desse tipo necessitaria de um longo período de tempo para
ser implementada e destaca que, ainda assim, não seria eliminada a necessidade das
avaliações baseadas em testagens, que possibilitariam a identificação de novos problemas não
detectados antes.
16
No debate envolvendo os dois modelos de avaliação, não se trata de desqualificar a
avaliação somativa, com o argumento de que ela leva em conta apenas os resultados, e não os
processos. Na verdade, a elaboração de uma avaliação envolve um minucioso trabalho de
análise das condições em que ocorre a aprendizagem. Sem essa etapa inicial, a avaliação pode
não alcançar os objetivos propostos. Tampouco se trata de desqualificar a avaliação formativa
sob o argumento de que, para ser aplicada em larga escala, redundaria em um processo lento,
e que por estar voltada à realidade de cada instituição, necessitaria de dispendiosas e
demoradas pesquisas de campo, além de apresentar dificuldades para ser implementada em
um grande conjunto de escolas. A meu ver, o mais importante é que, independentemente da
abordagem utilizada, a avaliação deve ter um forte caráter formativo, levando em
consideração que seu objetivo é compreender melhor a realidade, e, assim, atuar sobre ela.
Com relação ao caráter que a avaliação deve assumir, Vianna e Franco afirmam:
[...] enquanto atividade cientificamente fundamentada propõe-se a construir e aplicar
instrumentos segundo objetivos instrucionais precisos, elaborados de acordo com
especificações previamente consideradas e com uso de metodologias específicas, a
fim de traduzir o mais fielmente possível a realidade do sistema educacional, tanto a
nível de desempenho individual ou de grupos de alunos, quanto na descrição do
sistema como um todo. A avaliação educacional, portanto, através de dados
confiáveis, pode contribuir para a concretização de mudanças efetivas no sistema
educacional (VIANNA e FRANCO, 1991, p. 3).
Em outro trabalho, Vianna afirma:
A avaliação não é um valor em si e não deve ficar restrita a um simples rito da
burocracia educacional, necessita integrar-se ao processo de transformação do
ensino/aprendizagem e contribuir, desse modo, ativamente, para o processo de
transformação dos educandos (VIANNA, 2003, p. 26).
Os dois excertos indicam o papel que tem a avaliação no sentido de ampliar a
compreensão acerca dos fenômenos medidos com o objetivo de aprimorar os processos
utilizados. Vianna vai mais além e chama a atenção para o fato de que a avaliação deva ter
uma conseqüência, e que ela não pode se limitar a apenas informar os resultados. Atitudes
devem ser tomadas no sentido de buscar superar os problemas apontados pelos resultados
obtidos.
Outros autores reforçam esta posição, destacando que “é insuficiente a avaliação que
apenas localiza o aluno na escola. A avaliação tem de dizer o que fazer” (BELLONI e
BELLONI, 2003, p.16).
17
Além disso, é preciso atentar para o fato de que a avaliação é um processo complexo
não somente por suas características técnicas, mas, sobretudo, pelo impacto dos
questionamentos que o processo avaliativo deve provocar (DIAS SOBRINHO, 2000). Outros
atributos devem ser acrescentados à avaliação, pois ela, de acordo com Ristoff (1995, p.47)
“precisa ser um processo de construção, e não uma mera medição de padrões estabelecidos
por iluminados”. Este mesmo autor salienta que a prática educacional no Brasil coloca ênfase
na exclusão e não na construção de aprendizagens.
O principal objetivo para o desenvolvimento de sistemas de avaliação é melhorar a
qualidade educacional e esta é uma das maiores tarefas em que estão envolvidos os gestores
dos sistemas de ensino, assim como os pesquisadores em educação. Mas, conceituar qualidade
não é uma tarefa simples, nem existem consensos sobre o melhor caminho a seguir. Como
qualidade é um conceito polissêmico, primeiramente é preciso identificar os diversos
significados que o termo tem assumido ao longo do tempo.
Segundo Reeves e Bednar (1994, apud TURCHI, 1997, p. 9), remontam à Grécia
antiga, onde Aristóteles, Sócrates e Platão referiam-se ao termo como sendo um “padrão de
excelência moral que deveria ser buscado pela sociedade grega. O critério para definir esse
padrão de excelência variava de acordo com as circunstâncias em análise e era baseado na
percepção de quem avaliava. Portanto, apesar de ser referenciado a um padrão, ele era
totalmente subjetivo.
O conceito gradualmente foi sendo associado à produção de bens. Assim, no período
anterior à Revolução Industrial, “qualidade de um produto era definida pela reputação da
habilidade e do talento do artesão que o produzia” (TURCHI, 1997, p. 9). Aos poucos, além
da excelência, outras dimensões foram sendo incorporadas, buscando-se uma quantificação.
Assim, na época da Revolução Industrial, um produto de qualidade estava associado à idéia
de menor preço. Nos anos 30 do século XX, “qualidade incorporava o significado de
produção em conformidade com o projeto” (op. cit., p.10). Com isso, ganharam importância
as técnicas de controle dos processos produtivos a partir do uso intensivo de técnicas
estatísticas. A partir dos anos 1950, outra dimensão foi associada ao conceito: a de que um
produto, além de estar em conformidade com o projeto, deveria atender às necessidades dos
usuários. Incorporou-se assim, a idéia de que a qualidade deveria ser muito mais que a
simples inspeção do produto e que deveria ser construída ainda durante a fase de elaboração
do projeto. Qualidade, então, passou a ser entendida como aquela adequada ao uso. Esta teria
sido a base dos conceitos que fundamentariam a proposta de qualidade total que se afirmaria
no final do século XX.
18
Diversos autores tecem variados conceitos quando utilizam o termo qualidade aplicado
à área educacional. Dias Sobrinho (1995), define qualidade como sendo uma construção
social que varia segundo os interesses dos grupos de dentro e de fora da instituição educativa
e que reflete as características da sociedade que se deseja para hoje e se projeta para o futuro.
Para o autor, qualidade não é um conceito unívoco e fixo, devendo ser construído por meio de
consensos e negociações entre os atores. Schwartzman (1988) indica que o termo qualidade
depende dos pontos de vista dos atores envolvidos, sendo que a qualidade de uma instituição
de educação superior, na visão dos alunos e de suas famílias, vincula-se ao prestígio da futura
profissão ou à garantia de trabalho bem remunerado; os professores dessa instituição
relacionam a qualidade às possibilidades da investigação e às condições para a realização das
atividades científicas; as empresas referem-se à competência esperada dos seus egressos.
Outros autores apontam para dubiedade do termo qualidade. Gentili (1995) alerta para
o sentido excludente que a educação de qualidade teria hoje dentro da ótica do mercado
global, já que ela estaria associada à excelência que, por sua vez, estaria associada a
privilégio, ao ser destinada a poucos e nunca associada a um direito, que deve ser plenamente
usufruído por toda a população. Portanto, segundo o autor, o sentido dado atualmente à
educação de qualidade é antidemocrático e prejudicial ao desenvolvimento da humanidade, já
que não poderá haver igualdade na qualidade recebida por todos os cidadãos sem a abolição
definitiva de qualquer tipo de diferenciação ou segmentação social. Afonso (1999) destaca
que a concepção do Estado está fortemente influenciada pelo pensamento neoliberal e isso se
reflete na incorporação de uma filosofia de gestão do setor privado baseado na lógica do
mercado, na ética da competição e na necessidade de estipular padrões com o objetivo de
controlar a qualidade do produto final. Por essa razão é que estariam tão em voga as
avaliações educacionais.
Pelas análises dos autores, percebe-se que qualidade é um conceito largamente
utilizado e se encontra incorporado ao nosso cotidiano, com variados sentidos, dependendo do
ângulo que se quer focar.
No meu entender, qualidade é um conceito particularmente útil para o desenho e a
avaliação de políticas públicas. Mas para isso, é fundamental que o conceito de qualidade que
venha a ser utilizado tenha características que permitam a sua mensuração. Caso contrário,
haveria um total descompasso entre os formuladores das políticas públicas, seus executores e
seus beneficiários, já que não haveria uma referência comum que facilitasse tanto a execução
dessa política como a sua avaliação. Assim sendo, sob dessa ótica, neste trabalho entende-se
qualidade como um conceito relativo que depende da definição de padrões de referência e da
19
realização de medidas que permitam comparações com os padrões adotados. Para que esses
padrões possam ser considerados como tal, deve-se garantir a facilidade para executar as
medidas, que elas não consumam muitos recursos físicos e financeiros e que o tempo
necessário para processá-las seja razoável.
Ao firmar o conceito acima, não se pretende de forma alguma estabelecer uma
dicotomia entre critérios objetivos e subjetivos para definir a qualidade. Ambos são
importantes, principalmente quando o objeto em análise é um fenômeno social. Apenas foi
dada uma ênfase a um conceito que é útil para o desenho e o acompanhamento de políticas
públicas.
Quando nos referimos à pesquisa social, é preciso ter em mente que qualidade é um
conceito abstrato e como tal não pode ser diretamente medida. Para esses casos, quando não é
possível medir diretamente um fenômeno, foi desenvolvido o conceito de indicadores.
Segundo Carley (1985, p.2), indicadores são “medidas de uma característica observável de um
fenômeno social e que estabelecem o valor de uma característica diferente, mas não
observável”. Assim, é possível estabelecer uma referência, não necessariamente aceita por
todos, mas que possa ser compreendida e largamente utilizada.
Autores como Gomes Neto e Rosemberg (1995) alertam para o fato de que os
indicadores não podem ser confundidos com as causas dos fenômenos a que eles se referem.
Por exemplo, muitos estudos demonstram que não existe uma relação causal entre a variável
quantidade de anos de escolarização dos professores e o desempenho dos alunos nas primeiras
séries do ensino fundamental, já que uma série de outros fatores podem estar influindo no seu
desempenho. Portanto, a variável quantidade de anos de escolarização dos professores não
seria um bom indicador para a qualidade da aprendizagem dos alunos nas primeiras séries do
ensino fundamental. Mas, por outro lado, essa variável poderia ser considerada como um bom
indicador da qualidade do sistema educacional.
Esses argumentos mostram que medir a qualidade da educação a partir de indicadores
não é uma tarefa simples. Considerando a educação em sua dimensão política, Mendonça
(2005) afirma que é preciso encontrar indicadores de sucesso escolar que não impinjam
somente ao indivíduo a responsabilidade pelo seu êxito, já que são muitos os fatores
conhecidos, dentro e fora da escola, que são determinantes para o sucesso ou o fracasso
escolar. Na mesma linha reflexiva, Paro (1998) considera que a educação é um processo que
se prolonga por toda a vida da pessoa e que, portanto, não pode ter sua qualidade avaliada em
um dado momento a partir de índices de reprovação e aprovação ou por avaliações externas.
20
Para o autor, o produto da escola é o aluno educado, e este produto deve ter especificações
bastante rigorosas quanto à qualidade que dele se deve exigir.
Concordando com essa última afirmação de Paro, defendo que todos aqueles que
estejam envolvidos no processo educacional, sejam eles dirigentes, professores, pais ou
alunos, tenham à sua disposição dados a partir dos quais seja possível estabelecer juízos de
valor sobre a qualidade da educação. Sem a existência desses dados, ficaria prejudicado um
acordo mínimo sobre como atuar para aprimorar esse processo, dificultando assim a discussão
que venha a contribuir para a formulação de políticas públicas adequadas.
Os números finais do Censo da Educação Básica podem ser usados, ainda que de
forma limitada, para definir algumas políticas educacionais. Por exemplo, dados referentes a
elevadas taxas de reprovação podem fornecer indicações de que alguma coisa grave está
acontecendo no interior de uma escola, talvez devido a processos educacionais inadequados.
Portanto, indicam uma determinada situação, mas não são capazes de fornecer detalhes, pois
no caso do exemplo citado, os dados não explicam os porquês e são claramente insuficientes
para compreender o que está acontecendo naquela escola. Para entender os porquês, são
necessários estudos mais aprofundados que venham a determinar quais seriam os fatores intra
e extra-escolares que estariam sendo responsáveis pelo fato indicado.
Essas considerações mostram a dificuldade de se identificar as instâncias que
deveriam ser responsabilizadas pelos resultados obtidos na escola. Para muitos,
responsabilizar é indicar os responsáveis pelo sucesso ou pelo fracasso desses resultados. Sem
dúvida, essa é uma forma muito limitada de compreender a responsabilização.
É interessante perceber como essa questão é abordada por alguns autores. Ristoff
(1995) acentua o caráter ético da avaliação como um valor inerente ao próprio processo,
colocando-a a serviço de valores públicos e dos justos interesses da sociedade. Para o autor,
“avaliar é uma forma de restabelecer compromissos com a sociedade; de repensar objetivos,
modos de atuação e resultados; de estudar, propor e implementar mudanças nas instituições e
em seus programas; deve-se avaliar para poder planejar, para evoluir” (p. 63).
Uma outra forma de compreender a questão é considerar a educação como um sistema
que funciona com responsáveis que prestam contas pela forma como utilizam seus recursos e
pelos resultados que obtêm. Para essa forma de encarar o resultado da avaliação a pergunta
central é: quem deve fazer-se responsável e como?
Para Ravela (2005), existe uma lógica que implica uma guerra de todos contra todos,
na qual se desfazem da sua responsabilidade e a atribuem a outros. O professor responsabiliza
o aluno porque ele não estuda, a família do aluno porque não o apóia e ao sistema ou as
21
autoridades porque não dão ao professores meios necessários para desenvolver seu trabalho.
A família responsabiliza o docente e a escola porque não ensinam ou porque não ensinam
como se ensinava antes. As autoridades atribuem a responsabilidade pelos resultados
negativos às escolas e aos professores, exercendo pressão sobre eles. As autoridades centrais
responsabilizam as autoridades locais e vice-versa. Os políticos, que dirigem o sistema
durante um período limitado, responsabilizam os funcionários de carreira, que formam parte
do aparato técnico e burocrático permanente, e vice-versa. Por esse caminho, marcado pela
disputa entre os diferentes atores, os sistemas não caminham nem melhoram. O autor percebe,
portanto, que a responsabilização pode ser tratada sob enfoques conflitantes.
Outro enfoque seria considerar que os resultados educacionais dos estudantes são o
resultado de um complexo conjunto de fatores (que inclui o próprio esforço individual do
estudante para aprender, e os valores sociais associados à escola), e que cada ator tem a
responsabilidade de encontrar as melhores formas de melhorá-los dentro do âmbito de suas
competências. A alternativa seria estabelecer uma lógica de colaboração entre os atores.
Assim, a responsabilidade passa a ser compartilhada por todos.
Referindo-se à relação entre avaliação e sociedade, Paro (1998) salienta que todos os
envolvidos no processo educacional têm refletido muito pouco sobre a utilidade dos serviços
oferecidos à sociedade, ao mesmo tempo em que os próprios usuários e contribuintes não têm
demonstrado consciência sobre o que deve ser exigido da escola. Chama atenção para o fato
de que a escola pública tem resistido a responsabilizar-se pelo seu produto e pelo qual ela
deve prestar contas ao Estado e à sociedade.
Essa responsabilização pode ser entendida como um dos desafios a ser perseguido,
como aponta Souza (1998), na medida em que a avaliação pode ajudar, oferecendo elementos
para analisar o que se pode aperfeiçoar no processo de ensino.
Diante dessas considerações, responsabilizar a escola não significa que ela deva
assumir, sozinha, o ônus do processo educacional e que o Estado deva se ausentar de seu
papel constitucional de prover os recursos tanto materiais quanto técnicos para que o processo
educacional aconteça de forma a garantir o sucesso do aluno. Apesar de não responderem
unicamente pelo sucesso dos alunos, o diretor, a equipe pedagógica e os professores que
atuam na escola exercem um papel importante em todo o processo educacional, e, exatamente
devido a este papel de destaque é que devem prestar contas de seus atos à sociedade, e em
especial aos alunos e seus familiares. Isso não significa que se deva imputar a esses agentes
uma culpabilidade sobre os resultados negativos do processo educacional. Seria mais
proveitoso buscar formas de colaboração em que juntos, agentes escolares, poder público e
22
sociedade tenham fóruns adequados que lhes permitam discutir esses resultados e encontrar
soluções que possibilitem superar os problemas.
Assim, prestar contas à sociedade do trabalho desenvolvido na escola é uma das
formas de aprimorar a qualidade da educação. A responsabilidade pelos resultados deve
envolver, de forma colaborativa, o governo federal, os governos estaduais e municipais, os
profissionais que atuam na escola e a comunidade escolar.
Como a escola se encontra integrada a uma política educacional, Dalben (2003) afirma
que é fundamental que os diferentes níveis do sistema educacional (governo, instituições,
professores, comunidade escolar) sejam responsabilizados em relação aos resultados obtidos.
Ao mesmo tempo, sugere que os professores se debrucem sobre os resultados das avaliações
para também exigir a implementação de novas políticas de gestão do sistema. Além desses
fatores, acredito ser importante acrescentar a necessidade de se estabelecer padrões de
qualidade que possam nortear a construção e o acompanhamento de políticas públicas
educacionais eficientes e eficazes.
É preciso considerar que a relevância de qualquer avaliação não pode ser desarticulada
de uma definição clara de um padrão de qualidade que se quer atingir. Sem isso, a avaliação
pode tornar-se um valor em si mesma.
No caso específico do Saeb, ainda que a avaliação seja expressa por indicadores
quantitativos, que não podem prescindir de medidas e comparações, é possível admitir o seu
caráter social, já que seus resultados se destinam a subsidiar políticas públicas, contribuindo
assim para a melhoria do sistema educacional como um todo. Por essa razão, os resultados do
Saeb não podem ficar restritos ao uso fechado do sistema central de educação ou ao seu uso
inadequado pela mídia, que se limita a estabelecer um ranqueamento interestadual ou
interinstitucional. A relevância de um sistema de avaliação seja ele de larga escala ou restrito
ao âmbito institucional, será atestada pelo uso que dele se faz, no sentido de promover a
qualidade educacional que a sociedade deseja.
Avaliar um sistema educacional significa ir além das medições ou apresentação de
resultados que dizem respeito ao desempenho do sistema nacional como um todo, envolve a
definição de políticas e estratégias governamentais para o aperfeiçoamento institucional e do
processo de ensino-aprendizagem em seus diferentes níveis. É preciso estar ciente de que
qualquer sistema de avaliação de sistemas deve ter como finalidade última a própria
sociedade, que deve ter garantido o acesso a uma educação de qualidade.
A partir dessas considerações, algumas indagações merecem destaque: Quais os usos
que o sistema de ensino faz das informações geradas pelos resultados das avaliações? Como
23
os responsáveis pelo sistema se mobilizam para enfrentar os problemas apontados pelo Saeb?
Como os responsáveis pelo sistema replanejam suas ações a partir dos resultados obtidos?
Como esses indicadores afetam a gestão do sistema educacional do Distrito Federal? Que
ações são planejadas junto às escolas e aos professores? Que outras informações a Secretaria
de Educação do Distrito Federal produz e que são utilizadas para auxiliá-la no seu
planejamento? Como ocorre a articulação dessas informações com aquelas fornecidas pelo
Saeb?
Para encontrar respostas a essas indagações, este trabalho definiu como objetivo
compreender de que forma o sistema público de educação do Distrito Federal se apropria das
informações e das análises produzidas pelo ciclo de 2003 do Saeb para aprimorar a gestão do
ensino fundamental sob sua responsabilidade.
Especificamente, foram definidos os seguintes objetivos: 1) identificar e analisar a
estrutura do Saeb, quanto à metodologia de coleta, tratamento e apresentação dos dados; 2)
perceber como a estrutura do planejamento da Secretaria de Educação do Distrito Federal se
articula, em seus diferentes níveis, para compreender o processo de avaliação do Saeb; 3)
analisar de que forma a instituição se apropria dos resultados do Saeb para reestruturar as suas
ações; 4) identificar e analisar, na percepção dos gestores da Secretaria, quais as implicações
dos resultados do Saeb na gestão e planejamento das escolas.
Como existem ainda poucos estudos sobre os impactos do Saeb no ensino
fundamental, esta pesquisa pode contribuir para o avanço do conhecimento sobre o tema,
visto que se trata de um trabalho empírico, cujo objetivo é compreender a inserção do Saeb na
realidade concreta de uma unidade da Federação, aqui representada pelo Distrito Federal.
Por se tratar de uma investigação junto aos gestores envolvidos na definição e
execução de políticas públicas voltadas para o ensino fundamental, o trabalho afirma ainda a
sua relevância junto ao Inep, órgão responsável pela avaliação da educação básica no Brasil.
Para a realização dessa pesquisa foi utilizada a abordagem qualitativa, uma vez que se
quis compreender e aprofundar o conhecimento sobre os diferentes aspectos do objeto em
foco. A abordagem qualitativa, segundo Bogdan e Biklen (apud LÜDKE e ANDRÉ, 1986),
permite o estudo do fenômeno a partir do contato direto do pesquisador com a situação a ser
investigada, em que se procura verificar, na perspectiva dos participantes, como o fenômeno
se manifesta em todos os seus aspectos. Para isso, foram adotados os seguintes procedimentos
metodológicos: análise bibliográfica, análise documental e entrevista semi-estruturada.
O objetivo da análise bibliográfica foi buscar um aprofundamento dos estudos e
pesquisas existentes na área de avaliação e que pudessem dar sustentação ao presente
24
trabalho. Foram consultados autores como: Vianna (1990, 2001, 2003 e 2005), Dias Sobrinho
(1995 e 2000), Ristoff (1995), Dalben (2003), Belloni (2003) e Bonamino (2002 e 2004). À
luz desses autores, foi possível estabelecer alguns dos referenciais de análise utilizados ao
longo da pesquisa. Fundamental também foi Ravela (2005) que problematiza os sistemas de
avaliação educacional existentes.
Buscou-se, ainda, entender como no Brasil e no mundo ocorreu a passagem das
primeiras medições em educação até se chegar aos atuais sistemas de avaliação. Nesse ponto,
outros autores auxiliaram na pesquisa, como os estudos de Bonamino e Franco (1999), Pilatti
(1994 e 1995), Pestana (1998) e Tyler (2005).
Para o resgate histórico, foram fundamentais os textos legais que criaram o Ministério
da Educação - MEC, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio
Teixeira – Inep e a legislação que versa sobre o Saeb. Para tanto, foram consultados Decretos
e Leis que tratam sobre o tema envolvendo um período de 80 anos, entre 1925 e 2005. Em
especial, mereceram destaque as Leis de Diretrizes e Bases da Educação Nacional de 1961 e
de 1996 e a Lei 10.172 de 2001, que instituiu o Plano Nacional de Educação.
Com a análise documental, teve-se como objetivo identificar e analisar os documentos
que mostram o caminho percorrido pelo MEC e pelo Inep e que levam à institucionalização
do Saeb. Os relatórios técnicos consultados referem-se aos diversos ciclos do Saeb,
compreendidos entre 1990 a 2003. Outros documentos produzidos pelo Inep esclareceram
quais os conceitos utilizados na formulação do Saeb, identificando a sua estrutura, a forma
como as questões que compõem a prova são construídas, como a prova é aplicada, como são
analisados os dados, como são divulgados os resultados para o conjunto da sociedade, e quais
os usos que são feitos dos resultados obtidos.
Na linha da investigação qualitativa, optou-se por trabalhar com entrevistas semi-
estruturadas com os gestores da Secretaria de Educação do Distrito Federal que estivessem
mais próximos às tomadas de decisões. Cuidou-se para que as entrevistas resguardassem a
liberdade discursiva dos sujeitos. Para tanto, não se limitou o tempo e nem a fala dos
interlocutores, buscando-se, ao mesmo tempo, incorporar informações não previstas no roteiro
original.
A escolha dos gestores entrevistados levou em consideração a estrutura existente na
Secretaria de Educação do Distrito Federal, identificando aqueles órgãos que atuam
diretamente com o ensino fundamental e com a atividade de planejamento. Junto ao núcleo
central da administração da secretaria, dois órgãos se adequaram ao objetivo proposto: a
Subsecretaria de Educação Pública - Subep, que tem como uma de suas responsabilidades as
25
ações pedagógicas voltadas para as escolas de ensino fundamental e a Subsecretaria de
Inspeção e Planejamento - Subip, que tem como uma de suas atribuições as atividades de
planejamento e acompanhamento de toda a Secretaria. Foram entrevistados três dirigentes,
dois da Subep e um da Subip. Procuraram-se também os órgãos gestores que estivessem
próximos do dia-a-dia das escolas, tendo sido identificados os Núcleos de Coordenação
Pedagógica - NCP, ligados a cada uma das 14 Diretorias Regionais de Ensino - DRE,
instaladas em cidades do Distrito Federal. Por questões ligadas à falta de financiamento para
esta pesquisa e por restrições de tempo disponível para a realização das entrevistas, foram
escolhidos cinco coordenadores dos Núcleos de Coordenação Pedagógica para as entrevistas.
Foi utilizado como critério de escolha desses coordenadores o percentual de escolas do
Distrito Federal ligadas aos Núcleos. A carta de apresentação fornecida aos interlocutores
entrevistados e o roteiro da entrevista semi-estruturada encontram-se nos Apêndices I e II,
respectivamente.
Esta dissertação está dividida em três capítulos. O primeiro deles descreve o processo
evolutivo desde as primeiras medições educacionais feitas no Brasil, em 1907, passando pela
institucionalização do Saeb e chegando até o ano de 2005. O segundo capítulo trata das
principais questões que envolvem a construção de um sistema de avaliação em larga escala,
com destaque para a elaboração das provas e a divulgação dos resultados. Também nesse
capítulo são apresentadas a estrutura do Saeb e uma análise dos relatórios nacionais dos ciclos
de 1990 até 2003. O terceiro capítulo é dedicado à análise dos resultados das entrevistas
realizadas, que tiveram como foco os resultados do ciclo de 2003 do Saeb, para o ensino
fundamental do Distrito Federal. A quarta e última parte deste trabalho está reservada às
considerações finais.
26
CAPÍTULO 1 - UM OLHAR RETROSPECTIVO SOBRE A AVALIAÇÃO
EXTERNA NO BRASIL
3
Este capítulo apresenta o percurso histórico que marcou as primeiras experiências de
avaliação educacional no Brasil, desde a realização dos primeiros levantamentos de dados, no
início do século XX, até a sua institucionalização nos anos de 1990, por meio do Sistema de
Avaliação da Educação Básica – Saeb. São abordados, ainda, os determinantes internacionais
que contribuíram para a afirmação da avaliação externa como um dos pontos centrais da
política educacional brasileira no final do século XX.
1.1 Das primeiras estatísticas educacionais à avaliação externa
As primeiras medições da educação brasileira iniciaram-se em 1907, com o objetivo
de suprir o Anuário Estatístico do Brasil com dados sobre o ensino público e privado em seus
diferentes níveis e modalidades, quais sejam: ensino superior, profissional, secundário e
primário. A coleta de dados limitou-se, em um primeiro momento, ao antigo Distrito Federal e
apresentava informações sobre a quantidade de escolas, de pessoal docente, de matrículas e
repetências.
A partir de 1925, a administração educacional ganhou fórum privilegiado. Até então,
funcionava no Departamento Nacional de Ensino, vinculado ao Ministério da Justiça e
Negócios Interiores (BRASIL, 1925). Após a Revolução de 1930, foi criado o Ministério dos
Negócios da Educação e Saúde Pública, pelo Decreto 19.402/30, que incorporou o antigo
Departamento Nacional de Ensino (BRASIL, 1930). No ano seguinte, o Decreto 19.560/31,
aprovou o regulamento que regia o novo ministério, sendo criada a Diretoria Geral de
Informações Estatísticas e Divulgação (BRASIL, 1931). Apesar dessa iniciativa, o processo
de coleta de dados foi interrompido por mais de uma década, só voltando a ser reativado em
1936. A partir de então, adotou-se uma nova sistemática de coleta de dados, que passou a
incluir informações, não somente do Distrito Federal, mas de todo o Brasil (BRASIL, 2003).
A organização de levantamentos educacionais foi uma tendência disseminada a partir
de estudos desenvolvidos em outros países. Uma das experiências mais relevantes ocorreu em
1930, nos Estados Unidos, onde Ralph Tyler coordenou a realização de um estudo
longitudinal que envolveu 30 escolas do estado de Ohio. O estudo ficou conhecido como
3
Este capítulo foi a base de um texto apresentado na 1ª Reunião da Associação Brasileira de Avaliação
Educacional, ABAVE, ocorrida em Belo Horizonte entre 11 e 12 de maio de 2006.
27
Eight Years Study e influenciou o desenvolvimento de uma série de levantamentos em todo o
mundo, inclusive no Brasil.
Em 1934, o Decreto 24.609/34 criou o Instituto Nacional de Estatísticas, embrião do
atual Instituto Brasileiro de Geografia e Estatística - IBGE, com o objetivo de “promover,
fazer executar e orientar tecnicamente o levantamento sistemático de todas as estatísticas
nacionais em regime federalizado” (BRASIL, 1934). O Instituto coordenava os trabalhos de
levantamentos estatísticos dos diversos órgãos do Governo Federal, entre eles, a Diretoria
Geral de Informações Estatísticas e Divulgação, do Ministério dos Negócios da Educação e
Saúde Pública. De acordo com o decreto, essa Diretoria tinha como responsabilidades “os
levantamentos atinentes aos fatos educacionais, culturais e médicos sanitários” (op. cit.).
Em 1937, o Ministério passou a chamar-se Ministério da Educação e Saúde por
determinação da Lei 378/37, que criou o Instituto Nacional de Pedagogia “destinado a realizar
pesquisas sobre os problemas do ensino nos seus diferentes aspectos” (BRASIL, 1937).
No ano seguinte, já na vigência do Estado Novo, foi editado o Decreto 580/38, que
alterou o nome e os objetivos do Instituto de Pedagogia. Este passou a denominar-se Instituto
Nacional de Estudos Pedagógicos – Inep e funcionava como “centro de estudos de todas as
questões educacionais relacionadas com os trabalhos do Ministério da Educação e Saúde”
(BRASIL, 1938). O artigo 2º do Decreto determinava que o Inep teria as seguintes
competências:
a) organizar documentação relativa à história e ao estudo atual das doutrinas e das
técnicas pedagógicas, bem como das diferentes espécies de instituições educativas;
b) manter intercâmbio, em matéria de pedagogia, com as instituições educacionais
do país e do estrangeiro; c) promover inquéritos e pesquisas sobre todos os
problemas atinentes à organização do ensino, bem como sobre os vários métodos e
processos pedagógicos; d) promover investigações no terreno da psicologia aplicada
à educação, bem como relativamente ao problema da orientação e seleção
profissional; e) prestar assistência técnica aos serviços estaduais, municipais e
particulares de educação, ministrando-lhes, mediante consulta ou
independentemente dessa, esclarecimentos e soluções sobre os problemas
pedagógicos; f) divulgar, pelos diferentes processos de difusão, os conhecimentos
relativos à teoria e à prática pedagógicas (BRASIL, 1938).
Nos primeiros anos de funcionamento, o Instituto dedicou-se ao estudo da psicologia
escolar e dos custos e despesas educacionais por nível de governo. O propósito era subsidiar a
realização de estudos internacionais comparados (Castro, 1999).
Em 1947, foi organizado em Paris o Primeiro Encontro do Comitê de Estatísticas
Educacionais, formado por um grupo ligado à UNESCO. O Encontro culminou com a
organização, em 1950, de uma comissão de especialistas com a missão de padronizar as
28
estatísticas educacionais. Em 1955, foi publicado o World Survey of Education, com previsão
de reedição a cada três anos, contendo cerca de mil páginas com informações educacionais de
quase 200 países e territórios (UNESCO, 1997). A partir dessas iniciativas, a Unesco passou a
estimular os países membros a aperfeiçoar as suas estatísticas educacionais.
Em 1953, durante o segundo mandato constitucional de Vargas, ocorreu a separação
entre as ações de educação e de saúde. A Lei 1.920/53 criou o Ministério da Saúde e o
Ministério da Educação e Cultura. Na estrutura desse último, foi criado o Serviço de
Estatística da Educação e Cultura – SEEC, que assumiu as funções de realizar os
levantamentos estatísticos dos dados da educação e da cultura (BRASIL, 1953).
Em 1961, durante o regime parlamentarista, que tinha Tancredo Neves como Primeiro
Ministro, foi aprovada pelo Congresso Nacional a Lei 4.024/61, conhecida como Lei de
Diretrizes e Bases da Educação Nacional – LDB. Entre os diversos temas tratados na Lei,
destacava-se uma referência especial à estatística educacional. Pelo artigo 96, a Lei
determinava que o Conselho Federal de Educação e os conselhos estaduais deveriam envidar
esforços para:
[...] melhorar a qualidade e elevar os índices de produtividade do ensino em relação
ao seu custo:
- promovendo a publicação anual das estatísticas do ensino e dados complementares,
que deverão ser utilizados na elaboração dos planos de aplicação de recursos para o
ano subseqüente;
- estudando a composição de custos do ensino público e propondo medidas
adequadas para ajustá-lo ao melhor nível de produtividade (BRASIL, 1961).
Vale destacar que o texto da Lei já se referia à eficiência do sistema educacional,
estabelecendo uma associação entre qualidade e índices de produtividade do ensino, tendo
como parâmetro o seu custo.
A relação entre avaliação e qualidade foi tema de destaque em âmbito internacional e
teve seu marco de referência nos Estados Unidos. Em 1965, foi realizado o primeiro grande
levantamento educacional em larga escala, promovido pelo governo norte-americano e que
deu origem ao chamado Relatório Coleman. O estudo envolveu 645 mil alunos, distribuídos
em cinco níveis de ensino, com o objetivo de verificar a variação dos conhecimentos
adquiridos pelos alunos de diferentes escolas. O estudo foi motivado pela promulgação da Lei
dos Direitos Civis, de 1964, na perspectiva de resgatar os direitos das minorias, em especial a
população negra. Pela primeira vez, verificou-se que o diferencial de conhecimentos entre os
alunos era explicado mais por variáveis sócio-econômicas do que por variáveis escolares
(BONAMINO e FRANCO, 1999, COLEMAN, 2000; VIANNA, 2005).
29
Como resultado, o governo norte-americano criou o National Assessment Educational
Program - Naep, ligado ao Departamento de Educação, com o objetivo de promover e realizar
avaliações educacionais. Os resultados do relatório foram amplamente divulgados em
diversos países, dando origem a debates e estudos acadêmicos sobre os fatores que
influenciavam a qualidade educacional.
No Brasil, durante o Governo Médici, o Inep ganhou autonomia administrativa e
financeira. Em 1972, por meio do Decreto 71.407, o Instituto recebeu nova denominação
passando a chamar-se Instituto Nacional de Estudos e Pesquisas Educacionais. Entre suas
atribuições, o novo órgão deveria “exercer todas as atividades necessárias ao estímulo,
coordenação, realização e difusão da pesquisa educacional no País” (BRASIL, 1973). Nos
anos seguintes, os Decretos 75.625/75 e 99.678/90 alteraram algumas das funções do Inep,
sem, contudo, alterar a sua essência como promotor de estudos e pesquisas voltados para
diferentes temas educacionais (BRASIL, 1975 e 1990).
No período entre meados e fins dos anos 1980, durante os Governos Figueiredo e
Sarney, o Inep teve uma inexpressiva atuação, e quase chegou a ser extinto durante o Governo
Collor (anos 1990 a 1992).
As primeiras experiências de avaliação em larga escala ocorreram por iniciativa da
Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior, Capes, órgão ligado ao
MEC, com a atribuição de zelar pela qualidade do corpo docente das instituições de educação
superior. A partir de 1976, a Capes passou a avaliar os programas de pós-graduação em todo o
país. Na década de 1980, em virtude do crescimento de cursos de graduação e da matrícula, a
avaliação despontou como uma forma de assegurar a qualidade do ensino. Em 1983, surgiu o
Programa de Avaliação da Reforma Universitária, Paru, com o intuito de verificar o impacto
da Reforma propugnada pela Lei nº 5.540/68. Em 1985, foi elaborada a proposta de avaliação
da educação superior pelo Grupo Executivo para a Reforma da Educação Superior, Geres. Na
década de 1990, o novo Programa da Avaliação Institucional das Universidades Brasileiras,
Paiub, passou a ser utilizado por uma parcela importante de instituições de educação superior.
A avaliação externa nos textos legais brasileiros
Vale assinalar que, no início dos anos 1990, a avaliação já ganhava relevância como
política de estado em todo o mundo, principalmente a partir da Conferência de Educação para
Todos em Jontien, Tailândia, coordenada pela Unesco. Como resposta aos compromissos
assumidos pelo Brasil na conferência, foi elaborado em 1993, durante a gestão do ministro
30
Murílio Hingel, o Plano Decenal de Educação para Todos (BRASIL, 1993). O Plano previa
uma série de ações com o objetivo de melhorar a educação brasileira. Entre outros pontos,
ressaltou a importância de uma avaliação nacional como forma de melhorar a qualidade do
ensino e destacou a implementação e o desenvolvimento do Sistema de Avaliação da
Educação Básica – Saeb, com a finalidade de “aferir a aprendizagem dos alunos e o
desempenho das escolas de 1º grau e prover informações para a avaliação e revisão de planos
e programas de qualificação educacional” (BRASIL, 1993, p.51)
4
. O Plano previa, ainda, a
implantação de núcleos de estudos em avaliação nas universidades e centros de pesquisa, a
formação e capacitação de recursos humanos e a produção de pesquisa aplicada para subsidiar
políticas públicas de qualidade educacional.
Em 1995, durante o governo de Fernando Henrique Cardoso, foi elaborado o Plano
Diretor da Reforma do Aparelho do Estado, indicando diretrizes para o processo educacional
brasileiro. Dentre elas, podemos citar a descentralização, como uma nova visão para a gestão
das instituições públicas, balizadas pelos princípios de eficiência, autonomia e participação
social, esta última considerada como fator de “melhoria da qualidade e eficiência na prestação
de serviços pelo setor público” (BRASIL, 1995a, p.5). Uma outra questão que ganhou
relevância no Plano foi a necessidade de conferir qualidade aos serviços prestados pelo
Estado. Para tanto, o Plano recomenda:
Uma ação de avaliação institucional, com o objetivo de identificar a finalidade de
cada órgão da administração pública no sentido de promover o (re) alinhamento com
os objetivos maiores do Estado. Em seguida, será elaborado uma sistemática de
avaliação, a partir da construção de indicadores de desempenho, que permita
mensurar os graus de concepção dos objetivos pretendidos (BRASIL, 1995a, p.4).
Em consonância com essa recomendação do governo, o MEC organizou, durante a
gestão do ministro Paulo Renato Souza, o Sistema de Informações Educacionais, SIEd, com o
objetivo de produzir informações para subsidiar as secretarias de educação dos entes
federados no que diz respeito à gestão dos sistemas estaduais de educação. Em contrapartida,
os estados deveriam fornecer ao MEC informações para o acompanhamento do desempenho
do sistema educacional brasileiro como um todo.
A avaliação externa foi destacada nos textos legais que se seguiram. Em 1996, foi
aprovada a nova LDB, Lei 9.394, sancionada em dezembro de 1996. Em seu artigo 9º, inciso
V, determinou que cabia à União a coleta, a análise e a disseminação de informações sobre
4
Nessa época, já haviam sido realizadas duas avaliações pelo Saeb. Isso será mais bem descrito no próximo
tópico deste capítulo.
31
educação. O inciso VI, desse mesmo artigo, estabeleceu também que a União, em colaboração
com os sistemas de ensino, deveria assegurar um processo nacional de avaliação do
rendimento escolar nos dois níveis de ensino, básico e superior, com o objetivo de definir
prioridades para melhorar a qualidade do ensino (BRASIL, 1996).
Ainda em maio de 1996, foi editado o Decreto nº 1.917 que aprovava uma nova
estrutura regimental do MEC e determinava, entre outras medidas, a criação da Secretaria de
Avaliação e Informação Educacional - Sediae. Por meio dela, o MEC antecipava-se à
determinação da LDB de assegurar um processo de avaliação do rendimento escolar. O Artigo
22 desse decreto definia as atribuições da Secretaria:
I- planejar, orientar e coordenar o desenvolvimento de sistemas de avaliação
educacional, visando o estabelecimento de parâmetros e indicadores de
desempenho nas atividades de ensino do País;
II- subsidiar a formulação de políticas e o monitoramento do sistema de ensino, com
os dados gerados pelos sistemas de estatísticas e informações educacionais.
III- realizar diagnósticos baseados em pesquisas, avaliações e estatísticas
educacionais, objetivando a proposição de ações para a melhoria do sistema
educacional.
IV- articular-se com instituições nacionais estrangeiras e internacionais, mediante
ações de cooperação institucional, técnica e financeira, bilateral e multilateral.
(BRASIL, 1996a).
Faziam parte da estrutura dessa Secretaria os departamentos de Avaliação da Educação
Básica, Apoio Técnico à Avaliação dos Cursos de Graduação e, por fim, Estatísticas
Educacionais. A estrutura da Secretaria perdurou durante nove meses, tendo sido revogada
pelo Decreto 2.146/97, que transferiu as suas funções para o Inep, aprovando ao mesmo
tempo uma nova estrutura para esse Instituto. A instituição, segundo o artigo 1º desse
Decreto, passou a ter as seguintes atribuições:
I - organizar e manter o sistema de informações e estatísticas educacionais;
II - planejar, orientar e coordenar o desenvolvimento de sistemas e projetos de
avaliação educacional, visando o estabelecimento de indicadores de desempenho das
atividades de ensino no País;
III - apoiar os Estados, o Distrito Federal e os Municípios no desenvolvimento de
sistemas e projetos de avaliação educacional;
IV - desenvolver e implementar, na área educacional, sistemas de informação e
documentação que abranjam estatísticas, avaliações educacionais, práticas
pedagógicas e de gestão das políticas educacionais;
V - subsidiar a formulação de políticas na área de educação, mediante a elaboração
de diagnósticos e recomendações decorrentes da avaliação da educação básica e
superior;
VI - coordenar o processo de avaliação dos cursos de graduação, em conformidade
com a legislação vigente;
VII - definir e propor parâmetros, critérios e mecanismos para a realização de
exames de acesso ao ensino superior;
32
VIII - promover a disseminação de informações sobre avaliação da educação básica
e superior;
IX - articular-se, em sua área de atuação, com instituições nacionais, estrangeiras e
internacionais, mediante ações de cooperação institucional, técnica e financeira,
bilateral e multilateral (BRASIL, 1997).
Pela leitura de suas atribuições, percebe-se uma mudança estrutural nas funções
desempenhadas pelo Inep. Antes, concentrado nas atividades de estudos e pesquisas de temas
educacionais, passou a se responsabilizar centralmente pelas atividades de avaliação
educacional.
Em 2001, obedecendo à determinação do artigo 14 da Constituição Federal, que
determinava a elaboração de um plano plurianual para a educação, foi aprovada a Lei 10.172
que estabeleceu o Plano Nacional de Educação - PNE. Com duração de 10 anos, o Plano
recomendava a articulação e o desenvolvimento do ensino em seus diversos níveis e a
integração das ações do Poder Público. Partia-se da constatação de que a construção da
qualidade da educação seria uma tarefa constante e progressiva, sendo estabelecidas cinco
prioridades, em atendimento ao preceito constitucional de atendimento às necessidades
sociais. A quinta dessas prioridades, de certa forma reafirmando o artigo 9º da LDB,
determina:
Desenvolvimento de sistemas de informação e de avaliação em todos os níveis e
modalidades de ensino, inclusive educação profissional, contemplando também o
aperfeiçoamento dos processos e difusão dos dados, como instrumentos
indispensáveis para a gestão do sistema educacional e melhoria do ensino (BRASIL,
2001, p.35).
O PNE também estabeleceu objetivos e metas para cada nível e etapa de ensino,
determinando que elas devem ser atingidas até 2011. Do total de 30 objetivos e metas para o
ensino fundamental, merece destaque a meta nº 26, que estabelece a necessidade de um
programa de monitoramento de desempenho dos alunos:
26. Assegurar a elevação progressiva do nível de desempenho dos alunos mediante a
implantação, em todos os sistemas de ensino, de um programa de monitoramento
que utilize os indicadores do Sistema Nacional de Avaliação da Educação Básica e
dos sistemas de avaliação dos Estados e Municípios que venham a ser desenvolvidos
(BRASIL, 2001, p. 52).
Para o ensino médio, o Plano definiu 20 objetivos e metas, destacando-se a de número
três, que também se refere a sistemas de avaliação de desempenho:
33
3. Melhorar o aproveitamento dos alunos do ensino médio, de forma a atingir níveis
satisfatórios de desempenho definidos e avaliados pelo Sistema Nacional de
Avaliação da Educação Básica (Saeb), pelo Exame Nacional do Ensino Médio
(ENEM) e pelos sistemas de avaliação que venham a ser implantados nos Estados
(BRASIL, 2001, p.59).
O Plano também estabeleceu 44 metas para o Financiamento e a Gestão. Do total, 26
delas são específicas para a Gestão dos sistemas de ensino. A avaliação é apresentada como
ponto central da gestão educacional, merecendo destaque as metas de números 31, 38, 39 e
41:
31. Estabelecer, em todos os Estados, com auxílio técnico e financeiro da União,
programas de formação do pessoal técnico das secretarias, para suprir, em cinco
anos, pelo menos, as necessidades dos setores de informação e estatísticas
educacionais, planejamento e avaliação.
38. Consolidar e aperfeiçoar o Sistema Nacional de Avaliação da Educação Básica –
Saeb e o censo escolar.
39. Estabelecer, nos Estados, em cinco anos, com a colaboração técnica e financeira
da União, um programa de avaliação de desempenho que atinja, pelo menos, todas
as escolas de mais de 50 alunos do ensino fundamental e Médio.
41. Definir padrões mínimos de qualidade da aprendizagem na Educação Básica
numa Conferência Nacional de Educação, que envolva a comunidade educacional
(BRASIL 2001, p.113 e 114).
A observação dos textos legais referidos (Lei 9.394/96, Decreto 2.146/97 e Lei
10.172/01) deixa clara a importância da coleta de informações e da avaliação externa como
instrumentos de base para a gestão educacional. Outro aspecto que merece destaque é o fato
de que a legislação recomendou a descentralização da avaliação, ao estabelecer que deveriam
ser organizados, em todos os estados brasileiros, programas de avaliação de desempenho da
educação básica, com o apoio técnico e financeiro da União. Merece destaque também a meta
de número 41 que determinou a definição de forma colegiada de padrões mínimos de
qualidade de aprendizagem. Até agora, quase cinco anos depois da edição da Lei, nenhuma
providência nesse sentido foi tomada.
Atualmente, o governo federal, por meio do Inep, desenvolve duas ações de
abrangência nacional voltadas à educação básica: o Censo da Educação Básica e Sistema de
Avaliação da Educação Básica – Saeb. Os dados do Censo são referência para o repasse dos
recursos de diversos programas federais como: Programa Dinheiro Direto para a Escola –
PDDE, Merenda Escolar, Livro Didático, Transporte Escolar e Fundo de Manutenção e
Desenvolvimento do Ensino Fundamental e Valorização do Magistério, Fundef.
A partir dos anos 1990, a avaliação educacional foi tema central de uma série de
estudos internacionais, com o objetivo de estabelecer comparações entre os sistemas
34
educacionais de diferentes países. Entre eles, destacam-se: Programme for International
Student Assessment – PISA, coordenado pela OCDE, e do qual participam atualmente mais
de 60 países; Trends in International Mathematics and Science Study – Timss, que envolve
mais de 50 países, e Progress in International Reading Literacy Study – Pirls, conduzidos pelo
International Association for the Evaluation of Educational Achievement – IEA, com sede na
Bélgica; Laboratório Latino Americano de Evaluación de la Calidad de la Educación –
LLECE, que constitui uma rede de discussões virtuais sobre avaliação, da qual fazem parte 18
países latino-americanos, sob a coordenação da Orealc-Unesco. Outros estudos
desenvolveram indicadores educacionais aplicáveis internacionalmente: o Education at a
Glance, coordenado pela OCDE e o World Education Indicators – WEI, coordenado pelo
Unesco Institute for Statistics.
O desenvolvimento de sistemas nacionais de avaliação, que começou nos Estados
Unidos em fins dos anos 1960, se expande para a Europa na década de 70 e nos anos 80
atinge a Ásia e Oceania. Na década de 1990, em praticamente quase todos os países da
América Latina são criados sistemas nacionais de avaliação de aprendizagem. O Quadro 1,
construído a partir de dados obtidos por uma pesquisa desenvolvida por Ferrer (2006), mostra
o estágio de desenvolvimento dos sistemas de avaliação educacional na América Latina.
Quadro 1: Sistemas de avaliação de aprendizagens na América Latina
Ano da Primeira
Avaliação
País
Ano da Última
Avaliação
Participação em Avaliações Internacionais
1975 Cuba 2002 Orealc
1980 Colômbia 2005 Orealc, Timss, Pirls, IEA
1981 Panamá 2001 -
1982 Chile 2005 Orealc, Timss, Pirls, Pisa, IEA, IALS
Brasil 2005 Orealc, Timss, PISA, ETS
1988
Costa Rica 2003 Orealc
1990 Honduras 2004 Orealc
1991
República
Dominicana
2003 Orealc
1992 Guatemala 2004 -
El Salvador 2004 -
1993
Argentina 2005 Orealc, Timss, Pirls, Pisa, IEA
1995 México 2005 Timss, Orealc, Pisa
(continua)
35
(finalização)
Ano da Primeira
Avaliação
País
Ano da Última
Avaliação
Participação em Avaliações Internacionais
Bolívia 2000 Orealc
Equador 2000 -
Paraguai 2001 Orealc
Nicarágua 2002 -
Uruguai 2002 Pisa
1996
Peru 2004 Orealc, Pisa
1998 Venezuela 1998 Orealc
Fonte: Ferrer, 2006.
O Quadro 1 destaca o ano em que as primeiras avaliações aconteceram e o ano da
última avaliação realizada, permitindo perceber que a sua institucionalização não ocorreu
ainda em todo o continente. Merece destaque o caso de Cuba, que, em 1975 já realizava
avaliações educacionais. Nos anos 1980, a avaliação já havia sido incorporada pela Colômbia,
Panamá, Chile, Brasil e Costa Rica. Outros países iniciaram suas avaliações entre 1990 e
1998.
1.2 Das primeiras avaliações da educação básica, na década de 1980, até a
institucionalização do Saeb, em 2005.
No Brasil, os primeiros estudos com o objetivo de estabelecer um sistema de avaliação
para a educação básica, ocorreram no âmbito do Programa de Educação Básica para o
Nordeste Brasileiro - Edurural. O programa, implementado em 1980, previa um investimento
de US$ 91,4 milhões, sendo que 35% do total eram oriundos de um empréstimo junto ao
Banco Mundial. Tinha por objetivo expandir o acesso às quatro primeiras séries, diminuir as
taxas de repetência e evasão e melhorar o rendimento escolar dos alunos da Região Nordeste.
Foi implantado em mais de 400 municípios, selecionados entre aqueles considerados menos
desenvolvidos, no período entre 1981 e 1987 (GOMES NETO et al, 1994; BRASIL, 1986). O
programa teve um longo período de gestação, e foi planejado inicialmente pela equipe do
MEC. A partir de 1977 contou também com o aporte técnico da equipe do Banco. A parceria
com a instituição trouxe ao programa algumas modificações, destacando-se entre elas a
introdução de uma avaliação com o objetivo de medir o impacto do programa junto aos
municípios participantes (GATTI et al, 1991). Ficou definido que esse impacto seria medido a
partir de pesquisas de campo que avaliassem o rendimento escolar dos alunos, submetidos a
uma prova. Com a assinatura do acordo de empréstimo em 1980, a Fundação Carlos Chagas
foi contratada para desenvolver os diagnósticos, elaborar os projetos e implementar um
36
sistema de avaliação. Segundo Gomes Neto e Rosemberg (1995), os dados foram coletados
nos anos de 1981, 1983 e 1985 em 60 municípios de três estados: Pernambuco considerado o
estado mais desenvolvido, Ceará considerado de desenvolvimento médio e Piauí, o menos
desenvolvido. A amostra era composta por cerca de 600 escolas e 6.000 alunos.
O desempenho dos alunos foi “aferido por meio de provas de rendimento acadêmico,
incluindo nível de domínio de habilidades básicas nas áreas de Português e Matemática em
alunos de 2ª e 4ª séries do ensino fundamental
5
” (GATTI et al, 1991). Além das provas, foram
realizados estudos de caso que tinham por objetivo identificar as variáveis que atuavam no
processo de ensino.
Em meados dos anos 1984, começou a ser desenhado o Programa de Educação Básica
para o Nordeste, conhecido como Projeto Nordeste, pela Secretaria Nacional de Educação
Básica (Seneb) do MEC. O projeto, desenvolvido também em parceria com o Banco Mundial,
foi negociado durante 10 anos e o contrato de empréstimo foi assinado em 1994, dentro do VI
Acordo de Empréstimo entre o MEC e o Banco Mundial. Participavam do projeto, além do
banco, os governos dos nove estados nordestinos e o governo federal. O valor total do projeto,
considerado à época como o maior empréstimo que o Banco havia feito na área social até
então, era de US$ 736,6 milhões, cabendo, respectivamente, ao Banco, ao governo federal e
aos governos estaduais as seguintes parcelas: US$ 418,6, US$ 149,9 e US$ 168,1. O projeto,
com duração prevista de cinco anos (1993/94 até 1999) era organizado em subprojetos
estaduais (um para cada estado) e subprojeto nacional. Neste último, previa-se um
componente de avaliação da educação “com o objetivo de propiciar uma avaliação sistemática
dos resultados escolares, medidos em termos do desempenho do aluno, dos professores e da
rede escolar” (BRASIL, 1994a, p. 10). Uma das metas do Projeto era “[...] aumentar a
capacidade nacional para a avaliação sistemática do desempenho dos sistemas de ensino
básico” (op. cit., p. 12).
Em 1987, o Inep já estudava a criação de um programa de avaliação externa do então
ensino de 1º grau que permitisse fornecer informações às secretarias estaduais de educação
sobre os problemas de aprendizagem. Para tanto, foi firmado um convênio entre as secretarias
e o MEC para a realização dessa avaliação, contratando-se a Fundação Carlos Chagas para a
5
Foram apontados os seguintes motivos para a escola das séries pesquisadas: a 2ª série foi escolhida porque esta
permitiria: 1) uma avaliação de modo mais consistente do que na 1ª série dos primeiros efeitos da escolarização
no que diz respeito às disciplinas selecionadas e 2) uma verificação dos efeitos do programa sobre o problema de
retenção na 1ª série que, se diminuída, implicaria o aumento do contingente de alunos que permaneciam na
escola e o melhor fluxo do sistema de ensino. Quanto à 4ª série, sua inclusão justifica-se pela importância de um
estudo de eficiência e da qualidade do ensino rural, na medida em que reside aí a sua terminalidade (GATTI et
al, p.10).
37
sua execução. O estudo foi subdividido em três pesquisas que avaliaram um total 27.455
alunos de 238 escolas, em 69 cidades localizadas em vários estados (GATTI et al, 1991).
Em 1988, a Fundação Carlos Chagas firmou um contrato com o governo do estado do
Paraná para a realização de uma pesquisa em sua rede de ensino. A base dessa pesquisa foi o
trabalho anteriormente desenvolvido para o Inep, e foi realizada, segundo Vianna (1990;
2005) em duas etapas, avaliando-se quase 30.000 alunos em 29 cidades do estado.
Também em 1988, o MEC, por intermédio da Seneb, criou mecanismos de avaliação
da educação para serem aplicados em todo o Brasil, ampliando-se a abrangência da avaliação
proposta pelo Projeto Nordeste. A equipe do MEC já havia adquirido alguma experiência
durante o período de execução do Edurural e contava-se também com a experiência adquirida
na pesquisa realizada em 1987. Surgiu, assim, o Sistema de Avaliação do Ensino Público de
1º Grau – Saep, que utilizou os recursos de um convênio firmado entre o Instituto
Interamericano de Cooperação para a Agricultura – IICA e o Ministério da Educação. Esse
sistema de avaliação foi concebido como um projeto integrador e cooperativo entre a União e
as Unidades da Federação, na medida em que permitia orientar as políticas educacionais tanto
do governo federal como dos governos locais (PILATTI et al, 1995.).
Dada a premência de tempo e graças à experiência acumulada nas avaliações
anteriores, a Fundação Carlos Chagas utilizou os mesmos instrumentos desenvolvidos para a
pesquisa Avaliação do Rendimento de Alunos de Escolas de 1º grau da Rede Pública. Havia,
porém, um problema a ser contornado relativo à definição dos conteúdos das provas, já que
não havia um currículo único e nacionalmente adotado em todas as escolas. Para resolver esse
impasse, foi realizada uma consulta junto a uma amostra de professores com o objetivo de
identificar os conteúdos que estariam desenvolvendo em sala de aula. Os mesmos professores
auxiliaram na elaboração de itens, que procuravam reproduzir o que estava sendo ensinado na
sala, e que depois seriam integrados à avaliação (PILATTI, 1994 e PILATTI et al, 1995).
Em novembro de 1988, foi aplicado o teste piloto da avaliação nos estados do Paraná e
do Rio Grande do Norte, com vistas à sua aplicação em nível nacional, no início de 1989.
Devido a problemas orçamentários, a Seneb só retomou os trabalhos em agosto de 1990, ano
em que ocorreu a primeira avaliação em nível nacional (BRASIL, 1992). Foram avaliados os
alunos das 1ª, 3ª, 5ª e 7ª séries.
Provavelmente, para adequar o recém criado sistema à nomenclatura consagrada pela
nova Constituição, em 1991, o Saep passa a ser chamado de Sistema de Avaliação da
Educação Básica – Saeb, mesmo sem incluir na avaliação o ensino médio. Nesse mesmo ano,
os dados da avaliação foram processados e seus resultados foram publicados em agosto de
38
1992. A partir de 1992, o Inep assumiu a responsabilidade de coordenar e administrar o
desenvolvimento do Saeb. Autores que participaram desse processo (PILATI et al, 1995,
MALUF, 1996) destacam que os objetivos do Saeb eram: desenvolver e aprofundar as
capacidades avaliativas do ministério e das secretarias de educação por meio do
desenvolvimento de equipes especializadas; regionalizar o processo avaliativo; articular os
diversos trabalhos na área de avaliação que estavam sendo realizados; discutir as propostas
curriculares; disseminar na sociedade questões relativas a parâmetros de qualidade. O Saeb foi
desenvolvido em torno de três eixos: democratização da gestão, valorização do magistério e
qualidade do ensino. Esses eixos foram decompostos em dimensões de análise e referidas a
indicadores concretos, sintetizados em três grupos: gestão do ensino; perfil, concepções, e
práticas dos professores. Os eixos, dimensões e indicadores faziam parte da proposta de
avaliação do Projeto Nordeste.
Paralelamente a essa primeira avaliação nacional, ocorreram em Brasília dois
importantes encontros nos quais se discutiram questões relativas à avaliação educacional: o
Simpósio Qualidade, Eficiência e Eficácia da Educação Básica, organizado pelo Ipea em
1991, e o Seminário Nacional sobre Medidas Educacionais, organizado pelo Inep em 1992
(BARRETO, et al, 2001a; ESTUDOS EM AVALIAÇÃO EDUCACIONAL, jan-jun 1992).
Além deles, o Instituto Herbert Levy, ligado ao jornal Gazeta Mercantil, promoveu em 1993
um seminário que, baseado em um estudo desenvolvido por diversos especialistas, propunha a
criação de um sistema nacional de avaliação das escolas de ensino fundamental com o
objetivo de compará-las, além do desenvolvimento de testes de avaliação para alunos de 8ª
série. O objetivo era verificar se as competências básicas haviam sido assimiladas nessa etapa
do ensino (INSTITUTO HERBET LEVY, 1993).
O segundo ciclo do Saeb deveria acontecer em 1992, mas foi reprogramado para o ano
seguinte, em razão de problemas orçamentários. O ciclo de 1993 do Saeb foi marcado pelo
aprimoramento dos seus instrumentos. Para tanto, foi feita uma ampla consulta às secretarias
estaduais, com o intuito de conhecer suas propostas curriculares. As propostas foram
analisadas por um grupo de especialistas de diversas universidades, tendo sido sintetizadas e
submetidas a um outro grupo também composto por especialistas universitários e professores
da rede de ensino fundamental. Com base nessa análise, foram elaboradas as questões que
fariam parte da prova. (PILATTI, 1994; PILATTI et al, 1995; BRASIL, 1995).
Em 27 de dezembro de 1994, portanto, nos últimos dias do Governo Itamar Franco, o
Ministro da Educação Murílio Hingel assinou a Portaria 1.795/94, que institucionalizou o
Saeb como um processo nacional de avaliação.
39
No preâmbulo dessa portaria, o ministro apresentou algumas recomendações, entre
elas, a garantia de educação básica de qualidade com eqüidade e eficiência, como acordado no
Plano Decenal de Educação para Todos; permanente monitoramento da execução e avaliação
dos resultados das políticas públicas; organização sistêmica dos processos de monitoramento
e avaliação envolvendo órgãos governamentais, universidades e centros de pesquisa;
disseminação das informações geradas pelas avaliações junto ao público, de forma a garantir
um controle social dos resultados; institucionalização da experiência acumulada pelo MEC
em processos avaliativos. Com base nessas recomendações, a portaria criava o Sistema de
Avaliação da Educação Básica (Saeb). Para assessorar o MEC, foi constituído um Comitê
Técnico-Científico composto por especialistas em planejamento e avaliação educacional
(BRASIL, 1994).
De acordo com a portaria, o Saeb deveria contribuir para o desenvolvimento de uma
cultura avaliativa que estimulasse a melhoria dos padrões de qualidade e o controle social dos
seus resultados; implementar e desenvolver processos permanentes de avaliação em
articulação com as secretarias de educação; mobilizar recursos humanos; proporcionar à
sociedade informações sobre o desempenho e os resultados dos sistemas educativos (op. cit.).
A portaria determinava, ainda, que o Sistema seria dirigido por um conselho composto
pelos seguintes órgãos: a Secretaria de Educação Fundamental, cujo titular seria seu
presidente; o Inep; a Secretaria de Educação Média e Tecnológica; o presidente do Conselho
Nacional de Secretários de Educação – Consed; o presidente da União dos Dirigentes
Municipais de Educação – Undime; um representante dos secretários de educação dos
municípios das capitais; o presidente do Conselho de Reitores das Universidades Brasileiras.
Este conselho teria como principal competência elaborar o Plano Nacional de Avaliação da
Educação Básica definindo as diretrizes, normas básicas e objetivos específicos dos ciclos de
avaliação, seus padrões de desempenho e qualidade e os cronogramas e orçamentos de
execução. Além disso, deveria estabelecer objetivos comuns e mecanismos de articulação das
atividades de avaliação em âmbito local, estadual e nacional (BRASIL, 1994).
No período de oito anos, entre 1987 e 1994, o Ministério da Educação foi dirigido por
seis ministros: Hugo Napoleão (1987 a 1989), Carlos Sant’anna (1989 a 1990), Carlos
Chiarelli (1990 a 1991), José Goldemberg (1991 a 1992), Eraldo Tinoco (1992) e Murílio
Hingel (1992 a 1994). Apesar de terem ocorrido tantas alterações no comando do Ministério,
a avaliação continuou como um dos enfoques principais nas políticas desenvolvidas nesse
período, a ponto de não ter sofrido interrupção.
40
No início da gestão do ministro Paulo Renato Souza, foram levantadas algumas
questões relativas à validade da prova do Saeb. Um estudo encomendado pelo Inep apontou
necessidade de modificações nos instrumentos e nas técnicas utilizados nos ciclos anteriores
(KORTE e NASH, 1995). As principais recomendações foram: rever as perguntas que faziam
parte dos questionários respondidos pelos professores e diretores de escola; elaborar um novo
plano amostral; rever os itens utilizados na prova, modificando a forma como eram
elaborados; aumentar o número de itens que deveriam fazer parte da prova, com o intuito de
avaliar maior número de habilidades; criar um banco de itens que pudesse armazená-los, com
o intuito de desenvolver continuamente itens que seriam utilizados nas diversas avaliações;
elaborar um manual descrevendo, a partir de itens utilizados, as habilidades medidas na
avaliação e discutindo estratégias que poderiam ser utilizadas pelos professores para
desenvolver essas habilidades; utilizar o mesmo referencial para a elaboração das avaliações,
já que o estudo indicou diferenças entre os conteúdos das provas de Matemática dos ciclos de
1990 e 1993; utilizar uma metodologia estatística que permitisse a comparabilidade entre as
diversas avaliações; avaliar os alunos das séries finais (4ª e 8ª) para medir o seu preparo para
o nível escolar seguinte; desenvolver um teste para ser aplicado no último ano do ensino
médio para avaliar seu preparo para o nível superior.
Pelo exposto, é possível perceber a profundidade das alterações propostas pelo estudo.
O fato é que o Saeb do ciclo de 1995 sofreu várias modificações. Uma delas foi com relação
às séries que seriam avaliadas. O estudo apontou a existência, entre os sistemas estaduais, de
muitas diferenças com relação aos conteúdos das grades curriculares das 1ª, 3ª, 5ª e 7ª séries.
Por outro lado, essas diferenças diminuíam muito quando se utilizavam como referência as
grades das 4ª e 8ª séries, exatamente aquelas consideradas como finais de ciclos de
aprendizagem.
Uma segunda mudança foi a introdução de novas metodologias estatísticas, que
permitiriam ampliar a extensão de conhecimentos avaliados, sem a necessidade de aumentar o
número de questões que cada aluno responderia.
A terceira mudança foi a forma de medir o desempenho dos alunos. Foi construída
uma escala de proficiência em nível nacional, que garantiu a comparabilidade entre as provas
aplicadas em diferentes anos e também entre as diferentes séries avaliadas.
A quarta mudança foi a introdução de temas socioeconômicos e culturais nos
instrumentos contextuais. Nas avaliações anteriores, o Saeb “tendeu a valorizar apenas as
variáveis propriamente escolares, como a formação dos professores e diretores, o estilo
41
docente, o tempo dedicado ao ensino, a infra-estrutura da escola” (BONAMINO, 2002, p.
113).
Além das mudanças apontadas, para avaliar a totalidade da educação básica, o Saeb
passa a incluir os alunos do 3ª série do ensino médio. Além disso, incluiu também os alunos
das escolas privadas.
A partir do ciclo de 1995, os objetivos do Saeb foram:
[...] gerar informações sobre a qualidade da educação; a equidade (como a qualidade
está sendo alcançada no espaço brasileiro) e a eficiência (há ou não maneira
melhores de se obter qualidade na educação) da educação nacional, de forma a
permitir o monitoramento das políticas educacionais brasileiras (PESTANA, 1998,
p. 67).
Devido à sofisticação técnica assumida pelo Saeb no ciclo de 1995, e, com as
dificuldades operacionais de uma avaliação de porte nacional, o Inep terceirizou todos os
serviços, por meio das fundações Cesgranrio e Carlos Chagas
6
(BONAMINO e FRANCO,
1999). A própria participação das administrações locais ficou restrita a um mero apoio
logístico à aplicação dos instrumentos, podendo esse fato ter contribuído para a baixa
utilização dos resultados da avaliação para subsidiar suas políticas (BONAMINO, 2002).
A sistemática utilizada para o ciclo de 1995 recebeu críticas. Entre elas a de que o
processo de avaliação não acompanhou a descentralização proposta pela Portaria 1.795/94, o
que poderia ter contribuído para a consolidação de uma cultura de avaliação no Brasil.
Questionou-se, também, o fato de a avaliação ter sido terceirizada, cabendo ao Inep um papel
menos significativo durante o processo.
No ciclo de 1997, o Inep voltou a assumir um papel mais ativo na elaboração da
avaliação, dando início ao processo de validação empírica de itens utilizados nas provas
7
.
Depois de validados, os itens passaram a compor o Banco Nacional de Itens. Além disso, o
Inep elaborou as Matrizes Curriculares de Referência para o Saeb, que serviriam de referência
para a confecção dos itens das provas (BONAMINO e FRANCO, 1999). A elaboração das
Matrizes seguiu um processo parecido àquele utilizado na época dos primeiros estudos que
deram origem ao Saep, em 1990. Partiu-se de ampla consulta nacional sobre os conteúdos
praticados nas escolas de ensino fundamental e médio, incorporando a análise de professores,
6
Com o início do Projeto Nordeste em 1994, a questão de recursos para custear o Saeb, um problema recorrente
durante os primeiros ciclos, ficou definitivamente resolvida, pois a avaliação era uma das atividades previstas no
Componente Nacional do acordo de empréstimo firmado entre o governo brasileiro e o Banco Mundial para
financiar o projeto.
7
Segundo Bonamino (2002.), os itens da avaliação do ciclo anterior, de 1995, foram extraídos de um banco de
itens desenvolvidos e testados pela Fundação Cesgranrio.
42
pesquisadores e especialistas sobre a produção científica em cada área que seria objeto de
avaliação escolar (BRASIL, 2002a).
O ciclo de 1997 do Saeb pode ser considerado como o passo decisivo para a sua
institucionalização. Como inovação, elaborou-se uma escala de proficiência única para cada
disciplina avaliada, permitindo assim a comparação entre os resultados obtidos pelo ciclo de
1995 e abrindo a possibilidade de fazer o mesmo com relação aos próximos ciclos. Os
serviços de impressão das provas, a sua aplicação, a correção e a análise de dados foram
terceirizados continuam assim até hoje.
O ciclo de 1999 não trouxe nenhuma alteração substantiva.
Em 2001, em seu sexto ciclo, as Matrizes de Referência foram atualizadas em razão da
ampla disseminação pelo MEC dos Parâmetros Curriculares Nacionais – PCN. Para esta
atualização, foi feita uma ampla consulta, repetindo-se os procedimentos usados em 1990 e
1997. Foram consultados cerca de 500 professores de 12 estados da Federação, com
representação de todas as regiões do país, com o objetivo de comparar as Matrizes de 1999 e
o currículo utilizado pelos sistemas estaduais com os PCN.
O ciclo de 2003 também não trouxe nenhuma alteração.
Além da aplicação dos testes, os professores, o diretor e também os alunos das escolas
respondem a questionários individualizados, com o objetivo de identificar os chamados
fatores associados, ou seja, aqueles fatores do contexto que teriam o poder de influir, tanto
positiva, quanto negativamente, no desempenho dos alunos. Até 1995, as questões referiam-se
apenas a variáveis intra-escolares. Somente a partir do ano de 2001, seriam introduzidas
questões envolvendo características socioeconômicas e culturais e os hábitos de estudo dos
alunos. A partir desse ciclo, as variações ocorridas nos questionários dos outros ciclos foram
pequenas.
A divulgação dos resultados é feita a partir da publicação dos chamados Relatórios
Nacionais do Saeb. Também são realizados encontros em todos os estados, envolvendo o Inep
e as secretarias estaduais, com o objetivo de discutir os resultados obtidos. Uma crítica
recorrente que se faz ao Saeb refere-se à forma de divulgação dos resultados, tanto pela
dificuldade de compreender como são feitas as análises e qual o real significado dos
resultados apresentados. Vale considerar que essas críticas são recorrentes em outros países
que adotam avaliações em larga escala.
Para o ciclo de 2005, o Saeb sofreu novas modificações, transformando-se em um
sistema composto por dois processos de avaliação: a Avaliação Nacional da Educação Básica
– Aneb, que mantém a mesma característica e objetivos do Saeb aplicado até 2003; a
43
Avaliação Nacional do Rendimento Escolar – Anresc, também conhecida como Prova Brasil,
destinada a avaliar apenas as escolas públicas do ensino básico. Os objetivos gerais da Anresc
foram definidos pela Portaria MEC nº 931/05, que definia no seu artigo 1º, § 2º:
a) avaliar a qualidade do ensino ministrado nas escolas, de forma que cada
unidade escolar receba o resultado global;
b) contribuir para o desenvolvimento, em todos os níveis educativos, de uma
cultura avaliativa que estimule a melhoria dos padrões de qualidade e
eqüidade da educação brasileira e adequados controles sociais de seus
resultados;
c) concorrer para a melhoria da qualidade de ensino, redução das
desigualdades e a democratização da gestão do ensino público nos
estabelecimentos oficiais, em consonância com as metas e políticas
estabelecidas pelas diretrizes da educação nacional;
d) oportunizar informações sistemáticas sobre as unidades escolares. Tais
informações serão úteis para a escolha dos gestores da rede a qual
pertençam (BRASIL, 2005).
O Inep regulamentou a portaria do MEC com a edição de duas portarias, definindo as
regras para o ciclo de 2005. A Portaria Inep nº 89, de 25 de maio de 2005, regulamentou a
sistemática da Aneb, sem modificações substantivas com relação aos procedimentos adotados
até o ciclo de 2003 do Saeb. A Portaria Inep nº 69, de 4 de maio de 2005, regulamentou a
Anresc, determinando a realização da prova em todas as escolas públicas que estivessem
localizadas nas zonas urbanas e que possuíssem mais de 30 alunos matriculados. Os
conteúdos avaliados na Anresc, em 2005, envolveram somente os conhecimentos de Língua
Portuguesa, e foram avaliados os alunos das 4ª e 8ª séries do ensino fundamental regular. A
Portaria determinou também que as escolas participantes receberiam os resultados sob a
forma de média geral da escola e sob a forma de percentual de estudantes por nível da escala
de proficiência e habilidades do Saeb.
Paralelamente aos esforços do governo federal na área da avaliação, outras instituições
produziram diversas pesquisas na área. Destacam-se os estudos produzidos pela Universidade
Federal do Ceará, entre os anos de 1970 e 1980; os estudos produzidos pela Fundação Carlos
Chagas, que também realizou as pesquisas Avaliação da Jornada Única, em 1992, e a
Avaliação do Processo de Inovações no Ciclo Básico e seu Impacto sobre a Situação de
Ensino/Aprendizagem, na Região Metropolitana de São Paulo, no período entre 1992 e 1994
(VIANNA, 2005).
Instituíram-se também sistemas de avaliação em diversos estados, destacando-se: o
Programa de Avaliação do Desempenho da Rede Pública Escolar do Estado de Pernambuco,
de 1991; o Programa de Avaliação das Escolas da Rede estadual de Ensino de Minas Gerais,
44
de 1992, que deu origem ao Sistema Mineiro de Avaliação da Educação Pública – Simave, em
atividade desde 1999; o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo
– Saresp, iniciado em 1996 e em pleno funcionamento; a criação de uma Agência de
Avaliação na Bahia, reunindo diversos órgãos, entre eles a Secretaria Estadual de Educação e
a Universidade Federal da Bahia, com o objetivo de conduzir o processo de avaliação do
estado; a criação, no Ceará, em 1992, de um programa de Avaliação do rendimento Escolar
dos Alunos de 4ª e 8ª séries, o qual, em 2000, institucionalizou-se como Sistema Permanente
de Avaliação Educacional do Ceará – Spaece; a instituição, no estado do Paraná, em 1995, do
Programa de Avaliação do Rendimento Escolar do Paraná; a criação, em Pernambuco, em
2000, do Sistema de Avaliação Educacional de Pernambuco – Saepe (VIANNA, 2005 e
BONAMINO et al, 2004). Além dessas iniciativas, diversos municípios têm procurado
desenvolver sistemas de avaliação que seguem o modelo adotado pelo Saeb.
As considerações delineadas neste capítulo demonstram que a institucionalização da
avaliação como política de estado resultou de um longo processo que se desenvolveu no
decorrer do último século.
O próximo capítulo será destinado à apresentação do objeto do presente estudo,
desvelando a estrutura, a metodologia de coleta de dados e de apresentação dos resultados nos
relatórios do Saeb. Será realizada, ainda, uma análise comparativa dos relatórios dos ciclos de
1990 a 2003, com a finalidade de mostrar as modificações introduzidas a cada relatório e as
suas conseqüências para os usuários.
45
CAPÍTULO 2 - DESVELANDO A ESTRUTURA DO OBJETO DE ESTUDO:
elaboração dos instrumentos de avaliação em larga escala, metodologia utilizada pelo
Saeb e a divulgação de seus resultados.
Este capítulo busca elucidar algumas questões técnicas relativas à construção das
avaliações em larga escala e, especificamente, do Saeb. São comentados os cuidados
necessários à construção da prova, à comparabilidade entre provas aplicadas em diferentes
ciclos e à divulgação dos resultados. Em seguida, são analisados o formato e a metodologia
utilizada para a coleta, organização e aferição dos dados do Saeb, além dos resultados dos sete
ciclos de avaliação já realizados. Para tanto, foram examinados os Relatórios Nacionais da
primeira avaliação ocorrida em 1990, até o ciclo de 2003. Esses instrumentos constituem o
principal meio de divulgação dos resultados do Saeb.
A minha experiência profissional no Ministério da Educação indicou que parece não
existir uma clara compreensão tanto dos instrumentos utilizados pelo Saeb, como do
significado dos seus resultados. Se isso é um fato, a utilização mais ampla dos dados
fornecidos pela avaliação para orientar a formulação de políticas educacionais poderia não
estar acontecendo. Por esse motivo, considerei importante analisar os sete Relatórios
Nacionais, para compreender como as informações sobre os resultados da avaliação chegam
até os gestores das secretarias de educação.
O presente capítulo constitui, pois, um esforço no sentido de apresentar a estrutura e a
metodologia do Saeb de uma forma simplificada e didática, com a finalidade de auxiliar a
compreensão desse instrumento, tanto para os gestores e professores dos sistemas de ensino,
como também para aqueles que tenham interesse em realizar estudos acadêmicos sobre o
Saeb. Além disso, o conteúdo aqui abordado é imprescindível para a análise dos dados
empíricos levantados pela pesquisa e que é apresentada no Capítulo 4.
2.1 Características de uma avaliação em larga escala.
Cabe levar em conta que a avaliação em larga escala é um instrumento complexo, cuja
metodologia é muito diferente da avaliação da aprendizagem, utilizada pelos professores em
sala de aula, apesar de ser regida por princípios semelhantes.
Com relação ao desenvolvimento dos sistemas de avaliação e dos instrumentos que o
compõem, dois conceitos normalmente se cruzam e muitas vezes são tratados até como
sinônimos, apesar de terem significados distintos: medida e avaliação.
46
O fato de medir uma determinada realidade não significa que a estamos avaliando. A
medida é a etapa inicial que enceta uma avaliação. Assim, se o objetivo é conhecer
determinada realidade, ela deve ser identificada a partir da realização de um conjunto de
medidas que tragam informações sobre ela. Essas medidas sozinhas, obtidas a partir de
observação empírica, têm pouco significado. Para que elas ganhem significado, deve-se
compará-las a uma situação anterior que já tenha sido objeto de medição, ou então compará-
las a uma situação ideal definida anteriormente. A partir dessas comparações é possível emitir
um juízo de valor. Ao emitir o juízo de valor, estaremos avaliando a realidade que foi objeto
da medição. É importante destacar também, que os referenciais utilizados para realizar as
comparações, podem constituir-se em um padrão da qualidade que deva ser atingido.
A construção de um sistema de avaliação em larga escala não pode ser fruto de um
processo em que a improvisação seja a regra. Vianna (2001) destaca que, para o
desenvolvimento de um bom sistema de avaliação, são necessários uma grande capacidade de
processamento de informações, uma competente equipe multidisciplinar para gerenciar tanto a
sua aplicação como seus resultados e, não menos importante, significativos recursos
financeiros.
Ravela (2005) fornece uma série de reflexões sobre os aspectos envolvidos na
construção de um sistema de avaliação. O autor indica que primeiramente é necessário definir
quais os modelos conceituais serão utilizados para entender a realidade. Para ilustrar a
afirmação, ele destaca que se o objetivo é verificar se os alunos estão aprendendo a ler, é
importante, primeiramente, definir conceitualmente o que significa aprender a ler. Nesse
campo, podem existir diferentes significados, de acordo com a visão de mundo do
pesquisador, o nível educacional e a idade do aluno. É necessário, portanto, fazer escolhas e
definir as referências que serão utilizadas.
É importante definir também, quais questões devem ser respondidas, os usos que se
farão dessa avaliação e quais serão os usuários dos seus resultados. Assim, se estamos
interessados em obter respostas que nos forneçam um diagnóstico sobre o domínio dos alunos
sobre determinados temas, o resultado da avaliação deve fornecer sinais claros e precisos aos
professores sobre as dificuldades que os alunos demonstraram ter, e como seria possível
superá-las, de forma a que eles possam rever seus planejamentos de curso. Por outro lado, se
as questões para as quais se buscam respostas em uma avaliação referem-se à gestão dos
sistemas de ensino, os resultados devem indicar claramente aos gestores quais são as
principais dificuldades detectadas, de forma a que eles possam selecionar as estratégias mais
adequadas para solucioná-las.
47
Definidos os modelos conceituais, os objetivos, os usos e os usuários da avaliação, é
preciso produzir a evidência empírica da realidade que se quer conhecer. Já que não temos
acesso direto à ela, é necessário desenvolver instrumentos que nos auxiliem no levantamento
de dados que a desvelem. É importante destacar, aqui, a importância de garantir um equilíbrio
entre o tempo necessário para produzir os dados, os recursos físicos e financeiros disponíveis
e os objetivos propostos para a avaliação. Esta é a forma de se evitar a armadilha de definir
objetivos muito amplos e ambiciosos, que exigem instrumentos sofisticados e prazos longos
para processar seus resultados. Assim, para o acompanhamento de uma política pública por
um determinado governo, muito pouca influência terá uma avaliação que tenha consumido
uma parcela significativa dos recursos financeiros e que só produza resultados a longo prazo.
Em casos como esse, pode ocorrer que um mesmo governo não conte com tempo suficiente
para finalizar a avaliação e realizar as ações de melhoria apontadas por ela. Além disso, ainda
que tivesse tempo suficiente, teria poucos recursos para fazê-lo, já que boa parte teria sido
gasta no processo de avaliação. Essa ocorrência explica, em muitos casos, a descontinuidade
de vários programas educativos na passagem de um governo para o outro.
Vianna (2001) ao comentar os problemas mais comuns existentes nos sistemas de
avaliação de aprendizagens, destaca alguns equívocos que deveriam ser evitados. Segundo o
autor, existe uma tendência de se buscar conhecer, com uma única avaliação, o máximo de
atributos, utilizando-se para isso uma quantidade limitada de instrumentos e de itens. Como
conseqüência, os resultados da avaliação não darão conta dos objetivos traçados inicialmente.
Outro aspecto que deve ser observado na construção da prova é o tipo de questão a ser
utilizada. Elas podem ser classificadas como: a) múltipla escolha, que apresenta como uma
grande vantagem a facilidade e a rapidez de correção. Uma boa questão de múltipla escolha é
aquela em que, entre as suas respostas, além de ter uma opção com a resposta correta, possui
outras apontando os erros que comumente os alunos cometem; b) múltipla escolha complexa,
em que existem diversas afirmações e o respondente tem que indicar quais são as verdadeiras
e quais são as falsas. Este tipo de questão é considerado um pouco mais complexo que a
anterior e apresenta a vantagem de dificultar o acerto ao acaso; c) resposta aberta, curta ou
extensa, que permitem avaliar com maior profundidade capacidades complexas no aluno; d)
produção de textos. Para elaborar as questões, é necessário ter um profundo conhecimento
sobre as diversas maneiras de como o conhecimento é adquirido, não basta apenas dominar os
conhecimentos que serão avaliados.
Além disso, Ravela (2005) chama atenção para as diferenças entre avaliações
centradas em conteúdos curriculares e aquelas centradas em competências. As avaliações
48
centradas em currículos procuram avaliar que conteúdos os estudantes dominam, uma
atividade muito próxima daquela que é utilizada na avaliação em sala de aula. As avaliações
centradas em competências procuram avaliar qual o desempenho dos estudantes em relação a
contextos e situações próprios do mundo real, portanto, as questões avaliam a utilidade dos
conceitos desenvolvidos para resolver problemas do cotidiano. Como será visto mais adiante,
esse último é o conceito utilizado pelo Saeb na construção dos itens da prova.
Qualquer que seja a avaliação é importante definir claramente as referências que serão
utilizadas. Assim, um professor, ao construir um teste para avaliar os conhecimentos dos seus
alunos, deve levar em conta diversos aspectos. Entre eles, estão os objetivos a serem
atingidos, a escolha dos conteúdos a serem avaliados e o tempo disponível para a realização
do teste. Os itens que farão parte do teste devem estar diretamente relacionados aos objetivos
que o professor traçou e devem ser capazes de medir as diferenças de habilidades dos diversos
alunos. Uma forma de avaliar essas diferenças é selecionar itens com diferentes graus de
dificuldade, de tal forma que o grupo com menores habilidades concentre seus acertos nas
questões mais fáceis, e, aquele com maiores habilidades, além de acertar as questões mais
fáceis, acerte também as questões mais difíceis. O resultado dessa medição é expresso
corriqueiramente pelo número de acertos que cada aluno obteve no teste aplicado, sendo útil
para avaliar o progresso da aprendizagem de uma determinada turma. Além disso, permite ao
professor identificar eventuais dificuldades da turma e, em seguida, desenvolver estratégias
para que, cada vez mais, um número maior de alunos possa lograr melhores resultados nas
próximas avaliações.
Avaliar um sistema de ensino, e não somente os alunos de uma turma em particular,
implica seguir basicamente os mesmos passos descritos acima, tendo em conta que o aumento
de escala implica também vencer outros desafios. Assim, os itens que exijam uma resposta
discursiva devem ser evitados, pois a sua correção seria mais lenta e haveria a necessidade de
recrutar e treinar um conjunto de pessoas para a correção. Os itens do teste não podem dar
margem a duplas interpretações, já que não existe mais a figura do professor que possa tirar
dúvidas na hora da sua aplicação.
Se o objetivo é mais ambicioso, e pretende-se verificar ao longo do tempo como tem
variado o desempenho cognitivo dos alunos de um sistema de ensino, outros desafios devem
ser vencidos. Uma das formas de permitir a comparabilidade dos resultados e dar coerência às
medidas, seria medir em todas as avaliações os mesmos conhecimentos, com a aplicação do
mesmo teste, composto dos mesmos itens. Isso porque qualquer alteração poderia
comprometer a medida ao introduzir um fator adicional não controlável. No entanto, essa
49
alternativa não é desejável, pois ao utilizar o mesmo teste anos a fio, faz com que o teste seja
de domínio público e, com isso, os alunos já conheçam antecipadamente as suas respostas.
É nesse ponto que a Matemática, em especial a estatística, tem auxiliado os
educadores. A partir de 1930, começou a ser desenvolvida a Teoria de Resposta ao Item -
TRI, que permitiu resolver alguns dos impasses descritos acima. O desenvolvimento dos
sistemas computacionais, principalmente a partir dos anos 1960, contribuiu para que essa
teoria fosse utilizada na construção de testes e na apuração de resultados em diversas
avaliações em larga escala que acontecem hoje no mundo.
Com o uso dessa Teoria é possível construir testes que permitam avaliar um grande
número de conhecimentos, sem que cada aluno precise ser submetido a um número elevado
de questões. Além disso, é possível medir com precisão o conhecimento do aluno a partir do
comportamento dele às respostas aos itens e não mais pela quantidade de respostas certas que
ele marcou. Finalmente, a utilização da TRI, permite que os testes aplicados ao longo do
tempo possam ser diferentes, sem que a comparabilidade dos resultados seja prejudicada.
Assim sendo, é possível construir tanto uma série histórica, como permitir que os resultados
dessa série possam ser comparados com os resultados de outros sistemas de avaliação. A TRI
será mais bem detalhada no próximo tópico quando será apresentada a metodologia utilizada
pelo Saeb.
Para aumentar a eficácia da avaliação, deve ser realizada, conjuntamente com a prova,
uma pesquisa utilizando-se questionários com o objetivo de recolher informações sobre as
características sociais das escolas, dos alunos e de seus hábitos de estudo. De posse dos
resultados das provas e das respostas aos questionários, buscar-se-á identificar quais seriam os
fatores que influenciariam os resultados, e que, portanto, estariam estatisticamente associados
aos resultados obtidos na avaliação. É importante ressaltar que, quando se fala em associação
estatística de determinado fator, não significa que ele seja, necessariamente, a causa direta de
um dado fenômeno. Para estabelecer causalidade ou explicação, é necessário ter uma teoria
sólida que interprete as associações encontradas no interior de um marco conceitual
explicativo. Portanto, a pesquisa que acompanha a aplicação da prova propõe-se a investigar o
que caracteriza uma escola que obtém bons resultados educacionais (eficácia escolar) e quais
os processos que geram mudanças nas práticas docentes, permitindo assim melhorar a
realidade das escolas (RAVELA, 2005).
De posse desses dados, é possível formar juízos de valor sobre a realidade medida. Os
juízos de valor podem ser expressos basicamente de três formas. A primeira forma é o juízo
de valor referido a critério. A partir dele podem ser estabelecidos distintos níveis de
50
desempenho, cada um indicando uma etapa de aprendizagem esperada, permitindo com isso
construir uma escala, englobando os diversos níveis e as respectivas etapas de aprendizagem.
Assim, por exemplo, é possível identificar que determinado aluno desenvolveu 80% das
habilidades consideradas adequadas para determinada etapa do ensino.
A segunda forma é o juízo de valor normativo ou que está referido à norma, em uma
referência à curva normal da estatística. Nesse caso, a título de exemplo, pode-se indicar que
determinado aluno está colocado no grupo dos 25% melhores alunos.
Por fim, a terceira forma de expressar um juízo de valor é conhecida como
crescimento da aprendizagem, em que se procura analisar qual a variação do indivíduo em
relação a um ponto de partida ou linha de base anterior. Essa forma é caracterizada como
avaliação criterial, se antecipadamente forem definidas as referências que serão utilizadas.
Pode ter características normativas, se a preocupação é com a posição relativa entre os
indivíduos. De qualquer forma, o objetivo é comparar o próprio indivíduo com relação a um
momento anterior em uma escala de tempo, produzindo juízos de valor que evidenciem as
variações sofridas em relação à última avaliação.
No caso brasileiro, cada uma das avaliações de desempenho dos alunos satisfaz a uma
forma de expressar o juízo de valor. O Saeb pode ser considerado como um misto de
avaliação normativa, já que primeiro compara os indivíduos entre si, e de avaliação criterial,
já que procura descrever para cada ponto da escala de proficiência as habilidades
demonstradas pelos alunos, a partir de suas respostas aos itens da prova, que são referenciados
na Matriz de Referência do Saeb.
Em um estudo anterior (HORTA NETO, 2005), em que abordo os desafios da
avaliação institucional, no contexto do Sistema Nacional de Avaliação da Educação Superior
– Sinaes - comento como as modalidades de provas utilizadas no Brasil a partir de 1996,
fazem parte de avaliações que ora são referenciadas à norma, ora procuram medir o
crescimento da aprendizagem. O Exame Nacional de Desempenho dos Alunos, Enade, uma
das avaliações que fazem parte do Sinaes, é um exemplo de avaliação de crescimento da
aprendizagem, já que são avaliados os estudantes do primeiro e do último ano da graduação.
Já o Exame Nacional de Cursos, ENC, conhecido também como Provão
8
podia ser
classificado como uma avaliação referenciada à norma. Isto porque os conceitos atribuídos a
cada curso tinham como referência a nota média obtida, que recebia um conceito equivalente
a “C”. Com isso, aqueles cursos que obtivessem notas inferiores a um ou a meio desvio
8
O Provão foi utilizado de 1996 a 2003 como um dos instrumentos que faziam parte do antigo sistema para
avaliar a educação superior antes da instituição do Sinaes.
51
padrão com relação à média, eram classificados, respectivamente, com os conceitos “E” ou
“D”. Aqueles que obtivessem notas superiores a um ou a meio desvio padrão com relação à
média seriam classificados com os conceitos “A” ou “B” respectivamente.
É importante destacar que não é possível definir de antemão qual das três formas,
criterial, normativa ou crescimento da aprendizagem é a melhor para caracterizar uma
determinada realidade. A escolha entre uma e outra depende dos objetivos a serem alcançados
com a avaliação.
De forma a garantir o equilíbrio do processo como um todo, a forma escolhida para
emitir o juízo de valor define também como a prova será construída. Se o enfoque é de caráter
normativo, as provas devem eliminar tanto as perguntas mais fáceis quanto as mais difíceis. A
tendência é que as perguntas mais difíceis sejam respondidas por uma pequena quantidade de
alunos (aqueles mais bem preparados para respondê-las), e as mais fáceis sejam respondidas
por todos. Como, no caso em foco, o objetivo é comparar os indivíduos entre si, devem ser
utilizadas questões de nível intermediário.
Se o enfoque da avaliação é de caráter criterial, não é necessário eliminar nem as
questões fáceis nem as difíceis. A prova deve abarcar todos os níveis possíveis de
aprendizagem e os resultados da avaliação informariam a proporção de alunos que se
encontram em um determinado nível de desempenho. É possível também definir metas ou
linhas de corte que estabeleçam quais conhecimentos os alunos devem dominar ao atingir
determinado nível de ensino.
Qualquer que seja o enfoque é importante que exista coerência entre todos os
instrumentos utilizados. Dessa forma, se uma prova foi planejada dentro de um enfoque
criterial, os dados gerados não podem ser interpretados a partir de um enfoque normativo, ou
seja, se ela não tiver sido desenhada para medir todo o leque de conteúdos previstos para a
aprendizagem desses alunos, não é possível obter informações sobre o quanto os alunos
aprenderam. Se esse fato não for observado, a validade do processo avaliativo ficará
comprometida.
Para ilustrar este fato, vamos imaginar que o objetivo seja saber se, em uma etapa do
ensino, os alunos adquiriram os conhecimentos considerados mínimos a partir do que foi
estabelecido em um programa de ensino. Vamos supor também, que a prova, usada para
medir esses conhecimentos, manteve a coerência com o objetivo proposto, e tenha sido
desenhada para atender ao critério de verificar se foram aprendidos ou não os conteúdos
mínimos propostos. Estamos supondo ainda, que foi montada uma escala com dez níveis, em
que o nível dez indica o conteúdo mínimo que se espera que o aluno domine. Os alunos que
52
atingirem esse patamar demonstram então, ter conseguido adquirir os conteúdos mínimos
desse programa.
O que poderia ser dito sobre o desempenho de um aluno que foi classificado no nível
sete daquela escala? Poderíamos inferir que esse aluno tenha demonstrado dominar 70% do
conteúdo da disciplina? Não. A única inferência possível é que esse aluno encontra-se no
nível sete de uma escala em que seu nível máximo é dez. Nada mais que isso.
Qual a importância da informação de que o aluno foi classificado no nível sete?
Absolutamente nenhuma. Dentro do objetivo traçado para essa avaliação, essa informação é
inútil e não possui nenhum significado, já que se buscava saber se os alunos demonstravam
dominar um conjunto de conhecimentos considerados como mínimos. Nesse caso, a
interpretação correta do dado, e, a única possível dentro da referência adotada, é que o
conhecimento desse aluno é inferior ao mínimo desejado (nível 10).
Nesse exemplo, no entanto, uma informação importante seria a quantidade de alunos
que não atingiram o patamar mínimo, o que poderia indicar a dimensão do problema a ser
enfrentado. Mas essa informação sozinha não teria o poder de fornecer soluções, é preciso
identificar por meio de estudos e pesquisas adicionais as causas do problema. Como já
comentado antes, a avaliação é um instrumento importante para gerar informações que
permitam conhecer melhor a realidade educacional, mas, igualmente importante, é identificar
causas e desenvolver ações que permitam superar os problemas apontados, dando
conseqüência à avaliação.
As considerações sobre a maneira de expressar o juízo de valor reforçam a
necessidade de estar atento com a forma de se utilizar os resultados da avaliação, para que ela
não seja usada para objetivos desvinculados do aprimoramento do processo educacional.
Vianna (2001) chama atenção para exemplos que ocorreram na Inglaterra durante a era
Thatcher, quando os resultados obtidos nas avaliações eram utilizados como justificativas
para fechar instituições, atribuir prêmios ou bônus e fazer ranking das instituições, em vez de
serem utilizados como uma forma de conhecer a realidade e atuar sobre ela.
Terminada a fase de preparação, aplicados a prova e os questionários, trabalhados os
dados, é chegado o momento de divulgar os resultados. Uma fase tão crítica como as demais.
Os grandes debates acontecem exatamente quando acontece a divulgação dos resultados,
normalmente banalizados pela imprensa, que via de regra destaca onde foram obtidos os
melhores e os piores desempenhos. Além disso, apresentam também entrevistas e opiniões de
especialistas e autoridades indicando o que deve ser feito para que melhores desempenhos
sejam alcançados. Na maior parte das vezes, essa discussão acontece sem que se conheçam as
53
questões que foram utilizadas nas provas, o seu grau de dificuldade, os objetivos que foram
avaliados e os significados dos resultados obtidos. Não se discute a avaliação em si, mas
apenas a pontuação final da prova.
Apresentar somente os números, debater sobre eles, sem que lhes seja dado um
significado, não é a melhor forma de melhorar a qualidade da educação. Devem ser
explicitadas de uma forma clara e transparente quais as aprendizagens que foram avaliadas e
qual a concepção de avaliação que foi utilizada. Não se pode descuidar da maneira como
essas informações serão divulgadas, tendo em vista os distintos públicos que irão utilizá-las.
Somente a partir do cruzamento entre os resultados obtidos e as informações sobre a
avaliação, é possível organizar debates conseqüentes e orientar os estudos que serão
desenvolvidos.
Para ilustrar as diversas possibilidades de divulgar resultados, Ravela (2005) cita três
diferentes formas de divulgação utilizadas nos Estados Unidos, no território Canberra, capital
da Austrália e no Uruguai.
Nos EUA, uma lei de 2001, conhecida como No Child Left Behind Act, estabeleceu,
entre outras coisas, que todos os estados deveriam definir seus objetivos educacionais a partir
dos resultados de seus próprios sistemas de avaliação, estabelecendo que até 2014, 100% das
crianças devem alcançar um nível de proficiência “suficiente”. Uma ONG chamada Just for
the Kids utiliza os dados das avaliações dos sistemas de cada estado e os organiza de forma a
fornecer informações consistentes à população, agrupando as escolas que têm o mesmo
padrão, em função de aspectos culturais, econômicos e sociais. Com base nos resultados de
pesquisas, procura-se levantar as boas práticas das escolas, identificando aqueles que, mesmo
atendendo populações mais pobres, conseguem obter resultados acima da média. Tomando
por base os resultados dessas pesquisas, essa ONG também desenvolve capacitações
direcionadas aos professores e diretores dessas escolas.
O Território de Canberra na Austrália montou um comitê envolvendo representantes
dos conselhos escolares, dos pais, das associações cidadãs, da associação dos diretores de
escolas, do sindicato de educação australiano e o Departamento de Educação e Capacitação
do Território. O comitê teve como missão identificar, entre os diversos instrumentos de
avaliação utilizados no país, não somente qual seria o mais adequado para ser aplicado no
Território, mas também as séries que seriam avaliadas, a forma de divulgar os resultados,
como seriam garantidas a privacidade dos dados e a forma de estabelecer relações entre a
divulgação dos resultados e os objetivos sociais da educação. Como resultado, chegou-se a
um consenso de que os dados não deveriam ser utilizados para comparar indivíduos, avaliar o
54
desempenho docente, comparar professores individualmente, fazer comparações positivas ou
negativas sobre o desempenho das escolas e comparar escolas governamentais e não
governamentais. Ao final da avaliação, cada pai ou responsável recebeu um informe
individual sobre o desempenho de seu filho, indicando o que era esperado de sua
aprendizagem e a posição que seus filhos se encontravam com relação ao que era esperado
dele. As escolas também recebem um informe que compara os resultados de seus alunos com
o de outras escolas. Os professores recebem informações sobre o resultado de cada um de
seus alunos, e como elemento de comparação, a porcentagem dos alunos que respondeu
corretamente a cada pergunta em todo o Território de Camberra. Ao final, cabe à escola
preparar um relatório analítico indicando as mudanças em seu planejamento escolar.
No Uruguai, utilizou-se a avaliação amostral. As escolas que não faziam parte da
amostra recebiam as provas que foram aplicadas, além dos manuais de aplicação e correção
para que pudessem aplicá-las. Junto com o material, recebiam um relatório indicando o
resultado do conjunto de escolas por regiões, a porcentagem dos alunos que obtiveram um
desempenho considerado satisfatório (utiliza metodologia criterial), comparando-o ao
contexto sociocultural da escola. Com isso, a própria escola, após a aplicação e correção da
prova, tinha acesso a diversas informações, dentre elas: sua situação com relação às demais e
com relação àquelas que estejam em um contexto sociocultural semelhante. Assim sendo, foi
possível identificar os conteúdos que deveriam ser mais bem trabalhados.
Com base nos três exemplos, percebe-se que há formas diversas de se trabalhar com os
resultados das avaliações, desde o envolvimento de associações da sociedade civil que se
mobilizam para dar apoio às escolas, até uma discussão que precede todo o processo,
envolvendo inclusive as condições que devem nortear a divulgação dos resultados. É
importante destacar que cada uma das soluções tem seus pontos positivos, mas que devem ser
analisadas à luz da realidade para a qual foram desenvolvidas, e que, portanto, não é
recomendável a sua transposição mecânica para outras realidades.
2.2 Metodologia utilizada pelo Saeb
A base para a construção dos itens que compõem as provas do Saeb são as chamadas
Matrizes de Referência. Elas foram desenvolvidas para cada disciplina avaliada pelo Saeb e
estão baseadas nos Parâmetros Curriculares Nacionais para o ensino fundamental, nas
Diretrizes Curriculares Nacionais para o ensino médio, na Lei de Diretrizes e Bases da
Educação Nacional e na análise das propostas curriculares dos entes federados.
55
A primeira Matriz começou a ser desenvolvida em 1996, a partir de uma ampla
consulta aos sistemas de ensino (somente Amapá e Alagoas não enviaram seus currículos) e
aos municípios de São Paulo e Rio de Janeiro (BRASIL, 1998a). Com esse material, e a
contribuição de especialistas, entidades, órgãos do MEC e professores da rede pública,
coordenados pelo Inep, foi definido o formato dessa Matriz. Ela sofreu alterações em 1999
para se adequar às Diretrizes Curriculares Nacionais e aos Parâmetros Curriculares Nacionais.
Sua última atualização ocorreu em 2001. Convém destacar que neste trabalho são discutidas
as matrizes de 1997 e 1999, já que a de 2001 foi apenas parcialmente publicada no texto Saeb
2001 - Novas Perspectivas (BRASIL, 2002a).
A Matriz de Referência do Saeb foi elaborada com base na definição de descritores.
Eles indicam o que se espera que os alunos dominem ao longo da educação básica e foram
concebidos e formulados como uma associação entre os conteúdos curriculares e as operações
mentais desenvolvidas pelos alunos (classificação, seriação, causa e efeito, inclusão,
correlação, implicação, etc.), que se traduzem em certas competências e habilidades
(BRASIL, 1998).
A Matriz está estruturada por áreas e por série avaliada. Para cada uma delas são
definidos os descritores que indicam uma determinada habilidade que deve ter sido
desenvolvida nesse nível de ensino. Os descritores não contemplam todos os objetivos de
ensino, mas apenas aqueles considerados mais relevantes e possíveis de serem avaliados em
uma prova, para com isso, obter informações que forneçam uma visão real do ensino. Esses
descritores são agrupados por tópicos que descrevem um conjunto de objetivos educacionais.
Assim, por exemplo, a Matriz de Referência de 1999, para a área de Língua
Portuguesa relativa à 4ª série do ensino fundamental apresenta cinco tópicos: procedimento de
leitura; implicações do suporte, do gênero e/ou do enunciador na compreensão do texto;
coerência e coesão no processamento do texto; relações entre recursos expressivos e efeitos de
sentido e variação lingüística. O Quadro 2 apresenta os oito descritores associados ao
primeiro tópico, procedimento de leitura.
Quadro 2: Relação de descritores associados ao tópico procedimentos de leitura da 4ª
série do ensino fundamental, de acordo com a Matriz de Referência do Saeb de 1999.
Nº Descritor
D1 Localizar informações num texto
D2 Inferir uma afirmação implícita num texto
D3 Estabelecer relação entre informações num texto ou entre diferentes textos
D4 Identificar o tema central do texto
D5 Inferir o sentido de uma palavra ou expressão a partir do contexto imediato
(continua)
56
(finalização)
Nº Descritor
D6
Utilizar informações oferecidas por um glossário, verbete de dicionário ou texto informativo na
compreensão ou informação do texto.
D7 Relacionar, na compreensão do texto, informações textuais com conhecimentos de senso comum.
D8 Utilizar apoio de desenho ou foto na compreensão ou interpretação do texto
Fonte: Inep/MEC
Cada um dos outros tópicos tem um conjunto de descritores associado a ele. O Quadro
3 fornece uma visão geral da estrutura da Matriz de 1999.
Quadro 3: Quantidade de tópicos e descritores por área e série avaliada de acordo com a
Matriz de Referência do Saeb de 1999.
Área Série Tópicos Descritores
4ª série 5 28
8ª série 6 36
Língua Portuguesa
3ª série 10 60
4ª série 12 74
8ª série 9 56
Matemática
3ª série 14 82
Fonte: Inep/MEC
A partir da Matriz de Referência, são construídos os itens que compõem as provas.
Um exemplo do processo de construção de um item de Língua Portuguesa encontra-se no
documento Saeb 2003 - Guia para a elaboração de itens em Língua Portuguesa (BRASIL,
2003a). No caso de Língua Portuguesa, cada item deve conter um texto, o enunciado que deve
propor um problema relacionado ao texto, e as alternativas de resposta ao problema proposto.
Todas elas devem ser razoáveis, mas apenas uma delas é a correta. O número de alternativas
varia de acordo com a série avaliada, e são em número de quatro para a 4ª e 8ª séries do
ensino fundamental e cinco para a 3ª série do ensino médio. A um mesmo texto, podem ser
associados diversos itens.
O item pode exigir que o aluno, depois de ter lido o texto, resolva a situação-problema
proposta pelo enunciado e identifique a resposta certa, ou, então, exigir que o aluno analise
cada alternativa individualmente até identificar a correta. O enunciado, nos dois casos, pode
ser apresentado em forma de pergunta ou uma frase incompleta.
Tanto o texto quanto o enunciado devem estar de acordo com o que foi definido pela
Matriz de Referência. O Quadro 4 apresenta um exemplo de um item construído com o
objetivo de avaliar no tópico “Procedimentos de leitura” o descritor “D1 - Localizar
informações explícitas no texto”.
57
Quadro 4: Exemplo de um item de Língua Portuguesa, construído de acordo com a
Matriz de Referência do Saeb de 1999, para o tópico “Procedimentos de leitura” e o
descritor “D1 - Localizar informações explícitas num texto”.
INGRESSO INDIVIDUAL
LOCAL Nº
Ginásio Tocantins
010245
SELEÇÃO
PAULISTA
x
SELEÇÃO
ARGENTINA
12/03/99 R$ 10,00
SETOR Nº TIPO
FEDERAÇÃO
BRASILEIRA
DE VOLEIBOL
B 12 CADEIRA
SECRETARIA
DOS
ESPORTES
Exija e mantenha o canhoto do ingresso em seu poder
De acordo com o texto, esse jogo aconteceu em
(A) abril de 1999.
(B) março de 1999.
(C) junho de 1999.
(D) setembro de 1999.
Fonte: Inep/MEC
Depois de construído, o item é testado em uma amostra similar àquela que vai ser
submetida à prova, e a partir daí, decide-se se ele fará parte da prova ou não. Aqueles que não
são julgados bons são descartados ou refeitos e aqueles aprovados são incluídos em um banco
de dados conhecido como Banco Nacional de Itens. Na época da preparação da prova, é o
Banco que fornece os itens que farão parte da avaliação.
Como o objetivo da avaliação é testar o maior número de conhecimentos possíveis,
para compor a prova de uma área de determinada série, são escolhidos no Banco 169 itens
suficientes para formar 13 blocos numerados contendo 13 itens cada um. Cada bloco é
construído de forma a garantir um equilíbrio entre itens fáceis e difíceis, organizados em
ordem de dificuldade crescente. Os blocos são combinados três a três, possibilitando a
58
organização de 26 cadernos de provas diferentes para cada área, garantindo-se que no total da
amostra, cada um dos blocos seja utilizado o mesmo número de vezes.
Para a comparabilidade entre os ciclos de avaliação, repetem-se blocos de questões
que foram utilizados na avaliação anterior, e, para garantir a comparabilidade entre as séries,
utilizam-se blocos típicos de questões da 4ª série entre os blocos da 8ª série e blocos dessa
série na 3ª série.
Para a montagem da amostra, primeiramente são selecionados os alunos de 4ª e 8ª
série do ensino fundamental e 3ª série do ensino médio, matriculados em escolas cadastradas
pelo Censo escolar, com exceção das multisseriadas (até o ciclo de 2003, as escolas federais,
eram também excluídas da amostra). Para alguns estados, são incluídas as escolas rurais. Esta
seleção é agrupada segundo alguns critérios: série, unidades da Federação, dependência
administrativa (estadual, municipal e particular), localização (capital e interior) e tamanho de
escolas segundo o número de turmas (pequenas, até duas turmas; grandes, mais que duas
turmas). Combinando estes critérios, são obtidos determinados grupos de interesse, onde um
deles poderia ser o grupo de escolas municipais, situadas na capital de São Paulo,
consideradas grandes porque possuem mais de duas turmas de 4ª série do ensino fundamental.
Dentro de cada grupo, as escolas são sorteadas de forma aleatória e todas têm as mesmas
chances de serem sorteadas. Nas escolas selecionadas, um novo sorteio define as turmas por
amostragem aleatória simples. Nas turmas sorteadas, a prova é aplicada a todos os alunos,
distribuindo-se aleatoriamente entre eles as provas de Língua Portuguesa e Matemática.
O Quadro 5 mostra como foi a evolução da amostra utilizada pelo Saeb, a partir de
1995. Pode ser observado que a partir de 1999, houve apenas uma pequena variação da
amostra utilizada, o que indica que vem sendo empregada uma metodologia de amostragem
semelhante.
Quadro 5: Evolução da amostra utilizada pelo SAEB 1990-2003.
ANO
Participantes
1990 (1) 1993 (1) 1995 1997 1999 2001 2003
Escolas 4.790 2.806 2.839 1.933 6.890 6.935 6.270
Diretores 3.546 2.294 2.214 2.302 (3) 6.890 6.820 6.000
Professores 17.814 7.814 4.971 13.267 53.815 21.754 17.000
Alunos 108.982 133.114 90.499 167.196 279.764 287.719 275.081
(continua)
59
(finalização)
ANO
Participantes
1990 (1) 1993 (1) 1995 1997 1999 2001 2003
Séries
1ª, 3ª, 5ª e
7ª
1ª, 3ª, 5ª e
7ª
4ª, 8ª, 2ª e
3ª
4ª, 8ª e 3ª 4ª, 8ª e 3ª 4ª, 8ª e 3ª 4ª, 8ª e 3ª
Matemática Matemática Matemática Matemática Matemática Matemática Matemática
Língua
Portuguesa
Língua
Portuguesa
Língua
Portuguesa
Língua
Portuguesa
Língua
Portuguesa
Língua
Portuguesa
Língua
Portuguesa
Ciências Ciências Ciências (4) Geografia
Redação
(2)
História
Disciplinas
avaliadas
Ciências
(4)
(1) As provas aplicadas a 1ª e 3ª séries foram de Língua Portuguesa e Matemática, de caráter semi-objetivo. Nas
5ª e 7ª séries, além delas, foram aplicadas também a de Ciências, todas de caráter objetivo (BRASIL, 1992 e
1995).
(2) A prova de redação foi aplicada somente aos alunos das 5ª e 7ª séries. Somente fizeram essa prova aqueles que fizeram
também a prova de Língua Portuguesa (BRASIL, 1992).
(3) Há dupla contagem de diretores quando a escola possui duas ou mais séries avaliadas.
(4) Na 3ª série do ensino médio as disciplinas de ciências são Biologia, Física e Química. (BRASIL, 2001).
Na turma selecionada para fazer parte da avaliação, uma parte dos alunos é submetida
à avaliação de Língua Portuguesa e outra à avaliação de Matemática. O primeiro aluno recebe
um caderno de provas de uma área, contendo três blocos de itens, perfazendo um total de 39
questões. O aluno seguinte recebe a prova da outra área, também contendo três blocos de
itens. O terceiro aluno, recebe um caderno da mesma área que o primeiro, mas contendo uma
outra combinação de blocos de itens, e assim sucessivamente. Antes de iniciar a prova, eles
são orientados a responder, primeiramente, às questões do primeiro bloco e, em seguida, às do
próximo bloco. Além disso, são informados sobre o tempo máximo de 30 minutos para
responder cada bloco. Findo esse prazo, os alunos são orientados a seguir para o bloco
seguinte, mesmo que não tenham terminado de responder a todas as questões desse bloco.
Com esse procedimento, é possível garantir estatisticamente uma igualdade de condições para
todos os alunos da amostra.
Além das provas, também é aplicado um conjunto de quatro questionários com o
objetivo de identificar os fatores de contexto que influenciam o desempenho do aluno. O
primeiro questionário é respondido pelo responsável pela aplicação da prova, que investiga a
infra-estrutura da escola e as suas disponibilidades. O segundo é respondido pelo diretor da
escola, com o objetivo de conhecer o perfil da direção e da gestão escolar. O terceiro
60
questionário é respondido pelo professor da turma que está sendo avaliada e procura
identificar o seu perfil social e profissional e questões ligadas à sua prática docente. Por fim, o
quarto questionário é preenchido pelos alunos e procura avaliar as suas características
socioculturais e seus hábitos de estudo.
Para estudar o desempenho do aluno e determinar a sua proficiência, o Saeb utiliza um
conjunto de procedimentos estatísticos, baseados na Teoria de Resposta ao Item, TRI, que
será sinteticamente descrita a seguir.
Segundo Klein (2003), a TRI permite que os resultados dos testes sejam expressos de
uma forma mais precisa do que a simples porcentagem de acertos e, dessa forma, permitem
comparar mais facilmente os resultados dos testes em diferentes situações. O autor destaca
que uma propriedade importante da TRI é que os parâmetros que identificam os itens e as
proficiências ou habilidades dos alunos não variam. Assim, o modelo utilizado pela TRI
permite que os itens de um teste possam ser substituídos por outros com as mesmas
propriedades e que meçam as mesmas habilidades, sem que isso afete o desempenho dos
alunos que serão avaliados. Admite também que o resultado do teste não é afetado pela
mudança da população avaliada. As propriedades de um item, conhecidas depois que ele é
testado, são descritas em função de três características: dificuldade, capacidade de diferenciar
os alunos e probabilidade de acerto ao acaso.
Uma contribuição importante da TRI para a análise dos testes, é permitir que se
associem os comportamentos das respostas dos alunos a um determinado item, com as suas
habilidades. Assim sendo, medir a habilidade do sujeito não depende somente da quantidade
de seus acertos na prova, mas principalmente das características dos itens que ele respondeu
corretamente.
A Figura 1 mostra a Curva Característica de dois itens.
61
Figura 1: Curvas Características de dois itens
Parte-se do princípio que as habilidades dos sujeitos podem ser, tanto graduadas, como
ordenadas por graus de complexidade. Os gráficos, obtidos a partir de um conjunto de
relações Matemáticas, assumem a forma de um ‘S’, e descrevem a probabilidade de acerto a
um item, em função da habilidade dos alunos. A abscissa, ou eixo ‘x’, indica a quantidade de
habilidade de um sujeito (quanto maior a sua pontuação, maior a sua habilidade). No
exemplo, essa escala varia de zero a 500, exatamente como é a escala de proficiência utilizada
pelo Saeb. A ordenada, ou eixo ‘y’, indica a previsão do desempenho do sujeito, ou a
probabilidade de acerto ao item. Assim, quanto maior for a habilidade do sujeito, maior é a
probabilidade de ele assinalar a resposta correta. Por outro lado, quanto menor a sua
habilidade, menor é a probabilidade de acertar esse item. Analisando a Curva Característica
do Item 1, os alunos que possuírem uma habilidade próxima de 250 terão uma probabilidade
de acerto em torno de 0,80 ou 80%. Para o Item 2, a mesma probabilidade de acerto de 80%
requer uma habilidade próxima de 400. Portanto, o Item 2, ao requerer o desenvolvimento de
mais habilidades que o Item 1, é considerado mais difícil. Da mesma forma, retornando ao
Item 1, percebe-se que os alunos que possuírem uma habilidade próxima de 450 tenderão a
0,1
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
Probabilidade
Proficiência (habilidade)
100
150
200
250
300
350 400 500
Item 1
Item 2
0
62
responder corretamente ao item, já que a probabilidade de acerto ao item é próxima de 1,0 ou
100%.
Os números na escala de habilidades (eixo ‘x’) indicam apenas uma relação
Matemática. Para que eles tenham uma utilidade para as escolas é preciso associar a esses
números um significado pedagógico, ou seja, descrever quais as habilidades que os alunos
demonstraram possuir quando assinalaram a resposta correta ao item. A partir dessa descrição
será possível compreender melhor o resultado da avaliação.
Para que seja possível associar o número da escala a um conjunto de habilidades, entra
em cena um outro conceito, o do item âncora. O relatório do ciclo de 1995 do Saeb (BRASIL,
1998, p. 24), definiu que, para um item ser considerado âncora, deve satisfazer ao mesmo
tempo a três condições. Na Figura 2, estão indicadas as condições para que o item B seja
considerado como âncora para o ponto de habilidade 250: 65% dos alunos que possuem a
habilidade situada no ponto 250, assinalaram a resposta correta para o item B; 25% dos alunos
do ponto anterior (150) responderam ao mesmo item de forma correta; mais de 95% dos
alunos situados no nível superior (300) responderam corretamente esse item. O mesmo
procedimento pode identificar, dentre todos os itens da prova, quais são aqueles que se
comportam como âncoras para todos os pontos da escala.
Figura 2: Definição do item B como um item âncora
B
⏐ ⏐ ⏐
150 250 300
25% dos alunos com 95% dos alunos com
habilidades no ponto habilidades no ponto
150 respondem 300 respondem
corretamente corretamente
ao item B ao item B
65% dos alunos com habilidades
no ponto 250 respondem
corretamente ao item B
A metodologia descrita no quadro anterior para identificar os itens âncora foi utilizada
nos ciclos de 1995 e 1997 e, segundo Klein (2003), sofreu algumas modificações a partir de
1999, descritas nesse seu trabalho.
Identificados quais seriam esses itens, e, a partir de uma análise detalhada do que ele
exige do aluno, podem-se inferir quais seriam as habilidades que os alunos tiveram que
63
desenvolver ao longo do seu período de escolaridade para responder corretamente a estes
itens.
Como é muito difícil encontrar para todos os pontos da escala de habilidades um item
âncora que seja correspondente, definem-se níveis, a partir do agrupamento de pontos
contíguos da escala. Os diversos itens âncora associados aos pontos agrupados nos diversos
níveis são submetidos a um conjunto de especialistas da área que está sendo avaliada, em um
processo conhecido como painel de especialistas. De posse dos itens âncora, do tópico e
descritor utilizado na sua construção, e ainda da Matriz de Referência do Saeb, os
especialistas descrevem quais seriam as habilidades construídas. Automaticamente, as
habilidades identificadas para os itens âncora passam a ser atribuídas ao nível a que fazem
parte. Assim, uma certa pontuação que um aluno obteve na prova vai representar as
habilidades que ele conseguiu demonstrar. Como o objetivo do Saeb não é avaliar um aluno
em particular, e, sim, o sistema a que ele pertence, a distribuição das pontuações obtidas pelos
alunos ao longo dos diversos níveis vai indicar as habilidades que eles demonstraram ter
adquirido, identificando o percentual de alunos por nível. Como esses alunos fazem parte de
uma amostra representativa do total de alunos de um mesmo sistema, podemos inferir que o
resultado obtido é válido para todo ele. Assim, pela análise dos resultados, cada sistema pode
avaliar como se comportaram seus alunos e a partir daí, desenvolver políticas e programas
para que um número maior de alunos possa desenvolver habilidades mais complexas, dentro
de cada etapa de ensino.
Para dar um exemplo de como esses dados são publicados e trabalhados, são utilizados
os dados de Língua Portuguesa do ciclo do Saeb de 2001 (BRASIL, 2002). Para esse ciclo,
foram avaliados, a partir da Matriz de Referência do Saeb, os seguintes temas: procedimentos
de leitura; implicações do suporte, do gênero e/ou do enunciador na compreensão do texto;
coerência e coesão no processamento do texto; relações entre recursos expressivos e efeitos de
sentido; variação lingüística. Para cada um dos temas, foi escolhida pelo menos uma
habilidade definida na Matriz de Referência. O Quadro 6 mostra a escala de desempenho do
ciclo do Saeb 2001 para os dois primeiros níveis de Língua Portuguesa da 4ª série do ensino
fundamental, obtida depois da aplicação da prova.
64
Quadro 6: Escala de desempenho para os dois primeiros níveis de Língua Portuguesa da 4ª série do ensino fundamental 2001.
Porcentual de alunos, quantidade de pontos e descrição por níveis de proficiência.
Nível 1 Nível 2
Porcentagem de alunos no nível:
17,7%
Porcentagem de alunos no nível: 18,9%
Habilidade Tópico
até 150 pontos > 150 a 175 pontos
em um texto simples
em textos narrativos curtos como histórias infantis (contos de
fada e fábulas).
Localizam informações explícitas
em outros gêneros textuais como comunicado da escola aos pais
e pequenos poemas descritivos e narrativos
Inferem o sentido
de palavras em textos simples
(história em quadrinhos)
Identificam informação implícita
acompanhada de ilustrações em histórias em quadrinhos e em
texto narrativo simples (prosa ou verso)
Identificam o tema
de texto narrativo simples (histórias infantis) com apoio de
elementos explícitos (figuras)
Procedimentos de leitura
Distinguem fato de opinião relativa
a esse fato
em textos narrativos simples (história em quadrinhos) e texto
com ou sem ilustrações
Interpretam texto
com auxílio de recursos gráficos (em
história em quadrinhos)
Implicações do suporte, do
gênero e/ou do enunciador
na compreensão do texto.
Identificam a finalidade de texto narrativo simples de textos de diferentes gêneros
Identificam elementos
que constroem uma narrativa simples
(espaço)
constitutivos da narrativa (personagens)
Estabelecem relações de
continuidade
em histórias em quadrinhos
Estabelecem relação causa
conseqüência
entre partes e elementos do texto em poemas curtos
Coerência e coesão no
processamento do texto
Estabelecem relações lógico-
discursivas
Identificam o efeito do sentido
Variação lingüística
Identificam marcas lingüísticas
próprias do meio rural e urbano
Fonte: Saeb 2001: Relatório Nacional
65
Para que ela pudesse ser montada, alguns passos tiveram que ser seguidos. A escolha
dos itens que fariam parte da prova partiu do princípio de que eles deveriam possuir diferentes
graus de dificuldade possibilitando, com isso, avaliar diferentes níveis de habilidades
(proficiência) entre os alunos dessa série. Com base nessas definições, foram selecionadas, no
Banco Nacional de Itens, questões para compor a prova. A partir das respostas obtidas na
prova, foram identificados os itens que se comportaram como âncora para diversos níveis de
proficiência. Analisando os itens âncora, foi possível descrever as habilidades demonstradas
pelos alunos para cada nível de proficiência. A escala de Língua Portuguesa do ciclo do Saeb
de 2001, que abarca as três séries avaliadas, é composta de oito níveis, sendo que, para a 4ª
série do ensino fundamental, são utilizados apenas os cinco primeiros níveis. O resultado
dessa análise é mostrado parcialmente no Quadro 6, onde estão indicados apenas os dois
primeiros níveis, com base no relatório (BRASIL, 2002, p. 18 e 19). Segundo esse relatório, é
possível inferir que, dos alunos brasileiros que freqüentam a 4ª série, 17,7% estão situados no
Nível 1, o mais baixo da escala. Para que esses alunos atinjam o Nível 2, que pressupõe o
desenvolvimento de habilidades mais complexas, além de solidificar as habilidades já
adquiridas no Nível 1, é necessário que adquiram as habilidades descritas do Nível 2. É
importante destacar que não é possível determinar o quanto melhor é um nível da escala com
relação a outro. Eles indicam apenas que os alunos situados em determinado nível possuem
habilidades diferentes do que aqueles situados em outro.
O tamanho do desafio dos sistemas educacionais pode ser medido pelo percentual de
alunos que devem transitar de um nível mais baixo da escala de proficiência para outro de
nível mais elevado.
2.3 Os Relatórios Nacionais utilizados para divulgar os resultados do Saeb
9
.
Neste tópico são analisados os Relatórios Nacionais dos ciclos de avaliação entre
1990 e 2003 e verificados, a partir destes textos, o tipo de informação que é disponibilizada ao
gestor público e a qualidade dessa informação. A pesquisa concentrou-se na análise dos sete
relatórios publicados pelo Inep. Não se utilizou nenhum outro texto, nem mesmo aqueles que
foram utilizados como fontes para a elaboração desses relatórios. A intenção foi examinar os
relatórios da mesma forma que faria um gestor público em busca de informações. Ao fazer
9
Este excerto foi a base de um texto submetido e aceito para uma comunicação oral a ser apresentada no III
Congresso Internacional de Avaliação Educacional e 2ª Reunião da Associação Brasileira de Avaliação
Educacional, ABAVE, a ocorrer em Fortaleza entre 16 e 18 de novembro de 2006.
66
isso, buscou-se analisar se as informações fornecidas seriam suficientes para subsidiar os
gestores educacionais.
Como ao longo dos ciclos houve variação das áreas avaliadas, só foram considerados
os resultados na área de Língua Portuguesa e Matemática, como forma de garantir
homogeneidade à análise. Além disso, como o foco dessa pesquisa é o ensino fundamental, só
foram consideradas as séries relativas a essa etapa da educação básica. Dentre os diversos
aspectos possíveis de serem analisados, foram selecionados as formas de expressar os
resultados da avaliação e os juízos de valor eventualmente a eles associados, as estratégias
utilizadas para a elaboração dos itens das provas, a análise das relações entre os resultados e
os questionários contextuais e por fim, as conclusões apresentadas.
Ciclos do Saeb de 1990 e 1993
Nesses dois ciclos, as séries avaliadas foram as 1ª, 3ª, 5ª e 7ª séries do ensino de
primeiro grau, em uma amostra de escolas públicas. Os resultados da avaliação refletiam o
aproveitamento, ou número de acertos dos alunos na prova, e foram expressos em uma
pontuação que variava de zero a 100 pontos, para facilitar o seu entendimento pelos gestores
do ensino (BRASIL, 1992). O ponto 100 referia-se ao domínio de todo o conteúdo
considerado como mínimo para a série e para a área avaliada.
Os conteúdos utilizados para elaborar as questões das provas foram definidos a partir
de uma pesquisa, envolvendo os currículos utilizados pelos sistemas estaduais de ensino,
sendo que em 1993 também foram consultados cerca de 500 professores regentes de classe
das cinco regiões brasileiras.
Em 1990, além da prova semi-objetiva de Língua Portuguesa, foi exigida dos alunos
uma redação. Tanto as questões semi-objetivas como a redação deixaram de ser utilizadas nas
avaliações seguintes, provavelmente devido aos custos associados à sua correção.
No relatório do ciclo de 1990, os resultados obtidos revelaram baixo desempenho dos
alunos, com as médias de aproveitamento oscilando entre 30 a 50 pontos, lembrando que 100
pontos indicaria o domínio de conhecimentos considerados como mínimos. No caso de
Língua Portuguesa, o relatório atribui esse resultado ao fato de que as regras de uso da língua
serem ensinadas sem a criação de “oportunidades de desenvolver habilidades comunicativas,
feito que se pode atribuir à má percepção dos objetivos reais do ensino por parte dos docentes
e dirigentes escolares e à sua pouca capacitação pedagógica” (BRASIL, 1992, p.95). Para o
caso de Matemática, é apontado que o baixo desempenho do aluno em uma etapa limita
“drasticamente as possibilidades de avanço nas etapas subseqüentes” (BRASIL 1992, p. 96).
67
O relatório apontou também diferenças de rendimento entre os alunos com aqueles que
residem nas capitais, que obtiveram uma pontuação maior que os do interior. A pontuação
também foi maior para aqueles que estavam matriculados na rede estadual em relação aos
matriculados na rede municipal.
O relatório do ciclo de 1993 afirma que o desenvolvimento dos instrumentos contou
com a colaboração de mais de 40 profissionais, quase todos ligados a universidades públicas e
privadas. Os resultados foram apresentados de forma ligeiramente diferente que os do ciclo
anterior, expressos a partir do percentual de alunos que atingiram cada um dos níveis de
pontuação, agrupados de 10 em 10.
O relatório apontou que aqueles que obtiveram entre 50 a 80 % de acertos teriam um
domínio aceitável dos conhecimentos mínimos necessários para a série avaliada, enquanto
que aqueles que obtiveram mais de 80% de acertos teriam um bom domínio desses
conhecimentos. A partir dessa classificação, o relatório indicou que 36,6% dos alunos de 1ª
série obtiveram um resultado considerado bom em Língua Portuguesa, semelhante ao do ciclo
de 1990. Ao analisar esses resultados, algumas questões merecem ser consideradas. Primeiro,
como não foi apresentada uma justificativa técnica que fornecesse indicações claras sobre o
que significaria domínio bom ou aceitável de conhecimentos mínimos, fica difícil
compreender o resultado dessa avaliação. Em segundo lugar, se o objetivo era medir os
conhecimentos considerados mínimos, só teria sentido avaliar quantos alunos estão nesse
patamar e quantos não estão.
O relatório do ciclo de 1993 indica que foram utilizados seis questionários para
levantar dados do contexto: informações da escola e do alunado; custo aluno direto; custo-
aluno indireto (um específico para a rede estadual ou de município de grande porte, e um para
municípios de pequeno porte); aspectos da gestão; práticas do professor. Com base nesses
dados, o relatório apresenta alguns cruzamentos simples envolvendo o desempenho dos
alunos e as respostas aos questionários de contexto e apresenta algumas conclusões.
Comparando o desempenho dos alunos com a titulação dos professores e diretores, não foram
observadas variações nos resultados em função dos professores e/ou diretores possuírem pós-
graduação em relação àqueles que possuem somente a graduação. O relatório afirma também
que não surgiram evidências que permitissem associar melhores resultados dos alunos, ao fato
dos professores e diretores terem participado de capacitações. Indicou ainda, que os alunos
que possuíam livros didáticos apresentaram um desempenho maior que aqueles que não os
tinham a sua disposição. Finalmente, cabe chamar a atenção para outros fatores que, segundo
o relatório, apresentaram uma associação forte com o rendimento positivo dos alunos: o
68
desenvolvimento de todo o conteúdo previsto para o ano letivo, o bom aproveitamento do
tempo pedagógico, as formas de trabalho coletivo, o incentivo da escola à participação dos
pais, e o interesse deles em participar.
Ciclo do Saeb de 1995
Para esse ciclo, foram feitas diversas alterações metodológicas com o objetivo de
aprimorar o sistema de avaliação. As séries avaliadas passaram a ser as 4ª e 8ª séries do
ensino fundamental e a 3ª série do ensino médio. As escolas particulares também foram
incluídas na amostra. Os alunos da 2ª série do ensino médio, apesar de terem sido também
avaliados, não tiveram seus resultados analisados, porquanto, segundo o relatório, foram
detectados problemas com essa amostra.
O relatório apontou que um problema sério para a aferição dos resultados foi o grande
número de alunos ausentes na prova, variando entre 18% a 30%, dependendo da série, e
chegando a ultrapassar em determinadas regiões os 40% da matrícula total.
A TRI começa a ser utilizada para aferir o resultado da prova e a ênfase na divulgação
dos resultados passou a ser a proficiência demonstrada pelos alunos durante o teste, entrando
em segundo plano o aproveitamento (ou quantidade de acertos) dos alunos, utilizado nos
ciclos anteriores. Para exprimir o resultado da avaliação, foi desenvolvida uma escala de
proficiência, contendo pontos entre zero e 500, que continua sendo utilizada até hoje.
Para o ciclo de 1995, tanto para Língua Portuguesa, como para Matemática, foram
definidos quatro pontos para os quais foi elaborada uma descrição das habilidades
demonstradas pelos alunos no teste, utilizando-se o método da ancoragem, já comentado no
tópico anterior. Os pontos escolhidos foram: 150, 225, 300 e 375. Para cada área, o resultado
da avaliação indicou a porcentagem de alunos que demonstraram ter proficiências superiores
a cada um dos pontos escolhidos. O Quadro 7 apresenta o resultado de Língua Portuguesa.
Quadro 7: Língua Portuguesa: porcentagem de alunos para cada ponto da escala.
Porcentagem de alunos
Localização na escala
4ª série 8ª série
>150 68 98
>225 22 74
>300 2 14
> 375 0 0
Fonte: Inep/MEC
69
Para compreender a análise do Quadro 7, é necessário lembrar que a escala de
desempenho é construída baseado no princípio de que as competências e habilidades são
desenvolvidas em um crescendo. Assim, o quadro indica que 68% dos alunos da 4ª série
demonstraram ter um desempenho situado acima do limite do primeiro ponto da escala, e que
22% além de dominar as habilidades e competências do ponto anterior, demonstraram
dominar também as do ponto seguinte. Um dado preocupante mostrado pelo Quadro 7 indica
que ainda 32% (equivalente à diferença entre 100% e 68%) dos alunos da 4ª série avaliados
demonstraram um desempenho inferior ao limite do primeiro ponto da escala. Com relação
aos alunos da 8ª série, ainda 2% (equivalente à diferença entre 100% e 98%) dos alunos
demonstram ter um desempenho inferior ao primeiro ponto e 74% deles, além de terem
demonstrado terem desenvolvido as competências e habilidades típicas do primeiro ponto,
demonstraram ter conseguido dominar outras, típicas do próximo ponto. É importante
destacar também que conforme os alunos avançam da 4ª para a 8ª série, percebe-se que em
cada ponto da escala existe uma porcentagem maior de alunos, o que é desejável.
O Quadro 8 transcreve, a título de exemplo, a descrição dos pontos 150 e 225.
Quadro 8: Língua Portuguesa: descrição das habilidades em cada ponto da escala.
Ponto da escala Descrição
150
• Mostram compreensão literal e leitura fragmentária
• Fazem interpretação de caráter limitado: estabelecem relações diretas entre fatos,
idéias e conceitos sem usar suporte inferencial abstrato.
225
• Abordam textos extensos, sem perder significado, e lidam com textos práticos
(telegrama, circular, manual de instrução), fazendo inferências a partir de
informações contidas no texto.
• Percebem relações entre fatos principais e secundários e identificam características
específicas de personagens.
• Trabalham com tipologia textual variada, estabelecendo relação entre fatos e temas
comuns.
Fonte: Inep/MEC
O Quadro 8 indica as competências e habilidades associadas a cada ponto da escala
que foram obtidas a partir do método da ancoragem.
Os itens de Língua Portuguesa foram agrupados em três grandes grupos, que refletiam
diferentes níveis de complexidade. Esses grupos foram ordenados e foi calculado para cada
um deles o aproveitamento (quantidade de acertos) médio por série, apresentado no Quadro 9.
É possível observar que há um decréscimo no aproveitamento médio dos alunos em Língua
Portuguesa, à medida que são exigidas habilidades, mais complexas, conclusão válida para as
duas séries. O relatório aponta que nas 4ª e 8ª séries os aspectos extensão de significado e
exame crítico de significado “podem não estar sendo tratados com base no pressuposto de que
70
o lado crítico dos discursos não tem a importância que os educadores lhe atribuem” (BRASIL,
1998, p.33).
Quadro 9: Língua Portuguesa: aproveitamento (quantidade de acertos) médio por série
e habilidade.
Série
Estabelecimento de
significado
Extensão de significado
Exame crítico de
significado
Total
4ª 52 % 45 % 41 % 50 %
8ª 66 % 65 % 64 % 66 %
Fonte: Inep/MEC
Para o caso de Matemática, com base no relatório, os Quadros 10 e 11 indicam a
porcentagem de alunos em cada ponto da escala de proficiência e a descrição do ponto 150
dessa mesma escala.
Quadro 10: Matemática: porcentagem de alunos em cada ponto da escala.
Porcentagem de alunos
Localização na escala
4ª série 8ª série
>150 65 99
>225 21 73
>300 2 15
> 375 0 0
Fonte: Inep/MEC
Quadro 11: Matemática: descrição das habilidades no ponto 150 da escala.
Ponto da escala Descrição
150
• Identificam grandezas
• Reconhecem uma representação gráfica de números fracionários
• Adicionam frações com o mesmo denominador
• Constroem uma fração, dados o seu numerador e o seu denominador.
• Efetuam adições de dois números naturais de até cinco algarismos
• Conhecem unidades de medida de massa e unidades de medida de comprimento
• Resolvem problemas concretos envolvendo unidades monetárias
Fonte: Inep/MEC
Assim como em Língua Portuguesa, o Quadro 12 apresenta o aproveitamento médio
em Matemática, por grupos de itens. Ele indica que os alunos apresentaram maiores
dificuldades em responder itens relacionados à aplicação ou resolução de problemas.
Quadro 12: Matemática: aproveitamento (número de acertos) médio por área de
conteúdo, habilidade e série.
Área de
conteúdo
Série
Compreensão de
conceitos
Conhecimento de
procedimentos
Aplicação ou
resolução de
problemas
Total
4ª 32 % 26 % 27 % 31 %
Matemática
8ª 43 % 33 % 31 % 37 %
(continua)
71
(finalização)
Área de
conteúdo
Série
Compreensão de
conceitos
Conhecimento de
procedimentos
Aplicação ou
resolução de
problemas
Total
4ª 31 % 25 % 27 % Números e
operações
8ª 42 % 39 % 32 %
4ª 43 % 33 % 38 %
Medidas
8ª 55 % 28 % 28 %
4ª 34 % - 31 %
Geometria
8ª 38 % 30 % 23 %
4ª - - -
Análise de dados,
estatística e
probabilidade.
8ª 56 % 40 % 53 %
4ª - - -
Álgebra e funções
8ª 35 % 27 % 25 %
Fonte: Inep/MEC
Apesar de o relatório indicar que a habilidade “conhecimento de procedimentos
(envolvendo cálculos, reformulações, construções, etc.), por sua natureza mais objetiva,
parece facilitar o domínio de conhecimentos na área de números e operações” (BRASIL,
1998, p. 46), a análise do Quadro 12 não permite identificar claramente esse fato.
Agrupando todos esses dados, os Quadros 13, 14 e 15 fornecem uma visão geral dos
resultados desse ciclo de avaliação.
Quadro 13: Proficiência: médias das distribuições por série e área avaliada.
Série Língua Portuguesa Matemática
4ª 177 174
8ª 252 253
Fonte: Inep/MEC
Quadro 14: Aproveitamento médio por série e área avaliada.
Série Língua Portuguesa Matemática
4ª 50 % 31 %
8ª 66 % 37 %
Fonte: Inep/MEC
Quadro 15: Distribuição porcentual dos alunos por pontos da escala de desempenho, por
série e área avaliada.
Língua Portuguesa Matemática Ponto na
escala
4ª série 8ª série 4ª série 8ª série
> 150 68 98 65 99
> 225 22 74 21 73
> 300 2 14 2 15
> 375 0 0 0 0
Fonte: Inep/MEC
72
Analisando-se os dados, é difícil compreender qual o significado da informação
contida no Quadro 14 ao indicar, por exemplo, que os alunos da 4ª série do ensino
fundamental obtiveram um aproveitamento (acertos na prova) médio de 50%. Talvez pelo fato
de a informação não ter nenhum significado válido, não é apresentada nos relatórios dos
próximos ciclos.
Ao apresentar os resultados por estado, o relatório do ciclo de 1995 informa que a
estratificação só foi possível para o aproveitamento (quantidade de acertos) médio dos alunos,
porque os erros amostrais impediram que fossem apresentados os resultados de proficiência.
Quanto aos questionários contextuais, o relatório afirma que eles foram aprimorados e
que foi introduzida a coleta de informações sobre os alunos com perguntas sobre seus hábitos
de estudo e sobre seu nível sócio-cultural.
Como conclusões, o relatório aponta que o maior desempenho dos alunos está
associado positivamente à autonomia da escola, à responsabilidade e compromisso dos
professores com a aprendizagem dos alunos, às expectativas dos professores com relação ao
sucesso escolar dos alunos, à menor distorção idade-série, às atividades de planejamento e às
relações colegiadas que acontecem na escola, à maior participação dos pais nas atividades da
escola e aos aspectos ligados à “matriz organizacional da escola e que não demandam grande
mobilização de recursos” (BRASIL, 1998, p.159). Não foram encontradas evidências de que
mais cursos de capacitação estejam relacionados a um melhor aproveitamento dos alunos,
repetindo um resultado já evidenciado no relatório de 1993.
Ciclo do Saeb de 1997
Para a construção dos itens, foram desenvolvidas as Matrizes Curriculares do Saeb.
Nesse mesmo ciclo, foi criado o Banco Nacional de Itens.
Para descrever o desempenho dos alunos, foram escolhidos pontos da escala diferentes
dos utilizados na avaliação anterior. Para Língua Portuguesa os pontos escolhidos foram 100,
175, 250, 325 e 400 e para Matemática foram escolhidos os pontos 175, 250, 325 e 400.
Com o objetivo declarado de facilitar a compreensão do resultado da avaliação, o
relatório apresenta um quadro que relaciona momentos dos diversos ciclos escolares e os
níveis de proficiência da escala do Saeb (Quadro 16).
73
Quadro 16: Relação entre os pontos da escala de proficiência e etapas da educação
básica.
Ponto da
escala
Língua Portuguesa Matemática
100 até a metade do 1º ciclo do ensino fundamental não significativo
175 até o final do 1º ciclo do ensino fundamental até a metade do 1º ciclo do ensino fundamental
250 até o final do 2º ciclo do ensino fundamental até o final do 1º ciclo do ensino fundamental
325 até o final do ensino médio até o final do 2º ciclo do ensino fundamental
400 além do final do ensino médio até o final do ensino médio
Fonte: Inep/MEC
Para chegar aos resultados do Quadro 16, o relatório afirma que foi feito
primeiramente um cruzamento entre a Matriz de Referência e os resultados dos alunos, sendo
a seguir consultados diversos especialistas nas áreas avaliadas. Além dessa singela
justificativa, não é apresentado um detalhamento que pudesse esclarecer de que forma foi
possível relacionar os pontos da escala a etapas da educação básica. Não parece adequado que
essa relação pudesse ser aplicada a todos os ciclos de avaliação, conforme justificativa a
seguir.
Pelo método da ancoragem, são identificados para cada ponto da escala um conjunto
de questões e a partir delas descrevem-se as habilidades exigidas dos alunos. Em seguida,
associa-se aos pontos da escala um conjunto de habilidades. É importante destacar que, em
um novo ciclo de avaliação a descrição das habilidades associadas a cada ponto não são
necessariamente as mesmas daquelas descritas no ciclo anterior, já que as questões que
estarão associadas a esses pontos, etapa inicial na interpretação da escala de desempenho,
podem ser diferentes. Com isso, pode ser que não seja mantida a mesma relação entre o ponto
da escala e o momento da aprendizagem existente no ciclo anterior.
Outra razão para a inadequação da relação apresentada no Quadro 16 advém do fato de
que existe uma grande dispersão nos resultados da avaliação. Com isso, é possível encontrar
alunos de uma mesma série com diversas proficiências, e assim sendo, fica muito difícil
associa-las às etapas da educação básica.
Provavelmente pelas dificuldades aqui apontados, no próximo ciclo de avaliação é
abandonada a tentativa de associar os pontos da escala com as etapas da educação básica.
Os Quadros 17 e 18 apresentam, respectivamente, a descrição das competências para
alguns de seus pontos, obtida pelo método da ancoragem e a quantidade de alunos
posicionados em cada ponto dessa escala.
74
Quadro 17: Conclusões sobre o desempenho dos alunos de 4ª e 8ª série do ensino
fundamental, em Língua Portuguesa, em função do seu posicionamento na escala de
proficiência.
Ponto na
escala de
proficiência
Conclusões sobre o desempenho dos alunos
100
Esse ponto, em termos do currículo de Língua Portuguesa, corresponde à metade do 1º ciclo
do ensino fundamental. A grande maioria dos alunos da 4ª série parece ter consolidado o
desempenho mínimo previsto nas propostas curriculares de Língua Portuguesa.
Comparando com Matemática, onde apenas 56% superaram o ponto 175 (o primeiro ponto
da escala de proficiência da área), o desempenho dos alunos em Língua Portuguesa revelou
um “maior grau de efetividade na aprendizagem e, provavelmente, no ensino” (BRASIL,
1999, p.15).
175
Esse ponto corresponde, em termos curriculares, ao que é proposto até o final do 1º ciclo do
Ensino Fundamental (4ª série). Como os dados demonstram que 42% dos alunos da 4ª série
do ensino fundamental superaram esse ponto da escala, menos da metade deles são
“capazes de, por exemplo, relacionar informações dadas em um texto com experiências
pessoais e com informações contidas em outros textos” (BRASIL 1999, p. 16). Segundo o
texto, era de se esperar que houvesse um número maior de alunos da 4ª série com
desempenho superior ao descrito nesse ponto. Com relação à 8ª série, o relatório considera
como sendo satisfatório que 92% dos alunos tenham superado esse ponto da escala, sendo
capazes, portanto, de fazer uma leitura direta de textos curtos, retirando informações e
identificando o tema. O relatório aponta para o fato de a aprendizagem, segundo os
currículos, que deveria acontecer ao final da 4ª série só é consolidada na 8ª série.
250
Esse ponto da escala corresponde ao final da 8ª série do ensino fundamental. Assim sendo,
não é desprezível “o pequeno percentual (9% dos alunos do País) de alunos da 4ª série que
consegue superar esse nível” (BRASIL, 1999, p. 16). Com relação ao desempenho dos
alunos da 8ª série, é preocupante que apenas 52% deles tenham superado esse ponto da
escala, não sendo, portanto “capazes de ler textos relativamente longos e complexos”
(BRASIL, 1999, p.16).
Fonte: Inep/MEC
Quadro 18: Distribuição percentual dos alunos por pontos da escala.
Língua Portuguesa 4ª série 8ª série
>175 42 % 92 %
>250 9 % 52 %
>325 0 % 6 %
Matemática 4ª série 8ª série
>175 56 % 95 %
>250 11 % 48 %
>325 0 % 8 %
Fonte: Inep/MEC
Como os pontos da escala escolhidos para divulgar os resultados do ciclo de 1997 são
diferentes daqueles utilizados na avaliação do ciclo de 1995, não é possível fazer uma
comparação entre esses dois resultados. Com isso, dificulta-se o trabalho de um gestor que
procure entender o que vem acontecendo com o sistema educacional pelo qual é responsável.
As médias de proficiência obtidas são apresentadas no Quadro 19.
75
Quadro 19: Proficiência: médias das distribuições por série e área avaliada.
Série Língua Portuguesa Matemática
4ª 165 187
8ª 250 250
Fonte: Inep/MEC
O relatório de 1997 indicou que, dentro do mesmo estado, foram observadas grandes
diferenças no desempenho dos alunos, algo já comentado nos relatórios anteriores. Para
explicar essas diferenças e o desempenho geral dos alunos, o relatório apresenta algumas
hipóteses. Uma delas indica que poderia estar havendo um descasamento entre o currículo
proposto e o que está sendo efetivamente utilizado em sala de aula. A outra estaria
relacionada ao fato de que o currículo proposto seria muito denso. Como não foi possível
verificar essas duas hipóteses, o relatório propõe que elas sejam investigadas por meio da
realização de pesquisas adicionais.
A partir das respostas aos questionários, foram produzidos cruzamentos simples entre
as respostas obtidas e a média de desempenho dos alunos, que deram origem a diversas
tabelas e gráficos. O relatório afirma que as associações apresentadas não poderiam ser
entendidas como causas do desempenho dos alunos. Elas estariam indicando a existência de
uma relação que precisaria ser investigada.
Como principais resultados, foram apresentados: a proficiência média dos alunos da
capital é maior que a do interior, em todas as séries, disciplinas e regiões, confirmando algo
que vinha sendo apontado desde o ciclo de 1990; a proficiência decresce à medida que
aumenta a relação idade-série; existe uma tendência de crescimento das médias de
proficiência dos alunos à medida que é maior o grau de escolarização do pai e da mãe; é
maior a proficiência dos alunos que costumam conversar com seus pais sobre o que ocorre na
escola; com relação aos computadores, é maior a proficiência dos alunos que sabem utilizá-
los, que possuem computador em casa e que estudam em escolas que contam com esses
recursos.
Um dado importante apontado pelo relatório é que o grande motivo indicado pelos
alunos para a sua permanência na 4ª série foi o fato de "ser importante para o futuro",
respondido por 59,8% dos alunos que apresentam a proficiência mais alta. O gosto pelo
estudo, considerado isoladamente, não parece estar associado a maiores ganhos na
proficiência.
76
Ciclo do Saeb de 1999
Diferentemente dos dois ciclos anteriores, em que eram descritas as habilidades dos
alunos em determinados pontos da escala, o relatório do ciclo de 1999 utilizou um
procedimento com o objetivo de facilitar a descrição da escala. Assim, a descrição das
habilidades foi feita por meio de níveis que englobavam um conjunto de pontos da escala. Os
níveis de proficiência definidos pelo relatório são apresentados no Quadro 20.
Quadro 20: Definição dos níveis de proficiência.
Língua Portuguesa Matemática
Nível Pontos na escala de proficiência Nível Pontos na escala de proficiência
150 ≥ 150 e < 200 160 ≥ 160 e < 175
200 ≥ 200 e < 250 175 ≥ 175 e < 225
250 ≥ 250 e < 300 225 ≥ 225 e < 275
300 ≥ 300 e < 350 275 ≥ 275 e < 325
350 ≥ 350 e < 400 325 ≥ 325 e < 375
375 ≥ 375 e < 425
425 ≥ 425 e < 475
Fonte: Inep/MEC
Observando os dados do Quadro 20, é possível perceber que, com exceção do nível
160 de Matemática, todos os outros são separados entre si por um intervalo de 50 pontos.
Apesar de adotar uma nova referência para a apresentação dos resultados, o relatório
não traz informações com relação à distribuição dos alunos por níveis de desempenho, assim
como o desempenho médio dos alunos. Os resultados do ciclo de 1999 só foram apresentados
no relatório de 2003 e mostraram que esse ciclo apresentou o mais baixo resultado desde
1995, ano em que foi desenvolvida a escala de desempenho. Provavelmente, por ser um fato
negativo, os dados do ciclo de 1999 não foram explicitados de forma clara no relatório.
Para a descrição dos níveis da escala de proficiência os procedimentos adotados foram
os mesmos utilizados nos outros ciclos. O Quadro 21 mostra parcialmente o resultado obtido
(BRASIL, 2000).
77
Quadro 21: Descrição da escala de proficiência de Língua Portuguesa.
Nível da escala de
proficiência
Descrição
Nível 150: pontos
dentro do intervalo ≥
150 e < 200
Neste nível os alunos operam preferencialmente com estratégias locais de leitura,
identificam informações cruciais/centrais, em posição destacada, e ainda a
finalidade ou tema de um texto. Usam, também, conhecimento de mundo na
percepção do sentido de um texto.
A leitura acontece com compreensão localizada de textos pequenos, com frases
curtas em ordem direta, vocabulário e temática próximos da realidade do aluno.
Na compreensão dos textos, o aluno demonstra: identificar informações
cruciais/centrais, em posição destacada; realizar inferência em situação em que
haja bastante evidência de apoio; operar preferencialmente com estratégias locais
de leitura; usar conhecimento de mundo/valores de ampla difusão na percepção do
sentido/finalidade de um texto; reconhecer gêneros textuais, utilizando
características gráficas e discursivas bem salientes; selecionar, de uma lista, o
enunciado que expressa apropriadamente a intenção, a finalidade ou tema de um
texto.
Nível 200: pontos
dentro do intervalo ≥
200 e < 250
Os alunos resolvem problemas de leitura a partir da compreensão global do texto,
incluindo inferências, localizam informações secundárias, reconstroem uma
narrativa, encadeando vários fatos na ordem de aparição, e reconhecem efeitos de
sentido de recursos variados (repetição, substituição, onomatopéia).
Leitura com compreensão global de textos pequenos, com frases curtas em ordem
direta, vocabulário e temática próximos da realidade do aluno.
Na compreensão dos textos, o aluno demonstra: resolver problemas de leitura a
partir da compreensão global do texto; localizar informações secundárias; fazer
inferências a partir da leitura global; reconstruir uma narrativa, encadeando vários
fatos na ordem de aparição; correlacionar, em um texto dado, termos, expressões
ou idéias que tenham o mesmo referente; reconhecer efeitos de sentido de recursos
variados (repetição, substituição, onomatopéia); progredir na leitura articulando
partes do texto; excluir, de uma lista, por verificação, informações plausíveis não
contidas no texto; reconhecer e comparar paráfrases, identificando entre várias, a
mais apropriada; reconhecer gêneros textuais a partir da enumeração de
características.
Fonte: Inep/MEC
Além da apresentação das tabelas, o relatório indica que foi realizado um estudo
relacionando o desempenho dos alunos e alguns fatores de contexto. Utilizando-se técnicas
estatísticas, o relatório indicou que o atraso escolar e o nível socioeconômico dos pais não
eram suficientes, per se, para explicar a diferença entre as médias de desempenho dos alunos
e que deveria haver outros fatores associados a essa diferença. Quando analisados somente
esses dois fatores, o estudo mostra que, com relação ao desempenho dos alunos, é maior o
efeito do atraso escolar do que o nível de escolaridade dos pais. Baseado nesses dois
resultados, o relatório indica que seria possível combater as diferenças socioeconômicas
incentivando o ingresso, a permanência e o sucesso dos alunos no sistema educacional. O
estudo destaca também que, em todas séries e disciplinas, o desempenho dos alunos diminui
sensivelmente à medida que aumenta a defasagem idade-série e diminui o nível de
78
escolaridade dos pais e que o atraso escolar afeta muito mais os alunos da 4ª série do ensino
fundamental do que os alunos das outras séries avaliadas.
Além do estudo anterior, foram apresentados alguns cruzamentos entre as respostas
dos questionários e o desempenho dos alunos. Os fatores que foram apresentados como
aqueles que interferiram positivamente no desempenho foram: escolas com boas condições de
funcionamento e infra-estrutura; maior nível sócio-econômico do professor, e sua dedicação
exclusiva ao magistério; maior expectativa que o professor tenha sobre a aprovação do aluno;
nível de escolaridade do professor, sendo que a graduação apresenta maior influência que a
pós-graduação; desenvolvimento pelo professor de todo o conteúdo curricular proposto. Com
relação ao aluno, o relatório apontou que o fato de não trabalhar e atitudes como fazer lição de
casa e gostar da disciplina indicariam melhor desempenho. Com relação aos recursos
pedagógicos, como livros didáticos, livros de leitura, fitas de vídeo educativas, livros de
consulta para os professores e uso de computador pelos alunos, número de livros que o aluno
possui em casa, o relatório mostrou que esses fatores também têm uma influência positiva
sobre o desempenho dos alunos.
Ciclo do Saeb de 2001
O relatório do ciclo de 2001 parece ter sido o que mais se preocupou com os aspectos
técnicos, detalhando bastante a metodologia utilizada e demonstrando ser o mais didático de
todos os relatórios até então elaborados.
Apesar disso, novamente são modificadas as referências adotadas para apresentar os
dados da avaliação. Foram nomeados níveis para determinados intervalos da escala, conforme
indicado no Quadro 22.
Quadro 22: Definição dos níveis de proficiência por área.
Língua Portuguesa Matemática
Nível Pontos na escala de proficiência Nível Pontos na escala de proficiência
1 ≥ 125 e < 150 1 ≥ 125 e < 150
2 ≥ 150 e < 175 2 ≥ 150 e < 175
3 ≥ 175 e < 200 3 ≥ 175 e < 200
4 ≥ 200 e < 250 4 ≥ 200 e < 250
5 ≥ 250 e < 300 5 ≥ 250 e < 300
6 ≥ 300 e < 350 6 ≥ 300 e < 350
7 ≥ 350 e < 375 7 ≥ 350 e < 375
8 ≥ 375 8 ≥ 375 e < 400
9 ≥ 400 e < 425
10 ≥ 425
Fonte: Inep/MEC
79
Comparando-se o Quadro 22, com o Quadro 20, relativo ao ciclo de 1999, percebe-se
que houve alterações nos intervalos que foram utilizados para apresentar os resultados do
ciclo de 2001. Com isso, cria-se novamente para o gestor público um problema dificultando a
comparação dos resultados dos diversos ciclos.
Os dados contidos no Quadro 22 indicam que o ponto médio escolhido para as duas
escalas foi 250, e que os níveis estão separados por intervalos que variam entre 25 e 50
pontos. Para as duas áreas, uma pontuação inferior a 125 é considerada como nível zero.
Feita a interpretação da escala de desempenho, foi construído um quadro para cada
área, descrevendo, em uma única escala, as habilidades de todas as séries. O Quadro 23 é a
transcrição dessa escala para os Níveis 1 e 2 de Língua Portuguesa (BRASIL, 2002).
Quadro 23: Descrição das habilidades dos alunos por nível.
Nível Descrição do nível
1
Procedimentos de Leitura: Os alunos identificam informações explícitas em um texto e inferem o
sentido de palavras em textos simples (história em quadrinhos);
Implicações do suporte, do gênero e/ou do enunciador na compreensão do texto: Os alunos
interpretam textos com auxílio de recursos gráficos (em histórias em quadrinhos) e identificam a
finalidade de um texto narrativo simples.
Coerência e coesão no processamento do texto: Os alunos identificam elementos constitutivos de
uma narrativa simples (espaço) e estabelecem relação de causa/conseqüência entre partes e
elementos do texto.
2
Procedimentos de leitura: Os alunos localizam informações explícitas em textos narrativos curtos,
tais como histórias infantis (contos de fada e fábulas).Também identificam informações explícitas
em outros gêneros textuais, como comunicado da escola aos pais, pequenos poemas descritivos e
narrativos. Reconhecem o tema de texto narrativo simples (histórias infantis), desde que encontrem,
como apoio, elementos mais explícitos como figuras, por exemplo.
São capazes, ainda, de identificar informação implícita em texto acompanhado de ilustrações, em
histórias em quadrinhos e em texto narrativo simples, seja ele em prosa ou em verso.
Os alunos da 8ª série do ensino fundamental, além dessas habilidades leitoras, estabelecem
comparações e localizam informações comuns, explícitas em dois textos veiculados em jornais.
Também demonstram capacidade de identificar informações explícitas em textos mais complexos
(notícias em revistas e jornais).
Os alunos distinguem um fato da opinião relativa a esse fato em textos narrativos simples – histórias
em quadrinhos e textos com ou sem ilustrações.
Implicações do suporte, do gênero e/ou do enunciador na compreensão do texto: Na 8ª série do
ensino fundamental, além das habilidades descritas, os alunos identificam a finalidade de um texto
informativo.
Coerência e coesão no processamento do texto: Os alunos reconhecem elementos constitutivos da
narrativa (personagens). Estabelecem também relações de continuidade em histórias em quadrinhos
e de causa/conseqüência em poemas curtos.
Relações entre recursos expressivos e efeitos de sentido: Os alunos de 8ª série do ensino
fundamental acrescentam ainda a capacidade de reconhecer o efeito de sentido gerado pela repetição
de sons e palavras em texto poético descritivo.
Variação lingüística: Os alunos identificam marcas lingüísticas próprias do meio rural e urbano.
Fonte: Inep/MEC
O Quadro 24 apresenta a distribuição percentual das médias de proficiência dos
alunos, por nível, no ciclo de avaliação de 2001.
80
Quadro 24: Distribuição dos alunos por nível de proficiência em Língua Portuguesa e
Matemática.
Língua
Portuguesa
4ª série
(%)
8ª série
(%)
Matemática
4ª série
(%)
8ª série
(%)
<125 22 1 <125 13 0
Nível 1 18 4 Nível 1 19 0
Nível 2 19 7 Nível 2 21 6
Nível 3 17 13 Nível 3 19 14
Nível 4 19 36 Nível 4 22 38
Nível 5 4 28 Nível 5 6 28
Nível 6 0 10 Nível 6 1 11
Nível 7 0 1 Nível 7 0 2
Nível 8 0 0 Nível 8 0 01
Nível 9 0 0
Nível 10 0 0
Fonte: Inep/MEC
Pelo Quadro 24, observa-se que existe uma grande dispersão de resultados em torno
dos novos níveis definidos nesse relatório.
Resgatando a tentativa de associar pontos da escala de desempenho com momentos da
aprendizagem formal, utilizada no relatório de 1997, o relatório de 2001 apresenta uma tabela
que expressa uma relação diferente da utilizada antes, relacionando o período final de um
ciclo e um intervalo da escala de proficiência. Novamente, não foi apresentada uma
justificativa técnica que permitisse entender os critérios utilizados para estabelecer essas
relações.
Aparentemente, o critério é mais coerente que o utilizado em 1997, pois utiliza como
foco de análise o final de um ciclo de aprendizagem, onde se supõe que os conhecimentos
devem estar solidificados. Essa forma de análise resolveria também o problema da grande
distribuição dos níveis de proficiência entre os alunos. O resultado dessa associação é
apresentado no Quadro 25 para Língua Portuguesa e Matemática.
Quadro 25: Relação entre os pontos da escala e as etapas da educação básica.
Pontos na escala
Série
Língua Portuguesa Matemática
4ª ≥ 125 e < 300 ≥ 125 e < 350
8ª ≥ 150 e < 375 ≥ 200 e < 400
Fonte: Inep/MEC
Pode-se perceber pelo Quadro 25 que os pontos da escala se intercalam, indicando, por
exemplo, que um aluno com proficiência 150 possa ter um desempenho típico, tanto de 4ª
série como de 8ª série, o que pode trazer algumas dificuldades de análise.
81
A observação feita antes, quando foi analisado o ciclo de 1997, continua válida para
essa nova tentativa de associar o desempenho dos alunos na avaliação com etapas da
escolaridade. É difícil compreender como foi possível fazer associações entre o desempenho
dos alunos e as etapas da educação básica. Isso porque, da mesma forma com aconteceu no
ciclo de 1997, não foram apresentados argumentos técnicos consistentes que justificassem as
associações adotadas.
Os cruzamentos entre os dados levantados pelos questionários e o desempenho dos
alunos apontaram os mesmos fatores que influenciavam positivamente o desempenho dos
alunos nas avaliações anteriores. Dentre os que foram apresentados no relatório, destacam-se:
condições de infra-estrutura física e pedagógica das escolas; aspectos do clima escolar e estilo
pedagógico dos professores; comprometimento dos professores com os resultados dos alunos;
importância da família na vida escolar dos filhos; abertura da escola ao diálogo com a
comunidade; professores bem-formados e em constante processo de atualização e alocação de
recursos financeiros para a escola.
O relatório de 2001 aponta dois estudos que foram desenvolvidos utilizando-se dos
dados do Saeb. Um deles demonstrou a influência das práticas dos professores no
desempenho dos alunos da 4ª série do ensino fundamental. Na Região Norte, esse efeito
respondeu por cerca de 8% a 21% do desempenho dos alunos; no Nordeste, o intervalo ficou
entre 19% e 33%; na Região Sudeste entre 12% e 33%; na Região Sul, entre 7% e 21%; e na
Região Centro-Oeste, entre 13% e 32%. O outro estudo comprovou estatisticamente a
influência dos níveis socioeconômicos no desempenho dos alunos.
Na última parte, o relatório apresenta algumas recomendações. Para a 4ª série do
ensino fundamental, seria recomendável que as equipes pedagógicas e os professores
analisassem cuidadosamente as habilidades de leitura descritas nos níveis mais altos da escala
para estabelecer estratégias de ensino que favoreçam a aquisição de maior competência de
leitura. Com relação à 8ª série, também em Língua Portuguesa, o maior problema referia-se ao
percentual de alunos, superior a 70%, que se encontravam abaixo da média da 8ª série,
equivalente a 200 pontos. Embora tenham demonstrado dominar algumas habilidades ainda
não construídas pelos alunos da 4ª série, esses alunos necessitavam construir habilidades de
leitura mais complexas que dessem melhores condições para a continuidade de seus estudos
no ensino médio. Com relação à Matemática, quase 60% dos alunos da 4ª série do ensino
fundamental estavam posicionados abaixo do Nível 2. Estes alunos revelaram uma situação de
aprendizagem preocupante, já que apresentaram apenas habilidades elementares em
Matemática. O relatório sugeriu que, para este grupo de alunos, antes de se lidar com os
82
conteúdos da série, recebesse reforço em áreas básicas, tais como: construção do número,
sistema de numeração decimal, operações fundamentais de adição, subtração, multiplicação e
divisão, estabelecimento de relações numéricas, relação parte/todo, sistema monetário, entre
outras.
Uma última recomendação fez menção a que as universidades e o próprio MEC
deveriam prestar assistência técnica aos sistemas de ensino, mantendo, ampliando e
aperfeiçoando programas de formação continuada e oferecendo condições de atualização a um
número cada vez maior de professores e diretores.
Ciclo do Saeb de 2003
O relatório desse ciclo, assim como os anteriores, também altera a forma como são
apresentados os resultados da avaliação. Sem que, novamente, sejam fornecidas explicações
técnicas consistentes que justifiquem a alteração feita, classifica os desempenhos dos alunos
em quatro níveis, chamados de Estágios de Construção de Competências: muito crítico,
crítico, intermediário e adequado, de acordo com o intervalo da escala de proficiência a que se
referem. Além disso, aponta também pontos na escala que estariam associados às
proficiências mínimas satisfatórias para cada série e área avaliada, também sem que fossem
apresentadas as devidas justificativas.
Os Quadros 26 e 27 descrevem respectivamente os estágios de construção de
competência e a proficiência mínima esperada (BRASIL, 2006).
Quadro 26: Estágios de construção de competência e os pontos da escala de proficiência
Pontos na escala
Língua Portuguesa Matemática
Estágios
4ª série 8ª série 4ª série 8ª série
Muito crítico < 125 < 175 < 125 < 200
Crítico ≥ 125 e < 175 ≥ 175 e < 250 ≥ 125 e < 175 ≥ 200 e < 275
Intermediário ≥ 175 e < 250 ≥ 250 e < 325 ≥ 175 e < 250 ≥ 275 e < 375
Adequado ≥ 250 e < 300 ≥ 325 e < 375 ≥ 250 e < 350 ≥ 375 e < 400
Fonte: Inep/MEC
Quadro 27: Proficiência mínima por área e etapa da educação básica.
Proficiência mínima satisfatória (pontos da escala)
Série
Língua Portuguesa Matemática
4ª 200 200
8ª 300 300
Fonte: Inep/MEC
O conceito de proficiência mínima utilizado merece alguns comentários, já que
existem três questões não esclarecidas no relatório. Primeiramente, recordando o que já foi
83
apresentado neste trabalho, os itens que fazem parte da prova são construídos a partir das
Matrizes de Referência do Saeb, que se baseiam nos currículos escolares, nos Parâmetros
Curriculares Nacionais e nas Diretrizes Curriculares. Em nenhum desses documentos existe
qualquer referência a um patamar mínimo de conhecimentos que os alunos deveriam atingir,
seja por etapa de ensino ou por área de estudo. Cabe, portanto, a indagação: Como pode um
sistema de avaliação indicar uma proficiência mínima? Em segundo lugar, procura-se dar um
significado pedagógico aos níveis da escala do Saeb, de forma que eles descrevam as
habilidades dos alunos em função da sua participação na prova. Isso significa que a descrição
das habilidades é feita a posteriori, em função dos resultados da avaliação. Deve ter sido com
base nesse procedimento que os responsáveis pela avaliação fizeram uma associação entre as
habilidades demonstradas e os conteúdos cobrados ou esperados em determinada série, para,
em seguida, estabelecer a relação entre pontos ou níveis da escala com o momento da
aprendizagem. Portanto, se todo o procedimento para estabelecer a relação entre os pontos de
proficiência e o momento da aprendizagem foi feito a posteriori, cabe perguntar, como definir
então, a priori, qual seria a proficiência mínima satisfatória? O terceiro problema está
relacionado como os adjetivos propostos para indicar cada nível de desempenho. Classificar
os desempenhos como muito crítico, crítico, intermediário e adequado significa apontar algo
não previsto pela legislação. Assim, por exemplo, indicar que exista para cada área e série, um
conjunto de habilidades considerado adequado, não faz parte de nenhuma norma ou legislação
de ensino. Portanto, não se trata apenas da escolha de um adjetivo, mas sim do significado que
tem a expressão utilizada. Como é possível uma avaliação indicar conhecimentos que sejam
adequados a determinada série, se isso não é previsto em nenhuma norma legal? Essas são
questões que precisam ser esclarecidas pelo Inep.
A título de exercício, foi construído o Quadro 28, que apresenta a associação entre
níveis de proficiência e séries para as duas áreas avaliadas, a partir dos relatórios dos ciclos de
2001 e 2003.
Quadro 28: Comparação entre os dados de 2001 e 2003 para a associação entre níveis de
proficiência e série por área avaliada.
2001 2003
Série Língua Portuguesa Matemática Língua Portuguesa Matemática
4ª ≥ 125 e < 300 ≥ 125 e < 350 ≥ 125 e < 300 ≥ 125 e < 350
8ª ≥ 150 e < 375 ≥ 200 e < 400
≥ 175 e < 375 ≥ 200 e < 400
Fonte: Inep/MEC
Pelo Quadro 28 pode-se observar que para a área de Língua Portuguesa para a 8ª série
do ensino fundamental, houve uma alteração no ponto inicial do intervalo de proficiência. Ela
84
passou de 150 pontos em 2001 para 175 pontos em 2003, sem que fossem apresentadas
justificativas a respeito.
Utilizando-se a técnica da ancoragem, foram descritas na escala, as habilidades dos
alunos, e, com base nelas, o relatório do Saeb de 2003 apresentou os dados em dois quadros
impressos entre as páginas 46 a 51. é importante observar que os dados ali apresentados,
relativos à escala de proficiência, estão incorretos. Como contribuição, são apresentados os
Quadros 29 e 30.
Quadro 29: Construção de competências e desenvolvimento de habilidades de leitura de
textos de gêneros variados em cada um dos estágios para a 4ª série do ensino
fundamental.
Estágio Descrição do estágio
Muito Crítico
< 125 pontos
Não desenvolveram habilidades de leitura mínimas condizentes com quatro anos de
escolarização. Não foram alfabetizados adequadamente. Não conseguem responder os itens
da prova.
Crítico
≥ 125 e < 175
Não são leitores competentes, lêem de forma ainda pouco condizente com a série,
construíram o entendimento de frases simples. São leitores ainda no nível primário,
decodificam apenas a superfície de narrativas simples e curtas, localizando informações
explícitas, dentre outras habilidades.
Intermediário
≥ 175 e < 250
Começando a desenvolver as habilidades de leitura, mas próximas do nível exigido para a
série. Inferem informações explícitas em textos mais longos; identificam a finalidade de um
texto informativo; reconhecem o tema de um texto e a idéia principal e reconhecem os
elementos que constroem uma narrativa, tais como o conflito gerador, os personagens e o
desfecho do conflito; dentre outras habilidades.
Adequado
≥ 250
São leitores com nível de compreensão de textos adequados à série. São leitores com
habilidades consolidadas. Estabelecem a relação de causa e conseqüência em textos
narrativos mais longos; reconhecem o efeito de sentido decorrentes do uso da pontuação;
distinguem efeitos de humor mais sutis; identificam a finalidade de um texto com base em
pistas textuais mais elaboradas, depreendem relação de causa e conseqüência implícitas no
texto, além de outras habilidades.
Fonte: Inep/MEC
Quadro 30: Construção de competências e desenvolvimento de habilidades de leitura de
textos de gêneros variados em cada um dos estágios para a 8ª série do ensino
fundamental.
Estágio Descrição do estágio
Muito Crítico
< 175 pontos
Não são bons leitores. Não desenvolveram habilidades de leitura exigíveis para a
escolarização completa no Ensino Fundamental.
Crítico
≥ 175 e > 250
Ainda não são bons leitores. Apresentam algumas habilidades de leitura, mas aquém das
exigidas para a série (textos simples e textos informativos). Algumas das habilidades já
consolidadas neste estágio: inferir o sentido metafórico de uma expressão; identificar (em
fábulas) a intenção implícita contida na fala das personagens, o desfecho do conflito, a
organização temporal da narrativa e o tema de textos poéticos; distinguir um fato da
opinião relativa a este fato e identificar a finalidade de um texto informativo longo;
estabelecer relações de causa e conseqüência em textos de diferentes gêneros; identificar os
efeitos de sentido decorrentes do uso da pontuação e a idéia central de um texto poético.
(continua)
85
(finalização)
Estágio Descrição do estágio
Intermediário
≥ 240 e > 325
Os alunos que se encontram nesse estágio desenvolveram algumas habilidades de leitura
mais compatíveis com a escolarização plena no Ensino Fundamental. Isso lhes permitirá
continuar a escolarização no ensino médio com um déficit menor. Além das habilidades
descritas para o estágio precedente, são alunos que desenvolveram mais algumas,
destacando-se: distinguir entre vários enunciados aquele que expressam uma opinião;
identificar um tema de um texto argumentativo e a tese de um texto dissertativo,
estabelecendo relações entre elas o os argumentos oferecidos para sustentá-la; identificar o
conflito gerador em uma narrativa e os diferentes tipos de narrador.
Adequado
≥ 375
São leitores competentes. Demonstram habilidades de leitura compatíveis com a 8ª série
(textos poéticos de maior complexidade, informativos, com informações pictóricas em
tabelas e gráficos). Habilidades importantes, dentre outras, que foram explicitadas na
análise dos testes: depreender relações de causa e conseqüência implícitas no texto;
reconhecer o efeito de sentido provocado pela seleção e escolha de determinadas
expressões; identificar a seqüência temporal de uma narrativa e diferentes pontos de vista
em um mesmo texto; reconhecer relações de causa e conseqüência a partir de enunciados
com termos e sintaxe menos usuais; identificar os efeitos de sentido decorrentes do uso da
pontuação; e reconhecer as intenções no uso de gírias e expressões coloquiais em um texto.
Fonte: Inep/MEC
O relatório apresenta também a distribuição percentual dos alunos por Estágios de
Construção de Competências, conforme o Quadro 31.
Quadro 31: Distribuição percentual dos alunos por estágio de construção de
competências, por área e série avaliada.
Língua Portuguesa (%) Matemática (%)
Estágio
4ª série 8ª série 4ª série 8ª série
Muito crítico 18,7 4,8 11,5 7,3
Crítico 36,7 22 40,1 49,8
Intermediário 39,7 63,8 41,9 39,7
Adequado 4,8 9,3 6,4 3,3
Fonte: Inep/MEC
Com relação aos questionários de contexto, são apresentados apenas os resultados
referentes aos cruzamentos entre o desempenho dos alunos, sua cor e o nível socioeconômico
dos pais. Segundo esses cruzamentos, os estudantes que se declararam brancos apresentaram
um desempenho maior do que aqueles que se declararam pardos, negros, amarelos e
indígenas. Aqueles que possuíam um nível socioeconômico maior também apresentaram um
desempenho superior.
O relatório apresenta ainda uma série de tabelas sobre as médias de desempenho dos
alunos por série e disciplina, ao longo do período entre 1995 e 2003, para o Brasil, por regiões
e por unidades da Federação. O Quadro 32 apresenta os dados para o Brasil e para o Distrito
Federal. É possível perceber a queda do desempenho em 1999, como foi comentado
anteriormente. É importante notar também que o Distrito Federal sempre apresentou uma
média de desempenho superior à média brasileira, em todas as séries e áreas avaliadas, com
86
exceção de Matemática em 1999, ano em que o desempenho médio foi igual à média
brasileira.
Quadro 32: Média de desempenho do Brasil e do Distrito Federal entre 1995 e 2003.
Língua Portuguesa Matemática
1995 1997 1999 2001 2003 1995 1997 1999 2001 2003
BR
188,3 186,5 170,7 165,1 169,4 190,6 190,8 181 176,3 177,1
4ª
DF
204,5 186,7 174,1 185,6 193,0 197,2 191,0 181 197,5 199,8
BR
256,1 250,0 232,9 235,2 232,0 253,2 250,0 246,4 243,4 245,0
8ª
DF
273,6 260,7 242,4 249,1 240,0 275,0 258,9 246,4 257,6 257,7
Fonte: Inep/MEC
Por tudo o que foi exposto até aqui, é possível perceber que não existe uma
padronização dos Relatórios Nacionais do Saeb. Esse fato prejudica o leitor, principalmente
quando ele busca informações que lhe permitam fazer comparações entre os diversos ciclos.
Assim, se nos relatórios de 1990 e 1993, a base de análise do desempenho dos alunos
era a média de aproveitamento ou de acertos na prova, a partir de 1995, com o início da
utilização da TRI, a base de análise de desempenho passa a ser a média de proficiência.
Apesar da mudança na metodologia, a média de aproveitamento dos alunos continuou a ser
apresentada no relatório de 1995, ficando ausente, sem maiores explicações, nos relatórios
seguintes.
Se a escala de desempenho adotada em 1995 permanece a mesma ao longo das últimas
avaliações, o mesmo não acontece com a forma como são apresentadas as descrições das
habilidades associadas aos pontos da escala de proficiência. Assim, de início, são descritos
determinados pontos na escala para depois serem descritos níveis que agrupavam um conjunto
de pontos da escala de proficiência. Com o decorrer dos anos, cada relatório definiu novos
conjuntos de pontos para definir os níveis, sendo que eles próprios também sofreram
modificações ao longo do tempo. Com isso, utilizando-se somente as informações publicadas
pelos relatórios nacionais, ficou muito difícil estabelecer relações entre os diversos ciclos. Se,
por um lado, é possível compreender que a análise dos dados vem passando por uma série de
aprimoramentos no sentido de garantir que eles tenham mais fidedignidade, as modificações
introduzidas deveriam vir acompanhadas de justificativas técnicas que permitam ao leitor
fazer comparações com as análises anteriores. Caso isto não aconteça, as modificações podem
trazer mais dúvidas do que auxiliar a compreensão do leitor.
87
Com relação à análise dos questionários contextuais, verificou-se que, muitas vezes,
repetem-se as análises já efetuadas em ciclos anteriores. Talvez fosse necessário explicitar
claramente, quais são resultados novos, obtidos a partir de novas perguntas agregadas aos
questionários e quais são os resultados que confirmam as conclusões anteriores. É importante
também destacar que esses relatórios não apresentaram todas as possíveis análises dos
questionários aplicados e que existe uma grande quantidade de dados à espera de
pesquisadores que se disponham a analisá-los.
Com base nas questões aqui apresentadas, sugere-se que deva ser feito um esforço no
sentido de se construir relatórios padronizados para cada tipo de público: pesquisadores,
dirigentes educacionais, professores e comunidade. Não acredito que um único relatório possa
ser suficiente para atender satisfatoriamente a públicos tão heterogêneos, assim como não é
possível que, a cada ciclo, o Relatório tenha um formato diferente, apresentando uma
metodologia de análise dos dados incoerente com os anteriores. Por outro lado, tenho claro
que essa tarefa é de difícil execução e que, para ser efetivada, talvez o Inep necessite contar
com a experiência dos diversos grupos de pesquisadores que vêm atuando na área de
avaliação.
Pelo que foi apresentado ao longo desse capítulo, é possível perceber que o Saeb é um
instrumento que apresenta uma metodologia de difícil compreensão para os diversos usuários
dos seus resultados. Além disso, percebe-se que os relatórios nacionais não facilitam a
compreensão da avaliação, colocando mais obstáculos aos seus possíveis usuários. Essas
dificuldades atingem principalmente os gestores educacionais em todos os níveis, do federal
até o municipal, impossibilitando a sua plena utilização para a definição e o acompanhamento
de políticas públicas na área de educação.
No próximo capítulo, quando serão apresentadas as entrevistas feitas com os gestores
da Secretaria de Educação do Distrito Federal, será analisada a forma e a profundidade como
essas informações chegam aos seus usuários.
88
CAPÍTULO 3 - ANALISANDO AS REPERCUSSÇÕES DOS RESULTADOS DO
SAEB DE 2003 JUNTO À SECRETARIA DE EDUCAÇÃO DO DISTRITO FEDERAL.
Este capítulo está dividido em dois tópicos. No primeiro é analisado de que forma a
Secretaria de Educação do Distrito Federal se estrutura para realizar seu planejamento e como
acompanha seus resultados. Já que um dos objetivos do Saeb é fornecer subsídios para que as
secretarias possam aprimorar a qualidade da educação, entendendo como é realizado o
planejamento da Secretaria será possível compreender como o Saeb se insere no planejamento
da instituição.
O segundo tópico analisa como a Secretaria utiliza as informações do Saeb e qual o
entendimento de seus gestores sobre os resultados da avaliação. São analisados também, o
papel desempenhado pela Secretaria no Saeb, qual o envolvimento da instituição nessa
avaliação, como analisa os resultados obtidos e finalmente quais as contribuições que os
gestores podem fornecer ao Inep no sentido de aprimorar as ações que desenvolve.
Para identificar os interlocutores que fariam parte da pesquisa, buscou-se
primeiramente identificar, na estrutura da Secretaria, qual seria o grupo mais próximo do
poder de decisão e que, portanto teria maiores possibilidades de formular e implementar
políticas. Além desse grupo, seria importante identificar um outro que estivesse mais próximo
das escolas, estando assim mais presente no seu dia-a-dia, mas que tivesse algum poder de
decisão para, além de implementar as políticas definidas pelo primeiro grupo, pudesse definir
estratégias e implementar ações.
Tomando por base o organograma da organização (Figura 3), foram identificados na
estrutura da organização dois órgãos que satisfaziam as condições colocadas para a pesquisa,
quais sejam as Subsecretarias e as Diretorias Regionais de Ensino.
Das quatro Subsecretarias, a de Educação Pública, Subep e a de Planejamento e
Inspeção do Ensino, Subip, foram consideradas importantes para atingir o objetivo proposto.
A Subep, como responsável pelas ações pedagógicas junto às escolas tem como uma de suas
missões elaborar os programas e projetos que vão ser desenvolvidos nas diversas unidades
escolares. A ela está ligada a Diretoria de Educação Infantil e Ensino Fundamental,
responsável por essas etapas de ensino. Da Subep foram escolhidos dois interlocutores,
referidos neste trabalho como Dirigentes A e B. Com a intenção de facilitar a compreensão do
leitor, será utilizada a expressão Área Pedagógica, quando for feita referência à Subep. A
Subip, por sua vez, tem a responsabilidade de elaborar o planejamento e acompanhar as ações
desenvolvidas pela Secretaria. Ligada a essa Subsecretaria está a Diretoria de Pesquisa, que
89
desenvolve os estudos e as pesquisas que fornecem subsídios para a execução do
planejamento da Secretaria, além de ser responsável pela operacionalização do Censo Escolar
e das diversas avaliações comandadas pelo MEC, entre elas o Saeb. O terceiro interlocutor
pertence a essa Subsecretaria e será chamado de Dirigente C. Também para facilitar a leitura,
será utilizada a expressão Área de Planejamento quando for feita referência à Subip.
Figura 3: Organograma simplificado da Secretaria de Educação do Distrito Federal.
10
Com o objetivo de descentralizar as ações desenvolvidas pelo núcleo central da
Secretaria, existem as Diretorias Regionais de Ensino, localizadas em 14 cidades do Distrito
Federal e que mantêm contato direto com as escolas da sua região de atuação. Nessa estrutura,
quase que repetindo a estrutura dos órgãos centrais da Secretaria, existem equipes que
10
Organograma baseado nas informações contidas na página da Secretaria de Educação do Distrito Federal na
Internet, www.se.df.gov.br, acessada em 27/06/2006.
Secretário de
Estado da
Educação
Gabinete do
Secretário
Diretoria
Regional
de Ensino
Diretoria
Regional
de Ensino
Diretoria
Regional
de Ensino
Diretoria
Regional
de ensino
Assessores
Subsecretaria de
Educação
Pública
SUBEP
Subsecretaria de
Planejamento e de
Inspeção do Ensino
SUBIP
Subsecretaria de
Suporte
Educacional
SUBESE
Subsecretaria de
Apoio
Operacional
SUBAP
Diretoria
Regional
de Ensino
90
executam atividades em diversas áreas. Uma dessas equipes é o Núcleo de Coordenação
Pedagógica, da qual fazem parte um coordenador e uma equipe técnica. Esses órgãos atuam
na coordenação e no apoio ao trabalho dos coordenadores pedagógicos lotados nas escolas.
Além de implementar as ações desenvolvidas pela Área Pedagógica, também desenvolve
ações desenvolvidas pela própria equipe. Como o Núcleo está em contato direto com as
escolas, seu coordenador foi escolhido como um dos gestores que fariam parte da pesquisa.
Definiu-se que seriam escolhidos cinco coordenadores, e como critérios para a sua escolha,
buscou-se identificar os Núcleos com o maior número de escolas. Assim sendo, a escolha
recaiu sobre os Núcleos de Coordenação Pedagógica do Plano Piloto e Cruzeiro, de
Samambaia, de Taguatinga, de Ceilândia e do Paranoá, que congregam em conjunto mais de
60% das escolas do Distrito Federal. Os interlocutores desse grupo são referidos neste texto
como Coordenadores I, II, III, IV e V, sem que haja nenhuma correspondência com as cidades
citadas.
As entrevistas, que ocorreram entre dezembro de 2005 e abril de 2006, foram gravadas
com a concordância dos interlocutores, e depois de degravadas geraram 120 laudas de
depoimentos.
3.1 A Secretaria de Educação do Distrito Federal e a organização do seu planejamento.
Para poder entender como os resultados do Saeb estariam sendo utilizados pela
Secretaria, foi necessário conhecer um pouco mais sobre como a Secretaria desenvolve suas
atividades de planejamento. Assim, seria possível verificar de que forma os resultados
gerados pela avaliação estariam balizando os objetivos e as metas propostas pela Secretaria.
O Dirigente A, ao ser indagado sobre a existência de uma atividade formal de
planejamento na Secretaria, afirmou que ela existe, e apontou quem seria o responsável pela
atividade e como ela é executada:
A Secretaria tem um momento de planejamento sim. E isso fica naquela outra
Subsecretaria (Subip, Área de Planejamento, nota do autor). Ela solicita de todas as
instâncias que mandem suas prévias de necessidades orçamentárias, que enviem
quais os projetos que estão pensando implantar e que verifiquem se aquilo é
possível, é viável, porque tem que dividir o bolo, as fatias irmamente. Então a gente
manda isso, acontece desde outubro. Outro dia mesmo a gente estava em uma
reunião de dia inteiro de planejamento estratégico, com todo o primeiro escalão da
casa para integrar esses planejamentos. Quer dizer: você está prevendo na sua
diretoria e eu previ na minha a mesma coisa. Então para a gente otimizar recurso,
não é? Então são feitas várias reuniões de planejamento e essa outra diretoria reúne
tudo isso e devolve para a gente o que foi aprovado para todo o Governo, e o que vai
ter que ser reprogramado [...] O planejamento em termos de programas e projetos a
gente é meio que autônomo, porque a gente está propondo o tempo todo, a gente está
91
ouvindo as escolas, transforma a nossa rotina em projeto, faz muitas parcerias
também. Isso é permanente.
O relato expressa uma visão restrita do que seja um planejamento em uma organização
tão complexa como uma secretaria de educação, e indica que a atividade de planejamento tem
um órgão responsável, a Área de Planejamento, que recebe as solicitações orçamentárias das
diversas instâncias. A atividade resume-se, portanto, a um planejamento orçamentário,
provavelmente para adequá-lo à proposta orçamentária de todo o governo do Distrito Federal
e com o objetivo de acompanhar a execução desse orçamento. Assim sendo, o Dirigente A
expressa a idéia de que o planejamento desenvolvido está ligado à uma atividade de controle,
muito diferente de um planejamento como um instrumento consensado entre os diversos
setores da Secretaria, que oriente o desenvolvimento do trabalho da organização. Quando o
dirigente trata da reunião de planejamento estratégico, refere-se a essa atividade como
necessária para verificar e eliminar ações sobrepostas, sem considerar como importante
definir prioridades e metas a serem atingidas. Ao tratar do planejamento do seu setor, afirma
que a sua diretoria tem total liberdade para criar projetos e programas o tempo todo, sem fazer
referência a um planejamento global. Sendo assim, as atividades definidas por sua diretoria
não necessariamente deve ter relação com os esforços de toda a Secretaria.
Conseqüentemente, utilizar ou não os resultados do Saeb para definir as prioridades da sua
diretoria é uma prerrogativa que esse dirigente tem. É interessante notar, que segundo o
Dirigente A, a tomada de decisão para criar uma determinada ação acontece, em sua diretoria,
pela transformação de rotinas em projetos, e não por meio de pesquisas e do estudo das
melhores práticas para atender os objetivos propostos pela Secretaria. Afirma ainda que
definida uma nova ação, comunica-se à diretoria responsável pelo planejamento para que a
ação seja incluída no orçamento da Secretaria.
Quando instado a exemplificar como um projeto desenvolvido pela sua diretoria se
inseria no planejamento da Secretaria, o Dirigente B assim se manifestou:
[...] a gente tem quatro subsecretarias e só uma é pedagógica. E é complicado a
gente articular isso (as ações da área com o conjunto da Secretaria, nota do autor).
Para isso a gente tem que ter um planejamento único articulado, um planejamento
estratégico mesmo, onde você pudesse estar articulando todas as subsecretarias [...] é
uma falha grande nossa não ter um planejamento. Não sei se é porque a casa é muito
grande. Não sei se falta vontade política. Mas eu sei que há dificuldades. Está
engatinhando, mas ainda está um pouco longe.
Nesse relato percebe-se que o dirigente consegue compreender que uma das funções
do planejamento é a articulação entre os diversos órgãos da Secretaria. É interessante notar
92
que ele inicia seu relato afirmando que somente uma das quatro subsecretarias é pedagógica,
como se a função de oferecer uma educação de qualidade fosse atribuição apenas da Área
Pedagógica, e não do conjunto da Secretaria.
Em determinado momento de seu relato, ainda comentando sobre a dificuldade de a
organização construir o seu planejamento, ele afirmou que já está prevista para o ano de 2006
a realização de uma avaliação institucional da Secretaria. Apesar de ainda não terem sido
definidos os objetivos principais dessa avaliação, ele afirmou que considera necessário que
essa avaliação verifique:
[...] o que está funcionando na Secretaria, o que não está e porque não está, para a
gente [...] direcionar melhor as nossas políticas públicas, estar revendo realmente o
nosso planejamento, já que a casa planeja muito compartimentadamente, [...] não
tem um planejamento estratégico que funcione. Então a gente vai poder estar
melhorando nessa questão do planejamento estratégico.
Depreende-se, portanto, da sua fala, que a avaliação institucional pode ser um
instrumento que garanta uma coesão mínima entre os diversos atores permitindo assim o
desenvolvimento de uma atividade de planejamento que articule todos os órgãos da
Secretaria. Dois pontos chamam atenção nesse relato. Primeiramente, a avaliação institucional
está sendo planejada para acontecer no último ano da gestão do atual governo. Como o
resultado da eleição pode significar a troca de comando da Secretaria, as ações decorrentes da
avaliação realizada podem não ter continuidade, correndo-se o risco de todo esse trabalho ser
perdido. O segundo ponto que chama atenção é o fato de se vincular a atividade de
planejamento, à pré-existência de uma avaliação institucional. Um planejamento calcado em
uma avaliação de toda organização pode produzir resultados muito interessantes, mas esse é
um processo lento. Enquanto essa avaliação se desenvolve, a organização continua sem ter um
instrumento de orientação que ilumine os caminhos que deve trilhar.
Para exemplificar como a Secretaria desenvolve as atividades propostas, o Dirigente B
relatou sobre o objetivo perseguido pela Área Pedagógica durante o ano de 2005:
[...] esse ano a gente desenvolveu muitas ações voltadas para a coordenação
pedagógica. Porque a gente sente que se melhorar a coordenação pedagógica, onde o
professor discuta mais, pesquise mais, leia mais, estude mais, ele vai melhorar. Isso
vai trazer impacto lá no seu trabalho. Então a gente investiu muito esse ano, já
planejando em cima de tudo isso aí, em cima da coordenação pedagógica.
Seu comentário de que a escolha das ações que serão desenvolvidas não se baseia em
dados empíricos, reforça algo já comentado. Além disso, parece que sempre existe a
93
expectativa que elas isoladamente causem impacto suficiente para melhorar o conjunto dos
indicadores educacionais.
O Dirigente C, ligado à Área de Planejamento, deu o seguinte depoimento sobre o
planejamento da organização:
[...] aqui na Subsecretaria de Planejamento, nós não podemos planejar pelo outro.
Então cada Subsecretaria faz o seu planejamento. E nós aqui consolidamos.
Montamos um documento único onde se diz: o plano de ação no ano seguinte será
assim. E aí é o momento que envolve todos.
Confirma-se por esse relato que o planejamento da Secretaria é um agregado das
vontades particulares de cada um dos seus órgãos, sem que haja uma preocupação com a
unidade e com o estabelecimento de objetivos comuns. Mesmo a área que deveria organizar
esse planejamento apenas faz a consolidação dos documentos encaminhados a ela.
Os relatos dos membros do grupo ligados ao núcleo central da Secretaria evidenciam
que a atividade de planejamento está ligada muito mais a uma atividade burocrática que
ocorre anualmente no momento de definir o orçamento da organização. Mesmo esse
documento, apesar de discutido com todos os órgãos da Secretaria indicaria, pelos
depoimentos obtidos, apenas aspectos ligados ao orçamento que deve ser cumprido, e não
metas a serem atingidas. Assim, não existe uma unidade na ação, e cada órgão define as suas
prioridades a partir daquilo que considera importante.
Mas, se o núcleo central da Secretaria encontra dificuldades para planejar suas ações,
qual o reflexo disso nos órgãos intermediários e de que forma eles se organizam para executar
as suas funções? A resposta a essa indagação foi buscada junto aos Coordenadores dos
Núcleos de Coordenação Pedagógica, ligados a cada uma das Diretorias Regionais de Ensino.
O Coordenador I relata que a Área Pedagógica encaminha alguns projetos para serem
implantados nas escolas. Quando esses projetos chegam ao Núcleo de Coordenação
Pedagógica eles são alterados para que se adeqüem à sua realidade. As escolas também têm
liberdade para definir seus projetos. Existem algumas orientações que vêm da área
Pedagógica, como aquela que definiu que o ano de 2006 seria o “ano pedagógico em que vai
se procurar resgatar o que nós perdemos em termos de reprovação”. Por fim o Coordenador I
relata que a Secretaria não determina metas a serem cumpridas, e diz que sente falta disso,
porque isso poderia facilitar seu trabalho. Quando perguntado se o Núcleo de Coordenação
Pedagógica tem um planejamento, responde afirmativamente e indica que ele é definido em
função das atividades que serão desenvolvidas. Para exemplificar, relata que entre março e
94
abril de 2006 ocorreram oficinas de avaliação e projetos envolvendo os coordenadores
pedagógicos das escolas e outras atividades.
Percebe-se que o planejamento é entendido como a organização do calendário para o
desenvolvimento de atividades consideradas importantes para o Núcleo de Coordenação
Pedagógica, ou então de atividades demandadas pela Área Pedagógica. Nessa atividade de
planejamento, também não são definidos objetivos e metas a serem cumpridos, assim como
não se procura realizar avaliações mais amplas.
Já o Coordenador II relata que os membros da sua equipe são chamados a elaborar
uma proposta de trabalho que recebe o nome de “Plano Operacional”. Nele, são definidas
metas e ações que serão realizadas ao longo do ano. Perguntado sobre como eram definidas
essas metas, ele relatou o seguinte:
No ano passado nós definimos a construção do sucesso escolar. Em cima dessa
construção, nós elaboramos um monte de coisas. Esse ano nós já estamos
trabalhando a questão da ética na educação. Então em cima de um determinado tema
é que nós vamos definir o nosso trabalho.
Desse relato, percebe-se que a definição de uma meta está ligada à escolha de um tema
a ser trabalhado junto às escolas.
Perguntado de que forma a escolha dessas metas estaria articulada com metas que a
Secretaria tenha definido, ele relatou que o seu Plano Operacional toma por base a legislação
educacional do Distrito Federal e as resoluções do Conselho de Educação, e que normalmente
as ações planejadas pelo seu Núcleo de Coordenação Pedagógica acabam coincidindo com as
ações emanadas da Secretaria. Esse relato demonstra que não existe uma articulação entre os
diversos níveis de gerenciamento.
O Coordenador III refere-se também a um Plano Operacional para guiar as ações do
Núcleo de Coordenação Pedagógica durante o ano, ressaltando que além dessas ações o
Núcleo também deve atender a demandas emergenciais, e exemplificou:
[...] eu acabei de ler no jornal, a gente tem uma escola em que os alunos estão em
greve. Eu estava lendo na Internet que eles fecharam o Eixo Monumental, do
Congresso, indo para a Rodoviária perto do meio dia. Então essa é uma ação
emergencial. Consta do nosso plano de ação atender o que acontecer de emergencial.
[...] Nós temos um atendimento igual para todas, e às vezes temos que agir como
bombeiro para apagar fogo.
95
O fato de relatar que faz parte do seu Plano Operacional atender às ações emergenciais
pode revelar a generalidade desse plano, em que provavelmente deve estar discriminado um
número grande de ações, tornando difícil identificar prioridades.
Assim como os outros coordenadores, ele afirmou que não existe um planejamento da
Secretaria e que o seu Plano Operacional inclui ações que sua equipe imagina que serão
demandas pelo núcleo central, e conclui afirmando: “A gente não recebe o planejamento
deles. Não vem nada formal deles”.
Com relação ao mesmo tema, o Coordenador IV apontou as dificuldades para fazer um
planejamento, porque o Núcleo de Coordenação Pedagógica deve responder a inúmeras
demandas que vêm das escolas, e relatou que procura atender aquelas que apresentam:
[...] uma dificuldade que é mais pontual, que é mais emergencial Tem um trabalho
preventivo, mas tem também um trabalho de apagar fogo. E na realidade a gente
busca atender primeiramente estes.
Relatou ainda que, esse trabalho emergencial aparece principalmente por causa de
demandas que são motivadas por várias cobranças que chegam às escolas, causadas
principalmente por processos do Ministério Público e dos Conselhos Tutelares, que acabam
interferindo no dia-a-dia do Núcleo.
Pelos relatos de diversos desses coordenadores ficou a impressão de que os Núcleos
envolvem-se com atividades que, a princípio, estariam distantes da sua função. Assim sendo,
a efetividade das suas ações ficam comprometidas quando suas prioridades são definidas
pelas ações emergenciais.
Buscando compreender um pouco mais sobre o desenvolvimento do trabalho do
Núcleo de Coordenação Pedagógica, procurou-se saber como as ações desenvolvidas eram
avaliadas, e como essa avaliação contribuiria para orientar a prática do Núcleo. Os
Coordenadores I e IV relataram que o processo de avaliação buscava medir qual a satisfação
dos professores com o atendimento prestado pelo Núcleo. Portanto, não se busca avaliar qual
o impacto da ação sobre o ensino, mas sim o grau de satisfação daqueles que receberam o
atendimento.
Os outros entrevistados sobre esse tema foram evasivos, limitando-se a afirmações
vagas e genéricas sobre o que seria uma atividade de planejamento.
Com relação às atividades de planejamento, portanto, percebeu-se que existem
dificuldades para que a Secretaria, em seus diversos níveis hierárquicos, planeje
estrategicamente suas ações, e parece que isso é mais grave na base da hierarquia. Pelos
96
relatos, as atividades de planejamento limitam-se ora à elaboração ou acompanhamento do
orçamento, ora à elaboração de uma lista de ações que devem ser desenvolvidas. Com relação
a essas ações, as que são mais demandadas pelas equipes dos Núcleos de Coordenação
Pedagógica são aquelas consideradas de caráter emergencial. Talvez essas atividades
pudessem ser assumidas por outros órgãos da estrutura das Diretorias Regionais de Ensino.
Os relatos indicaram uma dificuldade em lidar com temas comuns a uma atividade
gerencial, tais como, definir metas e acompanhar resultados, tarefas típicas das funções de
direção e coordenação, à qual estão ligados os entrevistados. Além disso, em nenhum ponto
dos relatos foi possível perceber qualquer associação entre o planejamento da Secretaria e
qualidade educacional, como se a qualidade do ensino pudesse ser alcançada somente a partir
da vontade dos atores. No meu entender, utilizando um conceito defendido por Dias Sobrinho
(1995), a qualidade deve ser construída por meio de consensos e negociações entre os atores,
atividades essas inerentes ao planejamento. Dessa forma a atividade de planejamento é um
momento privilegiado para estabelecer critérios e padrões acordados entre todos acerca da
qualidade que se quer atingir.
Instrumentos utilizados na gestão dos resultados educacionais.
A Secretaria utiliza há três anos, portanto, desde 2004, um sistema para acompanhar os
resultados das escolas. Trata-se do Sistema Integrado de Gestão Escolar via Web, conhecido
como Sige. Esse sistema começou a ser desenvolvido em 2001 pela Codeplan, Companhia de
Desenvolvimento do Planalto Central, órgão da estrutura administrativa do Governo do
Distrito Federal. Ele permite acompanhar o número de matrículas por turma, a evasão escolar
e o rendimento por disciplina de todos os alunos matriculados na rede pública, escola por
escola. Além disso, tem uma série de funcionalidades voltadas para o dia-a-dia da escola,
como a emissão de certidões, acesso à legislação educacional, entre outras.
O Sige trabalha com um banco de dados relacionais que permite uma série de
consultas e uma hierarquização do sistema, em que a escola tem acesso apenas aos seus
dados, as Diretorias Regionais de Ensino têm acesso aos dados das escolas sob sua jurisdição
e o nível central da Secretaria tem acesso a todos os dados. Para que o sistema entrasse em
efetiva operação, as Diretorias Regionais de Ensino e todas as escolas receberam
computadores com acesso à Internet, e cerca de três mil funcionários foram treinados para
alimentar e utilizar o sistema. As secretarias de cada escola atualizam suas informações no
sistema com uma periodicidade no mínimo bimestral. O desempenho dos alunos nas
disciplinas é classificado pelo Sistema como satisfatório ou insatisfatório. Ao longo do ano, o
97
sistema classifica os alunos que estão em processo de recuperação pedagógica como tendo um
rendimento insatisfatório, enquanto que o restante é classificado como satisfatório. Ao final
do ano, fecham-se as estatísticas, classificando os alunos como aprovados, retidos ou
evadidos. Para os níveis centrais da administração, os resultados vêm agregados por
disciplina, por escola e por Diretoria Regional de Ensino. Esses dados começaram a ser
utilizados como um instrumento de gestão a partir de 2005, servindo como base para discutir
o desempenho dos alunos em diversas reuniões. Normalmente, a Área Pedagógica reúne-se
com os diretores das Diretorias Regionais de Ensino e com os coordenadores dos Núcleos de
Coordenação Pedagógica para discutir o assunto. Em seguida, essa discussão alcança os
diretores das escolas em reuniões com os coordenadores dos Núcleos de Coordenação
Pedagógica.
O Dirigente C, ligado à Área de Planejamento, relatou como o núcleo central da
Secretaria começou a utilizar as informações fornecidas pelo Sige. Segundo o dirigente, os
dados começaram a ser discutidos com os diretores regionais de ensino em 2002. Inicialmente
a Área de Planejamento estava interessada em discutir com os diretores de escolas a qualidade
das informações prestadas no Censo, pois se percebeu que em muitos casos elas não eram
fidedignas. Gradativamente, a título de exemplificação, foram sendo agregados às discussões
os dados gerados pelo sistema. Segundo o dirigente, passou-se a debater esses dados com
cada Diretoria Regional de Ensino com o objetivo de que cada uma fizesse uma auto-
avaliação e com isso detectassem:
quais eram os pontos de estrangulamento que estavam fazendo as taxas de
repetência estarem naqueles níveis, e o desempenho dos alunos também não
melhorar. Porque não bastava detectar que o problema existia. Era preciso intervir.
De acordo com esse Dirigente, essa estratégia não teve sucesso, pois prevaleceu o lado
político da questão, no sentido de que, por pressão dos diretores das Diretorias Regionais de
Ensino, o assunto foi sendo colocado de lado. Segundo ele, houve uma incompreensão por
parte das escolas que “entenderam que o que estava se fazendo era uma imposição, vinda de
cima, e que por isso não iriam cumprir”. Salientou ainda que o viés político para escamotear
as discussões sobre o desempenho das escolas não seria um problema restrito ao atual
governo, muito menos ao governo do Distrito Federal, mas que ele estaria acontecendo
também em governos de outros estados.
Uma das dificuldades enfrentadas pelos diversos órgãos da Secretaria para trabalhar
com informações objetivas, segundo o relato do dirigente C, reflete-se na instituição de um
98
conjunto de dados que possa ser efetivamente utilizado. Esse dirigente relatou que,
anteriormente, as Diretorias Regionais de Ensino e as escolas faziam seus próprios
levantamentos, sem cuidados metodológicos. Quando eram divulgados os resultados do
Censo da Educação Básica do MEC criava-se um grande debate, pois as informações
levantadas pela Secretaria eram diferentes daquelas apontados pelo Censo. Na realidade, o
que variava era a metodologia utilizada, e o problema foi solucionado com a implantação do
Sistema de Informações Gerenciais, Sige, que unificou as metodologias de coleta de dados.
No entanto, é importante destacar que a coleta de dados para o preenchimento do Censo ainda
é manual, o que demonstra que o sistema criado levou em conta apenas a preocupação de
atender uma parte das necessidades da Secretaria.
O envolvimento da Área Pedagógica com o Sige teve início quando o Dirigente B
começou a testar as possibilidades de sua utilização. A partir daí, o dirigente passou a discutir
esses dados com alguns diretores de escolas de seu relacionamento pessoal, exemplificando
como aconteciam essas conversas:
[na reunião] falava com o diretor: olha estes são os dados da sua escola. Você tem
uma turma de 5ª série onde 70% tem índice insatisfatório em Língua Portuguesa,
mas tem 70% com índice satisfatório em História. O que está acontecendo? Porque a
História é leitura de mundo, é interpretação, é leitura, e está tão ruim em Língua
Portuguesa. O que está acontecendo? Já parou pra pensar? Já discutiu com seu grupo
porque está assim? É preciso replanejar, ver como é que estão as ações na escola.
E aí o diretor ficava assim assustado! Como é que a gente tinha acesso a aquilo ali?
Apesar dele ter acesso aos dados, da sua escola alimentar o sistema, ele não fazia
uso das informações. Ele nem sabia que tinha aquela ferramenta na escola, e que ele
poderia, deveria fazer uso dela.
O mesmo Dirigente B destacou que algumas dessas escolas estavam próximas
fisicamente, tinham as mesmas características, atendiam a uma clientela semelhante, mas
quando os resultados apurados eram diferentes. O dirigente relatou ainda que, usando como
referência a quantidade de alunos classificados com nível satisfatório, conhecia escolas com
40 alunos em sala de aula, que apresentavam um desempenho melhor, do que aquelas que
tinham 30 alunos em sala. Ele resumiu assim a atitude que tomou conta dos dirigentes da
Secretaria, depois que começou a discutir essas informações com seus colegas do núcleo
central: “[...] então a gente ficou perdido. Nós não temos parâmetros”. O Dirigente B relatou
que a partir daí começaram a ser identificados outros fatores que poderiam influenciar no
desempenho dos alunos, enumerando questões ligadas à rotatividade de professores, à
quantidade de faltas ao trabalho e ao alto índice de licenças para tratamento de saúde da
99
categoria. O estudo desse dirigente levou a Área Pedagógica a discutir com as escolas os
resultados apontados pelo Sige, com o objetivo de melhorar o desempenho do sistema.
Assim, começaram a serem feitas reuniões eventuais em cada Diretoria Regional de
Ensino com diretores de escolas, com o objetivo de sensibilizá-los para a importância das
informações geradas pela própria escola. Com isso, foi iniciado um debate sobre os processos
que estavam ocorrendo na escola tomando por referência os dados do Sige. Segundo o
dirigente, esperava-se que essas reuniões pudessem sensibilizar as escolas, para que elas
pudessem iniciar internamente um processo de discussão que levasse a uma melhoria dos
resultados. Segundo o dirigente, isso efetivamente não aconteceu. Nesse caso, o Dirigente B
parece sugerir que apenas a apresentação de resultados considerados ruins para a escola
seriam suficientes per se para modificá-los a partir do início de um processo interno de
discussão, como se o papel da Secretaria fosse somente indicar o problema, deixando a sua
solução para a escola. Esse fato se insere no que já foi discutido sobre a questão da
responsabilização. Ravela (2005) destaca que existe uma lógica que implica uma guerra de
todos contra todos, na qual todos se desfazem da sua responsabilidade e a atribuem a outros.
Além disso, destaca a importância de se estabelecer uma lógica diferente, que estabeleça um
sistema de cooperação entre os diversos atores envolvidos no processo educacional.
A partir dos relatos dos coordenadores dos Núcleos de Coordenação Pedagógica foi
possível compreender como os dados gerados pelo Sistema de Informações Gerencias, Sige,
são utilizados no dia-a-dia de suas atividades.
Segundo o Coordenador III, subordinada a cada Diretoria Regional de Ensino existe,
além do Núcleo de Coordenação Pedagógica, a Coordenação de Planejamento e Controle.
Essa coordenação mantém ligações com a Área de Planejamento, e tem como atribuição
realizar o acompanhamento dos dados inseridos pelas escolas no Sige, além de gerar
relatórios gerenciais sobre o desempenho dos alunos e encaminhá-los ao Núcleo de
Coordenação Pedagógica. O mesmo coordenador explicou que na diretoria a que está ligado,
a Coordenação de Planejamento e Controle passou a integrar a equipe do Núcleo de
Coordenação Pedagógica. Como, segundo o dirigente, as duas equipes trabalham sob a sua
coordenação isso propiciou mais agilidade aos processos internos. Relembrando o período de
implantação do Sistema de Informações Gerenciais, Sige, o coordenador afirma que algumas
escolas, principalmente as maiores, resistiram à sua implantação, pois elas já utilizavam
outros sistemas adquiridos com recursos próprios. Com a implantação do novo sistema, essas
escolas teriam que migrar todos os dados dos sistemas existentes para aquele, e como não
havia forma de fazer isso automaticamente, as informações teriam que ser inseridas
100
manualmente, uma a uma. Esse coordenador afirmou, em tom de crítica, que o Sige vem
sendo constantemente aprimorado e atualizado, “assim como o Windows, a cada semana tem
uma nova versão”.
Para o Coordenador II, o Sige passou a ser bem aceito pelas escolas a partir do
momento em que as empresas de ônibus, para vender passes estudantis, passaram a exigir
como documento comprovante da situação de estudante regularmente matriculado, a
declaração de matrícula emitida pelo Sige. Assim, por pressão dos alunos e de suas famílias,
as escolas começaram a inserir seus dados no sistema e ele passou a ser mais utilizado.
Esses dois interlocutores, o Coordenador II e o Coordenador III trabalham com os
relatórios gerados pelo Sige de forma parecida, utilizando os relatórios do sistema para
discutir, com os diretores das escolas, o desempenho dos alunos.
Assim que as escolas lançam os dados dos alunos referentes ao seu desempenho no
primeiro bimestre do ano, o Núcleo de Coordenação Pedagógica solicita à Coordenação de
Planejamento e Controle a emissão dos relatórios por escola que destaquem as disciplinas
ofertadas e o desempenho dos alunos. De posse desses relatórios, todos os diretores das
escolas são chamados para uma reunião conjunta em que são apresentados e debatidos os
resultados, escola por escola. Segundo o relato dos dois coordenadores, é interessante notar
que quase a maioria dos diretores mostrou-se surpresa quando os resultados das suas escolas
eram apresentados ao grupo, principalmente aqueles resultados que apontavam um grande
número de alunos com rendimento considerado insatisfatório. Alguns deles chegaram a
duvidar de que aqueles números fossem realmente da sua escola, sugerindo que os dados do
sistema estariam errados, apesar de os dados terem sido alimentados pelas próprias secretarias
das suas escolas. Muitos pareciam estar tomando contato com esses números pela primeira
vez, apesar desse relatório poder ser emitido na própria escola. Esses fatos podem revelar a
dificuldade que têm os gestores das escolas para trabalhar com dados objetivos, ou então
problemas no perfil profissional desses gestores. Após a reunião, os diretores das escolas
recebem a incumbência de discutir os resultados com os professores e a equipe pedagógica da
escola, no sentido de buscar estratégias para melhorar o rendimento de seus alunos. A partir
desse momento, cada Núcleo age de forma distinta.
O Coordenador III afirmou que bimestralmente levanta os dados do Sige e com base
neles discute com os diretores as estratégias que estão sendo desenvolvidas pela escola para
melhorar o desempenho dos alunos. O objetivo desse trabalho, segundo ele, é fazer com que
no final do ano ocorra uma diminuição no índice de repetência dos alunos, mas ressaltou que
101
não existia uma meta a ser alcançada. Esperava-se apenas que o número de alunos reprovados
fosse “o menor possível”.
Já o Coordenador II, relatou que após a reunião no início do ano, uma nova reunião
para discutir o desempenho dos alunos acontece depois que o ano letivo já foi encerrado, e
tem por objetivo fazer um balanço das ações desenvolvidas por cada escola. Acredito que
nessa época do ano pouco pode ser feito, e a primeira reunião teria tido um caráter muito mais
de sensibilizar os participantes para um problema existente do que o início de uma proposta
de trabalho para reverter um quadro considerado ruim.
Diferentemente dos dois coordenadores anteriores, o Coordenador I afirma que as
informações geradas pelo Sige não são levadas muito em consideração, porque mais
importante que os números são as ações práticas que estão sendo desenvolvidas pelo seu
Núcleo. Segundo ele: “o nosso trabalho é prático. Não é de dado, número. O número é para a
gente ter uma base”. As ações práticas a que ele se referiu, acontecem sem que sejam
realizados estudos ou pesquisas que permitam identificar os problemas e suas soluções.
O Coordenador IV relatou que também não se faz muito uso dos dados gerados pelo
Sige, porque ele e a sua equipe sentem dificuldades para trabalhar com os indicadores de
desempenho emitidos pelo Sige. Ele assim se referiu ao fato: “nós, e eu me incluo nisso, não
aprendemos a trabalhar com base em dados. Eu acho que muitas vezes a gente trabalha muito
na intuição”. Concluindo seu relato ele credita esse fato a uma concepção ingênua da
educação, pois o professor não veria sentido, nem significado em utilizar os números para
balizar seu trabalho. Para ele, o professor prefere muito mais “continuar tocando o seu dia-a-
dia ao invés de se debruçar sobre a sua prática”.
O Coordenador V, por outro lado, diz que trabalha os dados com as escolas realizando
reuniões, em que a ênfase é a discussão da avaliação da aprendizagem, quando “a gente
mostra a necessidade de variar a maneira da avaliação, não focar a avaliação somente no
aspecto quantitativo, da nota. Para aproveitar e acompanhar o crescimento do aluno no dia-a-
dia”. Ele inclusive faz menção à importância do documento Diretriz para Avaliação da
Aprendizagem da Escola Pública, editado pela Secretaria de Educação do Distrito Federal
para orientar os professores na avaliação da aprendizagem dos alunos. Nesse documento são
propostas outras formas de avaliação para serem usadas em conjunto com a prova. Dizendo
isso, ele deu a entender que o baixo rendimento do aluno está intimamente ligado às formas
utilizadas pelos professores para avaliar seus alunos.
A partir desses relatos, é possível perceber que a utilização dos dados gerados pelo
Sige ainda não é uma prática disseminada na Secretaria de Educação do Distrito Federal.
102
Além disso, discutir o desempenho dos alunos tomando por base informações objetivas,
coletadas nas escolas por meio do sistema, enfrenta resistências. Tanto é assim que quando a
Área de Planejamento começou a discutir os dados com as escolas, houve dificuldades para
continuar o trabalho, devido a problemas de natureza política ou então pela resistência das
escolas que expressavam estar sendo compelidas a utilizar um instrumento imposto pela
Secretaria. Esses dois fatos, segundo o Dirigente C, da Área de Planejamento, inviabilizaram,
na época, a utilização do Sige como um instrumento que poderia auxiliar a melhorar os
indicadores de desempenho dos alunos. Quando a Área Pedagógica, a partir da iniciativa
individual de um de seus dirigentes, começou a utilizar os dados gerados pelo Sige, o fez
inicialmente de forma exploratória, não com a intenção de avaliar o desempenho do sistema.
Depois desses estudos, passou-se a discutir esses dados junto às Diretorias Regionais de
Ensino e em seguida alguns Núcleos de Coordenação Pedagógica começaram a utilizar o Sige
como instrumento de gestão, ainda que de forma incipiente.
Cada Núcleo de Coordenação Pedagógica utiliza o Sige de uma forma diferente dos
demais. Alguns coordenadores, apoiando-se nos resultados gerados pelo sistema, estão
procurando acompanhar mais de perto as ações desenvolvidas pelas escolas, ao mesmo tempo
em que preparam projetos de intervenção para dar suporte às mudanças que consideram
necessárias. Outros apenas esporadicamente fazem uso delas, e outros ainda afirmam que
sentem dificuldade para trabalhar com dados objetivos, e que por isso quase não utilizam o
sistema. Mesmo aqueles que afirmam preparar projetos de intervenção com base nos dados do
Sige, o fazem como se a melhoria do desempenho dos alunos fosse um fim em si mesmo, sem
atentar para os fatores escolares que possam estar por trás desse desempenho. Além disso, não
procuram identificar quais os conteúdos curriculares que os alunos apresentam maiores
dificuldades, o que poderia fornecer algumas pistas importantes.
A importância de trabalhar com indicadores, quando se trata de fenômenos sociais, já
foi identificado por Carley (1985). Para esse autor, indicadores são “medidas de uma
característica observável de um fenômeno social e que estabelecem o valor de uma
característica diferente, mas não observável” (op. cit., 1985, p.2). Mas concordo com Gomes
Neto e Rosemberg (1995) que alertam para o fato de que os indicadores não podem ser
confundidos com as causas dos fenômenos a que eles se referem. Assim, resumir a qualidade
da educação apenas ao resultado dos indicadores de desempenho de notas dos alunos não
significa, necessariamente, que os alunos estejam tendo acesso a uma educação de qualidade,
já que isso envolve uma série de outros fatores. Alguns desses fatores foram listados pelo
Dirigente B: rotatividade de professores, quantidade de faltas ao trabalho e alto índice de
103
licenças para tratamento de saúde da categoria. Mas pelos relatos percebeu-se que a indicação
de qualidade mais importante, se não a única, utilizada pela Secretaria de Educação do
Distrito Federal é a taxa de reprovação dos alunos.
Os relatos apontaram que inexiste uma atividade sistêmica da Secretaria com o
objetivo de iniciar um processo de avaliação que envolva todas as escolas, e no qual o Sige
poderia ser um de seus instrumentos. É a partir de iniciativas individuais de diferentes atores
que o processo acontece, ainda de forma simplificada, assistemática e sem que sejam
determinados objetivos claros. Vianna (2003) afirma que um processo de avaliação não deve
somente mostrar uma realidade, mas deve criar condições para que a realidade avaliada possa
ser modificada. O investimento que a Secretaria de Educação do Distrito Federal fez para
tornar o Sige um instrumento de gestão dos seus resultados, apenas indica uma situação, sem
que ações efetivas, além de discussões com os diretores das escolas, estejam sendo tomadas
para modificar a realidade.
Como é feito o acompanhamento das ações da Secretaria
Os dirigentes ligados às Áreas Pedagógica e de Planejamento apontaram que existem
dificuldades para fazer o acompanhamento dos resultados das escolas, e citaram que essa
dificuldade teria como causas principais a falta de pessoal e a distância entre as Diretorias
Regionais de Ensino que se situam em cidades que distam entre 20 a 50 quilômetros do Plano
Piloto, sede da Secretaria de Educação do Distrito Federal. Segundo eles, esses fatores
dificultam o contato com os profissionais que se encontram nas Diretorias Regionais de
Ensino. Além disso, citaram que sentem falta de especialistas que possam desenvolver
avaliações e ao mesmo tempo auxiliar na análise dos seus resultados e que sejam capazes de
apontar caminhos para superar os problemas apontados. O Dirigente C, reportando-se à
avaliação, afirma que:
Os Estados, não só o Distrito Federal, têm problemas, têm falta de estrutura, falta de
especialistas na área de avaliação, poucas universidades trabalhando com a
avaliação, poucas organizações trabalhando com avaliação.
Olha, sinceramente, nós temos um problema sério de gestão aqui no Distrito Federal.
Eu não sei se com esse resultado que o Saeb vai apontar por escola agora em 2005,
vai ser preciso um trabalho muito maior, um trabalho de sensibilização, de
ensinamento da interpretação desses resultados a esses gestores escolares, uma
proposta de discussão pedagógica com os professores em cada comunidade.
Quando ele fala sobre o “resultado que o Saeb vai apontar agora por escola” ele está se
referindo à Anresc, Avaliação do Rendimento Escolar, conhecida como Prova Brasil, que em
104
2005 avaliou as 4ª e 8ª séries do ensino fundamental de todas as escolas públicas da área
urbana com mais de trinta alunos matriculados. Se por um lado essa avaliação traz
informações sobre cada uma das escolas, diferentes da Aneb, Avaliação da Educação Básica,
que é amostral, essa informação pode trazer novos desafios para conseguir interpretar os
resultados de forma a dar soluções para os problemas apontados. Esse dirigente relatou que
devido à falta de competências instaladas na estrutura da Secretaria haverá dificuldades de
lidar com esses resultados.
O Dirigente C, acrescenta também:
Existe na verdade sempre a preocupação com o resultado que tem se mostrado
estável. Quando não em declínio. Não houve melhoria nenhuma. Por mais ações que
tenham sido implementadas, não conseguimos chegar a um resultado satisfatório.
Então existe por conta da Secretaria, nesse nível, a preocupação com resultados.
Será que melhorou? Quando vem o resultado, parece que não fizemos nada. Aí, dá
aquela sensação de impotência.
O excerto anterior aponta para algo que considero de muita importância. Segundo ele,
os resultados educacionais indicam uma estabilidade e ele não consegue entender a razão pela
qual a Secretaria não consegue melhora-los, apesar de todas as ações que estão sendo
implementadas. Com isso, surge junto à equipe dirigente da Secretaria uma sensação de
impotência. Essa manifestação, surgida ao longo dos diversos relatos, parece indicar que os
dirigentes imaginam que os resultados educacionais possam ser modificados rapidamente,
bastando para isso encontrar um conjunto de ações que sejam capazes de transformar as
situações anteriores, como se as soluções fossem únicas para todos os cenários e não levando
em consideração que os resultados são dependentes de um conjunto enorme de fatores de
longo prazo. Mas principalmente, que mudanças requerem a busca obstinada por resultados,
sem bruscas alterações nas políticas educacionais adotadas.
Durante a minha experiência junto ao Fundescola, essa impotência com relação aos
resultados foi uma sensação recorrentemente relatada pelos dirigentes educacionais. Era
comum ouvir dos dirigentes municipais e estaduais de educação que, apesar do muito que eles
consideravam estar fazendo nas suas gestões, os resultados medidos pelos desempenhos dos
alunos continuavam ruins. Não é possível generalizar, nem afirmar, que seja esse o caso da
Secretaria de Educação do Distrito Federal, mas a minha experiência junto àquelas outras
secretarias mostrou que na maior parte das vezes era possível perceber que não havia um
planejamento adequado que pudesse identificar com clareza as causas dos problemas e as
formas de superá-las, definindo objetivos e metas claros e exeqüíveis. Na maior parte das
105
vezes as secretarias definiam um número enorme de ações, para atacar todos os problemas ao
mesmo tempo, considerando que todos eles eram prioritários. Algumas dessas ações eram
iniciadas a partir de uma demanda surgida a qualquer tempo, sem uma base empírica sólida
que as justificassem. Iniciadas essas ações, a expectativa dos gestores era que os resultados
aparecessem imediatamente, desconsiderando o fato de que, em educação, os resultados
surgem somente no médio e longo prazo. Além disso, uma característica dessas organizações,
comum no processo político brasileiro, era a substituição ou interrupção de programas
gestados ou desenvolvidos em gestões anteriores.
O Dirigente C, de certa forma compreende a importância de definir prioridades, já que
nos seus relatos afirmou que a Secretaria necessitava tanto de uma avaliação institucional
como melhorar seu planejamento. Afirmou também que, realizada essa avaliação
institucional, os resultados poderiam aparecer rapidamente. No meu entender, essa ação não
seria o apanágio para superar os problemas da Secretaria, mas a etapa inicial de um
planejamento com o objetivo de aprimorar a qualidade da educação pública do Distrito
Federal. Deve ser ressaltado que isso é um processo e que os resultados só começam a surgir
no longo prazo.
O Dirigente B comentando sobre as avaliações externas, afirmou que seus resultados
podem induzir a realização de algumas mudanças na estrutura da Secretaria. Assim ele se
manifestou:
[...] a gente já tem que estar mudando alguma coisa na Secretaria. Porque pra chegar
lá [mudanças nos processos], o nível central tem que já estar pensando nas
mudanças lá na ponta [nas escolas]. Então a Secretaria vai ter que estar revendo
políticas, não é? Essa questão do acompanhamento lá da escola, lá na ponta, é uma
coisa séria. O currículo está funcionando, ele está sendo dado como deveria ser
dado? Como está sendo isso? O aluno está tendo acesso realmente àquilo que ele
tem direito, a uma aula de qualidade? Portanto, quando os resultados chegarem lá, é
porque já houve uma conscientização maior do nível central.
Pelo seu relato, percebe-se que existe uma expectativa de que os resultados venham a
modificar algumas práticas da Secretaria, mas não conseguiu definir com clareza quais seriam
essas mudanças.
Quando os interlocutores passam a ser os coordenadores dos Núcleos de Coordenação
Pedagógica, percebe-se que eles identificam que existe um sério problema relacionado ao
elevado índice de reprovação dos alunos. Mas mostram-se perplexos, pois acreditam que,
mesmo que as condições do Distrito Federal não sejam as ideais, elas são melhores do que a
106
de muitos estados da Federação. Para esses coordenadores essas condições diferenciadas é
que deveriam ser as propulsoras de resultados cada vez melhores.
Com relação a isso, o Coordenador I assim se manifestou:
A gente procura saber o porquê, e não consegue. Nós temos 100% de professores
com graduação, o que é diferente de alguns outros estados. Cursos, nós temos uma
escola de aperfeiçoamento, que é exclusiva para fazer cursos junto com os
professores. [...]. Então a gente tem uma estrutura. Não dá pra conseguir entender
ainda o porquê desse índice de reprovação tão grande. Embora a gente saiba que
tenha os problemas sócio-econômicos, principalmente nessa minha região que é uma
região mais ou menos carente. Mas a gente sabe também que isso não é o único
motivo.
Esse mesmo coordenador também indica que desde o ano de 2000, quando assumiu a
coordenação do Núcleo de Coordenação Pedagógica, vem fazendo o acompanhamento do
índice de reprovação de alunos por escola. Ele afirma que no início solicitava aos diretores
que apontassem as causas do problema, e que todas as escolas tinham respostas idênticas:
“[...] falta de estrutura familiar, [...], o aluno não tem base, [...], turmas cheias, um único
professor para atender todo mundo”. Na sua interpretação, somente essas razões não poderiam
explicar o que estava acontecendo nas escolas, pois percebia que existiam alunos e escolas
que, mesmo nas piores condições, conseguiam obter desempenhos melhores que aqueles
alunos e aquelas escolas na situação oposta.
Com o objetivo de melhorar o desempenho dos alunos, o coordenador afirmou que o
Núcleo testou novas estratégias. Uma delas foi fazer o monitoramento do dia-a-dia da família
de alguns alunos. Como resultado, percebeu-se que muitos pais não acompanhavam os
estudos de seus filhos porque afirmavam não saber ler e não tinham como ajudá-los. Nesses
casos, foi sugerido a esse familiar que ficasse ao lado de seu filho enquanto ele fazia seus
deveres, solicitando à criança contar o que estava aprendendo.
Já que pelo depoimento, um problema foi identificado e uma solução foi encontrada,
perguntou-se ao Coordenador I se esta estratégia passou a ser utilizada em todas as escolas
ligadas ao seu Núcleo de Coordenação Pedagógica. Ele respondeu que a proposta foi
encaminhada para as escolas, mas que não sabia precisar em quantas essa estratégia havia sido
implementada. Nem mesmo naquelas em que foi utilizada, o dirigente disse não saber qual o
resultado obtido em relação ao desempenho dos alunos.
Surge aqui um fato corriqueiro também constatado durante a minha experiência
profissional. As Secretarias de Educação identificam um problema, e fazem um grande
esforço para encontrar respostas para resolvê-lo. Acha-se uma solução, transforma-se essa
107
solução em uma ação, um projeto de intervenção, ele é divulgado, eventualmente pessoas são
treinadas, e nada mais acontece. Não é feito um acompanhamento da ação, nem são
verificados seus resultados. Assim, aquela inquietude relacionada à sensação de impotência,
já descrita anteriormente, continua a acompanhar o trabalho desses gestores, e eles se
percebem andando em círculos, continuamente em busca de uma bússola que oriente o seu
caminho.
Quando foi perguntado ao Coordenador I quais as atitudes que os diretores de escola
tomam para reverter esse quadro de elevado índice de repetência apontado pelo Sige, o
coordenador comentou que cerca de 30% dos diretores precisam ser constantemente
monitorados para checar quais as ações que estão sendo desenvolvidas para reverter o quadro.
Os 70% restantes comparecem a cada reunião bimestral trazendo o resultado da discussão
interna entre os professores e os projetos que estão sendo desenvolvidos para resolver os
problemas. Com o objetivo de avaliar melhor a proposta apresentada pelo diretor, a equipe do
Núcleo de Coordenação Pedagógica vai até a escola e reúne-se com os coordenadores
pedagógicos e os professores para conhecer mais sobre os problemas e discutir conjuntamente
a pertinência das soluções propostas. Fica caracterizada na minha opinião uma superposição
de funções, já que não caberia à equipe do Núcleo de Coordenação Pedagógica levantar se os
problemas existem, mas sim acompanhar as soluções propostas e avaliar junto com a equipe
escolar os resultados obtidos, propondo talvez, aí sim, uma mudança de rumos.
Segundo o Coordenador II, a ênfase do seu Núcleo durante o ano de 2005 foi a
construção do projeto pedagógico de cada escola. Grande parte delas tinha muitas
dificuldades em construir seus projetos, não sendo incomum verificar a existência de escolas
com projetos que claramente haviam sido construídos sem o envolvimento da comunidade
escolar. Eles eram feitos para serem apresentados à Diretoria Regional de Ensino, cumprindo
uma exigência legal, e nada mais. Identificado esse problema, o Núcleo de Coordenação
Pedagógica se mobilizou para auxiliar as escolas na construção coletiva da sua proposta, e
espera-se que até o final de 2006 todas se encontrem em condições de apresentá-lo tanto para
a comunidade de sua escola, quanto para os coordenadores pedagógicos das outras escolas e
gestores da Secretaria de Educação do Distrito Federal. O Coordenador II acredita que,
mesmo não tendo havido uma orientação com relação à forma ou aos temas que deveriam
estar presentes nos projetos, o ponto central desses projetos deve ser o rendimento escolar. Ele
credita isso às reuniões em que foram apresentados os dados do Sige. No meu entender, é
estranho o coordenador apenas acreditar que o tema do rendimento dos alunos possa fazer
parte do projeto pedagógico da escola. Como seria possível que ele não fizesse parte desse
108
projeto? Considero que o rendimento dos alunos deva ser um dos indicadores, não o único,
mas talvez um dos principais, que permita avaliar se o projeto pedagógico conseguiu atingir
seus objetivos.
Quando perguntado se o fato de os diretores sofrerem pressão para resolver os
problemas de baixo rendimento dos alunos, não estaria contribuindo para que seus professores
também fossem pressionados a melhorar os conceitos dos alunos, o coordenador respondeu
que isso não estaria acontecendo com certeza, porque não estaria havendo variação nos
indicadores de desempenho dos alunos. Se os resultados não variavam, mesmo depois do
esforço despendido pelo Núcleo de Coordenação Pedagógica, o que poderia estar havendo? O
Coordenador II afirmou que são muitos os fatores que influem para que os resultados
permaneçam como estão, mas que não saberia indicar um em particular. Acredito que
realmente seria difícil para esse coordenador identificar os fatores que influenciam o
rendimento dos alunos, já que o núcleo que coordena não organiza nenhum estudo sobre a
realidade das escolas que estão ligadas à sua Diretoria Regional de Ensino, nem avalia as
ações que desenvolve.
Os relatos dos Coordenadores I e II são emblemáticos. Primeiro, porque demonstram
que cada Núcleo de Coordenação Pedagógica desenvolve suas próprias ações de forma
independente da estrutura da Secretaria de Educação do Distrito Federal, e desarticulada das
ações desenvolvidas pelos outros Núcleos. Com isso, não quero afirmar que todos devam
estar agindo da mesma forma, já que eles enfrentam realidades diferentes. Mas chama atenção
o fato de que enquanto um prioriza a discussão dos resultados juntamente com as escolas a
cada relatório gerado pelo Sige, o outro escolhe trabalhar no sentido de estimular que cada
escola construa seu projeto pedagógico. O que quer se destacar aqui não é o fato de que a
construção dos projetos pedagógicos não seja uma atividade prioritária, mas sim que cada
Núcleo escolhe atividades diferentes para dar conta das suas funções, não existindo uma
unidade de ação. Em segundo lugar, os dois interlocutores mostram-se perplexos com o fato
de que não haja melhoria nos indicadores de desempenho dos alunos, como se isso pudesse
acontecer de uma hora para outra. É interessante notar que não existe uma priorização nas
ações que devem ser desenvolvidas, restando a impressão que tudo é prioritário e deve ser
atacado ao mesmo tempo. Além disso, não é uma prática comum nas ações dos dois Núcleos
avaliar as atividades desenvolvidas, o que permitiria reformulá-las e com isso tornar o
trabalho do Núcleo mais efetivo.
Os dois relatos mostram que apesar da utilização do Sistema de Informações
Gerenciais, Sige, não estar ainda disseminado na Secretaria, gradativamente vem ganhando
109
importância os resultados que ele aponta, indicando que essa política definida pelo núcleo
central da Secretaria vem ganhando espaço dentro da estrutura da organização como um
instrumento que permite apontar problemas que as escolas estejam enfrentando. Apesar desse
entendimento ser unânime, as informações obtidas por meio do Sige não balizam as ações de
todos Núcleos de Coordenação Pedagógica, e na maior parte de suas atividades percebe-se
que ainda é muito forte a cultura do “achismo”. Investe-se no desenvolvimento de um grande
número de projetos sem que tenha sido feita uma pesquisa anterior que dê suporte aos
objetivos que se quer alcançar com eles, sempre na crença de que esses projetos poderão
resolver, por si só, todos os problemas da escola. Como conseqüência, são várias as ações
desenvolvidas, dispersando-se os esforços que poderiam estar concentrados em um pequeno
número de atividades, que poderiam estar sendo constantemente monitoradas.
Uma possível interpretação para a grande preocupação da equipe gestora com relação
aos dados de repetência fornecidos pelo Sige, pode advir dos dados relativos às taxas de
rendimento do ensino fundamental do Distrito Federal em 2004, expressas no Quadro 33.
Quadro 33: Taxas de Rendimento 2004: Brasil, regiões e Distrito Federal.
Taxa de Aprovação (%) Taxa de reprovação (%) Taxa de abandono (%)
Brasil
78,7 13,0 8.3
Norte
71,5 16,2 12,3
Nordeste
69,7 16,7 13,6
Sul
87,1 8,9 4,0
Sudeste
83,9 13,2 2,9
Centro-Oeste
77,9 12,2 9,9
Distrito Federal 80,6 16,3 3,1
Fonte: Inep/MEC
Pelo Quadro 33 é possível perceber que a taxa de reprovação do Distrito Federal é
superior à média brasileira e às das cinco regiões, e uma das mais altas do país, de acordo com
o Edudata Brasil
11
. Assim, essa seria a razão para que todos os esforços desenvolvidos sejam
no sentido de diminuir essa taxa. O mesmo não acontece com as taxas de aprovação e
abandono em que o Distrito Federal possui respectivamente a terceira e a segunda menor taxa,
se comparado com as taxas das demais regiões brasileiras.
3.2 A Secretaria de Educação do Distrito Federal e a utilização dos resultados do Saeb
Após ter investigado de que forma a Secretaria trata do planejamento das suas
atividades, e quais os instrumentos utilizados para acompanhar seus resultados, buscou-se
11
Os dados foram obtidos no site: www.edudatabrasil.inep.gov.br .
110
informações sobre o relacionamento da instituição com o Saeb, e com os resultados
produzidos por essa avaliação. O primeiro aspecto investigado foi como a Secretaria participa
da estruturação e organização do Saeb. A seguir, considerou-se importante investigar a forma
como os resultados da avaliação chegam à Secretaria, e os usos que a instituição faz dos seus
resultados, principalmente à luz do que foi discutido no capítulo anterior sobre a
complexidade da metodologia utilizada pelo Saeb e as constantes mudanças nos relatórios
nacionais utilizados para divulgar seus resultados.
No Capítulo 2 deste trabalho mostrou-se que os sistemas de ensino, embora não
tenham nenhuma participação da elaboração do Saeb, são convidados a tomar parte da
aplicação da avaliação sem a devida compreensão se sua estrutura e metodologia. Procurou-se
investigar, como as Secretarias de Educação se mobilizam para a realização da avaliação, já
que esse é um aspecto importante e pouco comentado. As pesquisas e as notícias divulgadas
pela imprensa destacam somente os resultados obtidos, e não o esforço necessário para que o
Saeb aconteça.
O Dirigente C, ligado à Área de Planejamento está mais diretamente envolvido com as
atividades demandadas pelo MEC, como o Censo e as avaliações. Ele afirma que a Secretaria
é uma parceira importante para a realização do Saeb, já que operacionaliza toda a sua
aplicação no Distrito Federal. Essa operacionalização é supervisionada pelas entidades que
foram escolhidas por licitação pelo Inep para executar o trabalho de aplicação da avaliação.
Segundo esse coordenador, esse trabalho envolve diversas etapas. Primeiramente é feita a
checagem das turmas que foram selecionadas para participar da avaliação, depois que o Inep
definiu a amostra. Com base na lista inicial, a Secretaria encaminha ao Inep a relação das
escolas e das turmas que estão aptas a participar do processo. A seguir, a Secretaria entra em
contato com cada escola comunicando que ela foi selecionada para participar da avaliação, e
fornece detalhes de como o processo vai se desenvolver. Com a intenção de sensibilizar as
escolas, a comunicação da Secretaria com a escola destaca principalmente que o propósito da
avaliação não é avaliar a escola, mas sim todo o sistema de ensino do Distrito Federal. O
Dirigente C comenta que algumas escolas oferecem resistência para participar da avaliação, e
por essa razão é necessário um contato pessoal para convencer seus diretores sobre a
importância do Saeb.
A outra etapa do trabalho envolve a escolha da equipe que, com recursos fornecidos
pelo Inep, será contratada para aplicar a prova e os questionários. Não são os professores da
escola os responsáveis pela sua aplicação, mas sim pessoas que são contratadas
especificamente para esse fim. Como o perfil definido para a sua contratação determina que
111
elas devam ter algum domínio de sala de aula, são elegíveis aqueles que atuem como
professores, que tenham formação completa, e possuam no mínimo dois anos de experiência
de sala de aula.
A seguir, a equipe selecionada passa por um treinamento, com o objetivo de
padronizar os procedimentos da aplicação do Saeb. Nesse treinamento, entre outras coisas,
são definidos os tempos máximos para a resolução de cada um dos três cadernos da prova que
o aluno recebe, para o preenchimento do cartão de respostas e do questionário que o aluno
deve responder. É explicado que esses tempos são suficientes para que, na média, um aluno
possa executar todas as atividades. Depois do treinamento, os aplicadores recebem o material
necessário para aplicar a avaliação, a lista contendo o nome das escolas e das turmas que
serão avaliadas, e o dia em que a avaliação ocorrerá em cada uma das unidades escolares.
Cada pessoa fica responsável por um conjunto de escolas e tem um prazo em torno de 14 dias
para realizar todas as aplicações.
O Coordenador IV em 2003 aplicou a avaliação em turmas de 4ª série, e relatou o que
acontece dentro da sala de aula com os alunos, com os professores e diretores.
Segundo ele, as escolas são avisadas com antecedência da data da aplicação da
avaliação, e são orientadas para que dentro do horário marcado, não seja permitida uma
tolerância maior do que 15 minutos para o início das atividades.
Na sala de aula, foi respeitada a sua organização interna. Não foi feita uma arrumação
especial nas carteiras e os alunos sentaram-se nos seus lugares habituais. Terminado o prazo
de tolerância, nenhuma criança pôde entrar na sala. Foi explicado aos alunos que a avaliação
era uma prova simples, iniciando a seguir a leitura das instruções. Os alunos foram orientados
a passar para a questão seguinte quando não soubessem responder a uma determinada
questão, pois eles teriam um prazo determinado para responder a cada um dos três cadernos
de prova. O coordenador afirmou que os aplicadores já recebem as provas em uma seqüência,
e as distribuem em zig-zag: do primeiro ao último da primeira fila, depois do primeiro ao
último da segunda fila, e assim sucessivamente. O professor da turma é convidado a
permanecer, e sua presença é bem vinda caso haja na classe alunos com necessidades
especiais.
Os professores demonstram grande ansiedade ante a avaliação, porque, segundo o
Coordenador IV eles têm consciência de que não se está avaliando somente seu o aluno, mas
também o seu trabalho. Os professores querem saber se as questões são diferentes das que
utilizam em sala de aula, se o conteúdo é o mesmo que foi trabalhado. Chegam inclusive a
mostrar ao aplicador o livro que utilizaram ao longo do ano, comentando que aquele
112
determinado conteúdo foi trabalhado em sala, indicando que as questões do livro são muito
parecidas das que constavam da avaliação. Alguns deles chegaram a copiar as questões que
achavam mais interessantes, ou então solicitavam autorização para tirar cópia da prova, já que
por orientação do Inep, ele não poderia ficar com uma. O coordenador afirmou que permitiu
que o professor tirasse uma cópia da prova, já que na sua opinião o professor tinha o direito de
saber o conteúdo que estava sendo cobrado de seus alunos. É importante destacar que para
manter a sigilo dos itens que poderão ser utilizados em futuras avaliações para fazer a
comparação entre os diversos ciclos da avaliação, o Inep determina que as provas não sejam
divulgadas. No entanto, acredito ser positivo esse interesse dos professores sobre as
habilidades que estão sendo avaliadas. Sendo assim, seria importante que, a cada ciclo de
avaliação, fosse dado destaque à descrição detalhada das habilidades que foram exigidas na
prova.
Segundo o Coordenador IV, os professores demonstram uma curiosidade muito grande
com relação à divulgação dos resultados, seguida de certa decepção ao saber que esse
resultado poderia demorar um ano para ser divulgado. No meu entender, a divulgação dos
resultados do Saeb é um dos seus principais problemas, pois o longo intervalo entre a
realização da avaliação e a divulgação dos seus resultados reduz em muito o seu impacto, já
que os gestores e os professores podem encarar esses resultados como uma coisa do passado e
que no presente a situação seja totalmente diferente.
Quando perguntado ao coordenador se os alunos procuravam se empenhar para
resolver as questões do teste, mesmo que ele fuja à avaliação tradicional que atribui a eles
uma nota, ele afirmou que os alunos pareciam estar bastante envolvidos com o teste, mas que
isso talvez pudesse estar relacionado à idade deles. Ele comentou que chegou até a presenciar
choro de alunos que não conseguiram chegar à escola no horário marcado, e que pediam
insistentemente para que pudessem participar da avaliação. Como o coordenador já havia
aplicado provas em outras séries em outros ciclos do Saeb, afirmou que percebeu uma
diferença de comportamento tanto nos alunos, como nos seus professores. Os alunos das
séries mais elevadas pareciam não estar envolvidos com o teste e procuravam terminá-lo
rapidamente. Quanto aos professores das séries mais elevadas, disse ter percebido que
somente os de português e Matemática se mostravam preocupados com a avaliação. Aqueles
ligados às outras disciplinas não demonstravam nenhuma curiosidade, nem pelo teste, nem
pela avaliação em si, como se não sentissem que o seu trabalho estava sendo avaliado.
A questão relativa ao desinteresse pela avaliação foi uma das preocupações expressas
no relatório do ciclo de 1995 do Saeb, que apontou que, em alguma regiões, chegava a ser
113
superior a 40% a ausência dos alunos no dia marcado para a aplicação do teste. O relato desse
coordenador, juntamente com a preocupação do relatório de 1995, reforçam a necessidade de
que sejam desenvolvidas estratégias que sensibilizem a comunidade escolar para o significado
e a importância da avaliação produzida pelo Saeb.
Com relação ao tempo determinado para a execução de todas as atividades, o
coordenador considerou que ele foi adequado.
Estes dois relatos, do dirigente e do coordenador, indicam que mesmo que as
secretarias de educação não participem diretamente da elaboração do Saeb, exige-se delas
muito trabalho envolvendo parcelas de sua estrutura na operacionalização da avaliação.
Também foi interessante saber o que acontece em sala de aula durante a aplicação da prova.
Considero que deve ser dada uma atenção especial na preparação da aplicação das provas nas
8ª séries do ensino fundamental e 3ª série do ensino médio. Assim, é necessário que sejam
desenvolvidas estratégias que sensibilizem a comunidade escolar para o significado e a
importância da avaliação produzida pelo Saeb. Por outro lado, é interessante notar que mesmo
que existam problemas em algumas séries, os alunos da 4ª série do ensino fundamental
parecem dar uma grande importância à avaliação, e esta poderia ser uma oportunidade
interessante para Inep interagir mais com a escola. Por fim, é necessário desenvolver
estratégias que tornem possível a divulgação dos resultados em um menor prazo, o que
possibilitaria atuar mais prontamente sobre os problemas apontados pelo Saeb.
Como são difundidos os resultados do Saeb
O Dirigente A, ligado à Área Pedagógica, revela que não cabe à sua área lidar com os
dados do Saeb, e que isso é feito pela Área de Planejamento. Segundo ele, a Área de
Planejamento tem uma equipe que é responsável pelo que ele chamou de “fazer a ponte com o
MEC”, inteirando-se sobre os processos e informações e repassando-os a toda estrutura da
Secretaria assim que chegam do ministério. Chama atenção o fato do dirigente relatar que a
informação recebida é apenas repassada para os outros órgãos, sem que nenhum estudo
específico seja produzido. Mesmo tendo afirmado que é a Área de Planejamento que repassa
as informações para a Secretaria, o Dirigente A afirmou que a imprensa é quem fornece a
maior parte das informações que a sua equipe recebe sobre o Saeb, como a data em que a
avaliação vai ocorrer e seus resultados. Quanto a elas, esse dirigente se recorda
principalmente das notícias que informam “[...] como estão os outros estados como a gente
está situado em nível nacional”.
114
O Dirigente A, afirma também que, apesar de a Área Pedagógica ter sob sua
responsabilidade o ensino fundamental, a sua área não se envolve diretamente com o Saeb,
cabendo à Área de Planejamento a organização e a aplicação da avaliação.
Para aprofundar mais a investigação sobre o quanto conhecia do Saeb, foi perguntado
a esse dirigente sobre as mudanças ocorridas no ciclo do Saeb de 2005. Esse dirigente afirmou
que recebeu informações sobre elas em um contato com a Secretaria de Educação Básica do
MEC. Apesar das duas avaliações do ciclo de 2005 do Saeb, Anresc e Aneb, terem acontecido
dois meses antes do momento da entrevista o dirigente parecia se referir a uma avaliação que
ainda estaria por vir:
Eles me passaram um pouco isso (as mudanças do Saeb 2005, nota do autor), mas
aqui internamente ainda não participei de estudo dessas modificações. Deve ser a
outra subsecretaria que está fazendo e que provavelmente vai nos repassar.
Esse relato, além de demonstrar que existe um problema no fluxo de informações na
Secretaria, deixa claro que o trabalho de divulgação do Saeb precisa ser aprimorado porque
parece não alcançar alguns ocupantes de cargos de elevado nível hierárquico, pelo menos na
Secretaria de Educação do Distrito Federal.
Por outro lado, o Dirigente C, ligado à Área de Planejamento, mostra-se totalmente
inteirado sobre a organização do Saeb, sobre a sua estrutura e sobre os relatórios divulgados
pelo Inep, talvez inclusive por conta das atribuições que cabem à sua área. Segundo ele:
Nós participamos como parceiros do Inep, basicamente. Então o pessoal aqui brinca
que eu sou mais funcionário do MEC, do que da Secretaria. Isso porque eu estou
sempre mais envolvido com o Inep, por conta das avaliações.
Esse trecho expõe claramente que o ministério vem demandando da Secretaria uma
grande quantidade de atividades, a ponto de ter que destacar uma de suas equipes para atender
a essas demandas. No caso do Saeb, e provavelmente nas outras demandas a que o dirigente
se refere, as atividades solicitadas são de natureza operacional. Com isso, o preceito
constitucional de colaboração entre os entes federados, que é impositivo imperar na área
educacional, fica restrito, nesse caso, a uma prestação de serviços.
Com relação ao Saeb, o Dirigente C relata quais seriam as atribuições da Área de
Planejamento, e quais seriam as das demais estruturas da Secretaria:
O trabalho de realização do Saeb é feito pela Área de Planejamento. A nossa parte
foi feita.
115
Se existe (divulgação dos resultados do Saeb, nota do autor) ela vai ser feita na
Área Pedagógica [...] trabalhamos na realização, na disseminação dos resultados. Aí
seria a Área Pedagógica que teria que estar fazendo a análise disso e propondo uma
disseminação maior.
Esse relato reforça mais uma vez a fragmentação das atividades distribuídas pelas
áreas da Secretaria. Em particular, chama atenção o fato de que segundo ele, caberia à sua
diretoria disseminar os resultados, que provavelmente significaria repassar os relatórios
recebidos do MEC, cabendo à Área Pedagógica analisar esses relatórios e disseminar a análise
para toda a Secretaria, algo que o Dirigente A anteriormente não considerou como uma
atividade sua.
Buscou-se também identificar nos relatos dos dirigentes, como era feita a divulgação
dos resultados por meio estrutura da Secretaria. Os Dirigentes A e B, ligados à Área
Pedagógica, assim se manifestaram:
Eu não sei te informar se [...] (Dirigente C, ligado à Área de Planejamento, nota do
autor), ao mesmo tempo em que encaminha pra mim, por ser dirigente da Subep
(Área Pedagógica, nota do autor), se ele encaminha uma cópia para cada escola.
(Dirigente A).
E o Saeb, na verdade, ele não saiu da discussão do nível central. Ele ainda não foi
disseminado para as escolas, porque a gente ainda está caminhando com estes dados,
assim tão caseiro, apontado pelo Sige, direcionado aqui à casa. Como é que a gente
vai trabalhar dados então maiores? (Dirigente B).
Os relatos demonstram as dificuldades na circulação de informações, mesmo entre
dirigentes da mesma unidade administrativa. Além disso, demonstram que a avaliação externa
ainda é considerada como algo ainda não assimilado na Secretaria, o que explicaria a pouca
compreensão de seus resultados e a sua escassa divulgação por toda a organização.
O Dirigente C, que foi citado como sendo aquele que receberia os resultados e que
teria como responsabilidade divulgá-los pela Secretaria, declarou que recebeu o material
contendo os resultados de 2003, e encaminhou uma cópia para as Diretorias Regionais de
Ensino, sem analisar os dados, ou acrescentar outras informações que facilitassem a
compreensão desse material. Afirmou ainda, que na sua opinião o relatório do Saeb 2003
estava mais bem explicado que os anteriores sem, contudo conseguir explicitar quais seriam
essas melhorias.
Os depoimentos evidenciam que a divisão de trabalho imposta pelo organograma da
Secretaria afeta diretamente a forma como as informações são disseminadas pelo órgão. Além
disso, fornecem indícios de que as ações desenvolvidas no seu interior não são caracterizadas
116
por possuírem um objetivo comum, o da qualidade da educação, mas sim que cada área atua
no limite das suas atribuições funcionais. Fortalecem também a hipótese de que exista um
problema que pode ter origem na subdivisão de tarefas, que muito mais do que estabelecer
atribuições que permitam um melhor ordenamento das atividades rotineiras da organização
interfere na forma como seus membros percebem o Saeb. Enquanto o Dirigente C expressa
que é sua tarefa organizar a coleta dos dados e a disseminação dos resultados divulgados pelo
MEC, o Dirigente A diz que tomou conhecimento do Saeb pela imprensa. Com os obstáculos
para fazer com que as informações circulem no interior da organização, poderá haver
dificuldade para que a Secretaria possa se apropriar dos resultados gerados pelo Saeb, de
forma a utilizá-los para orientar suas ações, o que será comentado ao longo deste texto.
Os coordenadores dos Núcleos de Coordenação Pedagógica, entrevistados nessa
pesquisa, relatam que os resultados do Saeb chegaram até eles na forma de um curto relatório
em que foi evidenciada a posição relativa do Distrito Federal com relação aos outros entes
federados. Não constava desse informe nenhuma análise sobre os resultados alcançados.
Afirmaram também que os resultados foram comentados nas reuniões promovidas pela titular
da Área Pedagógica, em que era destacada a posição privilegiada do Distrito Federal, “apesar
do Distrito Federal ser o melhor entre os piores”. Apontaram, porém, que a maior e melhor
fonte de informações sobre o Saeb era a mídia. Um dos coordenadores, demonstrando
desconhecimento da forma como os resultados eram divulgados, afirmou que eles eram
encaminhados diretamente para as escolas, e que como os diretores das escolas guardavam a
informação para si, esse coordenador tinha pouca informação sobre os resultados do Distrito
Federal. Alguns dos coordenadores relataram que por interesse próprio, foram atrás de mais
informações, utilizando-se principalmente da Internet para obter dados mais precisos sobre
essa avaliação, mas não citaram o site do Inep como fonte de informações. Esse fato pode ser
revelador de duas diferentes situações. Talvez a Internet não seja a melhor forma de divulgar
informações para esse grupo de profissionais, mas também pode ser que o site do Inep não
forneça o tipo de informações que buscam.
Alguns dos coordenadores, afirmaram que, na época em que estavam exercendo a
direção de escolas, recebiam as informações sobre o Saeb exclusivamente por meio da
imprensa. Da Secretaria, recebiam um comunicado que se limitava a informar o diretor da
escola a data em que a avaliação seria aplicada. Sobre esse ponto, o Coordenador II assim se
manifestou:
117
[Quando era diretor de escola, ouvia falar sobre o Saeb, nota do autor] pelo jornal.
Mas as vezes sabia sobre ele quando chegava a prova para ser aplicada. As vezes, a
gente não sabia nem responder os questionários que o diretor preenchia, como
também a forma como ele ia ser aplicado na escola. A gente tinha uma informação
assim: vai ser aplicada uma prova na escola, que era informando pela Secretaria,
mas ninguém sabia mais ou menos qual era o objetivo. Não tinha uma coisa clara.
Agora o diretor é que se virava e ia pesquisar, se tivesse interesse. Se não, aplicava a
prova e ia respondendo, sem saber o que é.
Esse relato indica que as informações chegam até a escola de forma fragmentada, não
permitindo que o diretor possa ter claro a importância e o sentido dessa avaliação. Além disso,
percebe-se o quanto esse fato interfere na forma como ele preenche o questionário destinado a
coletar informações sobre o processo educacional que acontece na escola. Essa desinformação
também ficou demonstrada nos relatos anteriores dos coordenadores do Núcleo de
Coordenação Pedagógica. Assim, parece ser necessário um esforço adicional tanto da
Secretaria, como do Inep, para aprimorar a disseminação das informações sobre o Saeb, e seus
resultados.
Uma das etapas mais críticas de um sistema de avaliação, e muitas vezes a mais
negligenciada, é a divulgação dos seus resultados. Ravela (2005) destaca o esforço que os
responsáveis pela avaliação têm que desenvolver, para que as informações geradas por ela,
possam ser disseminadas pela sociedade. Pelos relatos, fica patente que as informações
chegam a importantes setores da secretaria apenas por meio da imprensa, e que essas
informações não permitem que esses setores compreendam a importância, nem o seu
significado da avaliação produzida pelo Saeb.
Nesse aspecto, acredito que seja fundamental a construção pelo Inep de informes
simples, e ao mesmo tempo precisos, que permitam explicar tanto a metodologia utilizada
pelo Saeb como seus resultados. Esses informes devem ser voltados para o público em geral, e
em especial para a mídia que foi apontada como uma importante fonte de informações.
Os usos que a secretaria faz dos resultados do Saeb
Nesse ponto da pesquisa, buscou-se investigar junto aos interlocutores, que
informação eles possuíam sobre os resultados do Distrito Federal no ciclo do Saeb de 2003,
último ciclo que teve seus resultados publicados nessa época. Essa etapa das entrevistas foi a
que mais tempo durou. Isso porque além do assunto ser complexo, ele demandava dos
entrevistados análises que não faziam parte do seu no dia-a-dia. Como além de informações
acerca do quanto conheciam sobre os resultados do Saeb, estava-se procurando estabelecer
118
junto com eles uma relação entre esses resultados e o seu trabalho cotidiano, foi necessário
alongar o tempo da entrevista de maneira a ter clareza sobre as afirmações feitas por cada um.
Para referenciar as análises que serão feitas a seguir, apresento o Quadro 35 que
contém dados baseados nos resultados da média de proficiência dos alunos brasileiros e os do
Distrito Federal, além de apontar a posição relativa do Distrito Federal em relação aos outros
estados, obtidos nos ciclos do Saeb de 2001 e 2003. Esse quadro não foi mostrado aos
entrevistados.
Quadro 35 – Média de proficiências do Brasil e DF e posição relativa do DF em relação
aos estados, nos ciclos do Saeb de 2001 e 2003.
Língua Portuguesa Matemática
2001
Posição
relativa
2003
Posição
relativa
2001
Posição
relativa
2003
Posição
relativa
BR
165,1 - 169,4 -
176,3 - 177,1 -
4ª
DF
185,6 1º 193,0 1º
197,1 1º 199,8 1º
BR
235,2 - 232,0 -
243,4 - 245,0 -
8ª
DF
249,1 2º 240,0 3º
257,6 1º 257,7 3º
Fonte: Inep/MEC
O Quadro 35 mostra que relativamente aos outros estados, o Distrito Federal sempre
teve uma posição de destaque. Quando são comparados os resultados de 2001 e 2003,
percebe-se que houve apenas uma mudança de posições na 8ª série quando caiu uma posição
em Língua Portuguesa e em Matemática quando caiu duas posições.
O Dirigente A, ligado à Área Pedagógica, ao se referir aos resultados do Saeb afirmou
que “o Distrito Federal está em uma posição confortável, comparado a outras unidades da
Federação”. Revelou que aquilo que mais lhe chamou atenção na divulgação dos resultados
foi a tabela que indicava a posição relativa de cada estado em relação aos demais e em relação
à média do Brasil. Esse fato indica, que esse dirigente, de alguma forma, se sensibiliza com a
divulgação dos resultados na forma de ranqueamentos.
Esse dirigente prossegue o seu relato:
[...] quando você vai esmiuçar os resultados, qual habilidade que ele errou no
Distrito Federal, são poucas. Eu não me lembro mais, se era na parte de oralidade.
Não lembro qual era, um outro aspecto que elevava o Distrito Federal em relação
aos demais.
É interessante notar que o relato revela primeiramente uma vaga noção sobre os
resultados do Distrito Federal no ciclo de 2003 do Saeb, e quais seus significados, revelando
uma compreensão muito limitada da metodologia utilizada. Foi explicitado no Capítulo 2
119
deste trabalho que devido à complexidade da metodologia utilizada pelo Saeb, ela deveria ser
mais bem descrita nos Relatórios Nacionais.
Pode-se argumentar que, pelo fato de o relatório ter sido divulgado há quase um ano
da data da entrevista, o dirigente sinta dificuldade para recordar-se dos dados. Mas mesmo
assim, era de se esperar que um gestor que esteja em uma posição de destaque na estrutura da
Secretaria tivesse claro quais seriam os problemas que o Saeb apontou para o Distrito Federal,
pois caberia principalmente a esse dirigente estruturar as ações para superá-los. Por outro
lado, pode indicar que esse dirigente não considere relevantes as informações, ou ainda que
tenha dificuldades para compreendê-las. De qualquer forma revela também que o Saeb não
estaria conseguindo cumprir com seus objetivos que, segundo Pestana (1998), seria o de
fornecer subsídios para as políticas voltadas para a melhoria da qualidade, eqüidade e
eficiência da educação no Brasil.
O Dirigente B, também ligado à Área Pedagógica, da mesma forma afirmou que lhe
chamou a atenção nos resultados do Saeb, a posição relativa do Distrito Federal com relação
aos outros estados da Federação e à média brasileira, mas se equivocou na informação,
relatando:
Esse último resultado [os resultados do Saeb de 2003, nota do autor] preocupou.
Começou a discussão [...] A secretária começou a analisar. A gente está em último,
como foi feito isso, e tal. Deu uma repercussão. Ela (a Secretaria de Educação do
Distrito Federal, nota do autor) já está começando a ficar preocupada.
Esse relato confirma que a maior preocupação novamente é com a posição relativa no
ranking. Significa que as expectativas desses dirigentes voltam-se mais para a repercussão
política dos resultados do Saeb e menos para o seu significado em termos do desempenho dos
alunos. Além disso, ao referir-se à posição do Distrito Federal, ele estava equivocado, pois a
sua posição relativa não era de último colocado. Como foi mostrado no Quadro 35, no ciclo
do Saeb de 2003, o Distrito Federal ocupa a 1ª posição em Língua Portuguesa e Matemática
na 4ª série do ensino fundamental e na 8ª série ocupa a 3ª posição nas duas áreas. Esse
interlocutor demonstra, portanto, não estar inteirado sobre os resultados do ciclo de avaliação
de 2003.
O Dirigente B acrescentou ainda que, com a divulgação dos resultados do ciclo do
Saeb de 2003, teve início um processo de discussão envolvendo o núcleo central da Secretaria
em um debate sobre os processos educacionais que estavam sendo utilizados. Apesar de não
chegarem a um resultado conclusivo, o Dirigente B afirmou que essa reunião marcou o início
120
de um processo em que os dados da avaliação externa passaram a ganhar maior centralidade
na Secretaria. Segundo ele o Saeb era visto apenas como um instrumento do governo federal
que era utilizado apenas para ranquear as unidades da Federação, e que a partir dessa reunião
a percepção era a de que ele poderia fornecer informações que indicassem rumos para a
organização. Para aprofundar mais sobre o seu conhecimento sobre o Saeb e sobre os temas
discutidos nessa reunião, perguntou-se qual dos resultados desse ciclo foi o mais debatido,
seja em Língua Portuguesa ou Matemática. Ele comentou que a reunião foi muito geral, e que
não se entrou em detalhes específicos sobre a avaliação.
Perguntou-se, ainda ao Dirigente B, porque a Secretaria não se utilizava mais dos
resultados do Saeb para orientar a sua prática. A sua resposta foi a seguinte:
[a Secretaria precisa, nota do autor] se organizar melhor, de planejamento mesmo.
Par fazer uso disso, você tem que ter um planejamento bem articulado se não isso
não chega lá na ponta. E é lá que acontece. E esse planejamento tem que ser muito
bem feito para que você possa desencadear ações que vão trazer impacto lá na ponta.
Mudança nos resultados que nós temos. [...] E eu acredito que falta um planejamento
maior, melhor para que a gente consiga canalizar, direcionar, as ações, traçar melhor
as metas.
Segundo esse dirigente, além da questão relacionada à falta de um planejamento
adequado, o pessoal técnico sente dificuldades para entender os resultados do Saeb. Cabe
indagar então, como seria possível construir um bom instrumento de planejamento se não se
tem clareza sobre o significado dos dados que teriam uma grande importância para definir os
objetivos e as metas de qualidade? Fica a impressão de que o planejamento a que esse
dirigente se refere seja um instrumento que apresente apenas objetivos e metas genéricas.
De maneira geral, percebeu-se que o núcleo central da Secretaria tem pouco
conhecimento sobre os resultados do Saeb. Durante as entrevistas foi possível perceber a
dificuldade que esses dirigentes apresentam para discutir detalhadamente os resultados
produzidos pelo Saeb. Existem três hipóteses para isso. Uma delas estaria ligada ao fato de
que o relatório Nacional não tenha uma linguagem adequada a esse público. Outra seria ligada
às dificuldades trazidas pelas constantes mudanças de enfoques porque passaram a divulgação
dos resultados. A terceira estaria ligada à dificuldade da equipe dirigente da Secretaria em
trabalhar com dados objetivos para desenvolver estratégias de ação. Todas parecem ser
plausíveis, e já foram discutidas nesta pesquisa.
Além disso, quando são recebidos os resultados do Saeb os gestores da Secretaria não
desencadeiam maiores análises ou mesmos estudos adicionais que possam elucidar pontos que
porventura não tenham ficado claros. Assim, os resultados do Saeb parecem não se constituir
121
em indicadores capazes de transformar qualitativamente os processos e as práticas
educacionais no interior da Secretaria de Educação do Distrito Federal.
Os entrevistados comentaram que as escolas não se vêem no resultado do Saeb. É
importante destacar que em 2003 a avaliação foi amostral, portanto não alcançando a
totalidade das escolas. Mesmo assim, procurava-se saber desses dirigentes qual a reação da
escola quando os resultados relativos ao Distrito Federal eram divulgados. O Dirigente B,
teceu o seguinte comentário:
Isso eu acho que está um pouco distante (o fato das escolas se perceberem nos
resultados do Saeb, nota do autor). É uma coisa que a gente precisa estar
trabalhando um pouco mais. Porque as escolas têm assim o seu mundinho. Então,
por exemplo: quando o resultado é bom, ela até se enxerga um pouquinho melhor.
Quando o resultado é ruim, ela não consegue se enxergar muito. A gente tem que
trabalhar melhor isso.
O Dirigente C, ligado á Área de Planejamento, também concorda que as escolas não se
percebem nos resultados do Saeb, e procura dar uma explicação para isso.
Como o resultado saía do sistema de ensino, ela [a escola, nota do autor] dizia que
embora fizesse parte do sistema de ensino, ela estava executando suas funções da
melhor forma possível. Quando os resultados estavam mostrando que não.
Esses dois depoimentos apontaram para a necessidade de se ampliar cada vez mais a
discussão com as escolas, para que elas se sintam participantes do processo avaliativo, além
de ampliar a compreensão sobre o Saeb e seus resultados. Naturalmente, cabe à Secretaria de
Educação do Distrito Federal a tarefa de estimular e iniciar esse processo, contando com a
cooperação do Inep para orientar na elaboração dos materiais que seriam utilizados.
Mas se as escolas sentiam dificuldades de se perceberem nos resultados apontados
pelo Saeb, como se comportava a Secretaria? O Dirigente C assim se manifestou:
Esse é um desafio. Daí a questão de se implementar uma política de avaliação
institucional. Daí a necessidade de se trabalhar cursos de gestão. Nós percebemos
que muitas vezes os problemas não eram propriamente da escola. Eram problemas,
às vezes, de gestão. E gestão em todos os níveis. Começa na política de educação,
passa por aqueles de nível intermediário até chegar no executor, naquele que está em
sala de aula. Temos vários problemas ainda, que só a avaliação institucional vai
deixar mais transparente, para que a gente possa intervir.
Esse relato indica que a Secretaria também não consegue se perceber nos resultados do
Saeb. O Dirigente C diz que isso seria um desafio, e faz uma associação direta com a gestão,
dizendo que ela é um problema que perpassa toda a organização, chegando a apontar que esse
122
problema existe até mesmo na sala de aula, talvez com o objetivo de aliviar um pouco a carga
de responsabilidade do corpo dirigente. Segundo o Dirigente C esse problema de gestão seria
resolvido por meio de cursos e com a avaliação institucional. É interessante notar que o tema
da avaliação institucional da Secretaria aparece em diversos momentos, na fala de diversos
gestores, como se por meio dela todos os problemas que porventura a Secretaria enfrente
seriam solucionados.
O fato de os dirigentes afirmarem que a Secretaria não consegue enxergar-se nos
resultados da avaliação, pode apontar para algo que Paro (1998) chamou atenção quando
indicou que os envolvidos no processo educacional têm refletido muito pouco sobre a
utilidade dos serviços que prestam à sociedade. Sendo assim o sistema de ensino e suas
escolas têm resistido a responsabilizar-se pelo seu produto e pelo qual ela deve prestar contas
à sociedade. A responsabilização, segundo Souza (1998), é um dos desafios a ser perseguido e
a avaliação pode auxiliar nesse processo oferecendo elementos para se analisar onde se pode
aperfeiçoar o ensino.
Não foi notada uma variação muito grande nas respostas relativas aos resultados do
Saeb 2003 quando os interlocutores eram os coordenadores dos Núcleos de Coordenação
Pedagógica.
Para o Coordenador I, os resultados do Saeb auxiliam pouca coisa no trabalho que o
Núcleo desenvolve, pois quando eles são divulgados, o Núcleo já definiu as ações que vai
desenvolver. Mesmo o coordenador considerando que os dados seriam de pouca utilidade, lhe
foi solicitado que exemplificasse quais deles poderiam de alguma forma ser utilizados pelo
Núcleo. Na sua resposta foi possível notar que ele não havia tomado conhecimento dos
resultados do ciclo do Saeb de 2003, mas sim que ele estava se referindo a um comunicado
que havia sido encaminhado pelo núcleo central da Secretaria informando a posição relativa
do Distrito Federal em relação aos outros estados da Federação. Esse comunicado não
esclarecia as razões pelas quais o Distrito Federal se encontrava em determinada posição do
ranking, nem o significado desse ranking. Ficou para ele a impressão de que essas
informações tinham um caráter estatístico e que por isso ele não via muita utilidade nelas. Ele
relatou que a melhor fonte de informações sobre os resultados do Saeb na época foram os
jornais, mas afirmou que não conseguia lembrar-se de nenhuma delas.
Quando perguntado sobre qual seria a utilidade dos resultados do Saeb para as
atividades do Núcleo de Coordenação Pedagógica, respondeu:
123
[...] eu não sei muito bem o objetivo do Saeb, a não ser avaliar e fazer uma análise
dessa avaliação. Mas eu acho que ele poderia ser mais útil no momento em que
tivesse uma discussão mais localizada nos estados. Não fosse só a nível federal,
fosse a nível estadual. Claro que ele abre espaço para o estado, para as secretarias,
para os municípios, também estarem discutindo.
Esse seu relato revela a sua visão particular de que a avaliação ainda está muito
concentrada nas mãos do governo federal, o que denota a necessidade de que tanto a avaliação
em si como seus resultados sejam mais bem debatidos, e que nesse processo as secretarias de
educação tenham uma participação mais ativa.
O Coordenador II relata que os resultados do Saeb são utilizados apenas como um
pano de fundo para as reuniões das Diretorias Regionais de Ensino com as escolas, e que se
limitaram a mostrar como está o Distrito Federal em relação aos outros estados. Esses
resultados não alimentaram discussões sobre a qualidade educacional do Distrito Federal. Ele
afirmou também que se o diretor da escola sentir necessidade de mais informações, ele terá
que procurá-las por conta própria.
Em determinado momento da entrevista, esse coordenador afirmou que depois que os
resultados do ciclo de 2003 foram publicados, foi encaminhado para as escolas uma circular
informando o resultado da avaliação do aluno, do professor e da escola. Esse fato demonstra
que esse coordenador tem poucos conhecimentos sobre como os resultados do ciclo de 2003
do Saeb foram divulgados, pois se estivesse informado, saberia que não era possível divulgar
essas informações para todas as escolas, pois o exame foi amostral. Mesmo entre as escolas
pertencentes à amostra, não foram avaliadas todas as suas turmas. Quando perguntado sobre
detalhes desse comunicado encaminhado à escola, o coordenador disse que não conseguia se
lembrar mais nada sobre ele.
Uma parte interessante do relato desse Coordenador II foi a que identifica de que
forma as pessoas assumem suas responsabilidades quando da divulgação dos resultados do
Saeb, e qual deve ser, na sua opinião, o papel do governo federal no processo. Segundo ele:
[...] se não tiver uma cobrança junto do governo federal, são poucas as pessoas que
espontaneamente tomam alguma decisão. É porque o SAEB foi adotado mais pelo
governo federal. As Secretarias só aplicam o teste.
Portanto, na sua opinião, o governo federal deve agir diretamente sobre os sistemas de
ensino, o que é impossível devido às competências definidas tanto pela Constituição como
pela LDB. Além disso, atribui-se a um outro nível a responsabilidade. Mas o Coordenador II
não foi o único que assim se pronunciou, já que o Coordenador V manifestou a mesma
124
opinião. Percebe-se novamente algo que já foi comentado com relação à responsabilização
pelos resultados. É como se as suas soluções dos problemas estivessem fora do alcance e da
responsabilidade daquele grupo gestor da Secretaria.
Para o Coordenador III, a demora na divulgação dos resultados do Saeb dificulta
trabalhar com esses dados. Segundo ele:
O SAEB é muito lento na divulgação dos resultados. [...] demora quase um ano para
saber o resultado parcial. E aí, aquela pompa toda, aquela cerimônia toda, pra lançar
o resultado total. E eu não vejo isso influenciando na escola, no dia a dia. Não vejo
nem preocupação da escola com esses dados.
Ele faz uma crítica à forma utilizada para divulgar os resultados, indicando que seus
efeitos não são sentidos pelas escolas.
Quando perguntado de que forma o Saeb poderia ser útil para o trabalho do Núcleo de
Coordenação Pedagógica, ele assim se manifestou:
Eu acho que ele é útil, o dia que [...] ele definir o nível nacional, [...] quais seriam as
habilidades mínimas para a 4ª série. [...] Eu posso considerar que você é
alfabetizado, e eu ter um colega que considera que não está. Porque os conceitos são
muito amplos, dão margens a muitas coisas, e cada professor tem uma forma de
trabalhar e os seus conceitos do que é importante, do que é imprescindível e do que é
secundário. Eu acho que o SAEB vem como forma de contribuir para estabelecer
uma base nacional comum. [...]. E o que eu sinto é que ele precisa chegar mais à
escola, [...] não ficar só nesses níveis de políticas maiores. Ele tinha que ser mais
local também. Nesse ponto que eu acho que o SAEB poderia melhorar muito.
O Coordenador III, assim como fizeram os outros dois coordenadores, insiste em
atribuir responsabilidades a outro nível de ensino, como se no nível em que se encontram não
fosse possível solucionar determinados problemas ligados à qualidade da educação.
Esse coordenador aponta também um ponto importante na discussão sobre os
parâmetros que devem orientar a avaliação, indicando que na sua visão deva ser definido, no
nível federal, quais habilidades mínimas os alunos de determinada série deveriam possuir, e
que os resultados devem estar referidos a esses parâmetros. Nesse caso em particular, se nem
mesmo o Distrito Federal define para o seu sistema um conjunto de habilidades mínimas para
seus alunos, como poderia fazê-lo o governo federal? Além disso, a educação básica brasileira
está estruturada para indicar parâmetros e referências, e não impô-los, bem no espírito
federativo da nossa Constituição. Assim, tanto os Parâmetros Curriculares Nacionais
sugeridos pelo MEC, como as Diretrizes Curriculares determinadas pelo Conselho Nacional
de Educação não impõem padrões. Sendo assim o Saeb não poderia utilizar uma referência
125
diferente daquela presente nas normas legais. É importante lembrar que o único padrão
utilizado pelo Saeb é aquele utilizado para a construção dos itens da prova, definido pelas
Matrizes de Referência.
Um ponto interessante a ser lembrado aqui, é que a legislação nacional apresenta
determinações quanto ao estabelecimento de padrões de qualidade para a educação. Esse
tema, além de ser genericamente tratado no artigo 206 da Constituição é tratado também no
Plano Nacional de Educação, que no Capítulo V, dedicado ao financiamento e gestão do
ensino, estabelece como uma de suas metas, a de número 41, “definir padrões mínimos de
qualidade da aprendizagem na Educação Básica em uma Conferência Nacional de Educação,
que envolva a comunidade educacional”. Portanto, pela legislação nacional a qualidade da
educação passa necessariamente pela definição de padrões de referência, indo mais além no
sentido de determinar que eles sejam discutidos nacionalmente. Mas até agora essa
determinação legal não passou de letra morta. Se a determinação legal tivesse sido cumprida,
talvez ela pudesse ser aplicada à avaliação produzida pelo Saeb.
Outro ponto abordado no relato do Coordenador III, diz respeito à dificuldade de
trabalhar os dados do Saeb na escola. Ele conta que, quando era diretor de escola, recebeu os
dados e foi discutir com toda a equipe. Disse que não acreditou que o rendimento do Distrito
Federal pudesse ser tão baixo, pois ele e sua equipe, ao terem tomado contato com a prova
aplicada na época, consideraram que ela estava em um nível tão elementar, que só poderia ter
havido um erro na sua correção. Além disso, a sua equipe sempre creditava os maus
resultados às outras escolas, pois não era possível que os seus alunos não tivessem se saído
bem. É interessante notar que os professores conseguem conviver tranqüilamente com os
baixos desempenhos dos alunos, já que as taxas de reprovação no Distrito Federal são altas,
mas duvidam dos resultados das avaliações externas, nas quais não estiveram envolvidos
diretamente. Se os indicadores de desempenho dos alunos no Distrito Federal são baixos,
como a avaliação produzida pelo Saeb poderia mostrar um retrato diferente?
Mesmo tendo identificado que havia dificuldade de compreensão sobre os
instrumentos e os resultados produzidos pelo Saeb, considerei importante consultar os
entrevistados sobre o que consideravam positivo e negativo na avaliação, com o objetivo de
buscar identificar propostas de aprimoramento para subsidiar o Inep. Assim, o Dirigente A,
ligado à Área Pedagógica, aponta como positivo no Saeb:
Ele te dá uma comparação com nível de Brasil, com outras crianças com as mesmas
características, na mesma faixa etária. Para a gente poder comparar como que está a
nossa clientela. Também acho que é uma amostragem que o Saeb consegue pinçar
126
alguns aspectos mais significativos da aprendizagem. Se a gente ainda for pensar em
bolar um instrumento para tentar ter um panorama por amostragem levaria muito
tempo. Nem temos a capacidade, o preparo técnico para isso.
Ele influencia diretamente na conscientização e na mudança de cultura interna da
casa. De começar a lançar mão de pesquisas, sejam elas de nível nacional, local, na
própria escola, pra reavaliar a sua prática.
Dois pontos desse relato chamam a atenção. Primeiro quando o dirigente se refere ao
fato de que a Secretaria, mesmo que quisesse, levaria tempo para montar uma avaliação desse
porte e que, além disso, não teria em seus quadros pessoal com competência técnica para isso.
Acredito que a avaliação educacional seja um aspecto em que o regime de colaboração entre a
União e os entes federados possa deixar de ser apenas um preceito constitucional para ser
transformado em uma ação específica. Com relação às dificuldades de uma avaliação em
larga escala, Vianna (2001) afirma que para ser instituída é necessário uma grande capacidade
de processamento de informação, além de uma competente equipe multidisciplinar para
gerenciar tanto a sua aplicação como seus resultados e, não menos importante, significativos
recursos financeiros. Esse fato reforça ainda mais o papel que o Inep tem em todo esse
processo.
Deve ser destacado também que a Lei 10.172 que instituiu o Plano Nacional de
Educação determina alguns objetivos e metas com relação à avaliação do desempenho dos
alunos, algo que já foi discutido no Capítulo 1 deste trabalho. A Lei estabelece como um de
seus objetivos, o desenvolvimento de sistemas de informação e avaliação como instrumentos
indispensáveis para a gestão do sistema educacional e melhoria do ensino. Além disso,
estabelece que em todos os sistemas de ensino deva ser implantado, com a colaboração da
União, um programa de monitoramento que utilize os indicadores do Sistema Nacional de
Avaliação da Educação Básica e dos sistemas de avaliação dos Estados e Municípios que
venham a ser desenvolvidos.
O segundo ponto importante do relato do Dirigente A, é o fato de que a realização da
avaliação esteja estimulando a Secretaria a utilizar pesquisas para desvendar o que pode estar
acontecendo com os processos que desenvolve. Isso evidencia que, mesmo tendo dificuldades
de compreensão de todo o processo, esse dirigente indica claramente que o Saeb vem
cumprindo um papel, ainda que secundário, na gestão da Secretaria de Educação do Distrito
Federal.
Para o Dirigente B, também ligado à Área Pedagógica, o Saeb:
[...] é muito bom, e a gente sabe que tem indicadores maravilhosos ali, que a gente
poderia estar trabalhando e não estamos trabalhando.
127
Os itens da prova, eu acho riquíssimo. Porque eles trabalham de uma forma de
buscar lá no aluno o seu pensar.
Seu relato parece indicar que ele percebe que os dados gerados pela avaliação são
muito ricos, e que se trabalhados poderiam auxiliar na gestão do sistema.
Por fim o Dirigente C, ligado à Área de Planejamento, afirma que o Saeb: “expõe os
problemas para que as secretarias desenvolvam ações para melhorar a sua prática”. Ressalta
também a sua percepção de que seus resultados têm influenciado positivamente no sentido de
desenvolver práticas que melhorem a qualidade da educação.
Chama a atenção o fato de que todos os dirigentes tenham apontado aspectos
importantes do Saeb e mostrado que esse instrumento tem importância para a gestão da
educação do Distrito Federal. Mas, ao mesmo tempo, são relatos contraditórios com a prática
que desenvolvem no dia-a-dia, já que ao mesmo tempo em que eles realçam a importância do
Saeb e sugerem, mesmo que de forma velada, que a Secretaria deveria ter um instrumento
próprio de avaliação, não utilizam os resultados produzidos pela avaliação no momento de
definir atividades e mesmo na avaliação dos trabalhos que realizam.
Nas entrevistas com os coordenadores, opiniões semelhantes foram colhidas.
Importante destacar, no entanto o relato do Coordenador II. Ele acredita que o Saeb vem
lentamente influenciando a Secretaria a valorizar o trabalho pedagógico da escola. Cita como
exemplo, o fato de todas as escolas do Distrito Federal possuírem hoje pelo menos um
coordenador pedagógico. Para ele, isso vai influir positivamente já no próximo ciclo de
avaliação. Apesar desse coordenador indicar uma influência positiva trazida pelos resultados
da avaliação, destaco que, novamente, surge a crença de que uma única iniciativa possa por si
só mudar em um curto espaço de tempo a realidade do ensino.
Com relação às críticas ao sistema de avaliação, elas não foram em grande número.
Merece destaque a que indica a importância do Inep na formação de competências na área de
avaliação, a necessidade de aprimoramento dos instrumentos de divulgação dos resultados e a
que comenta o papel que a Secretaria desempenha na avaliação.
O relato do Dirigente B, ligado à Área Pedagógica, sintetiza bem a importância do
Inep no processo. Para ele, a Secretaria não desenvolveu uma competência técnica na área de
avaliação:
[...] até por falta de uma consultoria, até do INEP. De alguém que trabalhe com isso
e que possa dar o caminho para gente. Porque a gente precisa entendê-los para poder
disseminar isso na escola, para que ela possa desencadear algumas ações de
intervenções utilizando aquilo ali [...]
128
Segundo esse dirigente, o governo federal é quem reúne as condições para liderar o
processo de desenvolvimento de competências na área de avaliação, já que além de ser o
responsável pela avaliação, domina os instrumentos e as técnicas utilizadas. Ele citou também
que existia um projeto para a criação de um núcleo de avaliação na Secretaria, mas que o
projeto não foi implementado porque existia uma carência de técnicos especializados nessa
área em seu quadro de pessoal.
Os dirigentes também apontaram a necessidade de que os instrumentos utilizados na
divulgação dos resultados devam ser aprimorados para que possam ser mais bem
compreendidos. O Dirigente C, Ligado à Área de Planejamento, destaca que existe uma
“dificuldade inerente da linguagem técnica que é utilizada, a qual as pessoas não estão
acostumadas”. Ele considera que o relatório do ciclo de 2003 trouxe algumas inovações que
facilitaram a sua compreensão, mas que elas ainda seriam insuficientes.
Com relação à participação dos sistemas de ensino no Saeb, o Dirigente A, ligado à
Área Pedagógica, disse que é “quase uma obrigação o sistema abrir suas portas para receber
essa avaliação”, e que “a gente não tem muito que discutir com ele”, deixando transparecer
que o sistema de ensino sente-se pressionado a participar da avaliação, mas que mesmo assim
tem interesse em discutir as bases dessa avaliação.
Para o Coordenador I, ligado a um Núcleo de Coordenação Pedagógica, deveria haver
um maior envolvimento da Secretaria e dos seus professores na construção de avaliações
como o Saeb. Sugere que as discussões não aconteçam somente depois das avaliações terem
sido realizadas, mas que isso seja uma prática também durante a sua preparação. Segundo
esse coordenador, o processo de discussão deve ser coordenado pelo governo federal, e que
poderia ser aproveitada a experiência adquirida durante a execução de programas como o
PCN em Ação
12
e o PROFA
13
. Segundo sua opinião, esses dois programas federais foram
muito importantes e úteis para desenvolver competências em toda a Secretaria, já que os
programas previam atividades conjuntas entre Secretaria e o MEC, e aconteciam na própria
escola, com a utilização de material muito bem elaborado e de boa qualidade gráfica. O
12
PCN em Ação foi um programa de capacitação de cerca de 160 horas desenvolvido pelo Ministério da
Educação que funcionou até meados de 2002, voltado para os professores da rede pública. Ele era baseado
principalmente nos Parâmetros Curriculares Nacionais e nos Referenciais Curriculares Nacionais. As atividades
compreendiam desde a discussão e a resolução de situações-problema até relatos de suas próprias vivências e
experiências em sala de aula, passando por simulação de situações.
13
PROFA, Programa de Formação de Professores Alfabetizadores. Foi um curso de formação desenvolvido pelo
MEC, voltado a professores tanto de crianças como de jovens e adultos que lecionavam na educação infantil e no
ensino fundamental. O curso totalizava 160 horas, distribuídas em três módulos, com duração de 40 semanas,
abordando o ensino e a aprendizagem iniciais da leitura e da escrita. Aconteceu durante os anos de 2001 e 2002.
129
coordenador destacou ainda que, por envolver todos os professores, essas atividades
permitiram um crescimento profissional e uma troca de experiências muito grande.
Outra crítica com relação à forma como a Secretaria participa do Saeb, está ligada à
forma como o Inep organiza a aplicação da prova. O Dirigente C comentou que a aplicação
em 2005:
[...] aconteceu de forma atropelada, foi muito tardio, foi prejudicado por conta do
período. [...] o Inep, deixou pra realizar muito no final do mês de novembro. Isso
prejudicou a pesquisa porque muitas escolas já estavam no período final de ano
letivo, em que acontece a avaliação da própria escola, que foi colocada junto com
Anresc e Aneb. Então eles tinham três provas [...]. A mesma turma fazendo o Aneb,
Anresc e mais a avaliação da escola. [...] tivemos escolas particulares que não
puderam participar. Eles queriam, mas não tiveram condições de participar porque
teriam que reprogramar toda a vida deles e a vida dos alunos.
Uma última crítica feita sobre o Saeb é feita pelo Coordenador I. Segundo esse
coordenador:
O SAEB é uma avaliação estanque. Ela chega, traz alguma informação e leva
alguma informação. Ela sai um pouquinho daquela avaliação que é a mais
apropriada, que é aquela contínua [...] [que] é entregue para o aluno, e ele vai fazer
naquele dia, é o momento dele. Inclusive nós da rede pública, nós temos as diretrizes
da avaliação onde proíbe a prova estanque. Ou seja, marca o dia da prova e o
menino fica nervoso, fica agitado. Quer dizer, muda toda a estrutura dele. Então a
avaliação precisa ser contínua, precisa ser diária. E o SAEB [...] vem como uma
avaliação pronta. [...] eu acho que as provas do SAEB nem sempre dizem muito. A
não ser a leitura. Porque se o menino não conseguiu responder o que ele leu, aí a
leitura está fraca.
Esse relato mostra que ainda não existe consenso sobre a importância e a necessidade
do saeb, e que ela precisa ainda ser mais bem discutida. Muitas das críticas que se fazem com
relação a esse tipo de avaliação, foram abordadas ao longo deste texto. Mas parece que seria
importante que o Inep aprofundasse ainda mais essa discussão.
Outra crítica é com relação aos documentos utilizados na divulgação dos resultados.
Para o Dirigente C:
Temos um sério problema de comunicação. O brasileiro tem o péssimo hábito de ler
pouco. Pode até existir muita informação, mas pouca qualidade nessa informação,
ela é muito dispersa, poucas pessoas que se envolvem com os pontos da essência.
Então o problema não é no informe. É na compreensão por falta de capacidade
técnica de compreender. São linguagens diferentes. Está se falando em uma
linguagem e essas pessoas não estão acostumadas com essa linguagem.
130
A fala do dirigente aponta a sua dificuldade para compreender os resultados da
avaliação, reforçando o que foi discutido no Capítulo 2 deste trabalho com relação à
complexidade da metodologia utilizada pelo Saeb e às diferentes interpretações dadas aos
resultados ao longo dos diversos ciclos da avaliação.
A análise aqui desenvolvida buscou responder às questões e objetivos definidos para
essa pesquisa. Assim sendo, foi possível perceber que a Secretaria de Educação do Distrito
Federal não desenvolve uma atividade de planejamento estratégico, definindo objetivos,
metas e formas de acompanhamento de resultados. Pelos relatos, ficou evidente que o
planejamento da instituição está mais relacionado à definição orçamentária e ao seu controle.
Além disso, a Secretaria não utiliza as informações geradas pelos resultados do Saeb no
sentido de nortear o desenvolvimento de programas e ações para a solução dos problemas
apontados pela avaliação. Foi possível notar também que existe uma dificuldade de lidar com
os conceitos definidos pela avaliação, provavelmente pela dificuldade de compreensão da
metodologia utilizada e pelas constantes mudanças que vêm ocorrendo na forma de interpretar
os resultados apontados pelos relatórios nacionais ao longo dos ciclos de avaliação. O Sistema
de Informações Gerenciais, Sige, instrumento desenvolvido para ser utilizado pelos órgãos de
gestão da Secretaria, vem sendo utilizado ainda de forma limitada, na medida em que seus
dados não se constituíram em indicadores que pudessem iluminar as ações desses órgãos.
Mesmo entre os gestores que fazem mais usos das informações geradas pelo Sige, os
resultados do Saeb não são utilizados. Os fatos aqui apontados revelam a necessidade de que
sejam desenvolvidas competências gerenciais importantes para a definição e o
acompanhamento das políticas públicas da Secretaria de Educação do Distrito Federal.
Cabe também chamar a atenção que as respostas obtidas tanto do grupo de dirigentes
como de coordenadores não mostraram diferenças significativas de interpretações sobre o
Saeb. Os dois grupos mostraram desconhecimento do instrumento, da sua metodologia e dos
resultados obtidos, e ambos destacaram sempre a posição relativa do Distrito Federal do Saeb
com relação aos outros estados.
131
CONSIDERAÇÕES FINAIS
Esta pesquisa constituiu um esforço para compreender como a Secretaria de Educação
do Distrito Federal utiliza as informações produzidas pela avaliação do Saeb para orientar o
seu planejamento. Entendo que a missão do pesquisador nesse campo do conhecimento não
seja “buscar culpados” pelos problemas que afetam o processo de avaliação, tanto no âmbito
da Secretaria de Educação, como do Inep. A pesquisa pautou-se pelo objetivo de compreender
como se processam as articulações entre o sistema educacional do DF e o Inep e como o Saeb
se insere no planejamento central da Secretaria e das escolas. A intenção maior foi identificar
os principais entraves que devem ser superados, tanto pelo Inep, quanto pela Secretaria, para
que a avaliação produzida pelo Saeb seja efetiva, possibilitando, dessa forma, que seus
resultados sejam amplamente utilizados no aprimoramento da qualidade do ensino.
Os dados apurados apontaram que, apesar da disposição dos gestores em utilizar os
resultados do Saeb como um instrumento auxiliar nos processos de gestão, alguns óbices
impedem que isto ocorra de forma eficaz. Diversas foram as causas identificadas pela
pesquisa e que explicam o fato.
A primeira razão está relacionada à ausência de um planejamento que seja estratégico,
que aponte objetivos e que defina metas e instrumentos de acompanhamento de resultados.
Trata-se de um processo que deve ser desenvolvido em diversas fases, iniciando-se com o
desenvolvimento de pesquisas que forneçam informações suficientes para identificar os
problemas e suas causas. Esta seria a forma de eliminar a prática de se buscar respostas
rápidas e pontuais para problemas recorrentes, que vêm sendo acumulados ao longo do tempo.
Tal planejamento não deve ser executado por uma única unidade da Secretaria, mas deve
perpassar a instituição com um todo, em um processo participativo que conte com apoio
político das instâncias decisórias centrais.
Acredito que, sem essa cultura de planejamento, qualquer que seja o instrumento de
avaliação, o Saeb inclusive, acaba sendo encarado como mais um conjunto de dados que a
instituição não utiliza.
Reconhecendo a importância do planejamento para uma organização como uma
Secretaria de Educação, a pesquisa identificou que alguns gestores sentem falta de um
planejamento efetivo para orientar a gestão e indicam que ele seria de grande valia para
apontar caminhos e acompanhar os resultados. Na visão desses gestores, a possibilidade de
realizar uma avaliação institucional no âmbito da própria Secretaria de Educação do Distrito
Federal seria o início desse processo de planejamento, que culminaria com a elaboração de
132
um planejamento mais efetivo para lograr a qualidade educacional pretendida. Só o tempo
dirá se de fato isso realmente aconteceu.
Foi possível perceber que o corpo dirigente da instituição age no sentido de considerar
todas as ações como prioritárias, e, com isso, procura-se atacar todos os problemas ao mesmo
tempo. Além de outras conseqüências, essa forma de administrar esbarra na dificuldade de
obter recursos orçamentários suficientes e no número insuficiente de pessoal especializado
para executar eficientemente um grande conjunto de ações. A conseqüência prática é que
muitas ações são iniciadas, poucas são concluídas, e quase nenhuma atividade de
acompanhamento e avaliação é realizada sobre as atividades que são desenvolvidas até o fim.
A pesquisa indicou também que a implantação, pela Secretaria, do Sistema de
Informações Gerenciais, Sige, tem permitido aos gestores o acesso a dados referentes à
realidade das escolas. Esse fato pode contribuir para eliminar gradativamente a cultura de
tomada de decisões sem o balizamento de informações concretas. Mesmo entre aqueles que
utilizam os dados do Sige, alguns o fazem sem a necessária reflexão sobre o significado dos
mesmos. Como conseqüência, não se reflete sobre as causas de determinados fenômenos,
como, por exemplo, a existência de fatores escolares ou extra-escolares que determinam o
desempenho discente.
Essas considerações iniciais explicariam a dificuldade da Secretaria para estabelecer
padrões que pudessem indicar a qualidade da educação que deveria ser perseguida no sistema
público de ensino do Distrito Federal.
Mesmo que a cultura do planejamento estivesse enraizada na Secretaria, isso não seria
condição suficiente para que os dados do Saeb fossem utilizados. Os Dirigentes apontaram
que ele ainda é um instrumento cheio de mistérios e que precisam ser desvendados para que
possam ser utilizados em prol da qualidade educacional. Essa é uma tarefa que cabe ao Inep:
disseminar entre os gestores públicos de todos os níveis os conhecimentos que lhes permitam
perceber os significados que qualificam os resultados de uma avaliação. Esta é condição para
que se possa compreender a realidade das escolas e buscar soluções para a melhorar o seu
desempenho. Como recomendação para essa iniciativa, poderiam ser utilizadas estratégias de
capacitação já utilizadas pelo MEC há alguns anos atrás, em programas como o “PROFA” e o
“PCN em Ação”, já comentados nessa pesquisa. Segundo relato de um dos gestores
entrevistados, essas estratégias de capacitação deram bons resultados.
A pesquisa apontou também algo que não vem sendo comentado pela literatura da
área, com respeito à necessidade de se intensificar o trabalho de convencimento dos alunos e
dos professores sobre a importância do Saeb, já que eles não estariam dando importância à
133
avaliação, e ao seu sentido principal de contribuir para a melhoria da qualidade da educação.
Com isso, seria possível diminuir o número de ausências no dia da prova, apontado como um
sério problema pelo relatório de 1995. O maior envolvimento dos alunos com a avaliação
proporcionaria uma medida mais fiel das suas competências e habilidades.
A divulgação dos resultados do Saeb é uma de suas etapas mais críticas. Aliás, a
literatura aponta que o mesmo acontece em outros países que contam com avaliações
nacionais. No caso do Brasil, é necessário que os relatórios apontem não somente os
resultados numéricos, mas que sejam disponibilizadas informações complementares que
ofereçam uma visão mais clara sobre os problemas educacionais apontados pela avaliação. É
importante também considerar que os dados apurados não são suficientes, per se, para orientar
a tomada de decisões. É necessário que cada sistema de ensino desenvolva pesquisas
adicionais, contando com o suporte técnico do Inep, para estudar os aspectos mais
problemáticos apontados pelo Saeb.
Quanto aos Relatórios Nacionais, a pesquisa indicou que eles precisariam ser ainda
mais aprimorados. Primeiramente, como é constante a mudança nas equipes gestoras dos
sistemas de ensino e pelo fato de que a metodologia utilizada ainda ser de difícil
compreensão, é necessário que ela seja sempre explicitada e explicada na parte inicial do
relatório. Outro ponto que deveria ser destacado na parte inicial seria a descrição detalhada
das habilidades que foram exigidas na prova A pesquisa também indicou que fica muito
difícil estabelecer relações entre os diversos ciclos de avaliação. Isso porque foram várias as
alterações ocorridas na forma de divulgar os resultados durante os últimos ciclos. Se, por um
lado, é possível compreender que a análise dos dados vem passando por uma série de
aprimoramentos no sentido de garantir que eles tenham mais fidedignidade, as modificações
introduzidas deveriam vir acompanhadas de justificativas técnicas que permitissem ao leitor
fazer comparações com as análises anteriores. Como isso não vem acontecendo, as
modificações podem trazer mais dúvidas do que auxiliar a compreensão do leitor. Os
Relatórios deveriam destacar também que não são apresentadas todas as possíveis análises
dos questionários aplicados, e que existe uma grande quantidade de dados à espera de
pesquisadores que se disponham a analisá-los. A adoção dessas modificações nos Relatórios,
talvez possam transformá-los em importante instrumento na discussão acerca da
responsabilização pelos resultados educacionais do Distrito Federal.
Outro ponto crítico para a compreensão dos resultados produzidos pelo Saeb, refere-se
ao reduzido número de especialistas em avaliação externa no Brasil. Caberia investir na
formação de pessoal especializado na área, tanto junto aos profissionais dos diversos sistemas
134
de ensino como entre os profissionais que atuam no Inep. Há que se estimular o
desenvolvimento de linhas de pesquisa em avaliação externa, seja reforçando diversos grupos
de pesquisa em funcionamento ou estimulando a criação de outros. Seria oportuno que o MEC
patrocinasse o desenvolvimento de eventos científicos, além da criação e disseminação de
programas de capacitação e cursos de pós-graduação na área da avaliação externa.
A pesquisa também indicou que a imprensa tem um papel de destaque no momento da
divulgação dos dados do Saeb, já que muitos gestores apontaram que é por meio dela que
recebem informações sobre seus resultados. Normalmente, a maior preocupação dos meios de
comunicação é destacar a posição relativa de um determinado sistema em relação aos outros e
ao Brasil como um todo. Sobre essa questão, caberia ao Inep a iniciativa de fornecer à mídia
instrumentos que possibilitem a compreensão de que o processo educacional é muito mais
complexo do que galgar uma posição de destaque no ranking da avaliação. Para tanto, é
imprescindível que o Inep desenvolva informes detalhados e compreensíveis que destaquem
as possibilidades e os limites de um processo de avaliação, assim como sejam esclarecidos os
fatores educacionais que incidem sobre o desempenho dos alunos. Como recomendação para
um trabalho junto à mídia, destaco que, no final dos anos 1990, o Fundescola, com o objetivo
de chamar atenção dos meios de comunicação para as questões educacionais, elaborou um
programa de capacitação especialmente voltado para jornalistas. Essa experiência poderia ser
resgatada e aproveitada pelo Inep.
Com base no que foi aqui discutido e nos depoimentos dos gestores, é importante
analisar também a mudança que o Saeb sofreu em 2005, com a utilização de dois
instrumentos: a Avaliação Nacional do Rendimento do Escolar, Anresc, conhecido também
como Prova Brasil, de caráter quase censitário, que avaliou as escolas públicas urbanas com
mais de 30 alunos, e a Avaliação Nacional da Educação Básica, Aneb, com característica
amostral. O fato de os sistemas terem acesso a informações desagregadas no nível da escola,
não significa, per se, um fator de melhoria da qualidade da educação. É possível que, durante
um breve período de tempo, esses dados possam alimentar as discussões nas escolas por meio
de comparação dos seus resultados. Com o passar do tempo, se não houver um esforço para
incrementar a utilização dos dados, eles serão provavelmente esquecidos, sem que contribuam
para transformar a realidade escolar.
Além disso, existem dúvidas sobre se essa ação deveria ter sido desenvolvida pelo
governo federal ou se deveriam ter sido estabelecidas parcerias com os diversos estados da
Federação para que, em conjunto com a União, desenvolvessem os instrumentos e
analisassem os seus resultados. Enquanto a Secretaria se limitar ao papel de mero auxiliar na
135
aplicação das provas, certamente tenderá a receber passivamente os resultados do Saeb,
comprometendo, assim, o seu envolvimento com os resultados da avaliação.
É importante não perder de vista que a Lei 10.172/01, ao instituir o Plano Nacional de
Educação, determinou alguns objetivos e metas com relação à avaliação do desempenho dos
alunos. Especificamente, a Lei determinou que deveriam ser desenvolvidos sistemas de
informação e avaliação como instrumentos indispensáveis à gestão do sistema educacional e à
melhoria do ensino. Além disso, determinou que fosse implantado em todos os sistemas de
ensino, com a colaboração da União, um programa de monitoramento que utilizasse os
indicadores do Sistema Nacional de Avaliação da Educação Básica e dos sistemas de
avaliação dos Estados e Municípios que viessem a ser desenvolvidos. Apesar de ser uma
determinação legal, muito pouco foi feito nesse sentido, até o momento.
Apesar das inúmeras dificuldades aqui mencionadas, acredito que a avaliação externa
realizada pelo Saeb provê uma série de informações úteis aos gestores de todos os sistemas de
ensino. As dificuldades apontadas pela pesquisa não devem ser impeditivas ao envolvimento
progressivo dos entes federados em todo o processo do Saeb. Acredito que algumas novas
linhas de investigação possam ser trilhadas, principalmente a partir da divulgação dos
resultados do Anresc. Uma delas seria investigar os usos que a escola faz dessa informação.
Outra seria investigar quais ações que a Secretaria de Educação desenvolve tendo como base
os dados desagregados por escola, obtidos a partir dos resultados da Prova Brasil.
Espero, portanto, que este trabalho se afirme como um esforço analítico adicional para
a compreensão do Saeb, tanto no que se refere à sua estrutura e método, quanto à sua
relevância para a melhoria do sistema educacional brasileiro.
136
REFERÊNCIAS
AFONSO, Almerindo Janela. Estado, mercado, comunidade e avaliação: esboço para uma
rearticulação crítica. In: Educação e Sociedade. Campinas, nº 69, p. 139-164, dez. 1999.
BARRETO, Elba S. de Sá. A avaliação na educação básica entre dois modelos. In: Educação
e sociedade. Campinas, nº 75, p. 48-66, ago. 2001.
BARRETO, Elba S. de Sá, et al. Avaliação na educação básica nos anos 90, segundo os
periódicos acadêmicos. In: Cadernos de Pesquisa. Brasília, nº 114, p. 49-88, nov. 2001a.
BELLONI, Isaura e BELLONI, José Ângelo. Questões e propostas para uma avaliação
institucional formativa. In FREITAS, Luiz Carlos (Org.), BELLONI, Isaura e SOARES, José
Francisco. Avaliação de escolas e universidades. Campinas: Komedi, p. 9-58, 2003.
BONAMINO, Alicia e FRANCO, Creso. Avaliação e política educacional: o processo de
institucionalização do Saeb. In: Cadernos de Pesquisa. São Paulo, nº 108, p.101-132, nov.
1999.
BONAMINO, Alicia. Tempos de avaliação educacional: o Saeb, seus agentes, referências e
tendências. Rio de Janeiro: Quartet, 2002.
BONAMINO, Alicia, BESSA, Nícia e FRANCO, Creso (org.). Avaliação da Educação
Básica. Rio de Janeiro: Ed. PUC-Rio; São Paulo: Loyola, 2004.
BRASIL. Decreto 16.782
de 13 de janeiro de 1925: estabelece o concurso da União para a
difusão do ensino primário, organiza o Departamento Nacional do Ensino, reforma o ensino
secundário e o superior e dá outras providências. Coleção de Leis Brasileiras, vol. 001, p.20,
1925.
______. Decreto 19.402 de 14 de novembro de 1930: cria uma Secretaria de Estado com a
denominação de Ministério dos Negócios de Educação e Saúde Pública. Coleção de Leis
Brasileiras, vol. 002, p. 15, 1930.
______. Decreto 19.560 de 5 de janeiro de 1931: aprova o regulamento que organiza a
Secretaria de Estado do Ministério da Educação e Saúde Pública. Coleção de Leis do Brasil,
vol. 001, p. 3, 1931.
______. Decreto 24.609de 6 de julho de 1934: cria Instituto Nacional de Estatística e fixa
disposições orgânicas para a execução e desenvolvimento dos serviços estatísticos. Coleção
de Leis Brasileiras, vol. 004, p. 524, 1934.
______. Lei 378 de 13 de janeiro de 1937: dá nova organização ao Ministério da Educação e
Saúde Pública. Diário Oficial da União, 15 jan. 1937.
137
______. Decreto-Lei 580 de 30 de julho de 1938: dispõe sobra a organização do Instituto
Nacional de Estudos Pedagógicos. Coleção de Leis Brasileiras, vol. 003, p. 1, 1938.
______. Lei 1.920 de 25 de julho de 1953: cria o Ministério da Saúde e dá outras
providências. Diário Oficial da União, 29 jul. 1953.
______. Lei 4.024, de 20 de dezembro de 1961: estabelece as Diretrizes da Educação
Nacional. Diário Oficial da União, 27 dez. 1961, retificado em 28 dez. 1961.
______. Decreto 71.407de 20 de novembro de 1972: dispõe sobre o Instituto Nacional de
Estudos e Pesquisas Educacionais, do Ministério da Educação e Cultura, e dá outras
providências. Diário Oficial da União, 22 nov. 1972, republicado em 18 jan. 1973.
______. Decreto 75.625 de 17 de abril de 1975: altera o Decreto 71.407/72 que dispõe sobre
o Instituto Nacional de Estudos e Pesquisas Educacionais, do Ministério da Educação e
Cultura. Diário Oficial da União, 18 abr. 1975.
______. Programa de educação básica na região nordeste. Brasília: MEC, 1986.
______. Decreto 99.678 de 8 de novembro de 1990: aprova a Estrutura Regimental do
Ministério da Educação e dá outras providências. Diário Oficial da União, 9 nov. 1990.
______. Relatório do Sistema Nacional de Avaliação da educação básica: ciclo 1990.
Brasília: Inep, 1992.
______. Plano Decenal de Educação para Todos. Brasília: MEC, 1993.
______. Portaria MEC nº 1.795 de 27 de dezembro de 1994: cria o Sistema Nacional da
Educação Básica. Diário Oficial da União, 28 dez. 1994.
______. Projeto de educação básica para o nordeste: assinatura do acordo de empréstimo.
Brasília: MEC, 1994a.
______. Relatório do 2º ciclo do Sistema de Avaliação da Educação Básica Saeb – 1993.
Brasília: Inep, 1995.
______. Plano Diretor da Reforma do Estado. Brasília: MARE, 1995a.
______. Lei 9.394 de 20 de dezembro de 1996: estabelece as diretrizes e bases da educação
nacional. Diário Oficial da União, 23 dez. 1996.
______. Decreto 1.917 de 27 de maio de 1996: aprova a Estrutura Regimental e o Quadro
Demonstrativo dos Cargos em Comissão e Funções Gratificadas do Ministério da Educação e
do Desporto e dá outras providências. Diário Oficial da União, 28 mai. 1996a.
______. Decreto 2.146 de 14 de fevereiro de 1997: aprova a Estrutura Regimental e o Quadro
Demonstrativo de Cargos em Comissão e Funções Gratificadas do Instituto Nacional de
Estudos e Pesquisas Educacionais - Inep, e dá outras providências. Diário Oficial da União,
17 fev. 1997, retificado em 19 fev. 1997.
138
______. Relatório Final Saeb/95. Brasília: Inep, 1998.
______. Matrizes Curriculares de Referência para o Saeb. Brasília: Inep, 1998a.
______. Saeb 1997 – Primeiros resultados. Brasília: Inep, 1999.
______. Sistema Nacional de Avaliação da Educação Básica: resultados 99. Brasília: Inep,
2000.
______. Plano Nacional de Educação. Brasília: Inep, 2001.
______. Relatório 2001: Língua Portuguesa. Brasília: Inep, 2002.
______. Saeb 2001: novas perspectivas. Brasília: Inep, 2002a.
______, Estatísticas do século XX. Rio de Janeiro: IBGE, 2003.
______. Saeb 2003: Guia para a elaboração de itens em Língua Portuguesa. Brasília: Inep,
2003a (mimeo).
______. Portaria MEC nº 931 de 21 de março de 2005: Institui o Sistema de Avaliação da
Educação Básica – Saeb. Diário Oficial da União, 22 mar. 2005.
______. Relatório Nacional Saeb 2003. Brasília: Inep, 2006.
CARLEY, Michael. Indicadores sociais: teoria e prática. Rio de Janeiro: Zahar Editores,
1985.
CASTRO, Maria Helena Guimarães de. O Inep ontem e hoje. Disponível em
http://www.inep.gov.br/download/noticias/1999/inep%5Fontem%5Fe%5Fhoje.doc .
Acessado em 01/11/2005. Palestra proferida no evento “Um olhar sobre Anísio”. Rio de
Janeiro, 1999.
COLEMAN, James S. Equality of Educational Opportunity (COLEMAN) Study (EEOS),
1966. U.S. Department of Health, Education and Welfare. Ann Arbor, MI: Inter-university
Consortium for Political and Social Research, 2000.
DALBEN, Ângela. Das avaliações exigidas às avaliações necessárias. In: VILLAS BOAS,
Benigna M.F. Avaliação: políticas e práticas. Campinas: Papirus, 2003.
DIAS SOBRINHO, José. Avaliação institucional: instrumento da qualidade educativa. In
BALZAN, Newton e DIAS SOBRINHO, José (Orgs.) Avaliação Institucional: teoria e
experiências. São Paulo: Cortez, 1995.
_____________. Avaliação da educação superior. Petrópolis, Vozes, 2000.
ESTUDOS EM AVALIAÇÃO EDUCACIONAL. São Paulo: Fundação Carlos Chagas, jan-
jun, 1992.
FERRER, Guillermo. Sistema da Evaluación de Aprendizajes em América Latina: balances e
desafios. Santiago do Chile: PREAL, 2006.
139
GATTI, Bernardete A, VIANNA, Heraldo Marelim e DAVIS, Cláudia. Problemas e impasses
da avaliação de projetos e sistemas educacionais: dois estudos de caso. In: Avaliação
Educacional. São Paulo, p. 7-26, jul-dez. 1991.
GENTILI, Pablo e SILVA, Thomas Tadeu da. Neoliberalismo, qualidade total e educação:
visões críticas. Petrópolis: Vozes, 1995.
GOMES NETO, João Batista, et al. Educação Rural: lições do Edurural. São Paulo: EDUSP;
Curitiba: CEFET-PR, 1994.
GOMES NETO, João Batista e ROSEMBERG, Lia. Indicadores de Qualidade do ensino e seu
papel no Sistema Nacional de Avaliação. In: Em Aberto. Brasília, nº 66, abr/jun 1995.
HORTA NETO, João Luiz. Os desafios do Sinaes. Apresentado no XXII Simpósio Brasileiro
de Política e Administração da Educação. Rio de Janeiro, 2005.
INSTITUTO HERBET LEVY. Ensino Fundamental & Competitividade Empresarial: uma
proposta para a ação do governo. São Paulo: IHL, 1993.
KLEIN, Ruben. Utilização da Teoria da Resposta ao item no sistema de Avaliação da
educação Básica (Saeb). In: Ensaio. Rio de Janeiro, vol. 11, nº 40, p. 283-296, jan/set. 2003.
KORTE, Robert C. e NASH, Beverly E. Review of the Sistema Nacional de Avaliação da
Educação Básica (Saeb). Brasília: Inep, 1995.
LÜDKE, Menga; ANDRÉ, Marli. Pesquisa em educação: abordagens qualitativas. São Paulo:
E.P.U., 1986.
MALUF, Mônica Maria Bonel. Sistema Nacional de Avaliação da Educação Básica no Brasil:
análise e proposições. In: Estudos em Avaliação Educacional. São Paulo, nº 14, p. 5-38,
jul/dez. 1996.
MENDONÇA, Erasto Fortes. Inclusão e sucesso escolar: elementos para formulação de
indicadores de qualidade social da educação. Brasília: 2005 (mimeo).
PARO, Vitor. A gestão da educação ante as exigências de qualidade e produtividade da escola
pública. In: SILVA, Luiz; (Org.) A escola cidadã no contexto da globalização. Petrópolis:
Vozes, p. 300-307, 1998.
PESTANA, Maria Inês. O sistema de avaliação brasileiro. In: RBEP. Brasília, v. 79, nº 191, p.
65-73, 1998.
PILATTI, Orlando. Sistema Nacional de Avaliação da Educação Básica Saeb. In: Ensaio. Rio
de Janeiro, vol. 2, nº 1, p. 11-30, nov/dez 1994.
PILATTI, Orlando e Equipe do Saeb. Sistema nacional de avaliação da educação básica:
objetivos, diretrizes, produtos e resultados. Série Documental: Avaliação, Brasília: Inep, nº1,
mar. 1995.
140
RAVELA, Pedro. Para compreender las evaluaciones educativas: fichas didácticas. Santiago
do Chile: PREAL, 2005.
RISTOFF, Dilvo. Avaliação institucional: pensando princípios. In: BALZAN, Newton e
DIAS SOBRINHO, José (Orgs.) Avaliação Institucional: teoria e experiências. São Paulo,
Cortez, p. 37-51, 1995.
SOUZA, Clarilza Prado. Descrição de uma trajetória na/da avaliação educacional. Série
Idéias n. 30, São Paulo: FDE, 1998.
SCHWARTZMAN, Simon. La calidad de la educación superior en América Latina. In:
Seminario Permanente sobre la Calidad, Eficiencia y Equidad de la Educación Superior
Colombiana. Bogotá: ICFES, Tomo I p. 27 a 60, 1988.
TAMASSIA, Cláudia V. Avaliação educacional: experiências e metodologias. (mimeo).
Texto apresentado durante o evento Escola de Avaliação promovido pela Unesco-Brasília em
2004.
TYLER, Ralph. Entrevista concedida a Jeri Ridings Nowakowski da Universidade de
Michigan em Novembro de 1981. Disponível em
http://www.wmich.edu/evalctr/pubs/ops/ops13.html . Acessado em 16/08/2005.
TURCHI, Maria Lenita. Qualidade total: afinal de que estamos falando? Texto para discussão
nº 459, Brasília: IPEA, fevereiro de 1997.
UNESCO. Fifty years for education. Paris: Unesco, 1997.
VIANNA, Heraldo Marelim e FRANCO, Gláucia Torres. Avaliação da aprendizagem:
instrumento para a eficiência e qualidade do ensino. Brasília: IPEA, 1991.
VIANNA, Heraldo Marelim. Avaliação do rendimento de alunos de escolas de 1º grau da
rede pública: um estudo em 15 capitais e 24 cidades. São Paulo: Fundação Carlos Chagas,
1990.
______. Programas de avaliação em larga escala: algumas observações. In: Estudos em
Avaliação Educacional. São Paulo, nº 23, p. 93-104, jan-jun 2001.
______. Fundamentos de um programa de avaliação educacional. In: Estudos em Avaliação
Educacional. São Paulo, nº 28, p. 23-37, jul-dez 2003.
______. Fundamentos de um programa de avaliação educacional. Brasília: Líber Livro
Editora, 2005.
141
APÊNDICE I – Carta de apresentação
Prezada Profª, prezado Profº:
Além de estar trabalhando no Instituto de Estudos e Pesquisas Educacionais Anísio
Teixeira, Inep, sou aluno, desde o início de 2005, do Programa de Mestrado em Educação, da
Faculdade de Educação da UnB e minha orientadora é a Profª Marília Fonseca. Minha
dissertação tem como objetivo verificar junto aos dirigentes da Secretaria de Educação, qual o
impacto que o Sistema de Avaliação da Educação Básica tem tido sobre a gestão do ensino
fundamental na rede pública do Distrito Federal.
Para ter sucesso nessa empreitada, sua ajuda será fundamental.
Como um observador privilegiado dos acontecimentos ligados à educação no Distrito
Federal, acredito que o(a) senhor(a) possa me ajudar a identificar quais os aspectos do Saeb
que exerceram ou que vêm exercendo influência na gestão do ensino fundamental aqui no
Distrito Federal. Para tanto precisaria tomar alguns minutos do seu precioso tempo para fazer-
lhe algumas perguntas. De antemão quero garantir-lhe que a nossa conversa será confidencial
e que em nenhum momento será feita nenhuma referência que permita identificá-lo(a).
Terminado meu trabalho de pesquisa, o que deve ocorrer até Dezembro de 2006,
comprometo-me a encaminhar ao senhor(a) uma cópia da minha dissertação para que ela
possa ser analisada e criticada.
Muito obrigado pela sua inestimável colaboração.
_________________
João Luiz Horta Neto
142
APÊNDICE II – Roteiro de Entrevista
1. Tempo de serviço na Secretaria de Educação do Distrito Federal:
- Atividades e funções exercidas, discriminando o tempo de serviço em cada uma.
2. Conhecimento sobre o Saeb
- O que sabe sobre o Saeb?
- Como avalia o Saeb
- Qual a importância do Saeb para a educação no Brasil? E no Distrito Federal?
- Quais são os aspectos mais importantes do Saeb? Quais aqueles menos importantes?
- Como a Secretaria vem tomando conhecimento sobre os relatórios produzidos pelo
Saeb? E a sua unidade?
- Com relação ao relatório de 2003, o que considerou mais importante? E com relação
ao Distrito Federal?
- O que sabe sobre as mudanças do ciclo de 2005 do Saeb?
- Como foram os preparativos para o Saeb 2005?
- Quais as expectativas da Secretaria com relação aos resultados do Saeb 2005?
3. Resultados produzidos pelo Saeb
- Como avalia os resultados do Distrito Federal nas últimas avaliações do Saeb?
- A Secretaria divulga os resultados do Distrito Federal? Como? Para quem: dirigentes,
escolas, professores, comunidade?
- Como a Secretaria se mobiliza para enfrentar os problemas apontados pelo Saeb?
- Como a secretaria replaneja suas ações a partir dos resultados obtidos?
- Existe algum trabalho junto às escolas utilizando os resultados do Saeb?
4. Planejamento da Secretaria e o Saeb
- Como é feito o planejamento das ações da Secretaria?
- E da sua Unidade?
- Quais as informações que são mais comumente usadas nesses planejamentos?
- Como ocorre a integração dessas informações com as informações produzidas pelo
Saeb?
- Quais informações do Saeb são utilizadas?
- Que influência tem esse planejamento sobre as escolas?
143
- Que informações têm sobre a utilização, pelas escolas, dos dados do Saeb no seu
planejamento?
5. Avaliar para quê?
- De que forma o Saeb pode ajudar a superar os desafios da educação?
- O que deve ser melhorado no Saeb?
- A Secretaria tem alguma orientação sobre como trabalhar os diferentes processos de
avaliação? (Secretaria, escolas, alunos)
- Qual a importância de uma avaliação externa?
- Qual a opinião da Secretaria sobre a avaliação externa ser conduzida pelo governo
federal?
- Está nos planos da Secretaria desenvolver um sistema próprio de avaliação?
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
