ads:
FUNDAÇÃO OSWALDO CRUZ
CENTRO DE PESQUISAS AGGEU MAGALHÃES
DOUTORADO EM SAÚDE PÚBLICA
ERONILDO FELISBERTO
ANÁLISE DA IMPLANTAÇÃO E DA
SUSTENTABILIDADE DA POLÍTICA NACIONAL DE
MONITORAMENTO E AVALIAÇÃO DA ATENÇÃO
BÁSICA NO BRASIL, NO PERÍODO DE 2003 A 2008
RECIFE
2010
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
ERONILDO FELISBERTO
ANÁLISE DA IMPLANTAÇÃO E DA SUSTENTABILIDADE DA POLÍTICA
NACIONAL DE MONITORAMENTO E AVALIAÇÃO DA ATENÇÃO BÁSICA NO
BRASIL, NO PERÍODO DE 2003 A 2008
Tese apresentada ao Curso de Doutorado em
Saúde Pública do Centro de Pesquisas Aggeu
Magalhães da Fundação Oswaldo Cruz, como
requisito parcial para a obtenção do título de
Doutor em Ciências.
Orientador:
Prof. Dr. Eduardo Maia Freese de Carvalho
RECIFE
2009
ads:
Catalogação na fonte: Biblioteca do Centro de Pesquisas Aggeu Magalhães
F315a Felisberto, Eronildo.
Análise da Implantação e da Sustentabilidade da Política Nacional
de Monitoramento e Avaliação da Atenção Básica no Brasil, no
período de 2003 a 2008/ Eronildo Felisberto. — Recife: E. Felisberto,
2010.
171 f.: il.
Tese (Doutorado em Saúde Pública) - Centro de Pesquisas Aggeu
Magalhães, Fundação Oswaldo Cruz, 2010.
Orientador: Eduardo Maia Freese de Carvalho.
1. Institucionalização. 2. Avaliação em Saúde. 3. Avaliação de
Programas e Projetos de Saúde. 4. Monitoramento. 5. Atenção
Primária à Saúde. 6. Indicadores de Desenvolvimento Sustentável. I.
Carvalho, Eduardo Maia Freese de. II. Título.
CDU 614. 2
ERONILDO FELISBERTO
ANÁLISE DA IMPLANTAÇÃO E DA SUSTENTABILIDADE DA POLÍTICA
NACIONAL DE MONITORAMENTO E AVALIAÇÃO DA ATENÇÃO BÁSICA NO
BRASIL, NO PERÍODO DE 2003 A 2008
Tese apresentada ao Curso de Doutorado em
Saúde Pública do Centro de Pesquisas Aggeu
Magalhães da Fundação Oswaldo Cruz, como
requisito parcial para a obtenção do título de
Doutor em Ciências.
Data de aprovação: 14 de dezembro de 2009
BANCA EXAMINADORA
__________________________________
Dra. Zulmira Maria de Araújo Hartz
Universidade de Montreal
Unidade de Sistemas de Saúde do Instituto de Higiene e Medicina Tropical
/Universidade Nova de Lisboa - UNL
____________________________________
Dr. Bertoldo Kruse Grande de Arruda
Instituto de Medicina Integral Prof. Fernando Figueira/IMIP
____________________________________
Dr. José Luiz do Amaral Corrêa de Araújo júnior
Centro de Pesquisas Aggeu Magalhães/FIOCRUZ
____________________________________
Dra. Maria do Carmo Leal
Escola Nacional de Saúde Pública Sérgio Arouca/FIOCRUZ
____________________________________
Dr. Eduardo Maia Freese de Carvalho
Centro de Pesquisas Aggeu Magalhães/FIOCRUZ
“O nosso desafio é entender as forças e vulnerabilidades das políticas e da avaliação e usar
ambos para nos ajudar a contribuir com a política pública de forma significativa e
duradoura” (Eleonor Chelimsky, 1995).
FELISBERTO, Eronildo. Análise da Implantação e da Sustentabilidade da Política
Nacional de Monitoramento e Avaliação da Atenção Básica no Brasil, no período de
2003 a 2008. 2009. Tese (Doutorado em Saúde Pública) - Centro de Pesquisas Aggeu
Magalhães, Fundação Oswaldo Cruz, Recife, 2010.
___________________________________________________________________________
RESUMO
Esta Tese aborda a Política Nacional de Monitoramento e Avaliação da Atenção Básica no
Brasil (PNMAAB). Discute eixos importantes para a institucionalização da avaliação: auto-
avaliação, análise de implantação e análise de sustentabilidade de programas. Pesquisa
avaliativa, estudo de casos múltiplos, com uso de entrevistas e análise documental. O primeiro
artigo apresenta um instrumento de auto-avaliação da Política para aplicação nas Secretarias
Estaduais de Saúde (SES). Construído a partir de um modelo teórico objetiva auxiliar na
implantação de medidas por intermédio de uma abordagem de baixo custo e de fácil
aplicabilidade. O segundo analisa a implantação da PNMAAB, a partir dos dispositivos
institucionais produzidos pela gestão federal no período de 2003 e 2006. Estimou o grau de
implantação e avaliou a influência nos efeitos produzidos a partir da interação com o contexto
político-organizacional. Mostra a Intervenção implantada num grau Avançado e um conjunto
significante de efeitos não-intencionais decorrentes da pluralidade de dispositivos. O terceiro
artigo apresenta a aplicação de uma metodologia a partir da identificação dos eventos críticos
da PNMAAB no período de 2003 a 2008, na Gestão Federal da Atenção Básica e em duas
SES, identificados a partir da Técnica de Incidentes Críticos, categorizados analiticamente
como de memória, adaptação, valores e regras e, interpretados e classificados temporalmente,
em razão de serem ou não favoráveis à sustentabilidade. Os resultados indicam que eventos de
implantação e de sustentabilidade acontecem em concomitância e sugerem uma ponderação,
uma vez que alguns demonstraram forte influência sobre os outros. A Gestão Federal e uma
das SES resultaram no nível médio de sustentabilidade, a outra SES foi classificada no nível
forte. Os artigos procuram juntar partes que abordam diferentes dimensões do processo de
institucionalização da avaliação no âmbito da atenção básica no sistema de saúde brasileiro.
Palavras-chave: Institucionalização. Avaliação em Saúde. Avaliação de Programas e Projetos
de Saúde. Monitoramento. Atenção Primária à Saúde.
FELISBERTO, Eronildo. Implementation and Sustainability Analysis of the National
Policy for Monitoring and Evaluation of Primary Health Care in Brazil in the period of
2003 to 2008. 2009 Thesis (Doctorate in Public Health) - Centro de Pesquisas Aggeu
Magalhães, Fundação Oswaldo Cruz, Recife, PE, 2010.
___________________________________________________________________________
ABSTRACT
This thesis approaches the National Policy for Monitoring and Evaluation of Primary Health
Care (PMEPHC) in Brazil. Relevant axis of institutionalization of evaluation are discussed:
self-evaluation, implementation analysis and sustainability analysis. Evaluative research,
multiple-case study with interviews and documental analysis. The first article presents a self-
evaluation tool of the Policy to be applied in Health State Secretariats (HSS). It was
elaborated from a theoretical model to implement actions with low cost and easy application.
The second article presents an implementation analysis of the PMEPHC taking into account
institutional mechanisms produced by the federal management during the period of 2003 to
2006. It estimated the implementation degree and evaluated the influence in the effects
produced from its interaction with political and organizational context. The intervention was
classified as implemented in an advanced degree. It was found a significant amount of non-
intentional effects as a consequence of diversity of mechanisms. The third article presents the
application of a methodology from identification of critical events of the PMEPHC during the
period from 2003 to 2008 in the Federal Management of the Primary Health Care and two
Health State Secretariats. It was used the Critical Incidents Technique, analytically
categorized as of memory, adaptation, values and rules and temporally classified as being
favorable or not towards the sustainability. The results indicated that events of
implementation and sustainability are concomitant and these suggest to be pondered since
some of them demonstrated a great influence on the others. The Federal Management and one
HSS were classified in the medium degree of sustainability and the other HSS as a strong
degree. The articles aggregate sections approaching different dimensions of
institutionalization process of evaluation in primary health care on the Brazilian health
system.
Key Words: Institutionalization. Health Evaluation. Program Evaluation. Monitoring.
Primary Health Care. Sustainable Development Indicators.
LISTA DE ABREVIATURAS E SIGLAS
ABRASCO - Associação Brasileira de Pós-Graduação em Saúde Coletiva
AIH – Autorização de Internação Hospitalar
AIS - Ações Integradas de Saúde
ANS - Agência Nacional de Saúde Suplementar
ANVISA – Agência Nacional de Vigilância Sanitária
BIRD – Banco Internacional para Reconstrução e Desenvolvimento
CAA – Coordenação de Acompanhamento e Avaliação
CEBES – Centro Brasileiro de Estudos de Saúde
CES – Conselho Estadual de Saúde
CMS – Conselho Municipal de Saúde
CNS – Conselho Nacional de Saúde
CONASEMS - Conselho Nacional de Secretários Municipais de Saúde
CONASP – Conselho Consultivo de Administração da Saúde Previdenciária
CONASS – Conselho Nacional de Secretários Estaduais de Saúde
CPMF – Contribuição Permanente sobre Movimentações Financeiras
DAB – Departamento de Atenção Básica
DATASUS – Departamento de Informática do SUS
ESF – Estratégia Saúde da Família
EUA – Estados Unidos da América
FHC – Fernando Henrique Cardoso
GM – Gabinete do Ministro
INAMPS – Instituto Nacional de Assistência Médica e Previdência Social
MARE – Ministério da Administração e Reforma do Estado
MPAS – Ministério da Previdência e Assistência Social
MS - Ministério da Saúde
NOAS – Norma Operacional de Assistência à Saúde
NOB - Norma Operacional Básica
PAB - Piso de Atenção Básica
PNMAAB – Política Nacional de Monitoramento e Avaliação da Atenção Básica
POI – Programação Orçamentária Integrada
PPBS – Planning Programming Budgeting System
Prev-saúde – Programa Nacional de Serviços Básicos de Saúde
Proesf – Projeto de Expansão e Consolidação do Programa Saúde da Família
PSF - Programa de Saúde da Família
REM – Método Rápido de Avaliação
SAMU – Serviço de Atendimento Médico de Urgência
SES – Secretaria Estadual de Saúde
SIAB – Sistema de Informações da Atenção Básica
SIOPS – Sistema de Informação sobre Orçamentos Públicos em Saúde
SUDS - Sistema Unificado e Descentralizado de Saúde
SUS – Sistema Único de Saúde
SUSEP – Superintendência de Seguros Privados
SUMÁRIO
1 INTRODUÇÃO
13
1.1 O Campo da Avaliação nas Políticas e Programas de Saúde
13
1.2 Avaliação no Contexto das Políticas de Saúde no Brasil
22
1.3 Avaliação na Atenção Básica no Brasil
32
1.4 Sustentabilidade de Programas
36
1.5 Modelo Teórico da Avaliação
38
1.5.1 A Avaliação Baseada em Teoria 38
2 JUSTIFICATIVA
41
3 OBJETIVOS
42
3.1 Objetivo Geral
42
3.2 Objetivos Específicos
42
4 MÉTODO
43
4.1 Seleção dos Casos
43
4.2 População de Estudo
44
4.3 Qualidade do Estudo
45
4.4 Coleta de Dados
45
4.4.1 Procedimentos para a Coleta de Dados 45
4.5 Estratégia de Análise e Apresentação dos Resultados
46
4.6 Procedimentos Éticos
49
5 PRIMEIRO ARTIGO - CONTRIBUINDO COM A INSTITUCIONALIZAÇÃO DA
AVALIAÇÃO EM SAÚDE: UMA PROPOSTA DE AUTO-AVALIAÇÃO
50
6 SEGUNDO ARTIGO – POLÍTICA DE MONITORAMENTO E AVALIAÇÃO DA
ATENÇÃO BÁSICA NO BRASIL DE 2003 A 2006: CONTEXTUALIZANDO SUA
IMPLANTAÇÃO E EFEITOS
62
7 TERCEIRO ARTIGO - ANÁLISE DA SUSTENTABILIDADE DE UMA
POLÍTICA DE AVALIAÇÃO: O CASO DA ATENÇÃO BÁSICA NO BRASIL
80
8 DISCUSSÃO
105
9 CONCLUSÕES
112
REFERÊNCIAS
115
APÊNDICE A – Artigo publicado na Revista Ciência & Saúde Coletiva
125
ANEXO A – Roteiro de Entrevista Diretoria do Departamento da Atenção Básica do
Ministério da Saúde
136
ANEXO B– Roteiro de Entrevista Diretoria da Coordenação de Acompanhamento e
Avaliação da Atenção Básica
143
ANEXO C – Roteiro de Entrevista PROESF
147
ANEXO D – Roteiro de Entrevista Conass
151
ANEXO E – Roteiro de Entrevista Conasems
154
ANEXO F – Roteiro de Entrevista Banco Mundial
157
ANEXO G – Roteiro de Entrevista Coordenação/Gerência da Atenção Básica da SES
158
ANEXO H – Roteiro de Entrevista com representante do Gabinete da SES
165
ANEXO I – Roteiro de Entrevista com coordenador ou técnico de um programa da
AB que foi avaliado da SES
167
ANEXO J – Roteiro de Entrevista com técnico representante de uma Política com
interface com a Atenção Básica/SES
169
ANEXO L – Parecer do Comitê de Ética
171
APRESENTAÇÃO
Em 2006 publicamos um artigo intitulado “Da teoria à formulação de uma Política Nacional
de Avaliação em Saúde: reabrindo o debate” (Apêndice A). A este, seguiu-se um debate com
especialistas na área, observadores da implantação de uma política, a qual o artigo procurou
sistematizar.
A idéia daquela publicação surgiu da necessidade que vimos de documentar reflexões e
constatações, resultantes de um trabalho desenvolvido na gestão nacional do Sistema Único
de Saúde (SUS), voltado para a ‘Institucionalização da Avaliação’ no âmbito da atenção
básica em saúde no Brasil e de estabelecer um marco teórico para a discussão e o
aprimoramento das atividades propostas.
Exercemos, no período de 2003 a 2006, a Coordenação de Acompanhamento e Avaliação do
Departamento de Atenção Básica, inserido institucionalmente na Secretaria de Atenção à
Saúde do Ministério da Saúde. Concluída aquela gestão de quatro anos, deixamos em franco
processo de implantação a Política Nacional de Monitoramento e Avaliação da Atenção
Básica (PNMAAB), composta por seis componentes focados nas três instâncias de gestão do
SUS e nas Instituições de Ensino e Pesquisa. Estes traziam em seu bojo uma complexa trama
de ações e projetos com vistas à melhoria da qualidade da gestão e do cuidado à saúde no
âmbito da atenção básica.
Projetos estratégicos e de abrangência foram estruturados: “Fortalecimento da Capacidade
Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação”, que incluía a
estratégia de criação da Rede de Centros Colaboradores em Avaliação (21 Instituições de
Ensino e Pesquisa foram envolvidas no Brasil); “Estudos de Linha de Base da Atenção
Básica” (pesquisa avaliativa em 231 municípios brasileiros com população acima de 100 mil
habitantes); “Avaliação para Melhoria da Qualidade” (instrumento de auto-avaliação da
equipes de trabalho e da gestão municipal para a estratégia saúde da família); a contribuição
fundamental para a criação do Grupo de Trabalho (GT) de Avaliação da Associação Brasileira
de Pós-Graduação em Saúde Coletiva (Abrasco) e vários outros que integram a Política,
apoiada pelo Projeto de Expansão e Consolidação da Estratégia Saúde da Família (Proesf)
com financiamento do Banco Mundial e recursos do tesouro nacional.
O sentimento de coerência com nossa prática profissional no campo da ‘avaliação em saúde’ e
a oportunidade de aprofundar o conhecimento sobre ‘avaliação’ tomando como objeto uma
política/programa fortemente alicerçada nesse campo, não nos permitiu pensar em outro
projeto de estudo a ser apresentado para concorrer ao Doutorado, a não ser o de proceder à
análise da implantação e da sustentabilidade da Política, a partir dos referenciais teóricos que
nos guiaram no processo de sua implantação.
Embora conscientes das limitações que poderiam se apresentar em virtude do pouco tempo
decorrido desde o início da implantação da Política e, do nosso envolvimento enquanto atores
do processo; julgamos que havia uma contribuição com a continuidade do debate proposto, à
qual não poderíamos nos furtar.
Assim sendo, com vistas a manter acesa essa continuidade e, no sentido da maior
possibilidade de publicização e de sua abrangência, optamos por elaborar esta Tese no
formato de três artigos (dois já publicados e um terceiro enviado para publicação). Estes
contaram com a participação de uma equipe de pesquisadores, dedicados ao campo da
avaliação, que participaram de quase todas as fases de realização do estudo.
Os artigos abordam três eixos que constituem estratégias importantes na direção da
institucionalização da avaliação: a auto-avaliação, a análise de implantação e a análise de
sustentabilidade de programas.
O primeiro artigo, publicado em 2008, apresenta um instrumento de auto-avaliação do projeto
Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento
e Avaliação, integrante da PNMAAB. De caráter formativo, a matriz de avaliação foi
construída a partir de um modelo teórico com vistas a auxiliar os gestores e os profissionais
responsáveis a avaliar a implantação de medidas por intermédio de uma abordagem de baixo
custo e de fácil aplicabilidade, tendo como objetivos: (i) identificar problemas; (ii) viabilizar
recursos disponíveis para intervir; (iii) caracterizar fatores que impediam ou facilitavam a
execução das intervenções e; (iv) desenvolver mecanismos para se avaliar e responder a
problemas críticos. Permite, assim, ao gestor estadual conhecer mais rapidamente o processo
de implantação do projeto.
O segundo artigo, publicado em 2009, apresenta os resultados da análise de implantação da
PNMAAB, considerando os dispositivos institucionais produzidos pela gestão federal do SUS
no período compreendido entre 2003 e 2006, representativos dos componentes que integram o
seu modelo lógico. Estimou o grau de implantação desses dispositivos e avaliou a sua
influência nos efeitos produzidos pela PNMAAB a partir da interação com o contexto
político-organizacional.
O terceiro artigo, enviado para publicação, apresenta a aplicação de uma metodologia de
análise de sustentabilidade de programas, proposta a partir da identificação dos eventos
críticos da PNMAAB no período de 2003 a 2008, na Gestão Federal da Atenção Básica do
SUS e em duas Secretarias Estaduais de Saúde, identificados a partir da Técnica de Incidentes
Críticos. Os eventos foram interpretados e classificados temporalmente, em razão de suas
dimensões conceituais e de serem ou não favoráveis à sustentabilidade. Estima o nível de
sustentabilidade da Política, partindo da compreensão de que a prática avaliativa precisa que
certo grau de institucionalização deva ser atingido para que se torne efetiva e produza efeitos
formativos sobre a conduta da ação pública.
Os artigos precedidos da revisão teórica e seguidos de uma discussão que procura juntar
partes que abordam diferentes dimensões, integram um conjunto conformando esta Tese que
mantém o debate aberto, reafirmando “nossa crença na pluralidade como força motriz de
mudanças desejadas e no compromisso social como capital maior dos que se dispõem a
perseguir a qualidade desejada para o sistema de saúde brasileiro” (FELISBERTO, 2006).
Trazemos aqui um trecho de um discurso de Edgard Morin que achamos pertinente como
prólogo ao estudo realizado: “[...] A informação nasce do nosso diálogo com o mundo, e nele
sempre surgem acontecimentos que a teoria não tinha previsto [...]” (MORIN, 1999, p. 27).
13
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
1 INTRODUÇÃO
1.1 O Campo da Avaliação nas Políticas e Programas de Saúde
A avaliação de políticas públicas tem sido relacionada freqüentemente à necessidade de
aprimoramento e modernização da gestão no contexto do processo de ‘Reforma do Estado’.
Está diretamente ligada à discussão sobre o desempenho da gestão pública e à eficiência e
efetividade dos programas por ela conduzidos; no sentido de saber de que forma o controle
externo pode contribuir com o aperfeiçoamento das ações de governo, com a
responsabilização dos agentes públicos e com a prestação de contas à sociedade (BRASIL,
2002; BRASIL, 2005; COSTA; CASTANHAR, 2003; CHELIMSKY, 1995; FARIA, 2005;
FREY, 2000; HANNEY, et al., 2003; HARTZ, 1999; HARTZ et al., 2008 PAIM, 2003;
SOUZA, 2002; VIACAVA et al., 2004; VIANA et al., 2006; WEISS, 1998).
Há cerca de 30 anos diversas iniciativas nesse sentido vêm ocorrendo em vários países,
trazendo em seu bojo os desafios do melhor funcionamento do aparelho de Estado a um
menor custo. A busca dessa melhoria tem como foco o desempenho dos programas e, na
medida em que o poder público passou a delegar a agências autônomas e a organizações de
direito privado a execução de serviços públicos, evidenciou-se a necessidade de se
desenvolver instrumentos e metodologias de avaliação desses serviços (KETTL, 2001).
A avaliação de resultados passou a ter relevância na sustentação da reforma do Estado, na
medida em que se estabeleceu a eficiência, a eficácia e a efetividade como medidas de
sucesso da ação governamental. Isto, em vista da necessidade de se oferecer à sociedade
elementos para uma apreciação mais segura sobre o desempenho das agências e empresas, o
que equivaleria à avaliação de desempenho do próprio aparelho de Estado (BRESSER-
PEREIRA, 1998a; COSTA; CASTANHAR, 2003; KETTL, 2001).Por outro lado, estudos
avaliativos de políticas e programas podem oferecer aos governantes, gestores, formuladores e
executores a possibilidade de tomar decisões com maior qualidade no sentido da identificação
dos aspectos exitosos, das dificuldades e, também, dos efeitos esperados e dos não
intencionais produzidos a partir de fatores gerenciais e operacionais. A avaliação pode, ainda,
favorecer a racionalização do gasto público, como um instrumento para a melhoria do
desempenho das organizações e do governo, promovendo uma maior capacidade de alcance
dos melhores resultados desejados e, gerando uma maior possibilidade de governança.
14
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
O primeiro grande impulso da Avaliação no contexto mundial se deu a partir dos anos 50 do
século XX. Embora tenha surgido na década de 30, originária das ciências sociais, a
incorporação de metodologias quantitativas mais avançadas com o desenvolvimento de
métodos estatísticos e com o desenvolvimento dos computadores, foram fatores que
aumentaram o poder explicativo da avaliação como ferramenta de pesquisa social no período
do pós-guerra (ROSSI; FREEMAN, 1982).
O lançamento nos Estados Unidos da América (EUA) de um conjunto de programas sociais e
a criação de programas de ajuda a países em desenvolvimento nos anos 60, envolvendo
expressivo volume de recursos financeiros, impulsionou a avaliação como forma de controle.
Ainda, uma década mais tarde, com a crise fiscal progressiva e as iniciativas de reformas no
aparelho de Estado de diversos países, especialmente na América Latina, estimulou os
governos a fortalecer a ‘função avaliação’ na busca pela legitimidade de suas iniciativas
(FARIA, 2005).
Em recente revisão sobre o tema Hartz et al. (2008) sintetizam a concordância de diversos
autores sobre a origem da avaliação ao apontar os trabalhos de Patton (1988, 1997), Weiss
(1988, 1999), Caracelli e Preskill (2000), Henry (2000), Kirkhart (2000), Rossman e Rallis
(2000), Preskill e Torres (2000), Henry e Mark (2003), Mark e Henry (2004) e Weiss et al.
(2005) como referências aos desafios necessários à construção de modelos de avaliação que
possam oferecer resultados a serem utilizados com maior eficácia (HARTZ et al., 2008).
Não obstante a concordância dos autores sobre a origem da avaliação na América do Norte,
várias iniciativas em diversos países contribuíram de forma marcante para a evolução e o uso
da avaliação. Conforme Hartz (1999), na década de 60, Canadá, Alemanha e Suécia já
seguiam as iniciativas americanas baseadas nos Sistemas de Planejamento, Programação e
Orçamento (Planning Programming Budgeting System – PPBS). Esse movimento tomou
corpo mais adiante, na década de 80, na Austrália, Dinamarca e na Suíça. Período, entretanto,
em que os EUA e Canadá já davam visibilidade às avaliações de desempenho por intermédio
de suas instituições responsáveis pela função de auditoria. Estas últimas já privilegiavam a
efetividade, o bom gerenciamento, a qualidade dos serviços em contra-ponto à ênfase
anteriormente dada ao atendimento às normas legais, ao planejamento e aos gastos
governamentais (HARTZ, 1999). Esta tendência se verificou em anos mais recentes em outros
países, especialmente da União Européia, como Finlândia, Holanda, Suécia e Reino Unido
(POLLITT, 2006).
15
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
Como resultado das diversas influências, entretanto, Guba e Lincoln (1989) demarcaram em
quatro fases distintas a evolução do campo da avaliação. Os autores consideram como uma
Primeira Geração o período referente à construção e aplicação de instrumentos de medidas
(1910-1930), que tem origem nas medições de coeficiente de inteligência para classificação
das crianças e determinação do progresso escolar. Centrado na área da educação, o modelo foi
visto, mais adiante, como insuficiente, uma vez que o foco da avaliação eram as pessoas. Teve
origem, então, a Segunda Geração da avaliação marcada pela publicação de Ralph Tyler em
1942, baseada no conceito de descrição e que, segundo os autores, marca o nascimento da
Avaliação de Programas (GUBA; LINCOLN, 1989; HARTZ, 1999; TYLER, 1942). “A nova
modalidade surge da necessidade de avaliar a adequação de novos currículos escolares com
relação aos objetivos de aprendizagem esperados e se esses estavam funcionando como
pretendido” (FIGUEIRÓ et al., 2009).
A Terceira Geração da avaliação, segundo Guba e Lincoln (1989), surgiu a partir dos limites
da abordagem anterior - descritiva e orientada por objetivos - e da identificação por Stake em
1967 de que não atendiam a outra face da avaliação que era o julgamento. Para este autor “o
que se esperava dos avaliadores era mais do que a descrição de atitudes, contextos e
realizações, mas algo que referisse o mérito do objeto sob avaliação e para tal deveria julgar
com base em padrões externos, para ajudar na tomada de decisão” (FIGUEIRÓ et al., 2009;
STAKE, 1967). Os trabalhos de Donald T. Campbel e de Michael Scriven, nas décadas de 60
e 70, muito contribuíram no sentido de que o julgamento passasse a ser parte integrante da
avaliação, somando-se às funções técnicas e descritivas (FIGUEIRÓ et al., 2009).
Guba e Lincoln (1989), entretanto, identificam outras limitações da prática de avaliação como
julgamento: “a tendência à valorização dos aspectos gerenciais e do comprometimento do
avaliador com o gestor; a pouca admissão de outros valores do pluralismo existente nos
contextos; e uma supervalorização do paradigma científico cartesiano” (FIGUEIRÓ et al.,
2009). Uma Quarta Geração da avaliação foi sugerida, então, caracterizada por estes autores,
pela função de negociação, e emergiu na década de 80, tomando forma com a sua conhecida
publicação de 1989 (GUBA; LINCOLN, 1989). Estes autores atribuem ainda à avaliação as
características da responsividade e do construtivismo:
responsiva por referência à definição do foco da avaliação, em que os parâmetros e
limites são determinados interativamente em processos negociados envolvendo os
diversos interessados; e construtivista quanto ao modo de fazer, em que
metodologicamente rejeita-se o controle e a abordagem experimental. Adota-se um
processo em que as múltiplas realidades (que inclui os programas e os resultados das
16
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
avaliações) são construídas/negociadas na interação entre o observador e o
observado (FIGUEIRÓ et al., 2009).
Já para Alkin (2004) as origens do campo da avaliação podem ser estabelecidas a partir de
duas necessidades: (i) a prestação de contas e controle dos programas (accountability) -
relacionada à melhoria dos programas, associada à responsabilização dos que detêm a
autoridade sobre os mesmos; e (ii) a investigação social – que surge do interesse pela
aplicação de métodos sistemáticos e justificáveis para determinação da accountability
(ALKIN, 2004).
Mais recentemente, alguns autores como Baron e Monnier (2003) apontam o surgimento, na
primeira década do século XXI, da Quinta Geração da avaliação. Esta, embora ainda não
consolidada, teria o caráter emancipatório na medida em que contempla a participação da
sociedade na elaboração da avaliação, na sua condução e no julgamento sobre o desempenho
das ações.
Por outro lado, ao longo do tempo, a utilização de resultados das avaliações tem sido uma
questão inquietante e se apresenta como um objetivo a ser perseguido por todos os avaliadores
(HENRY; MARK, 2003; PATTON, 2004; VAN DER KNAAP, 2004; WEISS, 1988).
Weiss (1988) aparece como a primeira autora a destacar esta discussão e Patton (2004) a
mergulhar nas categorias que determinaram o uso de forma mais sistemática. Para este último,
facilitar o uso da avaliação é parte central do trabalho do avaliador. A preocupação com esta
utilidade deve aparecer já no desenho inicial de uma política ou programa e persistir ao longo
de toda a avaliação. Por isso, ao se avaliar uma política ou programa, deve-se levar em conta a
mensuração deste uso como um dos principais efeitos. Patton (2004) considera o uso da
avaliação como a força propulsora de um processo avaliativo a partir de algumas premissas.
Estas dizem respeito à identificação dos interessados na avaliação, ao sentimento de
pertencimento que estes devem ter em relação ao processo avaliativo e à compreensão de que
a avaliação não dará conta de responder a todas suas questões e necessidades (PATTON,
1997, 2004; WEISS, 1988).
Considerando que o uso da avaliação não ocorre naturalmente, Patton (1997, p. 174) sugere,
ainda, alguns passos para o processo de avaliação construtiva:
(i) examinar virtuais usos e usuários, além daqueles originalmente visados, ajudando
os utilizadores primários a serem abertos e reflexivos sobre a avaliação; (ii)
favorecer ativamente, entre os usuários, o senso de propriedade sobre os resultados e
o compromisso de agir sobre os mesmos; (iii) trabalhar prioritariamente com os
17
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
usuários primários intencionais, de modo que estes utilizem os resultados e a
aprendizagem do processo avaliativo como esperado; (iv) manter-se envolvido além
do ‘relatório formal’, engajando-se no segmento do estudo que facilite e valorize o
seu uso e; (v) disponibilizar o tempo necessário para uma aprendizagem continuada
que permita alcançar os resultados, no longo prazo, de uma adequada avaliação.
Um modelo teórico proposto por Hartz et al. (2008) responde a questionamentos importantes
sobre as mudanças nas práticas sociais, as dificuldades e facilidades dessas mudanças e sobre
o reconhecimento das utilidades de uma avaliação. Este modelo amplia o termo “uso” – muito
freqüente na literatura – apreendendo a expressão “influência” da avaliação, que segundo
Kirkhart (2000, p. 15), “inclui a capacidade de pessoas ou coisas de produzir efeitos em
outros direta ou indiretamente”. Todavia, as três dimensões analíticas delineadas por Kirkhart
(2000) – quais sejam: a fonte (processos e resultados); a intencionalidade (previsto e
inesperado) e a temporalidade (imediato, final do ciclo, longo prazo) – são insuficientes, na
medida em que a conceituação do termo “uso e influência” não abrange os processos de
mudanças individuais (no pensamento e nas ações dos indivíduos), interpessoais (nas
interações entre os indivíduos) e coletivas (nas decisões e práticas das organizações), que
favorecem a institucionalização da avaliação e o aumento concomitante da capacidade
avaliativa, que podem ser traduzidas em ações integrais e, em última instância, em melhorias
sociais (HARTZ et al., 2008; KIRKHART, 2000).
É importante assegurar a perspectiva de todos os envolvidos. Tanto os atores organizacionais,
como outros protagonistas sociais devem participar de todas as etapas da avaliação para
garantir a utilização do conhecimento produzido (PATTON, 1997). Neste sentido, propõe-se a
formação de ‘redes de conhecimento’ unindo pesquisadores e profissionais, com o objetivo de
aumentar o uso das evidências das avaliações, a partir das relações contextuais e negociação
dos interesses dos diversos atores (teoria da tradução) e do rompimento com a tradicional
‘transferência de conhecimento’ (FELISBERTO et al., 2008; HARTZ et al., 2008).
Não obstante a perspectiva acima alguns questionamentos, como os colocados por Hartz et al.
(2008), podem nos ajudar a descobrir se estamos fazendo o ‘melhor uso’ das avaliações
realizadas:
[...] (i) entre as possíveis conseqüências da avaliação, quais estamos buscando? (ii)
que evidências existem sobre as atuais conseqüências do nosso trabalho? (iii) quais
são os efeitos não-intencionais ou as ‘externalidades’ dos nossos estudos? (iv) quais
são as conseqüências das avaliações passadas sobre a nossa prática atual e/ou futura
de avaliadores? (v) de que maneira as conseqüências das avaliações encomendadas e
já concluídas, vêm se refletindo na nossa cultura organizacional? (HARTZ et al.,
2008, p. 336).
18
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
Em outra perspectiva, seguindo os referenciais teóricos acima e outros autores
contemporâneos, apontamos uma série de fatores explicativos que podem ser contemplados
na análise do uso de uma avaliação. Esses fatores estão relacionados às seguintes dimensões
de uma avaliação: credibilidade, pertinência, fundamentação teórica e capacidade institucional
(CONTANDRIOPOULOS, 2006; FELISBERTO et al., 2008).
As diretrizes para análise da credibilidade das avaliações devem abordar: (i) os procedimentos
metodológicos - no sentido de identificar a utilização de métodos fundamentados em análises
conceituais e na apreciação de estudos anteriores; (ii) os processos - desenvolvidos para
envolver os usuários potenciais e os avaliadores internos, identificando problemas de interesse
(controvérsias), assim como os usos potenciais da avaliação e (iii) as informações produzidas
- analisando a avaliação no tocante à: qualidade, relevância, oportunidade para as fases da
política, inclusão de um resumo com recomendações claras, atendimento às necessidades e
prioridades dos financiadores e participação dos atores, a partir das informações fornecidas
pela avaliação, na elaboração de um julgamento sobre uma situação, da qual eles fazem parte,
e que seria necessário para sair do status quo (CONTANDRIOPOULOS, 2006; HANNEY et
al., 2003; PATTON, 2002, 2004; PLUYE et al., 2005 POTVIN; GERDRON, 2006).
Da mesma forma, devemos considerar que a pertinência da avaliação, na perceptiva do seu
uso pode ser influenciada: (i) pelo reconhecimento da institucionalização da avaliação
enquanto estratégia para aumentar a eficiência do Sistema Único de Saúde (SUS); (ii) pelo
reconhecimento de que a existência de informações válidas sobre as intervenções deste
sistema pode melhorar um processo de decisão e (iii) pela demanda de avaliações por atores
envolvidos nos programas (CONTANDRIOPOULOS, 2006; HANNEY et al., 2003).
Ainda, destacamos que a fundamentação teórica da avaliação influencia seu uso conforme a
perspectiva dos interessados. Os governos julgam a contribuição da avaliação na construção
da agenda da política nacional de saúde, na formulação de novas diretrizes e na implantação
de programas e ações; a equipe gestora federal enfatiza a consistência/coerência entre a
avaliação e a política; já as equipes gestoras estadual e municipal e os profissionais de saúde
buscam situações onde os mesmos terão condições de utilizar as avaliações realizadas, em que
deve ser ponderada a capacidade institucional da organização (HANNEY et al., 2003).
Os fatores explicativos do uso das avaliações estão relacionados a habilidades, estruturas,
processos e cultura corporativa para promover e usar a evidência da avaliação na elaboração
19
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
de decisões. Sejam estas habilidades no momento de aquisição das evidências necessárias à
avaliação; na compreensão, análise da confiabilidade, qualidade, relevância e aplicabilidade
dos achados; na apresentação das evidências aos tomadores de decisões, em um formato claro
e útil, sintetizando as recomendações, conclusões e questões principais; ou na aplicação das
evidências em decisões (CANADIAN HEALTH SERVICES RESEARCH FOUNDATION,
2005; HANNEY et al., 2003).
Para Denis e Champagne (1997), “os diferentes atores organizacionais podem apoiar a
implantação de uma intervenção se virem nela um meio de atualização de suas estratégias
fundamentais” (DENIS; CHAMPAGNE, 1997, p. 67). E, para Silva e Formigli (1994, p. 80):
à semelhança de outras práticas sociais, as práticas de saúde podem constituir-se em
objeto de avaliação nas suas diversas dimensões, seja enquanto cuidado individual,
seja nos seus níveis mais complexos de intervenção e de organização, como
políticas, programas, serviços ou sistemas.
É, portanto, necessário considerar a compreensão dos significados técnicos, políticos,
econômicos e ideológicos, quando se investigam as práticas em saúde e sua capacidade em
modificar a situação de saúde da população (FELISBERTO, 2002).
Em geral, os profissionais de saúde querem saber se suas intervenções atenderam às
necessidades do estado de saúde de seus pacientes; os gestores, sobre a relação custo-
benefício de uma nova intervenção; o governo, se suas intervenções estão contribuindo para a
promoção da saúde, para equidade, integralidade, solidariedade, participação social. Há,
portanto, sentidos diferentes a muitos conceitos. Neste caso, todas as questões dizem respeito
à eficiência na tradução de cada um desses atores. A pertinência diz respeito a quanto o gestor
está convicto de que a melhora do desempenho do sistema passa por uma melhora do
processo de decisão através da avaliação. Além disso, vários atores da equipe gestora devem
estar aliados em torno desta convicção do ponto de vista coletivo (CONTANDRIOPOULOS,
2006).
Podemos, assim, analisar essa questão por diferentes prismas, na perspectiva da experiência
de avaliadores e nas conseqüentes elaborações teóricas que podem nos dar suporte
(FELISBERTO et al., 2008). Nesse sentido, torna-se essencial a capacitação e a preparação
profissional para a elaboração de perguntas avaliativas como as suscitadas por Hartz et al.
(2008): (i) quais as condições de funcionamento dos serviços de saúde (estrutura e processos)
para assistência aos usuários? (ii) os usuários estão sendo assistidos nos serviços de saúde
segundo os padrões de qualidade técnico-científica esperados? (iii) como se dá a
20
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
acessibilidade dos usuários aos serviços? (iv) qual a percepção dos usuários sobre o cuidado à
saúde oferecido pelos serviços de saúde? (v) qual a percepção dos profissionais sobre as
condições para prestação do cuidado oferecido ou proposto? (vi) o modelo de gestão do(s)
programa(s) está adequado para o enfrentamento do problema? (HARTZ et al., 2008).
Essa responsabilidade dos profissionais da área da saúde se estende, ainda, à compreensão de
sua importância junto ao processo de organização comunitária, fundamental à obtenção de
conquistas sociais. Igualmente, como fontes de informação sobre o estado sanitário da
população, como integrante obrigatório do sistema de capacitação e formação de recursos
humanos para a saúde e, como alimentador sistemático de fontes de pesquisa. O
encaminhamento dessas questões dependerá da capacidade de gestão do sistema, em torno do
qual articulamos esse tipo de proposta qualificadora das práticas em saúde na medida em que
prevê a busca de métodos de investigação que permitem a transformação da realidade dos
serviços e sua adaptação às melhorias necessárias (FELISBERTO et al., 2008).
A implantação de políticas com vistas à institucionalização da avaliação vem, para
Contandriopoulos (2006), ao encontro das necessidades de ampliar a eficiência dos sistemas
de saúde. Nesse sentido, no Brasil, a ampliação da eficiência do SUS de acordo com seus
princípios e diretrizes torna-se a finalidade maior da institucionalização da avaliação. Para o
autor, o grande problema, que gera a necessidade de uma política, é a ineficiência dos
sistemas de saúde devido ao processo de tomada de decisões pelos gestores do sistema ocorrer
de forma não estruturada, sem seguir critérios de evidências (CONTANDRIOPOULOS,
2006).
Assim, em sendo a cultura avaliativa o efeito mais esperado de uma política de
institucionalização da avaliação, a implementação de dispositivos (instrumentos, estratégias)
bem fundamentados gera processos de avaliação com vistas à qualificação do cuidado em
saúde. Felisberto (2004, 2006) enfatiza que o desenvolvimento de uma cultura avaliativa
requer: (i) qualificação da capacidade técnica; (ii) articulação com o planejamento e a gestão e
(iii) suporte à formulação de políticas, ao processo de decisão e à formação dos envolvidos.
Para Worthen (1995), a completa institucionalização da avaliação seria o resultado da total
aceitação e do uso contínuo da avaliação. Ou, na lógica de Picciotto (2002), de mainstreaming
evaluation, da disseminação de uma nova cultura com todos os riscos inerentes às mudanças
daí decorrentes. Sanders (2003, p. 3), define mainstreaming como “o processo de fazer a
avaliação uma parte integral das operações diárias de uma organização”. Para o autor,
21
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
avaliação de mainstreaming seria parte integrante da ética do trabalho, da cultura, e das
responsabilidades do trabalho em todos os níveis (FELISBERTO, 2004, 2006; FELISBERTO
et al., 2008; PICCIOTTO, 2002; SANDERS, 2003; WORTHEN, 1995).
Efeitos esperados da institucionalização da avaliação de uma forma geral contemplam: (i) uso
na tomada de decisão; (ii) prestação de contas e (iii) produção de conhecimento (BRASIL,
2005a). Entretanto, pode-se considerar a utilização como o efeito que indicaria o sucesso da
implantação da política.
Toda a discussão aqui proposta reforça nossa convicção e nos ajuda a qualificar as pistas que
se apresentam em direção a se considerar o esforço por uma cultura avaliativa e o uso da
avaliação como fortes aliados na busca pela promoção do cuidado integral à saúde das
pessoas. A institucionalização e a concomitante construção da capacidade avaliativa podem,
por própria relevância, ser efeitos ou determinantes do uso da avaliação e de melhorias sociais
(HARTZ et al., 2008), considerando a prática da integralidade, em última instância, uma
melhoria social (FELISBERTO et al., 2008).
22
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
1.2 Avaliação no Contexto das Políticas de Saúde no Brasil
Frente à grande convergência sobre o incentivo à prática avaliativa no cenário internacional a
partir da Reforma do Estado (FARIA, 2005), cabe fazer referência à multiplicidade de
processos reformistas ocorridos na América Latina que ao serem contingenciados por fatores
sociais, históricos e políticos inerentes ao contexto de cada país (GERSCHMAN; SANTOS,
2006) interferem nos propósitos atribuídos aos sistemas de avaliação (FARIA, 2005).
Deste modo, ao se refletir sobre as políticas de saúde no Brasil, faz-se necessário pontuar a
importância da contra-posição existente entre o Movimento da Reforma Sanitária Brasileira –
base política de formulação do SUS - e a Reforma do Estado. Ambos, movimentos sócio-
políticos de alta envergadura, que se mantém na disputa por espaços entre a defesa da
eficiência e do adequado atendimento às demandas sociais.
O SUS coloca-se como um desafio a ser perseguido, fazendo-se necessário que a saúde
permaneça na agenda política e que haja movimentos sociais fortes, determinados a enfrentar
a reducionista e persistente lógica econômico-gerencial (SOUZA, 2002). A sua criação, na
contramão dos movimentos reformistas na América Latina (GERSCHMAN; SANTOS,
2006), tencionam a ‘institucionalização da avaliação’ para se alinhar à implementação dos
princípios que a sustentaram inicialmente ao mesmo tempo em que a direciona a colaborar
com mudanças em prol da melhoria da eficiência e efetividade administrativa. Portanto, ora os
objetivos da política de avaliação de políticas convergem com as diretrizes dos dois
movimentos reformistas quando estes se aproximam (como no caso da descentralização), ora
divergem quando os princípios doutrinários das duas reformas se distanciam (como no caso
da universalidade do acesso sob provisão do Estado).
O Brasil, na década de 70 do século XX, passou por um período de crise no desenvolvimento
econômico, com mobilização de massas urbanas em virtude do desgaste do populismo -
estabelecido durante décadas (1930-1963) - fazendo crescer as tensões sociais. Com o golpe
militar (1964), a ditadura proporcionou um desenvolvimento baseado na internacionalização
da economia, iniciando um período caracterizado pela concentração de renda, migração
urbana e uma urbanização sem infra-estrutura (DINIZ, 1998; PAIM, 2003). Nesse período
emergiu no país a administração pública gerencial, como resposta de um lado, à expansão
das funções econômicas e sociais do Estado e, de outro, ao desenvolvimento tecnológico e à
globalização da economia mundial. Surgia a necessidade da eficiência da administração
23
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
pública visando reduzir custos e aumentar a qualidade dos serviços, tendo o cidadão como
‘beneficiário’ (SOUZA, 2002). Já no que tange às políticas de saúde vivenciava-se um
processo de privilegiamento de setor privado por meio de compra de serviços de assistência
médica, empréstimos e subsídios (BRAGA; PAULA, 1981; OLIVEIRA; TEIXEIRA, 1985).
Com a crise da previdência nos anos 80, entretanto, o governo elaborou o Programa Nacional
de Serviços Básicos de Saúde (Prev-saúde) que previa a integração programática e funcional
do Ministério da Saúde (MS) e do Ministério da Previdência e Assistência Social (MPAS)
para reorientação do sistema de saúde com os três gestores; o reforço da atenção primária à
saúde; participação da comunidade; hierarquização; regionalização; referência e contra-
referência; integração das ações preventivas e curativas. Este não chegou a ser implantado por
“[...] pressão do setor privado e boicote dos dirigentes do então Instituto Nacional de
Assistência Médica e Previdência Social (INAMPS)” (PAIM, 2003, p. 592). Ainda nesse
contexto foi criado, em 1982, o Conselho Consultivo de Administração da Saúde
Previdenciária (CONASP), a modalidade de pagamento através das Autorizações de
Internação Hospitalar (AIH), as Ações Integradas de Saúde (AIS) e, promovido o acesso aos
serviços previdenciários para os não segurados (OLIVEIRA; TEIXEIRA, 1985).
Nessa época, o aprofundamento da análise das relações entre saúde e a estrutura das
sociedades, mediada pela dinâmica das classes e dos movimentos sociais, decorreu do
desenvolvimento da área da saúde coletiva na América Latina a partir da década de 70. Dessa
forma, algumas iniciativas contavam com o apoio do Centro Brasileiro de Estudos de Saúde
(CEBES) e posteriormente da Associação Brasileira de Pós-Graduação em Saúde Coletiva
(ABRASCO), além dos movimentos populares (LIMA; SANTANA, 2006; PAIM, 2003).
O movimento pelas eleições diretas e a eleição de Tancredo Neves, criaram um ambiente
favorável à mobilização social e especificamente no setor saúde, favoreceu a articulação de
setores organizados que proporcionaram, de maneira organizada, a identificação de problemas
e a proposição de medidas para solução. O período da chamada Nova República (1985-1988)
foi caracterizado por uma diminuição da recessão econômica, a conquista da democracia e o
aumento da demanda pelo resgate da dívida social, o que possibilitou a colocação novamente
da saúde na agenda política (PAIM, 2003).
24
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
O Ministério da Saúde continuava suas práticas campanhistas e o INAMPS promovia a
ampliação das AIS. Porém, foi um período em que se avançou para a criação do Sistema
Unificado e Descentralizado de Saúde (SUDS), mecanismo de descentralização mediante
convênios e utilização de ferramentas como a Programação Orçamentária Integrada (POI) e a
criação de instâncias democráticas de deliberação – Conselhos Estaduais de Saúde (CES),
Conselhos Municipais de Saúde (CMS). Foi um momento caracterizado por um processo de
estadualização do sistema de saúde. “Somente nesse contexto o Estado brasileiro possibilitou
a criação de canais de participação do cidadão na formulação e acompanhamento das políticas
de saúde” (PAIM, 2003, p. 593).
Dá-se, nesse período, a consolidação do Movimento pela Reforma Sanitária Brasileira com a
criação da Comissão Nacional da Reforma Sanitária, tendo como marco a realização da 8ª
Conferência Nacional de Saúde e a proposição de criação do Sistema Único de Saúde como
viabilidade técnica e possibilidade política de mudança social e transformação sanitária. Este
processo culminou com a Constituição de 1988 quando da aprovação de emenda popular no
capítulo da seguridade social, instituindo o SUS.
Paralelamente a reforma do aparelho do Estado passa a ser orientada pelos valores da
eficiência e qualidade na prestação de serviços públicos e pelo desenvolvimento de uma
cultura gerencial nas organizações. No entanto, a forma burocrática de organizar o Estado
continuou a prevalecer enquanto o crescimento econômico assegurava os recursos necessários
à manutenção ou expansão dos serviços públicos (BRAVO; MATOS, 2002; DINIZ, 1998;
DUPAS, 1999).
Nos anos 90, com a ampliação da área de influência do neoliberalismo, o ajuste estrutural
continuava a ser um dos principais objetivos do governo da época, desta feita, porém, com
mais ênfase na reforma administrativa, em virtude das adaptações necessárias à chamada
‘globalização’. É no governo Fernando Henrique Cardoso (FHC) que toma corpo, de fato, a
Reforma do Estado, com a criação do Ministério da Administração e Reforma do Estado
(MARE). A Reforma administrativa foi inclusa entre a reforma constitucional da previdência,
a fiscal, a eliminação do monopólio estatal (privatização); e a flexibilização do estatuto dos
servidores públicos aproximando mais os mercados de trabalho público e privado. A reforma
já não se tratava de uma questão interna, era exigida pelos investidores estrangeiros e as
agências financeiras multilaterais. Em agosto de 1995 foi enviada ao congresso a Emenda
Constitucional com o texto da Reforma Administrativa, contendo o plano diretor da reforma
25
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
do aparelho do Estado (BRESSER-PEREIRA, 1998b). Para alcançar o objetivo de melhorar a
qualidade das decisões, a nova gestão pública propõe uma maior autonomia e capacitação dos
administradores e dos políticos eleitos. O caráter democrático da administração pública seria
assegurado, segundo Bresser-Pereira (1998a), através de um serviço orientado para o cidadão-
usuário ou o cidadão-cliente e baseado na responsabilização do servidor público perante os
seus superiores, os políticos eleitos e os outros representantes formais e informais da
sociedade (BRESSER-PEREIRA, 1998b; PIMENTA, 1998; SOUZA, 2002).
Nesse período, a história da saúde no Brasil pode ser resumida com o auxílio de uma divisão
em quatro momentos como proposto por Bravo e Matos (2000): (i) primeiro momento - era
Collor; (ii) segundo momento – era Itamar; (iii) terceiro momento – período do governo FHC
em que é ministro da saúde o Dr. Adib Jatene e; (iv) quarto momento – período do governo
FHC caracterizado pela passagem de três outros ministros - Seixas, Albuquerque e Serra
(BRAVO; MATOS, 2002).O primeiro período (1990-1992), há a aprovação da Lei Orgânica
da Saúde (8080/90) e a Lei 8142/90, que regula a participação social e transferências
intergovernamentais. É também um período em que se dão a construção das Constituições
estaduais e Leis Orgânicas dos municípios. No plano nacional dá-se a instalação do Conselho
Nacional de Saúde (CNS) e a realização da 9ª Conferência Nacional de Saúde. Entretanto,
ocorrem vários obstáculos à Reforma Sanitária Brasileira, com um recuo dos movimentos
sociais e a disseminação da ideologia neoliberal, concomitante com a perda de poder
aquisitivo dos trabalhadores de saúde, reforçando o corporativismo. É um momento de contra-
ponto com uma clara “operaçao descrédito” contra o SUS e a clara redução de quase metade
dos recursos para seu financiamento (BRAVO; MATOS, 2002).
Na era Itamar (1992-1994) houve um certo freio no sucateamento do setor e algumas
proposições de fortalecimento do SUS na Gestão Jamil Haddad (1992-1993)
contrabalançando com a ausência de iniciativas, porém sem idéias contrárias, marca da
Gestão Henrique Santillo (1993-1995). Sua saída tem ligações com o êxito do Plano Real e a
primazia da área econômica sobre a Social. Neste momento se dá a extinção do INAMPS
(desejado pela Reforma Sanitária) concomitante com a implosão do conceito de seguridade
(desejo da equipe econômica), acompanhada de nova redução dos recursos. É trabalhada a
Norma Operacional Básica (NOB-93) que institui modalidades de municipalização e
mecanismos de regulação (BRAVO; MATOS, 2002; PAIM, 2003).
26
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
A era FHC (1995-2002) foi caracterizada primeiro pela gestão Adib Jatene (1995-1996)
quando não foi dada nenhuma prioridade ao setor por parte do Presidente da República.
Período que caracterizou a cruzada do então ministro em busca da aprovação da Contribuição
Permanente sobre Movimentações Financeiras (CPMF). Realizou-se a 10ª Conferência
Nacional de Saúde (1996) onde se nota a completa ausência de outros atores do Governo
Federal. Na gestão dos ministros José Carlos Seixas e Carlos César Albuquerque (1996-1998)
é apresentada oficialmente uma outra proposta para a saúde, sistematizada e contrária ao SUS
(BRAVO; MATOS, 2002). É no ano de 1997 - o chamado “Ano da Saúde” – em que é
lançado o documento “Ações Prioritárias para a Saúde no Brasil”. Este, propõe, por um lado,
um novo sistema estrutural com financiamento estável e fiscalização dos recursos e, por outro,
o detalhamento de ações e metas prioritárias, marcadas pelo compromisso com a mudança do
modelo assistencial por intermédio do Programa Saúde da Família (PSF) e forte mobilização
da gestão municipal. Cria-se o Piso da Atenção Básica (PAB) que deveria se somar à recursos
estaduais e municipais para o custeio da atenção básica e o Programa de Combate às
Carências Nutricionais (PAIM, 2003).
Na gestão José Serra (1998-2002) se dá o ajuste da Política de Saúde à proposta da Reforma
do Estado, quando de fato são implantadas as Normas Operacionais Básicas (NOB-93 e
NOB-96), a defesa da reestruturação do atendimento hospitalar e ambulatorial, com
descentralização mais rápida e decisiva com maior definição das atribuições das três esferas
gestoras. Nesse aspecto, propõe dois subsistemas: um baseado em programas focais, de
assistência básica, e outro com foco hospitalar apontando para a referência ambulatorial e
especializada (ALMEIDA, 1999; BRAVO; MATOS, 2002; PAIM, 2003).
Foi um período marcado pela naturalização da concepção de cidadão consumidor e a
regulamentação dos planos privados de saúde. As funções de regulação do setor saem da
Superintendência de Seguros Privados (SUSEP) do Ministério da Fazenda para o Ministério
da Saúde e, são criadas as Agências Reguladoras: Agência Nacional de Saúde Suplementar
(ANS) e Agência Nacional de Vigilânica Sanitária (ANVISA). Dá-se início a um forte
processo de normatização dos medicamentos e à montagem de um sistema de informações em
saúde que pretendeu controlar despesas, avaliar qualidade, gerar indicadores para vigilância
epidemiológica e medir os resultados obtidos a partir de dados em rede na intenção de
controlar a execução dos recursos (ALMEIDA, 1999; BRAVO; MATOS, 2002; PAIM,
2003).O neoliberalismo, representado no Brasil pelo governo FHC, não conseguiu implantar o
‘Estado Mínimo’ (DUPAS, 1999). Conseguiu, por outro lado, em relação à forma
27
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
organizativa do Estado, implantar mudanças importantes, identificadas, por exemplo, na
separação entre o financiamento e a execução dos serviços públicos. Passada a euforia
neoliberal, mesmo um organismo como o Banco Mundial, forte promotor dessa ideologia,
vem a público afirmar, através do seu Relatório de 1997, que “o desenvolvimento econômico
e social sustentável é impossível sem um Estado atuante” (DUPAS, 1999; SOUZA, 2002).
Desde a aprovação da Constituição de 1988 até esse período, dois grandes eixos se
apresentavam como questões complexas: a descentralização político-administrativa e a
organização da atenção à saúde.
Para fazer frente a esses dois eixos, desenvolveu-se no setor um movimento
denominado de ‘reforma da reforma’ do sistema. Este, além das determinações
legais, buscou modificar o desenho e as operações da política de saúde no sentido de
acelerar o processo de descentralização, reestruturar os mecanismos de
financiamento das ações de saúde e, principalmente, fortalecer a atenção básica
(BRASIL, 2003a, p. 113).
O ano de 1998 marcou o processo de consolidação do PSF, quando a iniciativa foi definida
pelo Ministério da Saúde como estratégia estruturante para a organização do sistema de saúde,
com vistas a organizar a base municipal dos sistemas de saúde a partir da atenção básica
(BRASIL, 2003a). Outro aspecto que merece relevância é a publicação da Norma Operacional
de Assistência à Saúde (NOAS/01), em janeiro de 2001, com o objetivo geral de "promover
maior equidade na alocação de recursos e no acesso da população às ações e serviços de saúde
em todos os níveis da atenção" (BRASIL, 2003a, p. 115).
No que diz respeito à avaliação, esses vinte anos foram marcados por uma forte hegemonia
positivista, pelo que pode ser observado da prática avaliativa. Contemplando o advocacy e a
accountability aos valores presentes, representava um ideal regulatório com vistas à
racionalidade do processo decisório. Ou seja, prevaleceu a perspectiva da instrumentalização
da pesquisa avaliativa para o sucesso da reforma do Estado (FARIA, 2005).
No período seguinte, o Plano de Gestão Pública do Governo Lula (2003-2006) se propôs a ter
como marca o que chama de revitalização do Estado. Em que tem o Estado como solução, ou
seja, exercendo papel ativo na redução das desigualdades e promoção do desenvolvimento,
onde a administração pública pode e deve ser otimizada para aumentar a capacidade do
Governo (BRAVO; MATOS, 2002). Estabelece como princípios: “(i) redução do déficit
institucional; (ii) fortalecimento da capacidade de formular e implementar políticas; (iii)
otimização de recursos; (iv) participação, transparência e ética; (v) o plano de gestão como
28
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
uma agenda positiva; (vi) implementação do Plano Plurianual, com inovações gerenciais e
equacionamento de problemas estruturais da administração federal. Elabora-se um
diagnóstico participativo; debatem-se os problemas e elabora-se um plano coletivo de
governo” (BRAVO; MATOS, 2002).
É importante, aqui, tomar como referência a reflexão de Souza (2002) para quem:
[...] a reforma das administrações públicas é um processo de longo fôlego que, tendo
sido iniciado, ainda não tem um final previsível. Os diversos atores sociais
continuam atuando para fazer prevalecer seus pontos de vistas. Desenvolver uma
reflexão sistemática sobre esse tema continua a ser, portanto, fundamental. O
primeiro elemento que ressalta da reflexão sobre os processos de reforma é a
necessidade de se explicitar os valores éticos em que se apóiam as diferentes
proposições de reorganização do aparelho de Estado. A dimensão da eficiência
econômica, embora importante, foi sobrevalorizada em um determinado momento,
prejudicando as tentativas de realização dos objetivos democráticos [...]”. Para este
autor “[...] parece possível, agora, avançar na construção de um consenso sobre o
imperativo de conciliar eficiência e eqüidade, sob o primado desta última [...]
(SOUZA, 2002, p. 14).
Cabe, aqui, a reflexão de que o princípio da eqüidade não depende apenas da forma de
organização e funcionamento do Estado; que diversos fatores de ordem política, econômica e
social têm impacto mais abrangente sobre a eqüidade do que os fatores de ordem
administrativa (PACHECO, 1999); e de que o SUS coloca-se como um desafio a ser
perseguido, fazendo-se necessário que a saúde permaneça na agenda política e que haja
movimentos sociais fortes, determinados a enfrentar a reducionista e persistente lógica
econômico-gerencial (SOUZA, 2002).
A política de saúde no Governo Lula avançou positivamente nessa direção, em alguns
aspectos. Embora tenha permanecido a crise financeira e gerencial no setor, houve
considerável investimento na ampliação da atenção básica, por intermédio da Estratégia
Saúde da Família (ESF), a criação de uma política inclusiva de saúde bucal, a implantação da
reforma psiquiátrica e do Serviço de Atendimento Médico de Urgência (SAMU). Também,
esforços vêm sendo feitos no que diz respeito à formulação de políticas de assistência
hospitalar no âmbito das urgências e da média e alta complexidade (PAIM, 2007).
Ainda, é marcante a aprovação dos ‘Pactos pela Saúde’ (Pela Vida, Em Defesa do SUS e de
Gestão) que avança nas mudanças necessárias com vistas a um processo de descentralização
mais racional, da integração das várias formas de repasse de recursos financeiros e da
unificação de diversos pactos existentes (BRASIL, 2007). Este, vem se constituindo num
franco esforço por parte da Gestão Tripartite do SUS (Ministério da Saúde, Conselho
29
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
Nacional de Secretários Estaduais de Saúde – CONASS e Conselho Nacional de Secretários
Municipais de Saúde – CONASEMS) em busca de avançar na responsabilização pela vida das
pessoas.
No âmbito organizacional alguns avanços importantes vêm se concretizando em várias áreas
do Ministério da Saúde com a criação em 2003 das Secretarias de Vigilância em Saúde, de
Ciência e Tecnologia e de Gestão Estratégica e Participativa. Há de se reconhecer neste
contexto o reforço nessas Secretarias de várias instâncias responsáveis por ações de
monitoramento e avaliação.
Não obstante esses avanços, a priorização do setor parece não ser uma marca desse Governo
que em seus primeiros quatro anos promoveu três mudanças de Ministro com conseqüente
descontinuidade e lentidão em várias ações. É, entretanto, um período em que os indicadores
de saúde da população e os referentes a recursos e cobertura do sistema de serviços de saúde,
mantiveram evolução positiva. Exemplos são o aumento da expectativa de vida ao nascer, a
diminuição mortalidade infantil, o aumento da realização de partos hospitalares e o da
cobertura vacinal (PAIM, 2007).
Ao longo dessas décadas, no campo político, nas diversas formas de organização da
sociedade, um conjunto de fatores proporcionou a articulação entre diversos atores e
lideranças em torno de interesses comuns na direção da saúde da população. Por um lado, o
tema da saúde pública mobilizava diversos movimentos sociais em busca da equidade e da
universalidade da atenção à saúde. Por outro, em meio às mudanças ocorridas no setor,
vinculadas às transformações políticas, o campo acadêmico e científico da saúde coletiva se
organizava e se fortalecia enquanto uma nova área de conhecimento, inclusive fazendo
movimentos fortes em busca de uma aproximação maior com a área de ciência e tecnologia
(LIMA; SANTANA, 2006).
Não obstante esses movimentos, “[...] o campo da avaliação expandiu-se consideravelmente
no final do século XX tanto em produção científica quanto no que diz respeito a sua
institucionalização [...]”. Persiste, entretanto, “[...] uma importante lacuna relacionada com a
incorporação do conhecimento produzido no plano da investigação pelos profissionais de
saúde e pelos gestores” (VIEIRA-DA-SILVA, 2005, p. 30).
Por outro lado, a forte associação da ‘função avaliação’ “[...] à reforma gerencialista do
Estado com ênfase nos resultados e na desresponsabilização/devolução/privatização da
30
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
provisão de bens” (FARIA, 2005, p. 99), “[...] embora não tenha despertado maior interesse
das áreas da ciência política e da sociologia [...]”, “[...] isso não ocorreu na seara da
administração pública como demonstrado por periódicos nacionais da área e pelas publicações
do Instituto de Pesquisas Econômicas Aplicadas, da Fundação Seade e da Fundação Carlos
Chagas [...]” (FARIA, 2005, p. 100). Ainda, essa tenha sido a tônica favorecida pelos
organismos multilaterais ao fomentar sistematicamente apoio técnico e financeiro para
projetos de organizações e profissionais do campo da academia, dos serviços e do campo
político, atrelados à exigência de avaliação (FARIA, 2005).
Em importante debate publicado nos Cadernos de Saúde Pública, Hartz (1999) afirmava: “[...]
no Brasil, e em outros países da América do Sul, a prática da avaliação na função pública é
rara embora se observe que ela ocupa um espaço crescente nos textos legais e técnico-
científicos” (HARTZ, 1999, p. 230). E, sobre o aperfeiçoamento do campo e a divulgação de
conhecimentos e metodologias de avaliação, a autora concluía:
[...] sem um esforço de institucionalização por parte das estruturas político-
governamentais, que introduza incentivos técnico-financeiros encorajando uma
cultura de avaliação para tomada de decisão e alocação orçamentária dos programas,
todo este conhecimento é mero exercício acadêmico, impotente para contribuir na
melhoria dos problemas avaliados (HARTZ, 1999, p. 243).
Essa reflexão em torno da avaliação das políticas públicas em geral é também válida para o
setor saúde, principalmente no período 1980-2000. Nos anos seguintes houve um período em
que se buscou aprofundar
[...] a questão da especificidade da investigação de sistemas e serviços de saúde e
das variáveis que interferem na relação entre pesquisa e tomada de decisão levando
em consideração o processo político [...], permitindo [...] a crítica ao modelo
instrumental/normativo das formas de relação entre pesquisa e tomada de decisão
[...] (VIANA et al., 2006, p. 58).
Apesar disso, prevaleceu a lógica investigativa demandada, quando não pelos organismos
financiadores externos, aquelas de interesse acadêmico dos pesquisadores ou em decorrência
de encomendas de setores organizados da sociedade (FELISBERTO, 2006).
A partir de 2003, o contexto político estabelecido pela nova gestão do Ministério da Saúde,
favoreceu a uma nova postura no que diz respeito à contratação ou encomenda de pesquisas
avaliativas. Embora, as características das demandas pontuadas acima tenham permanecido
estas deixavam de ser hegemônicas, tendo crescido em relação à política nacional de saúde
uma mudança de postura que passava a influenciar na delimitação do objeto a ser avaliado e
31
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
possibilitando aos ‘decisores’ tornarem-se partícipes do processo avaliativo (FELISBERTO,
2006; VIANA, et al., 2006).
Em publicação sobre estudo realizado no período 2003 a 2006, cujo objetivo principal foi
discutir a experiência de relação entre investigadores e decisores envolvendo gestores
estratégicos do Ministério da Saúde, Viana et al. (2006) afirmam:
[...] A interação constante no processo de formulação conjunta do projeto de
pesquisa, apesar das tensões, acabou por estabelecer uma relação de confiança
recíproca entre equipes que pouco se conheciam. Por parte dos decisores, ela se
concretizou na crença de que a pesquisa era expressão de suas necessidades e, por
isso, podia fornecer subsídios importantes para as decisões a serem tomadas e
indicar ajustes no rumo da política em construção. Por parte dos pesquisadores, a
confiança se estabeleceu pelo sentimento de relevância do trabalho (VIANA et al.,
2006, p. 61).
No contexto do sistema de saúde, também os dispositivos avaliativos evolue em diferentes
sentidos em razão dos arranjos institucionais assumidos ao longo do tempo. Nesse sentido,
embora seja importante estabelecer conexões entre as concepções de Estado e de Política de
Saúde que compõem a arena de implantação do SUS e, os aspectos doutrinários contidos nas
políticas de institucionalização da avaliação, é também relevante lembrar que as práticas
avaliativas não estão totalmente vinculadas aos interesses prioritários do Estado, uma vez que
elas podem se tornar elementos mobilizadores de uma variedade de mudanças em vários
níveis do sistema, como “[...] em disputas eleitorais, e até mesmo na busca de acomodação de
forças e de interesses no âmbito intraburocrático” (FARIA, 2005, p. 100). Estas considerações
nos remete novamente ao referencial teórico conceitual sobre institucionalização, uso e
influência da avaliação já apresentado anteriormente.
Várias iniciativas vêm sendo desenvolvidas ao longo dos últimos anos, com vistas ao
aprimoramento e à consolidação do SUS e, sua efetivação se dá a partir da implantação de
projetos, os quais abrangem desde os aspectos legais normativos às intervenções sobre os
problemas de saúde. A maioria das avaliações, entretanto, vem sendo focadas no processo de
descentralização ou de implantação de programas específicos (VIACAVA et al., 2004).
De uma maneira geral, melhorar a saúde da população é o objetivo central e máximo
dos sistemas de saúde. Entretanto, o alcance dessa meta é um processo complexo,
que envolve objetivos intermediários e ações intersetoriais. E a prestação de
serviços, individuais e coletivos, assim como as ações intersetoriais são apenas um
dos modos de melhorar a saúde da população. Fatores vinculados à situação
socioeconômica, ambientais, biológicos e genéticos e os comportamentos coletivo e
individual têm influência poderosa sobre a saúde. Sendo assim, é necessário o
refinamento do conhecimento de como esses fatores interagem, como influenciam a
32
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
saúde dos indivíduos e das populações, e de como contribuem para o alcance da
meta central dos sistemas de saúde (VIACAVA et al., 2004, p. 714).
1.3 Avaliação na Atenção Básica no Brasil
Podemos considerar como marco inicial do processo de monitoramento e avaliação da
Atenção Básica no âmbito do SUS, a formulação pelo Ministério da Saúde em 1998, do Pacto
de Indicadores da Atenção Básica, concebido como um instrumento nacional de
monitoramento das ações e serviços de saúde referentes à atenção básica. Este foi instituído
pela Portaria GM/MS n° 3.925 de 1998, que aprovou o “Manual para Organização da Atenção
Básica” e pela Portaria 476 de 1999, que regulamentou o processo de acompanhamento e
avaliação da atenção básica (BRASIL, 2003b).
Do ponto de vista do fortalecimento institucional, em 1999 foi criada a Coordenação de
Atenção Básica no âmbito do Ministério da Saúde:
[...] que seria em seguida (2000), transformada em Departamento, com estrutura de
três coordenações: a primeira com a tarefa de acompanhar a implantação das equipes
do Saúde da Família e o desenvolvimento das responsabilidades da atenção básica; a
segunda com a tarefa de executar os projetos de qualificação do processo de trabalho
da atenção básica/PSF, principalmente na área de capacitação dos profissionais de
saúde; e a terceira com a função de acompanhar e avaliar o processo de
reorganização da atenção básica, com ênfase na estratégia do PSF (BRASIL, 2003a,
p. 115).
O Programa Saúde da Família (PSF) vem se constituindo, ao longo do tempo, como indutor
desse processo de institucionalização da avaliação na atenção básica e a criação, na estrutura
organizacional do Departamento de Atenção Básica (DAB) de uma Coordenação de
Acompanhamento e Avaliação (CAA) marca essa característica, principalmente quando se
atribui a esta, a responsabilidade da condução gerencial de iniciativas processuais de grande
envergadura como: o Pacto de Indicadores da Atenção Básica, estabelecido mediante
negociação entre as três esferas de gestão, que tem se constituído num esforço coletivo de
incorporação da avaliação à prática da gestão e de articulação com os processos de
programação; a Investigação Avaliativa representada pela realização de estudos e pesquisas
de abrangência nacional e o Sistema de Informação da Atenção Básica (SIAB), principal
instrumento de monitoramento da atenção básica com características muito peculiares de
apoio à gestão, ao fazer uso dos conceitos de territorialização, adscrição de clientela e
potencialidade de uso por profissionais integrantes das equipes de saúde para discussão com a
33
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
comunidade usuária e programação local (BRASIL, 2004; FELISBERTO, 2004; HARTZ,
2000; SOUZA, 2002a).
Na perspectiva de conhecer melhor o processo de implantação da ESF no país a CAA/DAB
realizou relevante estudo, entre 2001 e 2002, por intermédio de uma avaliação normativa.
Esta, buscou caracterizar a infra-estrutura das unidades, a gestão e os processos de trabalho
das equipes à luz das diretrizes do PSF (BRASIL, 2004).
Ainda, nesse período, contemplou no acordo de empréstimo assinado entre o governo
brasileiro e o Banco Internacional para Reconstrução e Desenvolvimento (BIRD - Banco
Mundial) que originou o Projeto de Expansão e Consolidação do Programa Saúde da Família
(Proesf), um componente de Monitoramento e Avaliação com financiamento específico, com
vistas ao fortalecimento de sistemas de monitoramento e avaliação da atenção básica,
principalmente nos municípios acima de cem mil habitantes (BRASIL, 2003a; FELISBERTO,
2004).
Um segundo marco em relação à avaliação da atenção básica no Brasil, se deu entre 2003 e
2006. Neste período a CAA/DAB iniciou o desenvolvimento de diversas ações com vistas à
implantação de uma política de avaliação para a atenção básica, calcada em algumas
diretrizes: 1) Parcerias com instituições de ensino e pesquisa nacionais e internacionais, bem
como com associações profissionais de reconhecido prestigio político e acadêmico; 2)
Mobilização de atores institucionais por intermédio de processos amplamente participativos,
que buscaram não apenas o estabelecimento de alianças no desenvolvimento de projetos, mas
que permitiram, sobretudo, a adesão e incorporação de propostas de forma mais coerente com
as múltiplas necessidades do sistema de saúde; 3) Identificação de fontes de financiamento e
garantia de recursos orçamentários para os projetos; 4) Definição de estratégias
organizacionais para qualificação de profissionais no campo da avaliação (BRASIL, 2005a;
FELISBERTO, 2004, 2006).
Estabeleceu-se, nessa fase, o desafio de articular os diversos projetos e ações propostos e/ou
em execução como ‘ferramentas’ para o monitoramento e avaliação da atenção básica, na
direção da construção e sistematização de uma Política de Avaliação para a Atenção Básica
no Brasil. A partir do debate mais ampliado no âmbito do Ministério da Saúde e da Comissão
Intergestora Tripartite, se procurou definir as estratégias de ação necessárias a dar
34
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
organicidade ao conjunto das diversas iniciativas e processos de trabalho em curso
(FELISBERTO, 2004).
A reformulação do Sistema de Informações da Atenção Básica (SIAB) com o objetivo de
transformá-lo num sistema mais abrangente de toda a atenção básica, superando os limites do
Programa de Agentes Comunitários de Saúde e do Programa de Saúde da Família; a
dinamização do Pacto de Indicadores da Atenção Básica como instrumento de mobilização,
de negociação política, mas efetivamente, como elemento norteador da formulação das
políticas setoriais e da programação das ações; a divulgação de forma ampla dos estudos e
pesquisas realizados sobre a atenção básica, proporcionando o acesso de gestores,
profissionais dos serviços de saúde e docentes, pesquisadores e estudantes das instituições de
ensino e pesquisa; a disponibilização pública do banco de dados do SIAB; a exploração dos
sistemas de informação e outras fontes de dados produzindo-se indicadores e analisando-os
com vistas a publicações institucionais; a construção de instrumentos que permitem o uso
mais sistemático da informação pelas equipes de saúde e gestores do sistema; a divulgação de
experiências exitosas implementadas por estados e municípios; a realização de novos estudos
e pesquisas como necessidade à complementação do monitoramento e a identificação de
fontes de financiamento e definição de orçamento para as ações de avaliação, foram algumas
das estratégias efetivadas pelo Ministério da Saúde durante o período (ALMEIDA;
GIOVANELLA, 2008; FELISBERTO, 2004, 2006).
Ainda, o fomento ao debate interno sobre a necessidade da integração das práticas de
monitoramento e avaliação e sua articulação com o planejamento e a formulação das políticas
setoriais, com vistas a uma repercussão uníssona nas programações e pactuações, resultou em
ocupação de importante espaço da avaliação no planejamento macroestratégico das ações de
saúde (FELISBERTO, 2004, 2006).
A conjunção de decisão político-institucional, recursos financeiros, mecanismos técnicos e
estratégias organizacionais de qualificação dos recursos humanos para avaliação constituiu o
eixo para a construção da capacidade institucional, o que, contribuiu para superar a prática de
se estabelecer processos avaliativos unicamente atrelados à intervenção (FELISBERTO,
2004, 2006).
Paralelamente, se fez necessário a renegociação do acordo de empréstimo que financiava o
Proesf no que concerne ao componente de Monitoramento e Avaliação, tanto no que diz
35
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
respeito aos seus subcomponentes e/ou ações programadas, quanto no que se refere ao volume
de recursos destinados à sua execução. A inclusão da proposta de Fortalecimento da
Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação e o
aumento dos recursos financeiros de U$ 7 milhões para U$ 25 milhões previstos para a
primeira fase do Proesf no Componente III, se caracterizaram como elementos direcionados a
dar corpo à superação daquele desafio identificado para a definição da política, constituindo
fatores estruturadores da sustentabilidade para a construção da capacidade avaliativa em saúde
para o SUS (FELISBERTO, 2004, 2006). A primeira proposição, acima ressaltada, passou a
se constituir no eixo estruturante do delineamento da política de avaliação para a atenção
básica no país, a partir da construção, pelas Secretarias Estaduais de Saúde (SES), dos Planos
Estaduais para Fortalecimento das Ações de Monitoramento e Avaliação da Atenção Básica
(BRASIL, 2003a; BRASIL, 2005a; CONSELHO NACIONAL DE SECRETÁRIOS DE
SAÚDE, 2007; FELISBERTO, 2004, 2006).
A importância conferida pelos gestores estaduais ao componente da avaliação da atenção
básica pode ser expressa pela seguinte afirmação:
O CONASS acredita que o processo de acompanhar, monitorar e avaliar as ações e
os serviços da Atenção Primária contribui para o aprimoramento das estruturas,
processos e resultados da estratégia, ampliando e fortalecendo a cooperação entre as
SES e os municípios, o que refletirá na ampliação do acesso e qualificação da
atenção prestada à população, nos serviços de saúde.
Se a avaliação está inserida como uma importante Macrofunção, não pode, portanto,
ser compreendida somente como atribuição delegada a avaliadores externos,
devendo fazer parte do conjunto de atividades desempenhadas pelos gestores do
sistema e das equipes de saúde. Neste sentido, inserem-se as diversas ações e
estratégias para o alcance do que vem se denominando ‘institucionalização da
avaliação’ [...] Esse processo de formulação nacional, encontrou total convergência
com posicionamentos e propósitos dos gestores estaduais e das iniciativas do
CONASS, que além de participar ativamente na Comissão de Avaliação da Atenção
Básica, (Portaria GM/MS n. 676 de 03 de junho de 2003) constituiu, em 2004, por
deliberação dos secretários estaduais, um grupo de trabalho para aprofundar o debate
e definir posicionamentos sobre acompanhamento, avaliação e regulação da Atenção
Primária à Saúde (CONSELHO NACIONAL DE SECRETÁRIOS DE SAÚDE,
2007, p. 111).
36
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
1.4 Sustentabilidade de Programas
Muitos países têm desenvolvido sistemas de monitoramento e avaliação de programas
bastante elaborados. Entretanto poucos produzem informação regular sobre sua continuidade
ou sobre até que ponto eles produzem os benefícios esperados. Este pouco privilegiamento ao
monitoramento da sustentabilidade tem surpreendido alguns autores, em virtude do grande
número de projetos que sofrem descontinuidade após o término de sua implementação
(KHAN, 1998; LENNIE, 2005; ORGANIZATION FOR ECONOMIC CO-OPERATION
AND DEVELOPMENT, 2002; VALADEZ; BAMBERGER, 1994; WORLDBANK, 2007).
As primeiras avaliações de sustentabilidade de projetos conduzida pelo Departamento de
Avaliação de Operações do Banco Mundial (World Bank’s Operations Evaluation
Department) foram realizadas entre os anos 1985-1990 e apresentaram razões importantes
para justificar o aumento da preocupação com a implantação de projetos que não demonstram
potencialidade de serem sustentáveis. O maior desses estudos, realizado em 1989, avaliou 557
projetos e identificou apenas 291 como provavelmente sustentáveis. Este, representou a
primeira tentativa sistemática de avaliar a sustentabilidade de todos os projetos financiados
pelo Banco Mundial (VALADEZ; BAMBERGER, 1994).
Estudos anteriores realizados por Honadle e Vansant (1985) apontavam para a necessidade da
valorização do contexto de implantação dos projetos, seja este relacionado à
operacionalização dos mesmos ou à capacidade institucional necessária (HONADLE;
VANSANT, 1985). Por outro lado, em anos mais recentes, outros estudos sugerem a
propriedade de se estar atento às questões da sustentabilidade desde o início da implantação
dos projetos (PLUYE et al., 2005; RIDDE; PLUYE; QUEUILLE, 2006; SCHEIRER, 2005).
O conceito de sustentabilidade se refere à continuação dos programas (PLUYE; POTVIN;
DENIS, 2004; SCHEIRER, 1994; SHEDIAC-RIZKALLAH; BONE, 1998) e
“Institucionalização” é o sinônimo mais comumente usado. Freqüentemente considerada sob a
perspectiva do ciclo de vida de um programa, incluindo seu desenvolvimento, implementação,
avaliação, permanência e, às vezes, sua disseminação para outras localizações ou
beneficiários (PLUYE; POTVIN; DENIS, 2004; SCHEIRER, 2005), a sustentabilidade
refere-se à probabilidade de um programa ser capaz de continuar suas atividades operacionais
ao longo do tempo. Isso pode depender de vários fatores, como a continuação da relevância e
37
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
da legitimidade do programa, sua estabilidade financeira, a permanência de uma direção
eficaz e sua habilidade para resistir a mudanças (ORGANIZATION FOR ECONOMIC CO-
OPERATION AND DEVELOPMENT, 2002).
Nessa perspectiva, a estrutura social que caracteriza a sustentabilidade de um programa é a
rotina organizacional e, nesse caso, o programa que se pretende que seja sustentável ‘deve
contar com o apoio de alguma forma de ação organizada’, mesmo que inseridos em sistemas
complexos e na dependência de fatores contextuais diversos (PLUYE; POTVIN; DENIS,
2004). Adotando a concepção teórica dos autores acima citados, a sustentabilidade deve ser
avaliada sob duas perspectivas: uma intra-organizacional e outra relativa às pressões externas
que influenciam as organizações tais como os padrões institucionais. Traz-se, aqui, a
concepção de sustentabilidade como constituída de processos primários de rotinização e
processos secundários de padronização (PLUYE et al., 2004, 2005; PLUYE; POTVIN;
DENIS, 2004).
Considerando que uma rotina organizacional é, por sua própria definição, um evento durável e
que a regularidade das atividades sociais da avaliação dependem destas rotinas, Pluye et al.
(2004) as categorizam em termos de memória, adaptação, valores e regras e definem
rotinização como o processo primário pelo qual a sustentabilidade de uma intervenção é
alcançada (PLUYE et al., 2004). Estes autores referem, ainda, que novas rotinas precisam ser
integradas às rotinas normais através do aprendizado organizacional e que rotinas
programáticas precisam ser renovadas de tempos em tempos para que os programas
sobrevivam. A sustentabilidade de um programa termina quando as rotinas renovadas deixam
de estar relacionadas aos objetivos do mesmo. Assim, uma rotina organizacional é
considerada uma condição interna da sustentabilidade de uma intervenção (PLUYE et al.,
2004; PLUYE; POTVIN; DENIS, 2004).
Sob a perspectiva extra-organizacional, a sustentabilidade pode obedecer a padrões
institucionais oficiais que dão origem a rotinas padronizadas mais duráveis. Os padrões
institucionais criam as ‘regras do jogo’ que geram processos de institucionalização. Estes
correspondem a princípios, normas, leis e regras para todo um sistema social. As regras e
diretrizes governamentais que definem comportamentos para organizações e pessoas
proporcionam o funcionamento dos padrões institucionais. Considerando essas definições de
‘instituições e padrões governamentais’ pode-se exemplificar como padrões institucionais as
38
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
regras, diretrizes e políticas estabelecidas pela gestão tripartite do SUS (PLUYE; POTVIN;
DENIS, 2004; PLUYE et al., 2004).
Portanto, o padrão institucional proposto pelas políticas públicas no âmbito do monitoramento
e avaliação da atenção básica cria condições para uma sustentabilidade mais robusta do que as
rotinas de qualquer organização tomadas individualmente. A Política Nacional de
Monitoramento e Avaliação da Atenção Básica atua como o padrão institucional para
promover o desenvolvimento de uma cultura avaliativa, além de outros padrões que orientam
a prática avaliativa na atenção básica em saúde no Brasil, tais como a Política Nacional da
Atenção Básica e o Pacto pela Saúde.
Entretanto, na avaliação de políticas, a análise e estimativa da extensão em que as diretrizes
ou os objetivos das políticas tiveram sucesso com relação a seus objetivos originais, ou seja,
se as expectativas iniciais foram atingidas, é a primeira pergunta (VAN DER KNAAP, 2004).
A implantação é uma das primeiras preocupações na avaliação da política, uma vez que a
sustentabilidade é influenciada por eventos específicos da implantação, por eventos mistos da
implantação e da sustentabilidade e específicos da sustentabilidade, na dependência dos
fatores contextuais (PLUYE; POTVIN; DENIS, 2004; PLUYE et al., 2005).
1.5 Modelo Teórico da Avaliação
Partindo da revisão anteriormente apresentada, torna-se necessária a demarcação de conceitos
e opções metodológicas para alcance dos objetivos deste Projeto.
1.5.1 A Avaliação Baseada em Teoria
O referencial utilizado é o da Avaliação Baseada na Teoria, defendido por Knaap (2004). Para
este autor, a avaliação baseada na teoria é a análise e estimativa do valor da contribuição de
estratégias de intervenção para resolver ou controlar problemas sociais, ou seja, para provocar
a mudança social esperada. A teoria refere-se à racionalidade, à lógica entre o problema e a
solução proposta e ainda entre os objetivos e a maneira como esses objetivos podem ser
atingidos pela gestão e uso de recursos. Contempla processos de mudanças sociais (CHEN,
1990; VAN DER KNAAP, 2004).
39
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
Ainda, a teoria pode ser dividida em duas categorias: a macro e a micro-teoria (HARTZ,
1999). A macro-teoria reflete a lógica das relações causais entre a intervenção e os efeitos
num determinado contexto, podendo ser expressa através de modelos teóricos ou quadro
teórico-conceituais. A micro-teoria contempla o funcionamento da intervenção na relação
com os produtos e demais efeitos, podendo ser expressa através de modelos lógicos (HARTZ,
1999).
Modelos lógicos são representações plausíveis e adequadas do funcionamento da intervenção
sob certas condições para resolver os problemas identificados. Geralmente são apresentados
sob forma de diagramas sendo os seus principais componentes os recursos (estrutura),
atividades e produtos (MCLAUGHILIN; JORDAN, 1999). O modelo lógico da Política
Nacional de Monitoramento e Avaliação da Atenção Básica em Saúde no Brasil foi
apresentado no documento “Avaliação na Atenção Básica em Saúde: caminhos da
institucionalização” (BRASIL, 2005a) e, será utilizado como base para avaliação do seu grau
de implantação.
Van der Knaap (2004) denomina a micro-teoria de teoria da política, ou ainda, um sistema de
valores, normas e premissas que se relacionam com vínculos causais entre ações e o resultado
de ações. Neste caso, explica o modo como a política produz os seus efeitos (VAN DER
KNAAP, 2004). O quadro teórico apresentado na figura 1 pode ser compreendido como a
macro-teoria da intervenção sendo a base para grande parte da construção dos instrumentos de
avaliação.
Figura 1: Quadro teórico da tese.
Contexto Social e Histórico
Tomada de Decisão
Aprendizado Organizacional
3URFHVVRGH,PSODQWD
omRGD310$$%
(YHQWRVHVSHFtILFRVGD,PSODQWDomRGD
LQWHUYHQomR
*UDXGH
*UDXGH*UDXGH
*UDXGH
,PSODQWDom
,PSODQWDom,PSODQWDom
,PSODQWDom
RGRV
RGRVRGRV
RGRV
'LVSRVLWLYR
'LVSRVLWLYR'LVSRVLWLYR
'LVSRVLWLYR
1tYHOGH
1tYHOGH1tYHOGH
1tYHOGH
6XVWHQWDELOLGDGH
6XVWHQWDELOLGDGH6XVWHQWDELOLGDGH
6XVWHQWDELOLGDGH
!
!!
!W
WW
W
(IHLWRV
(IHLWRV(IHLWRV
(IHLWRV
Atores
Institucionalização da
Avaliação
Melhoria
do
Sistema
de
Atores
40
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Introdução
_______________________________________________________________________________________________________
A figura 1 apresenta a Política como uma intervenção para qualificação da atenção básica e da
eficiência do SUS e em especial para o alcance dos seus princípios e diretrizes
(CONTANDRIOPOULOS, 2000, 2006; FELISBERTO, 2004; PLUYE et al., 2005; POTVIN;
GENDRON, 2006), cuja implantação deve ser pensada ao mesmo tempo em que o
Planejamento e a Sustentabilidade da mesma (PLUYE et al., 2005).
Este estudo deve ser entendido como um processo de avaliação que se preocupará com a
identificação dos dispositivos institucionais da intervenção, a estimação do Grau de
Implantação, e do Nível de Sustentabilidade, procurando identificar os fatores explicativos
para as medidas operacionalizadas encontradas.
41
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Justificativa
__________________________________________________________________________________________________________
2 JUSTIFICATIVA
Considerando, que diversos fatores de ordem teórica e prática podem influenciar a
implantação de uma política ou programa, a reprodutibilidade operacional de uma
intervenção, ou, ainda a sustentabilidade necessária à sua permanência e manutenção,
propomos este estudo com vistas a uma análise de implantação da política de monitoramento
e avaliação da atenção básica no Brasil, partindo do pressuposto que esta pode ser entendida
como um Programa direcionado à qualificação da gestão da atenção básica em saúde, por
intermédio da produção de avaliações úteis à tomada de decisão.
Toma como objeto a relação entre o grau de implantação da política (retrato do processo de
institucionalização da avaliação implementado) e seus efeitos no sistema de saúde brasileiro,
o contexto político-organizacional e a sustentabilidade da mesma, destacando o uso/utilização
e o quanto promoveu de integração de suas proposições às rotinas organizacionais.
Este estudo proporcionará, também, acúmulo de conhecimento e publicações que poderão
contribuir com o debate acadêmico-científico sobre o uso ou influência da avaliação
atualmente presente em nível internacional, bem como com a proposição de métodos para
avaliação de sustentabilidade de sistemas de monitoramento e avaliação no campo da saúde
pública.
42
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Objetivos
__________________________________________________________________________________________________________
3 OBJETIVOS
3.1 Objetivo Geral
Avaliar a implantação da Política Nacional de Monitoramento e Avaliação da Atenção Básica
em Saúde no Brasil, no período de 2003 a 2006 e a sua sustentabilidade considerando o
período 2003-2008.
3.2 Objetivos Específicos
a) Desenvolver uma proposta de auto-avaliação de programas de avaliação da atenção
básica para as Secretarias Estaduais de Saúde;
b) Avaliar a implantação da política de monitoramento e avaliação da atenção básica no
Brasil no período de 2003 a 2006, considerando os dispositivos institucionais
produzidos pela gestão federal do SUS;
c) Avaliar a influência da implantação nos efeitos produzidos pela Intervenção a partir da
interação com o contexto político-organizacional;
d) Analisar a sustentabilidade da política de monitoramento e avaliação da atenção básica
no Brasil no período de 2003 a 2008.
43
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Método
__________________________________________________________________________________________________________
4 MÉTODO
O estudo constitui-se em uma pesquisa avaliativa do tipo análise de implantação que
incorpora o grau de implantação da Política Nacional de Monitoramento e Avaliação da
Atenção Básica (PNMAAB) e os efeitos dessa intervenção (DENIS; CHAMPAGNE, 1997) e,
incorpora a lógica da tradução (interpretação dos atores sobre a política) para explicar a
adaptação mútua entre intervenção, atores e contexto. Esta adaptação é considerada esperada
uma vez que a mudança do produto inicial desejado, ou seja, sobre o modelo lógico da
intervenção e, consequentemente sobre o seu grau de implantação, é inerente à implantação da
mesma (CINQ-MARS; FORTIN, 1999). Além disso, investiga a dimensão da
sustentabilidade com vistas à proposição de um método de medição de continuidade e
durabilidade da Política.
A abordagem metodológica adotada foi o estudo de caso (YIN, 2005). A escolha desta
abordagem se justifica em razão de que os limites entre o processo de implantação da Política,
os efeitos observados e sua sustentabilidade em cada contexto não podem ser isolados. Na
avaliação da Política Nacional de Monitoramento e Avaliação da Atenção Básica, é
praticamente impossível controlar todas as variáveis que estão envolvidas na explicação da
situação na qual se encontra o objeto de estudo.
4.1 Seleção dos Casos
A pesquisa teve duas unidades de análise (federal e estadual) e três unidades de observação
compostas pela Gestão Federal da Atenção Básica no Brasil e duas Secretarias Estaduais de
Saúde (SES 1 e SES 2). A seleção destas últimas partiu dos achados da pesquisa Avaliação
Formativa do Projeto de Fortalecimento da Capacidade Técnica das SES em Monitoramento e
Avaliação, encomendada pelo Ministério da Saúde e realizado em 2006 (NATAL et al., 2008)
e do aprofundamento desse estudo por intermédio de recente Dissertação de Mestrado
(ALVES, 2008).
44
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Método
__________________________________________________________________________________________________________
4.2 População de Estudo
As entrevistas foram realizadas com gerentes de projetos, coordenadores, assessores e
diretores do Departamento de Atenção Básica do Ministério da Saúde; gestores das duas
Secretarias Estaduais de Saúde; dirigentes do Banco Mundial, órgão financiador do Projeto de
Expansão e Consolidação do Saúde da Família (Proesf) dirigentes do Conselho Nacional dos
Secretários Estaduais de Saúde (Conass) e do Conselho Nacional de Secretarias Municipais
de Saúde (Conasems).
Os documentos analisados foram os Relatórios de Gestão e Documentos Técnicos
Institucionais da Coordenação de Avaliação da Atenção Básica do Ministério da Saúde,
Portarias, Ata do Conselho Nacional de Saúde, Atas de Reuniões da Comissão Intergestora
Tripartite, Relatórios de Oficinas e Seminários, Artigos Institucionais e Editais de Pesquisa.
Estes objetivaram apreender o desenvolvimento das atividades da política desde a sua
implantação.
4.3 Qualidade do Estudo
Foram considerados quatro critérios de qualidade: validade interna, validade externa, validade
de construção e confiabilidade.
Após revisão do modelo lógico da Política (BRASIL, 2005a), procedeu-se a construção de um
quadro teórico (figura 1) para esta pesquisa, como forma de adequação do padrão a ser
utilizado, procurando dar robustez à validade interna do estudo, ou seja, fortalecendo a
confiança nas relações explicativas entre causa (PNMAAB) e efeitos (dispositivos
institucionais da avaliação produzidos, atividades rotinizadas, aprendizado institucional, etc.).
Buscando a generalização analítica (teórica e não estatística) do modelo, a referência ao
quadro teórico da pesquisa tornou-se a base da validade externa do estudo. A validade
externa, diz respeito à capacidade de realizar generalizações além do estudo de caso imediato.
Para Yin (2005) o desenvolvimento de uma estrutura teórica constitui-se em importante
instrumento para generalizar casos novos. Ainda, a coleta dos dados permitiu a comparação
entre os discursos dos entrevistados e a análise documental, além da análise consensuada dos
pesquisadores.
45
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Método
__________________________________________________________________________________________________________
Por fim, a confiabilidade foi garantida com a elaboração dos protocolos de pesquisa testados
em caso-piloto e, também, com o arquivamento dos documentos em um banco de dados, base
comprobatória das análises. O banco contém todos os dados do relatório do pesquisador (YIN,
2005).
4.4 Coleta de Dados
Neste estudo, as fontes de evidência foram a análise documental e as entrevistas semi-
estruturadas. Foram utilizados roteiros de entrevista (Anexos A, B, C). Neste sentido, a
coerência entre o Grau de Implantação da intervenção e os Níveis de Sustentabilidade, foi
favorecida pela escolha das variáveis definidas em consonância com os critérios já
estabelecidos no modelo lógico da PNMAAB, aliada à revisão da literatura. Esta relação dos
critérios com o modelo lógico, além de favorecer a validade interna do estudo, contribui com
a validade de conteúdo e de construção dos instrumentos de coleta. Ainda, para melhorar a
validade de critério, eles foram revisados por informantes-chave buscando retratar com maior
sensibilidade e especificidade o que se quiz medir.
4.4.1 Procedimentos para a Coleta de Dados
As entrevistas foram realizadas em salas cedidas pelo Ministério da Saúde e Secretarias
Estaduais de Saúde, ou em outro espaço que assegurasse o sigilo das informações, após
contato telefônico para agendar o encontro. Foram utilizados roteiros diferentes para gestores
e técnicos. O levantamento documental possibilitou a triangulação das informações obtidas
nas entrevistas, proporcionando maior robustez ao estudo. Ainda, favoreceu a confiabilidade
das informações. Foram realizadas buscas e leituras minuciosas de documentos do MS e das
SES, identificando-se ações implementadas no decorrer da implantação, bem como o
surgimento de elementos inovadores.
46
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Método
__________________________________________________________________________________________________________
4.5 Estratégia de Análise e Apresentação dos Resultados
A atualidade do conjunto de projetos e atividades desenvolvidos no bojo da PNMAAB e com
vistas a facilitar o aprimoramento e a qualificação da atenção básica e do SUS, optamos por
apresentar a análise e os resultados deste estudo por intermédio de três artigos científicos.
Dois deles já foram publicados e estão disponibilizados em periódicos indexados na base
Scielo
®
que dá acesso livre a qualquer profissional do SUS interessado, seja ele ligado ao
serviço, à gestão ou às instituições de ensino e pesquisa.
A idéia inicial foi a de aumentar a utilidade potencial da pesquisa, contribuindo para a
qualificação da capacidade técnica nos diversos níveis do sistema de saúde, além de
disponibilizá-la para o apoio ao aprimoramento do planejamento e da gestão das políticas e/ou
programas setoriais.
Visa, assim, a qualificação do processo decisório concomitante ao fomento da ‘cultura
avaliativa’ no sistema de saúde brasileiro, procurando ressaltar as preocupações de Sanders
(2003), para quem:
[...] algumas razões são mais freqüentes para a não incorporação da avaliação como
prática cotidiana: 1) a incerteza quanto a seus benefícios; 2) a não visualização de
resultados positivos como decorrência da prática da avaliação; 3) a possibilidade do
aumento nos custos e a pouca evidência sobre a relação custo-benefício; 4) a pouca
disponibilidade de avaliadores ou profissionais treinados para fazer avaliações; 5) a
pouca evidência de efeitos positivos no trabalho dos profissionais avaliados
(SANDERS, 2003, p. 4).
O primeiro artigo, publicado em 2008, foi elaborado visando a apresentar um instrumento de
auto-avaliação do projeto Fortalecimento da Capacidade Técnica das Secretarias Estaduais de
Saúde em Monitoramento e Avaliação, integrante da PNMAAB, com ações voltadas para os
gestores, com ênfase para os estados e municípios apoiados financeiramente pelo Proesf, fruto
de acordo de empréstimo internacional firmado pelo Brasil com o Banco Mundial.
Durante a fase de implantação do projeto foi proposta, pelo Ministério da Saúde, a realização
de uma avaliação formativa, de caráter normativo, para conhecer como estava ocorrendo a sua
implantação. Esta teve, também, como um de seus objetivos desenvolver uma matriz de auto-
avaliação, com a utilização do método rápido de avaliação (REM), de maneira que o gestor
pudesse medir a implantação do ‘monitoramento e avaliação’ no próprio estado (MCNALL;
FOSTER-FISHMAN, 2007).
47
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Método
__________________________________________________________________________________________________________
A matriz de auto-avaliação atenderia à oportunidade do estudo e, também, à utilidade, pois se
constitui em uma abordagem de baixo custo e de fácil aplicabilidade para o nível local. Foi
construída contemplando as seis dimensões apresentadas no modelo lógico da PNMAAB, nas
quais foram baseados os critérios e indicadores da mesma (BRASIL, 2005a; FELISBERTO et
al., 2008a). Por outro lado, ressaltava a importância da gestão estadual de saúde no processo
de institucionalização da avaliação da atenção básica no momento da descentralização das
ações de saúde, em andamento no país (FELISBERTO et al., 2008a). Este primeiro artigo
permitiu a construção de um modelo teórico, elaborado por avaliadores externos, que
periodicamente era discutido com a equipe do Ministério da Saúde.
O segundo artigo, publicado em 2009, considerou a PNMAAB como uma intervenção
direcionada à qualificação da gestão da atenção básica em saúde no Brasil. Partiu da
necessidade de estudos que possam contribuir para a melhoria das políticas públicas em
execução e do pressuposto de que a análise de implantação de programas constitui-se em uma
metodologia de avaliação capaz de oferecer subsídios com esse fim.
Este artigo apresentou os resultados da análise de implantação da PNMAAB, considerando os
dispositivos institucionais produzidos pela gestão federal do SUS no período compreendido
entre 2003 e 2006, representativos dos componentes que integram o seu modelo lógico
(BRASIL, 2005a; FELISBERTO et al., 2009). Com esse objetivo, estimou o grau de
implantação desses dispositivos e avaliou a sua influência nos efeitos produzidos pela
PNMAAB a partir da interação com o contexto político-organizacional.
Ainda, descreve a complexidade que envolve o objeto avaliado, compreendendo a percepção
e representação dos envolvidos sobre o processo vivido, associando-as a um método
específico de Análise de Implantação de Programas (DENIS; CHAMPAGNE, 1997). E,
embora apresente limites decorrentes da metodologia, que trabalhou com caso único, a
fundamentação teórica dessa avaliação pretende influenciar seu uso. Seja na agenda da
política nacional de saúde, na formulação de novas diretrizes ou na implantação de programas
e ações que tenham como objetivos a institucionalização da avaliação no campo da saúde.
O terceiro artigo, enviado para publicação, analisa a sustentabilidade da PNMAAB,
permitindo refletir sobre as ações técnicas, os processos de trabalho nela produzidos e sua
contribuição para o desenvolvimento da cultura avaliativa no país.
48
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Método
__________________________________________________________________________________________________________
Parte da compreensão de que a prática avaliativa precisa que certo grau de institucionalização
deva ser atingido para que se torne efetiva e produza efeitos formativos sobre a conduta da
ação pública. E, também, do entendimento da institucionalização da avaliação enquanto um
processo por intermédio do qual, dispositivos institucionais são criados, modificados ou
suprimidos (JACOB, 2005). Estes últimos, compreendidos enquanto recursos, participação
dos atores envolvidos, além de regras que contribuem ao desenvolvimento e à perenidade da
prática avaliativa (CONTANDRIOPOULOS, 2006; JACOB, 2005).
Este último artigo apresenta os eventos críticos da PNMAAB no período de 2003 a 2008, na
Gestão Federal da Atenção Básica do SUS e em duas Secretarias Estaduais de Saúde
(unidades de análise), identificados a partir da Técnica de Incidentes Críticos, e interpretados
e classificados em razão de serem ou não favoráveis à sustentabilidade. Os eventos críticos
encontrados foram relacionados às categorias de análise propostas por Pluye et al. (2004):
memória, adaptação, valores e regras e, ainda, apresentados em uma classificação temporal
por tipo de evento de acordo com a tipologia adaptada de Pluye et al. (2005) que os classifica
em: específicos do processo de implantação; mistos de implantação e sustentabilidade; e
específicos dos processos de sustentabilidade (FLANAGAN, 1973; PLUYE et al., 2004,
2005).
Embora tenha tomando um referencial teórico que caracteriza implantação e
sustentabilidade enquanto processos concomitantes, foi necessário distingui-los levando em
conta que estes processos são representados por seqüências cronológicas de
eventos específicos a cada um deles. Assim, os níveis de sustentabilidade atingidos foram
apresentados por cada unidade de análise de acordo com a metodologia utilizada
(FELISBERTO et al., 2009; PLUYE et al., 2005).
49
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Método
__________________________________________________________________________________________________________
4.6 Procedimentos Éticos
As entrevistas foram gravadas pela equipe de pesquisa com o consentimento livre e
esclarecido dos entrevistados. A investigação foi aprovada pelo Comitê de Ética do Instituto
de Medicina Integral Professor Fernando Figueira (IMIP), sob o protocolo n° 1168/2008
(Anexo L).
50
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
5 PRIMEIRO ARTIGO
-
CONTRIBUINDO COM A INSTITUCIONALIZAÇÃO DA
AVALIAÇÃO EM SAÚDE: UMA PROPOSTA DE AUTO-AVALIAÇÃO
51
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
52
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
53
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
54
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
55
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
56
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
57
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
58
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
59
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
60
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
61
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Primeiro Artigo
__________________________________________________________________________________________________________
62
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
6 SEGUNDO ARTIGO – POLÍTICA DE MONITORAMENTO E AVALIAÇÃO DA
ATENÇÃO BÁSICA NO BRASIL DE 2003 A 2006: CONTEXTUALIZANDO SUA
IMPLANTAÇÃO E EFEITOS
63
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
64
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
65
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
66
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
67
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
68
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
69
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
70
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
71
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
72
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
73
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
74
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
75
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
76
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
77
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
78
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
79
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Segundo Artigo
__________________________________________________________________________________________________________
80
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
7 TERCEIRO ARTIGO - ANÁLISE DA SUSTENTABILIDADE DE UMA POLÍTICA
DE AVALIAÇÃO: O CASO DA ATENÇÃO BÁSICA NO BRASIL
Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil
Sustainability analysis of an evaluation policy: the case of the primary health care in
Brazil
Eronildo Felisberto
1
Eduardo Freese
2
Luciana Caroline Albuquerque Bezerra
1
Cinthia Kalyne de Almeida Alves
1
Isabella Samico
1
1
Grupo de Estudos de Gestão e Avaliação em Saúde. Diretoria de Pesquisas. Instituto de Medicina Integral
Professor Fernando Figueira (GEAS/IMIP). Recife, Brasil.
2
Centro de Pesquisas Aggeu Magalhães. Fundação Oswaldo Cruz (CPqAM/Fiocruz). Recife, Brasil.
Correspondência
E. Felisberto
Grupo de Estudos de Gestão e Avaliação em Saúde,
Instituto de Medicina Integral Professor Fernando Figueira (IMIP).
Rua dos Coelhos, 300, Boa Vista,
Recife, PE.
50.070-550, Brasil
Colaboradores
E. Felisberto participou da concepção e coordenação do estudo em todas as suas etapas,
incluindo análise dos dados e redação do artigo, E. Freese participou da elaboração e
orientação da pesquisa e da revisão do texto final do artigo, L.C.A. Bezerra e C.K.A. Alves
participaram da elaboração do projeto de pesquisa, coleta e análise dos dados e da redação do
artigo, I. Samico participou da redação do artigo e da revisão do texto final.
Agradecimentos
Este estudo integra Tese de Doutorado do primeiro autor apresentada ao Programa de Pós-
graduação stricto senso do Centro de Pesquisas Aggeu Magalhães (CPqAM) da Fundação
Oswaldo Cruz (Fiocruz) e teve o apoio financeiro do Ministério da Saúde (MS) e do Instituto
de Medicina Integral Prof. Fernando Figueira (IMIP), por intermédio do convênio de
cooperação técnica n° 087/2005.
81
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
RESUMO
O Ministério da Saúde do Brasil desenvolve desde 2003, a Política Nacional de
Monitoramento e Avaliação da Atenção Básica. O estudo tem como objetivo analisar a sua
sustentabilidade a partir da identificação e categorização dos eventos críticos representativos
do processo de institucionalização. Pesquisa avaliativa com duas unidades de análise: Gestão
Federal da Atenção Básica e Secretarias Estaduais de Saúde (SES). Estudo de casos múltiplos
com dados coletados por meio de entrevistas e documentos institucionais, usando a técnica de
Incidentes Críticos. Os eventos classificados temporalmente como específicos da implantação,
da sustentabilidade e mistos, foram categorizados analiticamente como de memória,
adaptação, valores e regras. A Gestão Federal e uma das SES resultaram no nível médio de
sustentabilidade, a outra SES foi classificada no nível forte. Os resultados indicam que
eventos de implantação e de sustentabilidade acontecem em concomitância e sugerem uma
ponderação, uma vez que alguns demonstraram forte influência sobre os outros. Inovações e
Desenvolvimento da Capacidade Técnica são considerados resultados mais importantes no
sentido da sustentabilidade.
Palavras-chave: indicadores de sustentabilidade; institucionalização; avaliação de
programas; avaliação em saúde; avaliação.
82
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
ABSTRACT
Since the year 2003, the Ministry of Health of Brazil develops the National Policy for
Monitoring and Evaluation of Primary Health Care. The objective of the study is to analyze
its sustainability from identification and categorization of critical events representing the
process of institutionalization. It is an evaluative research with two units of analysis: Federal
Management of the Primary Health Care and the Health State Secretariats (HSS). It is a
multiple-case study and data were collected by interviews and documental analysis. It was
used the Critical Incidents Technique. The events were analytically categorized as of
memory,
adaptation, values and rules and temporally classified as specific of the implementation, of the
sustainability and mixed. The Federal Management and one HSS were classified in the
medium degree of sustainability and the other HSS as a strong degree. The results indicate
that events of implementation and sustainability are concomitant and these suggest to be
pondered since some of them demonstrated a great influence on the others. Innovations and
Technical Capacity Development are considered the most important results towards the
sustainability.
Key Words: sustainability indicators; institutionalization; program evaluation; health
evaluation; evaluation.
83
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
INTRODUÇÃO
Sustentabilidade é um conceito sistêmico que tem sido mais relacionado com a continuidade
dos aspectos econômicos, sociais, culturais e ambientais da sociedade humana e à sua
capacidade de atender às necessidades atuais e futuras
1
. Já a sustentabilidade de projetos
costuma ser definida como a capacidade de uma intervenção proporcionar benefícios sem
interrupção durante um longo período de tempo
2, 3
.
Na área da saúde este conceito tem sido mais encontrado na literatura referente à promoção da
saúde e frequentemente relacionado à continuidade dos programas nas instituições ou em
parcerias com organizações comunitárias. Nesse campo apresenta-se por intermédio de
diversas terminologias na busca de uma melhor compreensão de seu significado, sendo
‘Institucionalização’ o termo mais comumente utilizado
4
. Scheirer
5
define um programa
sustentado como um conjunto de recursos e atividades duráveis destinado a objetivos
programáticos
5, 6
.
Entretanto, mesmo com a constatação de que grande número de projetos ou programas sofre
descontinuidade após o período de sua implantação e, embora muitos países desenvolvam
sistemas para o monitoramento da implantação dos mesmos, são poucas as informações
produzidas regularmente sobre a continuidade e permanência dos resultados desses
programas
3, 7, 8
.
Nesse sentido a sustentabilidade dos programas tem se constituído em um grande problema
para a saúde pública, em virtude da exposição aos riscos aos quais estão expostos. Estes se
referem à continuidade das atividades ao longo do tempo e podem ocasionar a perda de
investimentos para as organizações e pessoas envolvidas em programas considerados
exitosos. Vários fatores tais como a permanência da relevância e da legitimidade do
programa, sua estabilidade financeira, a garantia de uma gestão eficaz e sua capacidade de
adaptar-se às mudanças de contexto político-institucionais, podem influenciar positivamente a
continuidade dos mesmos evitando, ainda, que a interrupção desses programas levem à
desmotivação dos envolvidos e, portanto, se torne um obstáculo a subseqüentes mobilizações
3,
4
.
84
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
A implantação de um programa e, conseqüentemente, seus efeitos, sofrem influência e
influenciam sua sustentabilidade, portanto, esta necessita ser avaliada. Considera-se aqui a
perspectiva de Scheirer
9
sobre o ‘ciclo de vida’ de um programa que inclui sua concepção,
implantação, avaliação, continuidade e disseminação. Para Pluye e colaboradores
4, 10
a
avaliação da sustentabilidade pode se dar considerando-se três dimensões: 1) processo
primário - de rotinização - que permite a sustentabilidade de programas dentro de
organizações e que podem conduzir à constituição de rotinas organizacionais programáticas
(referem-se à memória, à adaptação, aos valores e às regras que definem as rotinas
organizacionais); 2) processo secundário - de padronização - que se superpõe ao anterior e
pode levar a rotinas programáticas padronizadas que são mais sustentáveis do que simples
rotinas organizacionais (padrões institucionais manifestos em regras e políticas
governamentais que delimitam a ação das rotinas organizacionais); 3) processos
concomitantes - de implantação e sustentabilidade. Alguns eventos influenciam
especificamente a implantação, outros a sustentabilidade e outros, ainda, influenciam tanto a
implantação quanto a sustentabilidade e são eventos mistos que pertencem a ambos os
processos. Esta última dimensão permite classificar os eventos conforme o contexto de sua
ocorrência, enquanto que as duas anteriores influenciam diretamente na determinação dos
níveis de sustentabilidade de programas
4, 10
.
A implantação de políticas de avaliação é quase sempre permeada de certa resistência
geralmente associada ao sentimento de que as evidências produzidas e o conhecimento mais
ampliado de informações possam acarretar mudanças, aumento da cobrança e do volume de
trabalho, punições ou perda de poder
11
. Superar essa resistência dependerá da capacidade da
gestão em articular os envolvidos em torno de uma proposta (intervenção) qualificadora das
práticas e dos conseqüentes efeitos positivos para o alcance dos objetivos do programa ou
política a ser avaliado. Neste sentido, é importante considerar a afirmação de Denis e
Champagne
12
(p. 67) para quem “os diferentes atores organizacionais podem apoiar a
implantação de uma intervenção se virem nela um meio de atualização de suas estratégias
fundamentais”.
A avaliação de políticas públicas permite não somente a produção de informações com vistas
à melhoria da eficácia de uma prática social, mas oferece a possibilidade de transformação
dessa prática à luz dos interesses dos envolvidos considerando suas relações contextuais
13
.
Contudo, a prática avaliativa precisa que certo grau de institucionalização deva ser atingido
85
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
para que se torne efetiva e produza efeitos formativos sobre a conduta da ação pública.
Institucionalização aqui entendida como o processo pelo qual, dispositivos institucionais são
criados, modificados ou suprimidos. Ainda, estes últimos devem ser compreendidos enquanto
recursos, estimativas, procedimentos, orçamento, participação dos atores envolvidos e
monitoramento além de organizações e de regras que contribuem ao desenvolvimento e à
perenidade da prática avaliativa dentro de um espaço definido
14, 15
.
O Ministério da Saúde do Brasil desenvolveu a partir de 2003, a Política Nacional de
Monitoramento e Avaliação da Atenção Básica com o objetivo de institucionalizar a avaliação
no âmbito da atenção básica no Sistema Único de Saúde (SUS)
16
. A qualificação dos
processos decisórios, no âmbito da gestão dos serviços e do cuidado, com vistas à
integralidade e resolutividade das ações, são propósitos da política, uma vez que a incipiência
das práticas de monitoramento e avaliação na atenção básica é reconhecida pelas três esferas
de gestão
15, 16
. Pela primeira vez, no setor saúde do Brasil, o objetivo de institucionalizar a
avaliação no SUS é transformado em uma política de governo, envolvendo claramente os
gestores estaduais e municipais no processo de acompanhamento e avaliação da atenção
básica, descentralizando mais uma ação - a de avaliar
17
.
Nesse sentido, analisar a sustentabilidade da Política Nacional de Monitoramento e Avaliação
da Atenção Básica permitirá refletir sobre as ações técnicas, os processos de trabalho nela
produzidos e sua contribuição para o desenvolvimento da cultura avaliativa. Com esse
objetivo, este estudo apresenta uma análise da sustentabilidade dessa intervenção com vistas a
influenciar o aprimoramento do seu processo de implantação.
MÉTODO
O referencial teórico utilizado caracteriza implantação e sustentabilidade enquanto
processos concomitantes. Entretanto, é necessário distingui-los levando em conta que estes
processos são representados por seqüências cronológicas de eventos específicos a cada um
deles. Nesse sentido, adotou-se a seguinte tipologia proposta por Pluye e colaboradores
4, 10
para a identificação e distinção dos indicadores por cada um dos processos (Tabela 2): i)
eventos específicos do processo de implantação: investimento de recursos humanos,
financeiros e materiais adequados para a execução das atividades; compatibilidade das
86
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
atividades programáticas com as da organização; ii) eventos mistos (comuns) de implantação
e sustentabilidade: incentivos aos atores organizacionais envolvidos; adaptação de programas
de acordo com a eficácia e necessidades; adequação aos objetivos; comunicação transparente
entre os atores; compartilhamento de processos e resultados entre programas e organização;
integração das regras relativas aos programas às regras da organização; iii) eventos
específicos dos processos de sustentabilidade: estabilização de recursos organizacionais
dedicados aos programas; riscos assumidos pela organização em prol dos programas
4, 10
.
Ainda, utilizou-se as categorias de análise propostas por Pluye et al
18
para caracterização dos
eventos que podem conduzir à constituição de rotinas organizacionais programáticas:
memória, adaptação, valores e regras (Tabela 2). Estas se referem aos recursos disponíveis, à
adequação às atividades institucionais, aos valores coletivos dos que fazem a instituição e às
ações, atividades e decisões que fazem parte da vida institucional
18
.
Os eventos foram classificados temporalmente em dois períodos: 2003-2008 e 2005-2008,
levando-se em conta que o início de cada período corresponde ao início do processo de
implantação em cada unidade de observação e, as conclusões de estudo anterior de Felisberto
et al
17
, que procedeu a uma análise de implantação da mesma intervenção, e apóiam essa
temporalidade ao identificar os períodos de expansão e de retração do processo de
implantação da Política como conseqüência de mudanças no cenário político institucional
17
.
Trata-se de uma pesquisa avaliativa com duas unidades de análise (federal e estadual) e três
unidades de observação compostas pela Gestão Federal da Atenção Básica e duas Secretarias
Estaduais de Saúde. Utilizou-se como estratégia de pesquisa o estudo de casos múltiplos e os
dados foram coletados em fontes primárias por meio de entrevistas semi-estruturadas com 20
informantes-chave e em fontes de dados secundários por meio da análise de 29 documentos
institucionais (Tabela 1).
As 20 entrevistas foram realizadas com gerentes de projetos, coordenadores, assessores e
diretores do Departamento de Atenção Básica do Ministério da Saúde (06); gestores de duas
Secretarias Estaduais de Saúde - SES 1 (05) e SES 2 (04) selecionadas em estudo anterior
encomendado pelo Ministério da Saúde
19
; dirigentes do Banco Mundial (02), órgão
financiador do Projeto de Expansão e Consolidação do Saúde da Família – Proesf e dirigentes
do Conselho Nacional dos Secretários Estaduais de Saúde - Conass (01) e do Conselho
Nacional de Secretários Municipais de Saúde – Conasems (02). Para as entrevistas foi
87
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
utilizado um guia para coleta de informações proposto por Pluye et al (2005) contendo
questões orientadoras no sentido de evidenciar aspectos importantes da política, traduzidos
como “eventos críticos”.
Por questão de ordem ética, os informantes-chave entrevistados não foram identificados
individualmente. Ainda, deve-se deixar claro que alguns dos autores deste trabalho podem ser
caracterizados como pesquisadores-atores do processo de implantação da política. Portanto,
não obstante ter-se trabalhado sempre apoiado na documentação pertinente, tomou-se o
cuidado de ter entre os autores um supervisor externo sênior que assegurasse a vigilância
epistemológica da investigação.
Os documentos analisados, relacionados na Tabela 1, foram os Relatórios de Gestão e
Documentos Técnicos Institucionais da Coordenação de Avaliação da Atenção Básica do
Ministério da Saúde, Portarias, Ata do Conselho Nacional de Saúde, Atas de Reuniões da
Comissão Intergestora Tripartite, Relatórios de Oficinas e Seminários, Artigos Institucionais e
Editais de Pesquisa. Estes objetivaram apreender o desenvolvimento das atividades da
política desde a sua implantação.
Utilizou-se para a coleta de dados a Técnica de Incidentes Críticos proposta por Flanagan
20
que consiste em solicitar relatos de situações e de fatos críticos vivenciados pelos atores para
serem avaliados pelo pesquisador. Incidentes críticos são situações relevantes, observadas e
relatadas pelos sujeitos entrevistados, podendo ser positivos ou negativos em função de suas
conseqüências. Com a aplicação dessa técnica, as variáveis envolvidas numa determinada
atividade ficam evidenciadas captando eventos ou comportamentos que podem ser
indicadores do sucesso ou de insucesso de um programa
21, 22, 23, 24
.
No plano de análise somente os eventos críticos foram retidos para análise e interpretados
como específicos de implantação, eventos mistos de implantação e sustentabilidade e
específicos de sustentabilidade. A ausência de resposta e a presença de respostas
contraditórias foram consideradas eventos vagos, que, portanto, não são críticos
10
. Para a
seleção dos indicadores, apresentados na Tabela 2, foram adaptadas as proposições de Pluye
et al
10
, atualizando-as com estudos realizados pelo Banco Mundial
2, 3
, Natal et al
25
e Felisberto
et al
26
e, mediadas pelas reflexões de Scheirer
9
em sua “análise e comentários sobre estudos
empíricos de sustentabilidade de programas”
2, 3, 4, 6, 9, 25, 26
.
88
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
Para a estimação do Nível de Sustentabilidade os eventos críticos foram analisados e
interpretados em razão de serem ou não favoráveis à sustentabilidade
27
. Classificou-se,
portanto, como Evento Favorável (F) aquele cuja interpretação na análise do conteúdo sugeriu
uma contribuição positiva em direção às dimensões descritas na introdução deste artigo -
processos de rotinização e padronização, demonstrando uma situação mais propícia à
continuidade da Política. E, foi classificado como Evento Desfavorável (D) aquele cuja
interpretação sugeriu circunstâncias adversas à continuidade da Política
4, 10, 27
. Também, os
eventos críticos foram interpretados e categorizados quanto às características de “memória”,
“adaptação”, “valores” e “regras” propostas por Pluye et al
18
. Essas classificações foram
atribuídas a todos os eventos analisados independente de serem específicos de implantação,
sustentabilidade ou mistos.
Em seguida para cada uma das três unidades de análise - Gestão Federal da Atenção Básica,
Secretaria Estadual de Saúde I e Secretaria Estadual de Saúde II – procedeu-se a soma dos
eventos críticos favoráveis e desfavoráveis e a estimação de sua relação percentual no interior
de cada unidade de análise. O Nível de Sustentabilidade foi determinado, então, como: Forte:
quando encontrado mais de 80% de eventos favoráveis; Médio: entre 60% e 80% e Baixo:
abaixo de 60% de ocorrência deles. Estes níveis foram arbitrados tendo em vista o caráter
inovador deste estudo avaliativo e em virtude da indisponibilidade de métodos prontos para
este tipo de análise, principalmente referentes à implantação de programas ou políticas de
saúde pública
4, 9, 10, 21, 27, 28, 29
.
As entrevistas foram gravadas pela equipe de pesquisa com o consentimento livre e
esclarecido dos entrevistados. A investigação foi aprovada pelo Comitê de Ética do Instituto
de Medicina Integral Professor Fernando Figueira - IMIP, sob o protocolo n° 1168/2008.
RESULTADOS
A Tabela 3 apresenta os eventos críticos da Política Nacional de Monitoramento e Avaliação
da Atenção Básica no período de 2003 a 2008, por unidades de observação e de análise,
interpretados e classificados temporalmente por tipo de evento (específicos da implantação;
mistos de implantação e sustentabilidade; e específicos da sustentabilidade); por categoria
89
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
analítica (memória, adaptação, valores e regras); e em razão de serem ou não favoráveis à
sustentabilidade.
Analisando-se por tipo de evento na Gestão Federal da Atenção Básica, com relação aos
específicos da implantação, em que pese o investimento na contratação e qualificação de
pessoas, na captação de recursos financeiros, na defesa da Política por atores-chave e na
liderança exercida por sua coordenação; a insuficiência de recursos materiais e equipamentos
e a inadequação do espaço físico da Coordenação de Avaliação da Atenção Básica
apresentaram-se como eventos opositores à implantação. As atividades desenvolvidas no
âmbito da Política eram compatíveis com as atribuições institucionais da estrutura
organizacional responsável por sua coordenação no período da implantação tornando-se,
entretanto, conflitantes mais adiante (2006) com as prioridades políticas decorrentes da
mudança na gestão do Departamento de Atenção Básica (Tabela 3).
Quanto aos eventos mistos da implantação e da sustentabilidade, a maioria deles apresentou-
se favorável em direção a um processo de rotinização: incentivo aos atores envolvidos com a
realização de cursos para os técnicos e o estabelecimento de parcerias com instituições de
ensino e pesquisa; adequação dos objetivos da Política aos objetivos da instituição
considerando a diversidade de olhares; comunicação das atividades da política por meio de
eventos, impressos ou internet; compartilhamento dos símbolos institucionais nas
apresentações; a integração das atividades de monitoramento e avaliação às demais atividades
no âmbito do Ministério; e o fato de que ao final do primeiro período de gestão, quando foi
necessária a substituição da coordenação, esta passou a ser exercida por um dos integrantes do
grupo técnico. Entretanto, a diminuição do grau de autonomia desta nova coordenação com
conseqüente prejuízo à liderança necessária, aliada às novas prioridades políticas em vista de
um novo cenário político-institucional, foram eventos desfavoráveis à sustentabilidade
(Tabela 3).
Em relação aos eventos específicos da sustentabilidade a maioria foi interpretada como
desfavorável: não houve estabilidade de pessoal técnico e de consultores externos, assim
como no fluxo dos recursos financeiros, além da renovação dos equipamentos ainda ser uma
necessidade, apesar de a instituição ter assumido riscos relevantes no que se refere à
credibilidade e responsabilidade social quando, por exemplo, procede a implantação do
90
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
Projeto de Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em
Monitoramento e Avaliação da Atenção Básica (Tabela 3).
Percebe-se, portanto, que na Gestão Federal, a maioria dos eventos favoráveis esteve
relacionada à ‘adaptação’ da política, na medida em que as atividades da política estão em
consonância com o contexto institucional e promove incentivos aos atores envolvidos; e aos
‘valores’ institucionais, na medida em que há um processo de divulgação e comunicação
permanente da política utilizando os símbolos institucionais, articulação com os objetivos
institucionais e integração com outras áreas do Ministério da Saúde, além de estarem em
consonância com os princípios do SUS (Tabela 3). Ao final, a unidade de análise Gestão
Federal da Atenção Básica foi classificada no nível médio de sustentabilidade por ter
apresentado 62,5% dos eventos favoráveis à rotinização (Tabela 4).
Nas duas SES estudadas os eventos específicos da implantação são todos igualmente
favoráveis nas duas SES, na medida em que o financiamento das atividades de monitoramento
e avaliação (M&A) possibilitou a reestruturação das instâncias estaduais responsáveis pela
atenção básica, com aquisição de equipamentos, recursos materiais, readequação da estrutura
física, compra de veículos, dentre outros. Além disto, a criação e formalização dos núcleos de
M&A com representação de outras áreas técnicas foram entendidas como possibilidade de
compatibilizar as atividades do projeto às da SES (Tabela 3).
Com relação aos eventos mistos da implantação e da sustentabilidade, apresentam-se como
favoráveis: os cursos oferecidos aos técnicos envolvidos, a tentativa de integração das áreas, a
realização de encontros para divulgação das atividades, a criação de instrumentos de M&A
(SES 1) e a inclusão das atividades de M&A nos documentos formais (SES 2). Entretanto, a
descontinuidade do Projeto em 2007 promoveu a priorização de outros projetos,
desmobilizando os técnicos envolvidos. Um evento importante relacionado à adaptação do
programa, também em 2007, foi a mudança dos gestores estaduais, que teve conseqüências
distintas nas duas SES: na SES 1, o novo gestor apresentava uma experiência acumulada na
área de M&A e valorizava as atividades realizadas, mesmo que a estratégia utilizada tenha
sido a criação de um grupo paralelo de monitoramento dos indicadores da atenção básica; na
SES 2, o gestor não reconheceu a importância do projeto, ainda que as atividades estivessem
constantes nos documentos formais (Tabela 3).
91
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
É interessante observar o distanciamento que se dá entre as duas SES quando se observam os
eventos específicos da sustentabilidade. Nas duas SES os eventos demonstram que não houve
de fato estabilização dos recursos, embora estas tenham assumido riscos ao aceitarem
implantar o Projeto de Fortalecimento e mobilizarem recursos para isto. Todavia, na SES 1 os
municípios foram envolvidos no projeto a partir da mobilização e preparo dos técnicos,
capilaridade entendida como uma possibilidade de continuidade das ações; além disto, após o
término do financiamento externo houve investimento de recursos próprios. Já na SES 2 os
atores envolvidos parece não ter sido suficientemente mobilizados ou sensibilizados a levarem
as atividades adiante e não houve o necessário envolvimento dos municípios do estado
(Tabela 3).
Nesta perspectiva, nas duas SES, a maioria dos eventos favoráveis representa os ‘valores’
institucionais, na medida em que há o envolvimento e integração de vários setores da SES na
política, cooperação técnica aos municípios e valorização da política e dos técnicos
envolvidos por parte dos gestores; e as regras institucionais, na medida em que há uma
oficialização dos núcleos de M&A; a utilização/elaboração de instrumentos para nortearem as
ações e a integração das atividades de M&A nos instrumentos de planejamento da gestão
(Tabela 3). Logo, a análise das duas SES estudadas revela níveis distintos de sustentabilidade.
A SES 1 foi classificada no nível Forte e a SES 2 no nível Médio, com 83,3% e 68,0%,
respectivamente de eventos classificados como favoráveis à sustentabilidade (Tabela 4).
DISCUSSÃO
É desejável estimular o debate direcionado à compreensão e ao uso do conceito de
sustentabilidade. Esta pode ser entendida no contexto de uma multiplicidade de aspectos e, ao
longo do tempo, vai sendo apropriado por diferentes forças sociais que passam a lhe imprimir
o significado que melhor expressa seus valores e interesses específicos
1, 5, 6, 29, 30
.
Mesmo não sendo objetivo deste artigo a discussão semântica ou ideológica da
sustentabilidade, pontuamos aqui um aspecto relevante para o embasamento da necessidade
do estudo apresentado. Isto, em vista da precaução que nos remete à origem globalizada do
termo, enraizada na discussão dos programas governamentais sobre meio ambiente e
desenvolvimento e, posteriormente, assimilada por setores não-governamentais e empresariais
92
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
que enfatizam a sua dimensão econômica e tecnológica, no sentido do ‘desenvolvimento
sustentável’
30
.
O aspecto que se faz relevante aqui se refere à concepção do termo em suas múltiplas
dimensões que podem ser tratadas no campo individual ou social. Neste sentido, a discussão
sobre a sustentabilidade de programas públicos ganha força na direção dos princípios da ética,
na dimensão da responsabilidade com o bem público e com a equidade.
Entretanto, embora possamos supor que no contexto internacional os envolvidos em
programas de saúde pública considerem a questão da sustentabilidade como sendo uma
prioridade, parece realista, ainda hoje, a afirmação de Pluye, Potvin e Denis
4
(p.121):
“...qualquer um que deseje fazer um programa durar se deparará com recomendações
contraditórias e não encontrará disponíveis métodos prontos para serem usados na avaliação
do grau de sustentabilidade...”.
Portanto, tomar decisões sobre a implantação de programas no que diz respeito a sua
continuidade, torna-se uma tarefa difícil e muitas vezes pouco respaldada em estudos
específicos. O estudo aqui apresentado procura contribuir com a superação dessa dificuldade
no que diz respeito à Política Nacional de Monitoramento e Avaliação da Atenção Básica no
Brasil.
Os resultados apresentados indicam que os eventos de implantação e de sustentabilidade não
acontecem em estágios, e sim em concomitância, estando em conformidade com o sugerido
por Pluye e colaboradores
4, 10
. Eventos específicos da implantação podem ocorrer anos após o
seu lançamento, bem como eventos específicos da sustentabilidade podem ocorrer no período
de sua implantação.
A técnica do incidente crítico mostrou-se adequada ao estudo pela facilidade de identificação
dos eventos, “carregados de emoção”, nas falas dos entrevistados; dos eventos que pareceram
ser um marco no tempo quando da análise documental; e por se tratar de uma metodologia
retrospectiva, permitindo observar temporalmente aqueles que favoreciam ou não a
sustentabilidade do projeto
20
. Todavia, o pouco tempo de existência da política, sobretudo nos
estados, talvez tenha favorecido a classificação encontrada, uma vez que ainda estavam
93
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
animados, em certo grau, pelos recursos destinados à implantação, e numa fase de mudança
de gestores.
Outro aspecto no que se refere à limitação do estudo, diz respeito à não validação dos eventos
críticos encontrados junto aos atores entrevistados em cada unidade de observação, embora
isso tenha se dado entre os pesquisadores, que compunham uma equipe multidisciplinar.
O método utilizado neste estudo indica dez tipos de eventos igualmente importantes, por meio
dos quais se pode antever a evolução da política
10
. Porém, os resultados apontam para uma
necessidade de ponderação dos mesmos, na medida em que pelo menos três deles mostraram
ter forte influência sobre os outros.
Em primeiro lugar no que diz respeito aos “investimentos de recursos adequados” - isto
revelou-se importante, caracterizado pela presença de atores que, nas três unidades analisadas,
favoreceram a inclusão da política no Proesf e para a formação dos núcleos estaduais de
monitoramento e avaliação.
Também, nos eventos relacionados à “adaptação das atividades às necessidades da
instituição” - uma vez que o interesse e a experiência acumulada em monitoramento e
avaliação dos atores-chave puderam delimitar a importância da política. Isto fica claro quando
comparamos as duas unidades de observação estaduais. Na SES 1, a gestora que assume a
SES em 2007, demonstrava ter algum conhecimento acumulado sobre conceitos e práticas
avaliativas, e embora tenha criado um grupo paralelo no setor responsável pelo Planejamento
para monitorar os indicadores do Pacto pela Saúde, reconhece a importância da atividade
quando promove a integração desse setor ao núcleo coordenador de monitoramento e
avaliação criado por meio do Projeto de Fortalecimento das SES em Monitoramento e
Avaliação. Na SES 2, o gestor estadual mobiliza mais esforços para a atenção especializada e
hospitalar e coloca cinco prioridades antes das atividades de monitoramento e avaliação. Na
gestão federal, de 2005 a 2007, houve mudanças de pessoas estratégicas, tanto na
coordenação da Política como nas demais áreas de interface no âmbito do Ministério da
Saúde, dificultando a continuidade da mesma.
Ainda, no que tange à “estabilização de recursos organizacionais” - o término da primeira fase
do Proesf (financiamento externo) desmobilizou as ações da Política em graus diferentes nas
94
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
duas SES e no nível federal, porém de maneira determinante. O maior envolvimento dos
atores nas atividades de rotina; um grande intervalo dado entre os encontros dos núcleos ou a
extinção deles e a entrada de novos projetos com financiamento nas agendas prioritárias, são
outros exemplos de eventos neste sentido.
Há uma convergência razoável entre o que foi acima mencionado e os achados de Shediac-
Rizkallah e Bone
31
e Scheirer
9
que, embora não façam distinção entre os tipos de eventos e
não enfatizem o fator financeiro como determinante da sustentabilidade, trazem contribuições
para próximas análises.
Scheirer
9
refere que os mesmos fatores organizacionais que fomentam a implementação mais
forte de um novo programa, como: sua compatibilidade com a missão da organização; o
envolvimento e forte apoio do ‘defensor’ organizacional; os benefícios para membros da
equipe e/ou clientes que sejam prontamente notados e a importância do apoio de outros
stakeholders da comunidade, provavelmente irão possibilitar a prestação de serviços
continuados - apenas os dois últimos eventos não foram agregados neste estudo. Nos casos
estudados o financiamento externo parece ter sido interrompido precocemente.
Ainda, para a mesma autora, o que ainda pode favorecer a continuidade da política é o fato
dela ter surgido da ‘necessidade’ de quem vai operá-la e não apenas pela disponibilidade de
financiamento externo
9
. Nas SES, algumas atividades de monitoramento já eram rotinizadas,
como as de acompanhamento dos indicadores pactuados e a utilização de instrumentos
construídos para visita de supervisão aos municípios. Pode decorrer daí a demanda dos
estados ao nível federal de ampliar sua capacidade técnica e operacional para o
monitoramento e avaliação da atenção básica.
Shediac-Rizkallah e Bone
31
propõem pressupostos para a institucionalização das atividades de
um programa no nível organizacional que ratificam a análise realizada neste estudo para as
três unidades de análise: (i) Aspectos do desenho e características do projeto - o
envolvimento dos principais interessados e a possibilidade de adequação da política às
necessidades e condições locais são aspectos favoráveis à sustentabilidade da política nos três
níveis, ao passo que a inexistência de avaliações que comprovem a eficácia da política, o
pouco tempo de existência da política e o fato do financiamento ser externo, desfavorecem
sua continuidade; (ii) Fatores próprios da organização que hospeda o programa - estes
95
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
fatores, que dizem respeito à presença de defensores estratégicos da política e à
compatibilidade dos objetivos da política com os da instituição, tanto no nível federal, quanto
nas duas SES, oscilaram ao longo dos anos, sendo ora favorável, ora desfavorável. Todavia,
ao término da primeira fase Proesf, a SES 1 contava com uma defensora estratégica - fato
decisivo para a continuidade de algumas atividades; (iii) Fatores no ambiente físico mais
amplo da comunidade - esses fatores dizem respeito à estabilidade sócio-econômica e política.
Neste sentido, apenas a SES 1 foi favorecida tanto pelo investimento de recursos próprios por
mais seis meses após o Proesf, quanto pelo envolvimento dos municípios em todo o processo.
Mesmo assim, nos três níveis houve desmobilização dos atores e priorização de outros
projetos.
Por outro lado, podemos considerar como os resultados mais importantes no sentido da
sustentabilidade: o desenvolvimento da capacidade técnica e os movimentos inovadores
gerados pelo projeto, em consonância com o estudo de Green
32
. Em nosso caso, são exemplos
a aproximação das instâncias gestoras com as instituições de ensino e pesquisa; a
oportunidade de integração entre as áreas do nível federal e das SES; e a construção de uma
proposta metodológica específica com a finalidade de monitorar e avaliar a atenção básica.
Considerando as perspectivas dos diversos autores, ainda que a sustentabilidade representada
no modelo lógico da Política
16
, pela “Institucionalização da Avaliação na Atenção Básica”
seja um resultado esperado da mesma, as atividades propostas devem ser avaliadas
periodicamente para constatação de quais delas devem ser de fato sustentadas, com base nos
resultados que se deseja alcançar, para não correr o risco de dar continuidade a atividades
desnecessárias
32
. Além disto, as avaliações ajudam a identificar se os componentes da política
foram incorporados aos processos organizacionais e não precisam mais do financiamento
externo
9
.
Por fim, ainda que os resultados deste estudo apontem para um caminho de rotinização das
ações nas unidades analisadas, evidenciado pela classificação alcançada nos níveis de
sustentabilidade
10
, as ponderações feitas neste artigo devem ser consideradas, uma vez que o
contexto do sistema de saúde brasileiro apresenta diferentes contornos.
96
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
Estes estão relacionados à: (i) alternância política nos entes federados que proporcionam
mudanças de gestão em descompasso, se considerarmos que esse fato se dá de dois em dois
anos em municípios e estados alternadamente; (ii) freqüentes mudanças nas gerências de
programas e projetos em uma mesma gestão, favorecendo a mudanças na condução dos
mesmos colocando em perspectiva os diferentes interesses; (iii) a diretriz da gestão tripartite
do SUS, preservando a autonomia dos entes federados que pode, eventualmente, contribuir de
forma antagônica; e (iv) o lento processo de adaptação das instâncias gestoras a novos
instrumentos decorrentes do permanente estágio de ‘aprimoramento’ do SUS.
Ainda, é importante considerar que normas e regras rotinizadas ou padronizadas podem
contribuir para a perenidade e/ou maior continuidade de projetos e programas, mas isso sofre
influência direta do grau de capacidade técnica e de preparo político dos trabalhadores do
sistema. Assim, concordando com Scheirer
9
, consideramos a influência direta de fatores
relacionados ao contexto político-organizacional e às pessoas envolvidas, conforme apontam
as conclusões de estudo anterior de Felisberto et al
17
que aborda a contextualização da Política
Nacional de Monitoramento e Avaliação da Atenção Básica no que tange à sua implantação e
efeito.
REFERÊNCIAS
1. Brundtland GH. Nosso Futuro Comum. Rio de Janeiro: FGV; 1991.
2. Organization For Economic Co-Operation and Development (OCDE). Working Party
on Aid Evaluation. Glossary of Key Terms in Evaluation and Results Based
management. Paris: Development Co-operation Directorate/OCDE; 2002. Disponível
em <www.oecd.org/dac/evaluation>. Acesso em 15 jun. 2007.
3. World Bank. Grupo Independente de Avaliação. Sourcebook for Evaluating Global
and Regional Partnership Programs. Indicative Principles and Standards; 2007. IEG–
World Bank: Washington, D.C. Disponível em <http://www.worldbank.org/ieg/grpp>.
Acesso em 15 mar. 2007.
4. Pluye P, Potvin L, Denis J-L. Making public health programs last: conceptualizing
sustainability. Evaluation and Program Planning, 2004; (27): 121-133.
5. Scheirer MA. Designing and using process evaluation. In Wholey JS, Hatry HP,
Newcomer KE. (Eds.) Handbook of practical program evaluation. São Francisco:
Jossey-Bass; 1994: 40-68.
97
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
6. Swerissen H, Crisp BR. The sustainability of health promotion interventions for
different levels of social organization. Health Promotion International .Oxford
University Press, 2004: 19(1).
7. Khan MA. Evaluation Capacity Building: an overview of current status, issues and
options. Evaluation, 1998; 4(3):310-328.
8.
Lennie J.
An Evaluation Capacity-Building Process for Sustainable Community it
Initiatives Empowering and Disempowering Impacts. Evaluation, 2005; 11(4) 390-
414.
9. Scheirer MA. Is Sustainability Possible? A Review and Commentary on Empirical
Studies of Program Sustainability. American Journal of Evaluation, 2005; 26(3) 320-
347.
10. Pluye P, Potvin L, Denis J-L, Pelletier J, Mannoni C. Program sustainability begins
with the first events. Evaluation and Program Planning, 2005; (28) 123–137.
11. Sanders JR. Mainstreaming evaluation. In: The Mainstreming Evaluation. New
Directions for Evaluation. San Francisco. American Evaluation Association, 2003;
(99)3–6.
12. Denis JL, Champagne F. Análise de implantação. In: Hartz ZMA, organizador.
Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de
programas. Rio de Janeiro: Fiocruz, 1997; 49-88.
13. Hartz ZMA, Santos EM, Matida A. Promovendo e analisando o uso e a influência das
pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em
saúde. In: Hartz ZMA, Felisberto E, Vieira-da-Silva LM. (Orgs.). Meta-avaliação da
atenção básica em saúde: teoria e prática. Rio de Janeiro: Fiocruz, 2008; 325-340.
14. Jacob S. Réflexions autour d’une typologie des dispositifs institutionnels d’évaluation.
The Canadian Journal of Program Evaluation. 2005; 20(2): 49-68.
15. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Ciência & Saúde
Coletiva. 2006; 11: 705-711.
16. BRASIL. Ministério da Saúde. Avaliação da Atenção Básica em Saúde: caminhos da
institucionalização. Brasília: Ministério da Saúde, 2005.
17. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Política de
monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006:
contextualizando sua implantação e efeitos. Rev. Bras. Saúde Matern. Infant., Recife,
jul/set 2009; 9 (3): 339-357.
18. Pluye P, Potvin L, Denis J-L, Pelletier J. Program sustainability: focus on
organizational routines. Health Promotion International, 2004; 19(4): 489-498.
98
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
19. Alves CKA. Institucionalização da avaliação na atenção básica: análise do programa
em uma gestão estadual. [Dissertação]. Recife: Centro de Pesquisas Aggeu Magalhães.
Fundação Oswaldo Cruz. 2008.
20. Flanagan JC. A técnica dos incidentes críticos. Arq Brás Psicol Aplicada, 1973;
25(2):99-141.
21. Bamberger M. Avaliação do Impacto. In: Mackay K. (Org.) Monitoramento e
Avaliação: algumas ferramentas, métodos e abordagens. Washington: World Bank,
2004.
22. Bertazone EC, Gir E, Hayashida M. Situações vivenciadas pelos trabalhadores de
enfermagem na assistência ao portador de tuberculose pulmonar. Rev Latino-am
Enfermagem, 2005; 13(3):374-81.
23. Silva AR. Parada cardiorrespiratória em unidades de internação: vivências do
enfermeiro. [dissertação]. Ribeirão Preto: São Paulo. Escola de Enfermagem de
Ribeirão Preto/USP; 2006.
24. Costa RS, Nogueira LT. Contribuição familiar no controle da hipertensão arterial.
Rev. Latino-Am. Enfermagem [online], 2008;16(5)871-876. ISSN 0104-1169.
25. Natal S, Santos EM, Alves CKA, Felisberto E, Santos ES, Sousa A. A Implementação
do Projeto Estratégico de Fortalecimento da Capacidade Técnica em Monitoramento e
Avaliação das Secretarias de Saúde: avaliação formativa e auto-avaliação. In: Hartz
ZMA, Felisberto E, Vieira-da-Silva LM. (Orgs.). Meta-avaliação da atenção básica
em saúde: teoria e prática. Rio de Janeiro: Fiocruz, 2008; p. 341-367.
26. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização
da avaliação em saúde: uma proposta de auto-avaliação. Cadernos de Saúde Pública,
2008; 24: 2091-2102.
27. Ridde V, Pluye P, Queuille L. Évaluer la pérennité des programmes de santé publique
: un outil et son application en Haïti. Revue d’Épidémiologie et de Santé Publique,
2006 ; 54: 421-431.
28. Valadez J, Bamberger M. Monitoring and Evaluating Project Sustainability. In:
Valadez J, Bamberger M. Monitoring and evaluating social programs in developing
countries: A handbook for policymakers, mangers, and researchers. The World Bank:
Washington D.C., 1994; 183-208.
29. Goodson P, Smith MM, Evans S, Meyer B, Gottlieb NH. Maintaining prevention in
practice: Survival of PPIP in primary care settings. American Journal of Preventive
Medicine, 2001; 20(3): 184-189.
30. Lima RC. O Discurso da sustentabilidade e suas implicações para a educação.
Ambiente & Sociedade, jul/dez 2003; VI (2).
99
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
31. Shediac-Rizkalah MC, Bone LR. Planning for the sustainability of community-based
health programs: Conceptual frameworks and future directions for research, practice
and policy. Health Education Research, 1998; (13) 87-108.
32. Green LW. Comment: Is institutionalization the proper goal of grantmaking?
American Journal of Healt Journal of Health Promotion, 3: 44. 1989.
100
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
Tabela 1: Documentos oficiais para análise da sustentabilidade da Política Nacional de Monitoramento e
Avaliação da Atenção Básica, no período de 2003 a 2008.
Documentos analisados
Avaliação na Atenção Básica em Saúde: caminhos da institucionalização, 2005
Portaria Nº 676 GM/MS de 03 de junho de 2003, publicada no DOU em 04/06/2003
Sumário Executivo da Oficina: Avaliação da Atenção Básica – Estratégias de Institucionalização VII
Congresso Brasileiro de Saúde Coletiva- - Julho de 2003
Apresentação do Política Nacional na II Mostra Nacional de Saúde da Família em Junho de 2004 (fonte
apresentação oficial).
TDR – Projeto de Fortalecimento das SES (2004)
Ata da Reunião da Tripartite onde foi aprovada a habilitação dos Estados para o Projeto de Fortalecimento
das SES (2004)
Ata da 144ª Reunião Conselho Nacional de Saúde – 08/07/2004
Relatório do I Encontro de Centro Colaboradores (07/2005)
Resumo Executivo da Aval. Formativa do Projeto de Fortalecimento das SES (2005)
Edital MCT-CNPq 49/2005
Ata da Reunião Tripartite onde foi aprovado o Pacto de Indicadores da AB (2003)
Relatório Final Oficina de Trabalho: Avaliação de Sistemas, Políticas e Programas de Saúde - 8º
Congresso da Abrasco. RJ, 21/08/2006 (vs. preliminar, 25/9/06)
Artigo de Felisberto, E na Revista Brasileira de Saúde da Família 2004
Artigo de Felisberto, E na Revista Ciência e Saúde Coletiva 2006
Relatórios das Oficinas Macro-regionais e Seminários dos ELB
Relatórios das Oficinas Macro-regionais do AMQ
Relatório da Oficina sobre Institucionalização da Avaliação no VII Congresso Brasileiro de Saúde Coletiva
(2003)
Relatório de Gestão CAA 2003
Relatório de Gestão CAA 2004
Relatório de Gestão CAA 2005
Relatório de Gestão CAA consolidado 2003-2006
Relatório da Oficina de Cooperação Técnica aos Municípios/Proesf (25-27/04/2005)
Relatório de Gestão da SAS (2004)
Manual de Implemantação da Fase 2 do Proesf – 2008-2011)
Ajuda memória do Proesf – MS/Wodl Bank (2003)
Ajuda memória do Proesf – MS/Wodl Bank (LN7105-BR – 03/2005)
Arquivos do Programa de Formação de Avaliadores da SVS/MS
Arquivos do Programa de Formação de Avaliadores do DAB/SAS/MS
Arquivos dos Cursos de Avaliação em Saúde do GEAS/IMIP
101
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
Tabela 2: Dimensões conceituais, indicadores e tipos de eventos para análise da sustentabilidade da Política
Nacional de Monitoramento e Avaliação da Atenção Básica, no período de 2003 a 2008.
Fonte: adaptado de Pluye et al
10, 18
; World Bank
2, 3
; Felisberto et al
25, 26
.
Categorias Analíticas
QUESTÕES ORIENTADORAS
INDICADORES TIPOS DE EVENTOS
Quantidade adequada de membros qualificados na
equipe
Treinamento e expertise da equipe
Disponibilidade de tempo da equipe
Apoio financeiro adequado
Recursos materiais adequados e suficientes
Estrutura Física
Presença de defensores da política
Existência de liderança
Investimento de
recursos humanos,
financeiros e materiais
adequados para a
execução das
atividades
Criação de células ou cargos para o desenvolvimento
das atividades de M&A
Atividades de M&A perturbam o fluxo o
peracional de
trabalho
Compatibilidade das
atividades
programáticas com as
da instituição
EVENTOS ESPECÍFICOS DA
IMPLANTAÇÃO
Promoção de pessoal a posições de maior
responsabilidade e poder
Trabalho em rede
Aumento da capacidade individual
Perda de autonomia
Incentivos aos atores
organizacionais
envolvidos
Ajustamento incremental das atividades de acordo
com as necessidades da instituição
Rotatividade/mudança de atores-chave
Existência de programas concorrentes
Reconhecimento de fracasso
(não realização das atividades da política em
detrimento das atividades tradicionais, cujo êxito é
dado como certo)
Adaptação de
programas de acordo
com a eficácia e
necessidades da
instituição
Integração dos objetivos da política aos valores da
instituição e da equipe
Reorientação das estratégias da instituição
Adequação aos
objetivos da
instituição
Encontros periódicos entre os atores envolvidos
Compartilhamento das atividades realizadas no
projeto (relatórios, e-mails, sites)
Comunicação
transparente entre os
atores
Formalização do grupo de M&A (organograma,
portaria)
Apresentações de M&A com a marca da instituição
Símbolos de M&A (banners, pôsteres, cartazes, etc)
integrados aos eventos da instituição
Compartilhamento de
valores, regras e
símbolos entre
programas e
instituição
Planejamento das atividades de M&A integrado ao
planejamento das atividades tradicionais da instituição
Realização das atividades de M&A integrado à
realização das atividades tradicionais da instituição
Atividades de M&A fazendo parte dos documentos
formais da instituição (Plano de Saúde, Relatórios de
Gestão, etc)
Integração das regras
relativas aos
programas às regras
da instituição
EVENTOS MISTOS DE IMPLANTAÇÃO E SUSTENTABILIDADE
Recursos financeiros: Incorporação da atividade
financeira do programa ao financiamento central da
instituição
Recursos humanos da organização / mudança de
funcionários
Recursos materiais da organização / renovação de
recursos materiais quando necessário
Estrutura de apoio que faça regularmente a revisão, a
reforma e a revenda do programa
Uso generalizado das novas atividades (por parte de
todos participantes relevantes)
Estabilização de
recursos
organizacionais
dedicados aos
programas
Exploração de novas atividades
MEMÓRIA
(Recursos
Humanos,
fianceiros,
materiais e outros)
ADAPTAÇÃO
(Adaptação e
barreiras para
adequação ao
contexto e aos
efeitos, etc.)
VALORES
(Coerência com os
objetivos
institucionais,
símbolos e rituais
da organização,
etc.)
REGRAS
(Nomeação de
pessoa ou grupo
responsável pela
política, inclusão
no planejamento
da organização,
etc.)
Foram tomadas providências para
estabilizar os recursos
organizacionais (financeiros,
humanos, materiais, de
treinamento) necessários às
atividades do programa/projeto?
A organização assumiu riscos
para desenvolver o
programa/projeto?
As pessoas envolvidas foram
incentivadas para desempenhar
as atividades do
programa/projeto?
As atividades do programa/projeto
foram adaptadas ao contexto local
levando em consideração sua
efetividade e as necessidades da
população?
Os objetivos da organização foram
levados em conta no desenho do
programa/projeto?
Houve comunicação transparente
entre as pessoas envolvidas?
Compartilharam-se valores
(artefatos, mitos, símbolos, rituais,
linguagens, valores) entre a
organização e o
programa/projeto?
As regras existentes para o
desenvolvimento das atividades
da organização foram integradas
às regras do projeto ou vice-
versa?
Os recursos (financeiros,
humanos, materiais e treinamento)
disponibilizados pela organização
para realizar as atividades do
programa eram adequados ?
As práticas e técnicas usadas nas
atividades do programa eram
compatíveis com aquelas da
organização (cite a organização) ?
Atores confiantes em levar as novas atividades
adiante
Riscos assumidos
pela instituição em
prol dos programas
EVENTOS ESPECÍFICOS DA
SUSTENTABILIDADE
Tabela 3: Caracterização temporal e conceitual dos eventos críticos da Sustentabilidade da PNMAAB por unidades de análise, no período de 2003 a 2008.
2003-2008 2005-2008
EVENTOS
Gestão Federal
Gestão Estadual
SES
1
SES
2
Técnicos e consultores externos suficientes com priorização da qualificação deste
quadro por meio de cursos de aperfeiçoamento e especialização (2003-2006) M
Criação de um Núcleo Coordenador do Projeto de Fortalecimento da SES em
Avaliação e de um Núcleo Ampliado composto na sua maioria por profissionais
efetivos, que são capacitados pelo Centro Colaborador (2006)
M M
Financiamento externo (Banco Mundial) para os projetos integrantes da Política
com priorização para o de Fortalecimento da Capacidade Técnica das SES (2005-
2006)
M
SES recebe recursos considerados suficientes para a estruturação institucional e
qualificação dos profissionais envolvidos (2006)
M M
Quantidade e a qualidade dos recursos materiais e equipamentos de informática
insatisfatórias no início (2003)
M
Aquisição de computadores, impressoras, veículos, etc (2006)
M M
Espaço físico insuficiente para a quantidade de técnicos (2003-2008)
M
O projeto proporcionou a melhoria e reestruturação da estrutura física da Atenção
Básica (2006)
M M
Política de Avaliação defendida pelos atores-chave do Ministério da Saúde (2003-
2006) V
Tanto o núcleo coordenador, quanto o ampliado percebem a importância da
política por meio dos cursos e passam a defender as atividades de Monitoramento
e Avaliação (2006)
V V
Investimento de
recursos humanos,
financeiros e materiais
adequados para a
execução das
atividades
Liderança da Coordenação da Política reconhecida pelos pares (2003-2006)
V
Há uma liderança reconhecida na coordenação do Projeto (2006)
V V
Reestruturação da CAA com formalização no Organograma do Ministério da
Saúde (2003)
A
Atividades da Política em consonância com as atribuições institucionais da CAA
(2003-2005)
A
A coordenadora da CAA passa a ser remunerada por contrato - o cargo é
solicitado para outro setor do Departamento de Atenção Básica (2006)
R
Eventos específicos da implantação
Compatibilidade das
atividades da política
com as da instituição
Direção do Departamento da Atenção Básica deixa explícito posição contrária à
algumas atividades da Coordenação da Política - a exemplo do fomento a estudos
e pesquisas avaliativas (2006)
A
Houve formalização dos núcleos ampliado e coordenador de M&A com
representantes de diversas áreas para coordenar e sistematizar as atividades
(2006)
A A
Parcerias com instituições de ensino e pesquisa nacionais e internacionais, bem
como com associações profissionais de reconhecido prestígio político e acadêmico
(2003-2006)
A
Os integrantes dos núcleos de M&A passaram por um curso de formação
promovido pelo Centro Colaborador (2006) A A
Liberação dos técnicos da CAA para realização de cursos de aperfeiçoamento e
especialização, além da participação em congressos e outros eventos técnicos e
científicos (2003-2006)
A
Momento de maior autonomia da Coordenação da Política na realização das
atividades programadas (2003-2005)
A
Técnicos da Atenção Básica foram promovidos a posições de maior relevância
pela nova gestão por terem participado das atividades do projeto (2006)
V
Coordenadora de um dos projetos estratégicos da CAA é nomeada Coordenadora
da Política de Avaliação (2006)
A
Incentivos aos atores
organizacionais
envolvidos
Perda de autonomia da Coordenação da CAA que tem suas prioridades voltadas
para funções de controle e regulação da Atenção Básica (2007)
A
O trabalho com o Centro Colaborador, o envolvimento de outras áreas no projeto
e a relação com o Ministério da Saúde possibilitou um trabalho integrado (2006)
V V
Mudança na Gestão do Departamento de Atenção Básica com modificação no
entendimento sobre o papel da Coordenação de Avaliação (2005)
A
Criou-se um grupo paralelo no Planejamento para monitoramento dos indicadores
do Pacto pela Saúde (2007)
A
Houve o acompanhamento dos indicadores do pacto pela saúde junto aos
municípios, além da avaliação da estrutura física das unidades (2006)
R
Diminuição no status de alguns projetos estratégicos como o de Fortalecimento
das SES a partir da mudança da Gestão do Departamento (2005)
A
A solução de continuidade entre a primeira e segunda fase do financiamento
externo faz com que os profissionais se envolvessem em outras atividades e
outros projetos são priorizados (2007)
A A
Com a mudança do gestor estadual há uma valorização do projeto, pelo fato da
Secretária já conhecer a importância do M&A (2007)
V
Eventos mistos da implantação e da sustentabilidade
Adaptação da política
às necessidades da
instituição
Mudança na Coordenação da Política com prejuízo na liderança da mesma (2007)
A Com a mudança do gestor estadual não se consegue colocar a construção
coletiva da proposta metodológica em prática, havendo uma frustração dos
envolvidos (2007)
V
102
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
_____________________________________________________________________________________________________
Legenda: M: memória; V: valores; A: adaptação; R: regras; CAA: Coordenação de Acompanhamento e Avaliação da Atenção Básica do Ministério da Saúde; M&A: Monitoramento e Avaliação; PNMAAB: Política Nacional de Monitoramento e
Avaliação da Atenção Básica; SES: Secretaria Estadual de Saúde; SIAB: Sistema de Informações da Atenção Básica.
Evento Desfavorável Evento Favorável
A formulação e implantação da Política de Avaliação da Atenção Básica
consideraram os olhares e necessidades de outras instâncias (constituição
da Comissão Tripartite de Avaliação da Atenção Básica) (2003)
V
Adequação aos objetivos da
instituição
A institucionalização da avaliação n
uma perspectiva de descentralização
deixa de ser objetivo do Departamento da Atenção Básica (2005-2008)
V
As políticas que se integraram ao projeto possuíam objetivos semelhantes ou
complementares ao Projeto (2006) V V
Realização de diversos Encontros/Seminários Nacionais e Regionais com
Secretarias Estaduais, Municipais e Centros Colaboradores para socialização
de experiências (2003-2006)
V
Há reuniões trimestrais do núcleo de M&A, além da realização de seminários e
encontros para socialização dos resultados alcançados, com registro em relatórios
e divulgação aos envolvidos (2006)
V
Produção e distribuição de várias publicações (Informativos, Documentos
Oficiais, Publicações Técnicas, Relatórios de Avaliação, etc.) (2003-2006)
V
Comunicação transparente
entre os atores
C
onstrução da
home page
da
CAA
n
o site do Ministério da Saúde para
disponibilizar todas as produções (2004)
V
Não há um cronograma de atividades do núcleo coordenador, com encontros
sistemáticos, além da falta de registro dos encontros (2006).
V
Criação da Coordenação de Acompanhamento e Avaliação da Atenção
Básica no Ministério da Saúde (2003)
V
Compartilhamento de
valores, regras e símbolos
entre o programa e
organização
Todas as apresentações da política recebem a ma
rca do D
epartamento de
Atenção Básica do Ministério da Saúde (2003-2008)
V
Houve formalização do núcleo coordenador e do núcleo ampliado de M&A por
meio de Portaria institucional (2006)
R R
Integração das atividades da Coordenação da Política com outras iniciativas
de avaliação do sistema de saúde no âmbito do Ministério da Saúde (2003-
2006)
R
O monitoramento dos indicadores do pacto da atenção básica e o monitoramento
de indicadores epidemiológicos são atividades rotinizadas e potencializadas com
o Projeto de Fortalecimento da SES (2006)
R R
Foi criado um instrumento de monitoramento/avaliação/ supervisão integrada
(2006)
R
Eventos mistos da implantação e da
sustentabilidade
Integração das regras do
programa às regras da
organização
Demais setores do Ministério da Saúde usam informações do SIAB e do
pacto de indicadores da Atenção Básica como práxis no âmbito institucional
(2004-2008)
R
As atividades de M&A passam a integrar o Plano Estadual 2004-2007, a Agenda
Estadual de Saúde 2006 e o Relatório de Gestão 2003-2004
R
Houve investimento de recursos próprios para contratação de consultoria após o
término do financiamento externo (2007)
R
Constituição de um Grupo Técnico de consultores com larga experiência
acadêmica e em gestão de sistemas de saúde, para acompanhar o
desenvolvimento da Política (2003)
R
Não houve investimento de recursos próprios, após o término do financiamento
externo (2007)
R
O núcleo coordenador se mantém, porém o grupo de técnicos que assumiu
funções estratégicas na nova gestão tem dificuldade de assimilar a importância
das ações de M&A (2007)
R
Término da 1ª fase do financiamento externo e redirecionamento de parte
dos recursos orçamentários destinados a projetos de avaliação que vão para
outros projetos (2006)
R
Apenas 2 técnicos do núcleo de M&A permanecem após a mudança do gestor
estadual (2007)
R
Há uma necessidade de investimento e renovação de equipamentos de
informática (2006-2008)
R
Desmobilização dos núcleos de M&A em virtude da definição de outras
prioridades pela nova gestão (2008)
A A
Estabilização de recursos
organizacionais dedicados
aos programas
Ações de Cooperação Técnica e Integração com os municípios para a construção
de Propostas Metodológicas de M&A (2006)
V
Desmobilização dos consultores externos e saída de alguns técnicos da CAA
(2007-2008)
A
Proposta Metodológica de M&A construída no âmbito da SES sem envolvimento
dos municípios (2006)
V
Adesão à proposta de implantação do Projeto de Fortalecimento da Capacidade
Técnica em M&A da Atenção Básica (2005)
R R
A adesão ao projeto implica na exploração de novas atividades: elaboração do
Plano Estadual de M&A, contratação do Centro Colaborador, desenvolvimento da
capacidade técnica em M&A (2006)
R R
Riscos assumidos pela
organização em prol do
programa
Implantação do Projeto de Fortalecimento da Capacidade Técnica das SES
em Monitoramento e Avaliação, com alto investimento de recursos
financeiros (2003)
R
O projeto mudou a visão dos técnicos, a rotina de trabalho, dando mais segurança
para chegar aos municípios e discutir com os técnicos (2006)
R
Eventos específicos da sustentabilidade
Não houve satisfatória adesão do grupo técnico, as oficinas de capacitação no
final foram muito esvaziadas e finalizou com um grupo pequeno (2006)
R
103
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
_____________________________________________________________________________________________________
104
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Terceiro Artigo
__________________________________________________________________________________________________________
Tabela 4: Número de eventos críticos por categoria analítica e por unidades de observação e nível de
sustentabilidade da PNMAAB por unidades de observação, no período de 2003 a 2008.
Nível Estadual
Nível Federal
SES 1 SES 2
Categoria
Analítica
F D TOTA
L
F D TOTA
L
F D TOTAL
Memória 2
2 4
4
0 4
4
0 4
Valores 8
1 9
7
0 7
5
3 8
Adaptação 6
6 12
2
3 5
2
2 4
Regras 4
3 7
7
1 8
6
3 9
20
12 32
20
4 24
17
8 25
Total
62,5%
37,5% 100%
83,3%
16,7% 100%
68,0%
32,0% 100%
Nível de
Sustentabilidade
Média sustentabilidade Forte Sustentabilidade Média sustentabilidade
Legenda: F: Favorável; D: Desfavorável; PNMAAB: Política Nacional de Monitoramento e Avaliação da Atenção Básica;
SES: Secretaria Estadual de Saúde.
105
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Discussão
__________________________________________________________________________________________________________
8 DISCUSSÃO
Para que se aprenda com a avaliação, esta deve fazer sentido na perspectiva dos atores
envolvidos. Suas interpretações e interações têm papel relevante tanto na produção dos
resultados como também no desenvolvimento de processos de aprendizado decorrentes da
avaliação (DENIS; CHAMPAGNE, 1997; VAN DER MEER; EDELENBOS, 2006). Assim,
o contexto político institucional torna-se um componente central para um melhor
conhecimento do objeto a ser estudado.
Segundo Van der Meer e Edelenbos (2006), na avaliação de programas complexos que
envolvem uma pluralidade de atores, duas das principais funções da avaliação – a
‘accountability’ e o ‘aprendizado coletivo’ – mesmo que combinadas, necessitam ser apoiadas
por uma terceira função – a de ‘cooperação’. Para esses autores o processo colaborativo de se
fazer política não se encerra com a avaliação, pois esta é apenas um dos elementos que apóia
o aprendizado e facilita a cooperação entre os envolvidos.
Os autores assinalam, “[...] em processos de política espacial no que tange a função
‘accountability’, a avaliação é complicada pela complexidade, pela descentralização e pela
natureza de diversos atores” (VAN DER MEER; EDELENBOS, 2006, p. 207). “[...] nem
todos os atores entenderão determinada avaliação como igualmente relevante e utilizável”
(VAN DER MEER; EDELENBOS, 2006, p. 209). “Avaliações que são mais válidas do ponto
de vista de governos descentralizados podem ser vistas como sendo de pouco valor em nível
central. Isto ressalta a necessidade de formas mais participativas de avaliação [...]” (VAN
DER MEER; EDELENBOS, 2006, p. 210).
Em outra perspectiva, Van der Knaap (2004, p. 16) refere que “[...] a abordagem baseada em
teoria é considerada valiosa para um governo que deseje obter conhecimento porque ela pode
vir a reconciliar as abordagens positivista e construtivista [...]”. Com efeito, se tomarmos
como ponto de partida as premissas e objetivos de uma política pública, o processo de
avaliação, desde sua formulação à sua utilização poderá trazer enormes benefícios aos
envolvidos, à organização e ao público alvo.
Nessa direção, a concepção adotada no primeiro artigo desta Tese, considerou a necessidade
da construção teórica que servisse de base ao desenho avaliativo proposto, resultando na
construção de uma matriz de auto-avaliação para auxiliar os gestores e os profissionais
106
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Discussão
__________________________________________________________________________________________________________
responsáveis para avaliar a implementação de medidas com o intuito de: (i) identificar
problemas; (ii) viabilizar recursos disponíveis para intervir; (iii) caracterizar fatores que
impedem ou facilitam a execução de intervenções e; (iv) desenvolver mecanismos para se
avaliar e responder a problemas críticos (FELISBERTO et al., 2008a).
Ainda, todos os indicadores propostos foram testados, enfatizando a observação de campo
com a aquisição de informações de diferentes níveis, possibilitando o seguimento de um
padrão hierárquico capaz de refletir a estrutura administrativa das secretarias de saúde e a
ênfase maior na quantidade e qualidade do processo do que nos resultados esperados, pois tem
como objetivo a produção de resultados rápidos e úteis para decisões gerenciais na
implantação do programa, tendo como perspectiva final sua utilização de forma participativa,
auxiliando na identificação daquilo que está sendo alcançado e o que interfere na situação
encontrada em diferentes contextos (FELISBERTO et al., 2008a).
A proposta, ao nosso ver, vai de encontro à preocupação explicitada por Tanaka (2006)
quando se refere à necessidade de tornar a avaliação “mais racional”, utilizando-se
informações mais objetivas na direção do interesse dos sujeitos em sua prática cotidiana.
[...] A possibilidade de tornar mais objetiva e efetiva as decisões permitirá legitimar
o processo de avaliação com os interessados e dessa maneira ganhar espaço e
confiança dentro da organização. [...] Dessa maneira, a utilização dos instrumentos,
a exploração de base de dados disponíveis e a escolha de metodologias poderão se
tornar as ferramentas de ação natural dos indivíduos envolvidos na construção dos
SUS nos distintos níveis de gestão do sistema. [...] O trabalhar no cotidiano como
um caminho ou tática para um aculturamento da avaliação poderá ser uma
alternativa que permita redirecionar o processo de capacitação e aprimoramento
profissional, possibilitando uma legitimação no cotidiano em que prescinda de nova
definição de atribuições ou da estrutura organizacional, e possibilite resultados
concretos em curto prazo (TANAKA, 2006, p. 571-572).
Nessa mesma direção, Conill (2006) manifesta sua recomendação sobre um dos “princípios
que podem ser úteis na implementação da política de monitoramento e avaliação pretendida”
(CONILL, 2006, p. 564). Segundo essa autora, o princípio do ‘diálogo’ tem relevância como
precaução, do sentimento da passividade que possa acometer os atores envolvidos com o
objeto avaliado e, como esforço na direção da utilização de “instrumentos práticos [...] a partir
da metodologia de avaliação participativa” (CONILL, 2006 p. 565).
Essas preocupações foram perseguidas na construção da proposta contida no primeiro artigo,
na medida em que a teoria foi reconstituída a partir de um modelo lógico construído num
processo de interação da equipe de pesquisa com a coordenação do programa (FELISBERTO
et al., 2008a). Isto permitiu caminhar na direção da superação da “[...] prevalência de um viés
107
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Discussão
__________________________________________________________________________________________________________
francamente normativo e/ou uma priorização dos aspectos mais técnicos da avaliação das
políticas públicas, bem como da ênfase de seu papel de instrumento gerencial [...]” (FARIA,
2005, p. 98).
Teixeira (2006, p. 573) ressalta:
[...] que a incorporação da avaliação como uma dimensão da gestão dos sistemas e
serviços pode contribuir para o aperfeiçoamento do processo de tomada de decisões,
planejamento, programação e organização dos serviços, na medida em que estes
venham a tomar como referência resultados de pesquisas avaliativas que apontem
fragilidades políticas, debilidades organizacionais e lacunas no conhecimento acerca
dos problemas que se apresentam em vários níveis e planos da realidade do SUS
(TEIXEIRA, 2006).
Nesse sentido, o segundo artigo desta Tese lançou mão de técnicas interpretativas para
descrever e entender a complexidade que envolve a Política Nacional de Monitoramento e
Avaliação da Atenção Básica, compreendendo a percepção e representação dos envolvidos
sobre o processo vivido, associando-as a um método específico de Análise de Implantação de
Programas (FELISBERTO et al., 2009). Valorizando as tensões às quais a intervenção foi
submetida em seu processo de implantação, fez uso de uma aliança da ciência e da técnica
com a apropriação do objeto na perspectiva dos pesquisadores e pesquisados, proporcionando
uma articulação entre conhecimento e práticas (FELISBERTO et al., 2009).
De fato, os “estudos avaliativos apresentam o potencial de gerar conhecimento para a
compreensão ampliada e contextualizada do programa, bem como para a análise do processo
decisório, gerando condições para sua governabilidade e sustentabilidade” (BODSTEIN et al.,
2006, p. 728). Entretanto, é necessário estar atentos para o destaque de Teixeira (2006) de que
o “elemento diferenciador da qualidade da gestão, mais do que a perícia técnica é o
compromisso ético e político dos sujeitos que compõem a equipe dirigente” (TEIXEIRA,
2006, p. 573).
A utilização do modelo político e contingente proposto por Denis e Champagne (1997), para a
análise da contribuição da intervenção e do contexto de sua implantação sobre os efeitos
produzidos pela Política Nacional de Monitoramento e Avaliação da Atenção Básica, permitiu
a identificação das diferentes estratégias dos atores envolvidos em função de seus interesses.
Ainda, ajudou a reconhecer as características organizacionais que atuaram na direção dessas
estratégias. A contribuição dos dispositivos e a influência dos atores na contextualização da
produção dos efeitos encontrados decorreu da análise imbricada da intervenção (DENIS;
CHAMPAGNE, 1997).
108
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Discussão
__________________________________________________________________________________________________________
Ainda, as conclusões do artigo parecem estar em consonância com as reflexões de Bezzi
(2006) quando afirma que “as descobertas da avaliação estão condicionadas pela maneira
como foram compreendidas e interpretadas por cada ‘stakeholder’, incluindo o avaliador, de
acordo com suas restrições formais, morais e normativas” (BEZZI, 2006, p. 58). Nesse
sentido, faz um alerta que achamos deve ser adotado aqui: “[...] se se ignora as complexidades
da pesquisa social, é muito provável que se adote (inadvertidamente) uma abordagem
operacionalista correndo em direção aos ‘dados’, visto como certos [...]” (BEZZI, 2006, p.
58). O autor resgata a preocupação de Conill (2006), estabelecida anteriormente, sobre o
princípio do ‘diálogo’, ao ressaltar: “[...] o ‘desafio’ – rigor metodológico vs. interpretação –
pode ser resolvido ao se ligar nosso trabalho avaliativo a contextos, culturas locais, e formas
de representação social [...]” (BEZZI, 2006, p. 73).
Por outro lado, não se pode prescindir de estar alerta ao que afirma Hartz (1999, p. 243):
[...] sem um esforço de institucionalização por parte das estruturas político-
governamentais, que introduza incentivos técnico-financeiros encorajando uma
cultura de avaliação para tomada de decisão e alocação orçamentária dos programas,
todo este conhecimento é mero exercício acadêmico, impotente para contribuir na
melhoria dos problemas avaliados [...].
A autora enfatiza, ainda, a necessidade da apropriação social dos produtos da avaliação no
sentido da redução da deficiência do conhecimento, com vistas à diminuição de desigualdades
dos atores envolvidos (HARTZ, 1999).
Chelimsky (1995) já alertava para a importância da avaliação em qualquer sociedade
democrática em referência aos benefícios que pode trazer para os que decidem e para os
cidadãos que têm de conviver com as decisões, uma vez que tomadas. Em nosso caso, a
fundamentação teórica da avaliação realizada poderá influenciar seu uso conforme a
perspectiva dos interessados seja na agenda da política nacional de saúde, na formulação de
novas diretrizes ou na implantação de programas e ações que tenham como objetivos a
institucionalização da avaliação no campo da saúde e a conseqüente qualificação da gestão do
SUS (FELISBERTO et al., 2009; CHELIMSKY, 1995).
O terceiro artigo desta Tese traz à tona as limitações e implicações de uma questão central
para as políticas públicas, em especial as relacionadas ao setor saúde, conforme ressaltado por
Pisco (2006, p. 567):
109
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Discussão
__________________________________________________________________________________________________________
A questão central hoje em dia não é tanto a questão técnica de como é que se fazem
atividades de avaliação e melhoria, mas de como se estabelecem e se mantêm de
forma sustentada estas atividades como parte do trabalho de uma organização ou
mesmo de um sistema de saúde. Ou seja, como é que se estabelece um plano
estruturado para institucionalizar estas atividades, como é que se cria com sucesso
um sistema que, de forma coerente e integrada, englobe os múltiplos esforços
qualitativos que os profissionais ou as instituições estão a desenvolver de forma a
potenciar os benefícios para os doentes.
Conill (2006, p. 565) compartilha da mesma preocupação alertando para a necessidade de
“[...] criação de ligitimidade com adesão dos profissionais [...]” (CONILL, 2006; PISCO,
2006).
O estudo apresentado no artigo utilizou uma técnica facilitadora no sentido da identificação
dos eventos nas falas dos entrevistados e na análise documental. Entretanto, apresentou um
limitador representado pelo pouco tempo de implantação da política e, embora o método
utilizado no estudo indicasse eventos igualmente importantes, os resultados apontaram para a
necessidade de ponderação dos mesmos.
Isso se deu, principalmente, no que diz respeito aos indicadores referentes a ‘investimentos de
recursos adequados’; àqueles relacionados à ‘adaptação das atividades às necessidades da
instituição’ e; aos que dizem respeito à ‘estabilização de recursos organizacionais’, sendo essa
conclusão consoante com os achados de Scheirer (2005) e Shediac-Rizkallah e Bone (1998)
(SCHEIRER, 2005; SHEDIAC-RIZKALLAH; BONE, 1998).
Scheirer (2005) ressalta a importância do interesse específico de quem vai executar a política,
no sentido de sua continuidade e, que os mesmos fatores organizacionais que fomentam a
implementação mais forte de um novo programa provavelmente irão possibilitar a prestação
de serviços continuados. Já Shediac-Rizkallah e Bone (1998) propõem pressupostos para a
institucionalização das atividades de um programa no nível organizacional que ratificam a
análise realizada no estudo: os aspectos do desenho e características do projeto; os fatores
próprios da organização e; os fatores do ambiente de implantação (SCHEIRER, 2005).
As avaliações ajudam a identificar se os componentes da política foram incorporados aos
processos organizacionais (SCHEIRER, 2005). Assim, os resultados mais importantes no
sentido da sustentabilidade apresentados pelo estudo, que também encontram consonância
com o estudo de Green (1989) foram: o desenvolvimento da capacidade técnica e os
movimentos inovadores gerados pelo projeto, representados pela aproximação das instâncias
gestoras com as instituições de ensino e pesquisa; a oportunidade de integração entre as áreas
110
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Discussão
__________________________________________________________________________________________________________
do nível federal e das Secretarias Estaduais de Saúde; e a construção de uma proposta
metodológica específica com a finalidade de monitorar e avaliar a atenção básica (GREEN,
1989).
Porém, ao considerar que a contribuição da rotinização das ações para a perenidade e/ou
maior continuidade de projetos e programas sofre influência direta do grau de capacidade
técnica e do preparo político dos trabalhadores do sistema, concordamos com Scheirer (2005),
quando considera a influência direta dos fatores relacionados ao contexto político-
organizacional. Isto se observa ao apontarmos as características contextuais do sistema de
saúde brasileiro, tais como: (i) a alternância política nos entes federados que proporcionam
mudanças de gestão em descompasso, se considerarmos que esse fato se dá de dois em dois
anos em municípios e estados alternadamente; (ii) as freqüentes mudanças nas gerências de
programas e projetos em uma mesma gestão, favorecendo a mudanças na condução dos
mesmos colocando em perspectiva os diferentes interesses; (iii) a diretriz da gestão tripartite
do SUS, preservando a autonomia dos entes federados que pode, eventualmente, contribuir de
forma antagônica e; (iv) o lento processo de adaptação das instâncias gestoras a novos
instrumentos decorrentes do permanente estágio de ‘aprimoramento’ do SUS (SCHEIRER,
2005).
Essas características contextuais não foram completamente evidenciadas ao se relacionar os
eventos críticos encontrados com as categorias analíticas utilizadas (PLUYE et al., 2004),
demonstrando uma provável insuficiência das mesmas para a análise de práticas avaliativas.
Nesse sentido, possivelmente devamos fazer uso das proposições de Jacob (2005) sobre a
análise da natureza dos dispositivos institucionais, no que tange ao seu ‘grau de abertura’ por
oferecer mais potencialidade para generalizar o objeto de estudo, ao sintetizar os atributos
relativos a esses dispositivos. O autor justifica a possibilidade de se desenhar uma ‘matriz
tipo-ideal incompleta’, no caso de países em que políticas de avaliação não tem uma tradição
tão sólida, tendo em vista que a multiplicidade de objetivos e de expectativas depositadas na
avaliação e a característica de participação é o que tem caracterizado melhor o
desenvolvimento de sua prática (JACOB, 2005; PLUYE et al., 2004).
A tipologia que Jacob (2005) propõe para análise dos dispositivos institucionais das práticas
avaliativas (corporativista, discursivo, participativo, liberal e reflexivo) poderia ser associadas
às categorias analíticas propostas por Pluye et al. (2004) utilizadas nesse estudo (memória,
adaptação, valores e regras), potencializando a análise da sustentabilidade “[...] é
111
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Discussão
__________________________________________________________________________________________________________
confrontando as considerações teóricas com a realidade que se afinam as reflexões sobre os
dispositivos institucionais e se enriquece o estudo da sua institucionalização [...]” (JACOB,
2005, p. 64 ).
Assim sendo, poderíamos analisar a institucionalização da avaliação, não apenas pelas
características de perenidade das práticas avaliativas, mas por sua natureza participativa, no
sentido da apropriação social dos produtos da avaliação. Isso com vistas à redução das
desigualdades dos envolvidos, diminuindo a deficiência do conhecimento e alimentando a sua
incorporação pelos grupos de controle social.
Em artigo publicado em 2006 (Apêndice A), ao fomentar um debate sobre a formulação da
Política Nacional de Avaliação da Atenção Básica em Saúde no Brasil, afirmávamos:
o maior desafio consiste em teorizar sobre uma estratégia e uma prática ainda em
construção e o risco de não aprofundar as diversas dimensões inerentes ao debate
macropolítico. Isto é, trata-se aqui de debater uma proposta que pretende extrapolar
os limites da atenção básica para ser vista como uma estratégia do próprio SUS, na
perspectiva suscitada por Hartz (1999) (FELISBERTO, 2006, p. 554).
Se naquele momento colocávamos em discussão lições preliminares vindas da nossa
experiência na gestão de uma política direcionada à institucionalização da avaliação em
saúde, acreditamos que os três artigos integrantes desta Tese vêm contribuir com reflexões
sobre estratégias importantes que devem permanecer em discussão na direção da
institucionalização: a auto-avaliação, a análise de implantação e a análise de sustentabilidade
de programas (FELISBERTO, 2006).
112
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Conclusões
__________________________________________________________________________________________________________
9 CONCLUSÕES
A Intervenção, objeto deste estudo, embora tenha sido considerada implantada
no período avaliado, teve um momento de clara expansão desde 2003 até
meados de 2005, quando mudanças no cenário político institucional passam a
limitá-la, configurando um período de retração do processo de implantação. A
partir de então passa a haver um direcionamento voltado para a finalidade do
controle gerencial visando à legitimação da política da atenção básica com base
na Estratégia Saúde da Família.
A política implantada foi caracterizada por um franco esforço com vistas à
integração das ações no âmbito institucional e à descentralização das ações de
avaliação. Neste sentido, duas características tornam-se marcantes: o
desenvolvimento de capacidade técnica, por meio de processos avaliativos
formativos e, o foco no fortalecimento das Secretarias Estaduais de Saúde.
É, ainda, importante registrar a intensidade de efeitos não-intencionais
encontrados em decorrência da pluralidade e da interação de dispositivos
utilizados para a sua implantação.
Os resultados apresentados indicam que os eventos de implantação e de
sustentabilidade não acontecem em estágios, e sim em concomitância. Eventos
específicos da implantação podem ocorrer anos após o seu lançamento, bem
como eventos específicos da sustentabilidade podem ocorrer no período de sua
implantação.
A Técnica do Incidente Crítico mostrou-se adequada ao estudo pela facilidade
de identificação dos eventos.
O pouco tempo de existência da política favoreceu a classificação encontrada na
análise da sustentabilidade.
Os resultados da análise de sustentabilidade apontam para uma necessidade de
ponderação dos indicadores utilizados, na medida em que pelo menos três deles
mostraram ter forte influência sobre os outros.
113
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Conclusões
__________________________________________________________________________________________________________
Podemos considerar como os resultados mais importantes no sentido da
sustentabilidade: o desenvolvimento da capacidade técnica e os movimentos
inovadores gerados pelo projeto, a exemplo da aproximação das instâncias
gestoras com as instituições de ensino e pesquisa; da oportunidade de integração
entre as áreas do nível federal e das SES; e a construção de uma proposta
metodológica específica com a finalidade de monitorar e avaliar a atenção
básica.
Ainda, é importante considerar que normas e regras rotinizadas ou padronizadas
podem contribuir para a perenidade e/ou maior continuidade de projetos e
programas, mas isso sofre influência direta do grau de capacidade técnica e de
preparo político dos trabalhadores do sistema. Além, do grau de participação que
pode ser revelado ao se explorar melhor a análise da natureza dos dispositivos
institucionais de avaliação.
“Os ambientes políticos são passageiros, o poder muda de mão, e a avaliação
precisa ser defensável, não somente através de todo o espectro de misturas
políticas, mas também através do tempo, à medida que estas misturas mudam”
(Eleonor Chelimsky, 1995).
115
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
REFERÊNCIAS
ALKIN, M. C. Evaluation roots: tracing theorists’views and influences. Thousand Oaks:
Sage, 2004. 424 p.
ALMEIDA, C. M. Reforma do estado e reforma de sistemas de saúde: experiências
internacionais e tendências de mudança. Ciência & Saúde Coletiva, Rio de Janeiro, v. 4, n.
2, p. 263-286, 1999.
ALMEIDA, P. F.; GIOVANELLA, L. Avaliação em Atenção Básica à Saúde no Brasil:
mapeamento e análise das pesquisas realizadas e/ou financiadas pelo Ministério da Saúde
entre os anos de 2000 e 2006. Cadernos de Saúde Pública, Rio de Janeiro, v. 24, n. 8, p.
1727-1742, 2008.
ALVES, C. K. A. Institucionalização da avaliação na atenção básica: análise do programa
em uma gestão estadual. 2008. Dissertação (Mestrado em Saúde Pública) - Centro de
Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz, Recife, 2008.
BARON, G.; MONNIER, E. Une approche pluraliste et participative: coproduire l’évaluation
avec la société civile. Informations Sociales, Paris, n. 110, p. 120-129, 2003.
BEZZI, C. Evaluation pragmatics. Evaluation: The International Journal of Theory, Research
and Practice, Newbury Park, CA, v. 12, p. 56-76, 2006.
BODSTEIN, R. et al. C. Estudos de linha de base do projeto de expansão e consolidação do
saúde da família: considerações sobre seu acompanhamento. Ciência & Saúde Coletiva, Rio
de Janeiro, v. 11, n. 3, p. 725-731, 2006.
BRAGA, J. C. S.; PAULA, S. G. Saúde e previdência: estudos de política social. São Paulo:
Cebes: Hucitec, 1981. 226 p.
BRASIL. Ministério da Saúde. Avaliação da Atenção Básica em Saúde: caminhos da
institucionalização. Brasília, DF, 2005a. 35p.
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção
Básica. Programa Saúde da Família: ampliando a cobertura para consolidar a mudança do
modelo de Atenção Básica. Revista Brasileira de Saúde Materno Infantil, Recife, v. 3, n. 1,
p. 113-125, 2003a.
116
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção
Básica. Avaliação normativa do Programa Saúde da Família no Brasil: monitoramento da
implantação e funcionamento das equipes de saúde da família: 2001-2002. Brasília, DF, 2004.
140 p.
______. Pacto de indicadores da atenção básica: instrumento de negociação qualificador do
processo de gestão do SUS. Revista Brasileira de Saúde Materno Infantil, Recife, v. 3, n.
2, p. 221-224, 2003b.
______. Fortalecimento das ações de monitoramento e avaliação da atenção básica. Revista
Brasileira de Saúde Materno Infantil, Recife, v. 4, n. 4, p. 449-459, 2004.
BRASIL. Ministério da Saúde. Secretaria Executiva. Departamento de Apoio à
Descentralização. Diretrizes operacionais: pactos pela vida, em defesa do SUS e de Gestão.
Brasília, DF, 2007. 80 p.
BRASIL. Tribunal de Contas da União. O controle externo e a nova administração
pública: uma visão comparativa. Brasília, DF, 2002. 102 p.
______. Prêmio Serzedello Corrêa 2003: monografias vencedoras, avaliação de programas
públicos no Brasil: o papel do Tribunal de Contas da União. Brasília, DF, TCU, Instituto
Serzedello Corrêa, 2005. 167 p.
BRAVO, M. I. S.; MATOS, M. C. A saúde no Brasil: reforma sanitária e ofensiva neoliberal.
In: BRAVO, M. I. S.; POTYARA, A. P. (Org.). Política social e democracia. 2. ed. São
Paulo: Cortez; Rio de Janeiro: UERJ, 2002. p. 173-215.
BRESSER-PEREIRA, L. C. Reforma do estado para a cidadania. São Paulo: Ed. 34;
Brasília, DF: Enap, 1998a. 363 p.
_____. A reforma do estado dos anos 90: lógica e mecanismos de controle. Lua Nova, São
Paulo, n. 45, p. 49-95, 1998b.
CANADIAN HEALTH SERVICES RESEARCH FOUNDATION. The ‘evidence’ issue.
Link,
Ottawa,
v. 8, n. 3, p. 4-6, 2005. Disponível em: <http://www.chsrf.ca/other_documents
/newsletter/pdf/v8n3_e.pdf>. Acesso em: 12 nov. 2007.
CARACELLI, V. J.; PRESKILL, H. (Ed.). The expanding scope of evaluation use. San
Francisco: Jossey-Bass, 2000. p. 99-111. (New directions for evaluation, n. 88).
117
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
CHELIMSKY, E. The political environment of evaluation and what it means for the
development of the field. American journal of evaluation, Fairhaven, MA, v. 16, n. 3, p. 215-
225, 1995.
CHEN, H. T. Theory-driven evaluations. Newbury CA: Sage, 1990. 326 p.
CINQ-MARS, M.; FORTIN, D. Perspectives épistémologiques et cadre conceptuel pour
l’évaluation de l’implantation d’une action concertée. Revue Canadienne d' Évaluation de
Programme, Ottawa, v. 14, n. 2, p. 57-83, 1999.
CONILL, E. M. Sobre a importância da parcimônia, do diálogo e da continuidade para a
institucionalização da avaliação da atenção básica. Ciência & Saúde Coletiva, Rio de
Janeiro, v. 11, n. 3, p. 564-566, 2006.
CONSELHO NACIONAL DE SECRETÁRIOS DE SAÚDE (Brasil). Atenção primária e
promoção da Saúde. Brasília, DF, 2007. 232 p.
CONTANDRIOPOULOS, A. P. Avaliando a institucionalização da avaliação. Ciência &
Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p.705-711, 2006.
CONTANDRIOPOULOS, A. P. et al. L’évaluation dans le domaine de la santé: concepts et
méthodes. Revue d’Épidémiologie et Santé Publique, Paris, v. 48, n. 6, p. 517-539, 2000
COSTA, F. L.; CASTANHAR, J. C. Avaliação de programas públicos: desafios conceituais e
metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969-992,
2003.
DENIS, J. L.; CHAMPAGNE, F. Análise de implantação. In: HARTZ, Z. M. A. (Org.).
Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de
programas. Rio de Janeiro: Ed. Fiocruz, 1997. p. 49-88.
DINIZ, E. Uma perspectiva analítica para a reforma do Estado. Lua Nova, São Paulo, n. 45,
p. 29-47, 1998.
DUPAS, G. A lógica econômica global e a revisão do welfare state: a urgência de um novo
pacto. In: BRESSER-PEREIRA, L. C.; WILHEIM, J.; SOLA, L. (Org.). Sociedade e estado
em transformação. São Paulo: Unesp; Brasília, DF, Imesp, 1999. 456 p.
118
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
FARIA, C. A. P. A política da avaliação de políticas públicas. Revista Brasileira de Ciências
Sociais, São Paulo, v. 20, n. 59, p. 97-110, 2005.
FELISBERTO, E. Da teoria à formulação de uma política nacional de avaliação em saúde:
reabrindo o debate. Ciência & Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 553-563, 2006.
______. Monitoramento e avaliação na atenção básica: novos horizontes. Revista Brasileira
de Saúde Materno Infantil, Recife, v. 4, n. 3, p. 317-321, 2004.
FELISBERTO, E. et al.Uso da avaliação e formação profissional: impulsionando a prática da
integralidade em saúde. In: PINHEIRO, R.; SILVA JÚNIOR, A. G. M. R.; MATTOS, R. A.
(Org.). Atenção básica e integralidade: contribuições para estudos de práticas avaliativas em
saúde. Rio de Janeiro: CEPESC: ABRASCO, 2008. p. 59-72.
______. Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006:
contextualizando sua implantação e efeitos. Revista Brasileira de Saúde Materno Infantil,
Recife, v. 9, n. 3, p. 339-357, 2009.
______. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de
auto-avaliação. Cadernos de Saúde Pública, Rio de Janeiro, v. 24, n. 9, 2091-2102, 2008a.
______. Avaliação do processo de implantação da estratégia da Atenção Integrada às Doenças
Prevalentes da Infância no Programa Saúde da Família, no Estado de Pernambuco, Brasil.
Cadernos de Saúde Pública, Rio de Janeiro, v. 18, n. 6, p.1737-1745, 2002.
FIGUEIRÓ, A. C.; FRIAS, P. G.; NAVARRO, L. Avaliação em saúde: conceitos básicos
para a prática nas instituições. In: SAMICO, I.; FELISBERTO, E.; FIGUEIRÓ, A. C.;
FRIAS, P. G. Avaliação em saúde: bases conceituais e operacionais. Recife: Medbook, 2009.
No prelo.
FLANAGAN, J. C. A técnica dos incidentes críticos. Arquivos Brasileiros de Psicologia
Aplicada, Rio de Janeiro, v. 25, n. 2, p. 99-141, 1973.
FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise
de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, DF, n. 21, p.
212-258, 2000.
GERSCHMAN, S.; SANTOS, M. A. B. O Sistema Único de Saúde como Desdobramento das
Políticas de Saúde do Século XX. Revista Brasileira de Ciências Sociais, São Paulo, v. 21,
n. 61, p. 177-227, 2006.
119
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
GREEN L. W. Comment: is institutionalization the proper goal of grantmaking? American
Journal of Health Promotion, Troy, MI, v. 44,n. 3, p. 44, 1989.
GUBA, E. G.; LINCOLN, Y. S. Fourth generation evaluation. Newbury Park: Sage, 1989.
HANNEY, S. et al. The utilization of health research in policy-making: concepts, examples
and methods of assessment. Health Research Policy and Systems, London, v. 1, n. 2, 2003.
Disponível em: <http://www.health-policy-systems.com/content/1/1/2>. Acesso em: 15 jul.
2007.
HARTZ, Z. M. A. Institutionalizing the evaluation of health programs and policies in France:
cuisine international e over fast food and sur mesure over ready-made. Cadernos Saúde
Pública, Rio de Janeiro, v. 15, n. 2, p. 229-259, 1999.
______. Pesquisa em avaliação da atenção básica: a necessária complementação do
monitoramento. Divulgação em Saúde para Debate, Rio de Janeiro, v. 21, p. 29-35, 2000.
HARTZ, Z. M. A.; SANTOS, E. M.; MATIDA, A. Promovendo e analisando o uso e a
influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a
avaliação em saúde. In: HARTZ, Z. M. A.; FELISBERTO, E.; VIEIRA-DA-SILVA, L. M.
(Org). Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Ed.
Fiocruz, 2008. p. 325-340.
HENRY, G. T. Why not use? New Directions for Evaluation, Fairhaven, MA, v. 2000, n.
88, p. 85-98, 2000.
HENRY, G. T.; MARK, M. M. Beyond use: understanding evaluation’s influence on attitudes
and actions Gary Henry. American Journal of Evaluation, Thousand Oaks, CA, v. 24, n. 3,
p. 293–314, 2003.
HONADLE, G.; VANSANT, J. Implementation for Sustainability: Lessons from Integrated
Rural Development. West Hartford: Kumarian, 1985.
JACOB, S. Réflexions autour d’une typologie des dispositifs institutionnels d’évaluation. The
Canadian Journal of Program Evaluation, Ottawa, v. 20, n. 2, p. 49-68, 2005.
KETTL, D. A revolução global: reforma da administração do setor público. In: BRESSER
PEREIRA, L. C.; SPINK, P. K. Reforma do estado e administração pública gerencial. Rio
de Janeiro: FGV, 2001. p. 75-121.
120
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
KHAN, M. A. Evaluation capacity building: an overview of current status, issues and options.
Evaluation: the International Journal of Theory, Research and Practice, London, v. 4, n. 3, p.
310-328, 1998.
KIRKHART, K. E. Reconceptualizing evaluation use: an integrated theory of influence. New
Directions for Evaluation, Fairhaven, MA, v. 2000, n. 88, p. 5-23, 2004.
LENNI, E. J. An evaluation capacity-building process for sustainable community initiatives
empowering and disempowering impacts. Evaluation: the International Journal of Theory,
Research and Practice, London, v. 11, n. 4, p. 390-414, 2005.
LIMA, N. T.; SANTANA, J. P. (Org.). Saúde coletiva como compromisso: a trajetória da
Abrasco. 2006. Disponível em: <http://www.abrasco.org.br>. Acesso em: 17 set. 2009.
MARK, M. M.; HENRY, G. T. The mechanisms and outcomes of evaluation influence.
Evaluation: the International Journal of Theory, Research and Practice, London, v. 10, n. 1,
p. 35-57, 2004.
MCLAUGHLIN, J. A.; JORDAN, G. B. Logic models: a tool for telling your program’s
performance story. Evaluation and Program Planning, Amsterdam, v. 22, n. 1, 1999.
MCNALL, M.; FOSTER-FISHMAN, PG. Methods of rapid evaluation, assessment, and
appraisal. American Journal of Evaluation, Fairhaven, MA, v. 28, n. 2, p. 151-168, 2007.
MORIN, E. Por uma Reforma do Pensamento. In: PENA-VEGA, A.; NASCIMENTO, E. P.
(Org.). O pensar complexo: Edgar Morin e a crise da modernidade. 2. ed. Rio de Janeiro:
Garamond, 1999. p. 27.
NATAL, S. et al. A implementação do Projeto Estratégico de Fortalecimento da Capacidade
Técnica em Monitoramento e Avaliação das Secretarias de Saúde: avaliação formativa e auto-
avaliação. In: HARTZ, Z. M. A.; FELISBERTO, E.; VIEIRA-DA-SILVA, L. M. (Org.).
Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Ed. Fiocruz,
2008. p. 341-368.
OLIVEIRA, J. A. A.; TEIXEIRA, S. M. F. (Im)Previdência Social: 60 anos de história da
previdência no Brasil. Petrópolis: Vozes; Rio de Janeiro: ABRASCO, 1985. 380 p.
ORGANIZATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT (Paris).
Working party on aid evaluation. glossary of key terms in evaluation and results based
121
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
management. Paris: Development Co-Operation Directorate, 2002. Disponível em:
<www.oecd.org/dac/evaluation>. Acesso em: 15 jun. 2007.
PACHECO, R. S. Reformando a administração pública no Brasil: eficiência e accountability
democrática. In. MELO, M. (Org.). Reforma do Estado e mudança institucional. Recife,
Massangana, 1999. p. 223-39.
PAIM, J. S. Políticas de saúde no Brasil. In: ROUQUAIROL, M. Z.; ALMEIDA FILHO, N.
Epidemiologia e saúde. 6. ed. Rio de Janeiro: Medsi, 2003. p. 587-603.
______. Reforma sanitária brasileira: contribuição para compreensão e crítica. 2007. 300 f.
Tese (Doutorado) - Instituto de Saúde Coletiva, Universidade Federal da Bahia, Salvador,
2007.
PATTON, M. Q. A microcosm of the global challenges facing the field: comentary on
HIV/AIDS monitoring and evaluation. New Directions for Evaluation, Fairhaven, MA, v.
2003, n. 103, p. 163-171, 2004.
______. The evaluator responsibility for utilization. Evaluation Practice, [S. l.], v. 9, n. 2, p.
5-24, 1988.
______. Utilization-focused evaluation: the new century text. 3
rd
ed. Thousand Oaks: Sage,
1997. 431 p.
PICCIOTTO, R. The logic of mainstreaming: a development evaluation perspective.
Evaluation: the International Journal of Theory, Research and Practice, London, v. 8, n. 3, p.
322–339, 2002.
PIMENTA, C. C. A reforma gerencial do Estado brasileiro no contexto das grandes
tendências mundiais. Revista de Administração Pública, Rio de Janeiro, v. 32, n. 5, p. 173-
199, 1998.
PISCO, L. A. A avaliação como instrumento de mudança. Ciência & Saúde Coletiva, Rio de
Janeiro, v. 11, n. 3, p. 566-568, 2006.
PLUYE, P.; POTVIN, L.; DENIS, J. L. Making public health programs last: conceptualizing
sustainability. Evaluation and Program Planning, Amsterdam, v. 27, n. 2, p. 121-133, 2004.
PLUYE, P. et al. Program sustainability: focus on organizational routines. Health Promotion
International, Oxford, v. 19, n. 4, p. 489-498, 2004.
122
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
______ Program sustainability begins with the first events. Evaluation and Program
Planning, Amsterdam, v. 28, p. 123-137, 2005.
POLLITT, C. Performance management in practice: a comparative study of executive
agencies. Journal of Public Administration Research and Theory, Lawrence, KA, v. 16, n.
1, p. 25-44, 2006.
POTVIN, L.; GERDRON, S. Programação e avaliação em saúde. In: SEMINÁRIO
AVANÇADO: PROGRAMAÇÃO E AVALIAÇÃO EM PROMOÇÃO DA SAÚDE, 2006,
Recife. Recife: Instituto Materno Infantil Prof. Fernando Figueira: Agence Canadienne de
Développement International, 2004. 36 p. 2004. (Apostila).
PRESKILL, H.; TORRES, R. T. The learning dimensions of evaluation use. New Directions
for Evaluation, Fairhaven, v. 2000, n. 88, p. 25-38, 2000.
RIDDE, V.; PLUYE, P., QUEUILLE, L. Évaluer la pérennité des programmes de santé
publique: un outil et son application en Haïti. Revue d’Épidémiologie et de Santé Publique,
Amsterdam, v. 2006, n. 54, p. 421-431, 2006.
ROSSI, P.; FREEMAN, H. Evaluation: a systematic approach. Thousand Oaks: Sage, 1982.
470 p.
ROSSMAN, G. B.; RALLIS, S. F. Critical inquiry and use as action. New Directions for
Evaluation, Fairhaven, MA, v. 2000, n. 88, p. 55-70, 2000.
SANDERS, J. R. Mainstreaming evaluation. New Directions for Evaluation, Fairhaven,
MA, v. 2003, n. 99, p. 3–6, 2003.
SCHEIRER, M. A. Is sustainability possible? A review and commentary on empirical studies
of program sustainability. American Journal of Evaluation, Fairhaven, MA, v. 26, n. 3, p.
320-347, 2005.
SHEDIAC-RIZKALAH, M. C.; BONE, L. R. Planning for the sustainability of community-
based health programs: conceptual frameworks and future directions for research, practice and
policy. Health Education Research, Oxford, UK, v. 13, n. 1, p. 87-108, 1998.
SILVA, L. M. V.; FORMIGLI, V. L. A. Health evaluation: problems and perspectives.
Cadernos de Saúde Pública, Rio de Janeiro, v. 10, n. 1, p. 80-91, 1994.
123
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
SOUZA, H. M. O PSF como indutor da institucionalização da avaliação na atenção básica.
Revista Brasileira de Saúde da Família, Brasília, DF, v. 5, n. 6, p. 10-15, 2002a.
SOUZA, L. E. P. F. Anvisa: um modelo da nova gestão pública?
In: DESAFIOS À GESTÃO
DE AGÊNCIAS REGULADORAS, SEMINÁRIO TEMÁTICO DA ANVISA, 19., 2002,
Brasília, DF. Disponível em: <www.anvisa.gov.br/Institucional/snvs>. Acesso em: 17 set.
2009.
STAKE, R. E. The countenance of educational evaluation. Teachers College Record, New
York, v. 68, n. 7, p. 523-540, 1967.
TANAKA, O. Y. Caminhos alternativos para a institucionalização da avaliação em saúde.
Ciência & Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 571-572, 2006.
TEIXEIRA, C. F. Institucionalizando a prática de avaliação em saúde: significado e limites.
Ciência & Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 572-574, 2006.
TYLER, R. W. General statement on evaluation. Journal of Educational Research,
Washington, DC, v. 35, p. 492-501, 1942.
VALADEZ, J.; BAMBERGER, M. Monitoring and Evaluating Project Sustainability. In:
VALADEZ, J.; BAMBERGER, M. Monitoring and evaluating social programs in
developing countries: A handbook for policymakers, mangers, and researchers. Washington
DC: World Bank, 1994. p. 183-208.
VAN DER KNAAP, P. Theory-based evaluation and learning: possibilities and challenges.
Evaluation: the International Journal of Theory, Research and Practice, London, v. 10, n. 1,
p. 16–34. 2004.
VAN DER MEER, F-B.; EDELENBOS, J. Evaluation in multi-actor policy processes:
accountability, learning and co-operation. Evaluation: the International Journal of Theory,
Research and Practice, London, v.12, n. 2, p. 201-218, 2006.
VIACAVA, F. et al. Uma metodologia de avaliação do desempenho do sistema de saúde
brasileiro. Ciência & Saúde Coletiva, Rio de Janeiro, v. 9, n. 3, p. 711-724, 2004.
VIANA, A. L. D’A. et al. Pesquisa para a tomada de decisão: um estudo de caso no Brasil.
Cadernos de Saúde Pública, Rio de Janeiro, v. 22, Supl , p. S57-S67, 2006.
124
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Referências
__________________________________________________________________________________________________________
VIEIRA-DA-SILVA, L. M. Conceitos, abordagens e estratégias para a avaliação em saúde.
In: HARTZ, Z. M. A.; VIEIRA-DA-SILVA, L. M. (Org.). Avaliação em saúde: dos modelos
teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Ed. Fiocruz;
Salvador: UFBA, 2005. p. 15-39
WEISS, C. H. Evaluation for decision: is anybody there? Does anybody care? Evaluation
Practice, [S.l.], v. 9, n. 3, p. 5-19, 1988.
______. Have we learned anything new about the use of evaluation? American Journal of
Evaluation, Fairhaven, MA, v. 19, n. 1, p. 21-34, 1998.
______.The interface between evaluation and public policy. Evaluation: the International
Journal of Theory, Research and Practice, London, v. 5, n. 4, p. 468-486, 1999.
WEISS, C. H.; MURPHY-GRAHAM, E.; BIRKELANd, S. An alternate route to policy
influence: how evaluations affect DARE. American Journal of Epidemiology, Baltimore,
MD, v. 26, n. 1, p. 12-30, 2005.
WORLD BANK. The Independent Evaluation Group. Sourcebook for Evaluating Global
and Regional Partnership Programs. Indicative principles and standards. 2007.
Disponível em: <http://www.worldbank.org/ieg/grpp>. Acesso em: 15 mar. 2007.
WORTHEN, B. R. Some observations about the institutionalization of evaluation. Evaluation
Practice, [S.l.], v. 16, n. 1, p. 29-36, 1995.
YIN, R. K. Estudo de caso: planejamento e métodos. 3. ed. Porto Alegre: Bookman, 2005.
212 p.
125
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
APÊNDICE A – Artigo publicado na Revista Ciência & Saúde Coletiva
126
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
127
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
128
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
129
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
130
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
131
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
132
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
133
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
134
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
135
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Apêndice
__________________________________________________________________________________________________________
136
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO A – Roteiro de Entrevista Diretoria do Departamento da Atenção Básica do
Ministério da Saúde
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Diretoria do Departamento da Atenção Básica do Ministério da Saúde –
DAB/MS
Nome:_______________________________________________________________
Idade:_____________________ Sexo:___________________________________
Tempo do exercício da função: ___________________________________________
Formação:____________________________________________________________
Pós-graduação:________________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
Aperfeiçoamento do SIAB
1. Como se deu a reformulação do SIAB?
2. O DAB contou com a estrutura necessária para reformulação do SIAB?
(equipamentos de informática, software, pessoal qualificado)?
3. A reformulação do SIAB se deu de forma articulada com os demais SIS?
4. Todas as áreas técnicas da AB foram envolvidas na reformulação? De que forma?
(reuniões, seminários, oficinas)
5. Os técnicos do DAB foram capacitados para manusear o novo sistema?
6. Que estratégias a CAA utilizou para a implantação do novo SIAB nas SES e nas
SMS?
Dinamização do Pacto de Indicadores
1. Como ficou o processo de pactuação dos indicadores da AB, no contexto do Pacto
pela Saúde?
2. O processo de pactuação conta com a participação efetiva das três instâncias de
gestão do SUS? De que forma?
3. O processo de pactuação tem incentivado o diálogo entre os gestores?
4. A pactuação tem sido um processo crítico-reflexivo dos gestores?
137
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
5. O pacto da AB está articulado com outros instrumentos de programação e
pactuação?
6. Vocês dispõem de relatórios gerenciais com a situação dos indicadores?
7. Os relatórios gerenciais são publicizados? De que forma?
8. Há disponibilização de passagens aéreas e diárias para viagem dos técnicos do DAB
às SES e SMS?
Monitoramento do Componente I do PROESF
1. Foi definido um cronograma para acompanhamento dos municípios?
2. Foram disponibilizadas passagens e diárias aos técnicos do DAB para
acompanhamento dos municípios?
3. Os municípios têm realizado ações com vistas ao alcance dos indicadores do
PROESF?
4. Foram criadas estratégias para sensibilização dos gestores? Quais?
5. Foi estabelecida uma metodologia de análise dos indicadores do componente I do
PROESF? Qual?
6. Têm escrito relatórios gerenciais com a situação dos indicadores do PROESF?
7. Estes relatórios gerenciais têm sido disponibilizados aos gestores? De que forma?
Construção do MonitorAB
1. O monitorab foi implantado?
2. Há um acompanhamento da utilização deste sistema pelos estados e municípios?
3. Os dados estão sendo editados anualmente pelos estados/municípios?
Estudos de Linha de Base
1. Como se deu a participação do DAB nos estudos de linha de base?
2. As metodologias de análise das práticas do PSF foram desenvolvidas considerando
as especificidades regionais?
3. As metodologias adotadas foram socializadas entre os grupos participantes do
estudo?
4. Os resultados parciais da pesquisa foram compartilhados com as SES e SMS?
5. Houve interlocução do DAB com representantes e pesquisadores dos estados e dos
municípios?
AMQ
1. O AMQ tem dado o retorno esperado pelo DAB? Detalhe
138
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
2. Os instrumentos elaborados no AMQ são passíveis de utilização em todo território
nacional?
3. Os gestores municipais foram sensibilizados para a implantação do AMQ? Que
estratégias foram utilizadas?
4. O AMQ tem contribuído com os gestores para reprogramar as ações da AB?
5. Houve algum treinamento específico para os profissionais das SMS no manuseio do
sistema informatizado?
Fortalecimento da capacidade técnica das SES
1. Como se deu a participação do DAB no Projeto de fortalecimento da capacidade
técnica das SES em M&A?
2. Os CC apresentaram propostas de trabalho condizentes com os pressupostos das
SES?
3. Você tem conhecimento de ações de M&A que tenham sido desenvolvidas pelas
SES resultantes do projeto de fortalecimento da capacidade técnica das SES? (U/I)
4. Quais são os resultados positivos deste processo de integração ensino-serviço? (U/I)
5. É feita divulgação das experiências de integração ensino-serviço? (U/I)
6. Você acha que este projeto possibilita a institucionalização da avaliação nas SES?
(S)
7. O projeto atendeu às expectativas do DAB? (S)
8. Como se deu a relação do DAB com as SES neste processo? (S)
ARTICULAÇÃO SISTEMÁTICA E INTEGRAÇÃO DAS AÇÕES
Articulação e integração das ações no âmbito do MS
1. As secretarias do MS desenvolvem ações de M&A em consonância com a
PNMAAB? Que secretarias?
2. Que avaliações já foram realizadas em outras secretarias com o apoio da CAA?
COOPERAÇÃO TÉCNICA E ARTICULAÇÃO INTERINSTITUCIONAL
Cooperação técnica com instituições de referência em avaliação
1. Foi firmada cooperação com instituições/organizações de referência em avaliação?
Quais?
2. Que atividades foram subsidiadas por estas instituições/organizações?
INDUÇÃO E GESTÃO DE ESTUDOS E PESQUISAS
Financiamento e gestão de estudos e pesquisas avaliativas sobre AB
1. O DAB tem financiado estudos e pesquisas na área de avaliação? De que forma?
139
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
PRODUÇÃO DE INFORMACAO E COMUNICAÇAO
Publicações impressas
1. Há publicação impressa sobre os principais projetos/programas desenvolvidos pela CAA?
Quais?
2. Há publicação impressa sobre os resultados das pesquisas realizadas pela CAA?
Quais?
Comunicação em eventos técnicos e científicos
1. Foi realizada divulgação dos projetos estratégicos, metodologias e resultados produzidos
pela CAA em eventos como: congressos, conferências, cursos, seminários, reuniões
técnicas? Que eventos? Quais os objetos da divulgação?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à SUSTENTABILIDADE:
1. Foram tomadas providências para estabilizar os recursos organizacionais (financeiros,
humanos, materiais, de treinamento) necessários às atividades de M&A?
Como isso aconteceu?
O que levou a isso? Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
2. A SES assumiu riscos para desenvolver as atividades de M&A?
Como isso aconteceu?
O que levou a isto?
Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Quais foram as conseqüências?
3. As pessoas envolvidas foram incentivadas para desempenhar as atividades de M&A?
Como isso aconteceu?
140
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
O que levou a este evento?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Quais foram as conseqüências?
4. As atividades de M&A foram adaptadas ao contexto local levando em consideração sua
efetividade e as necessidades da população?
Como isso aconteceu?
5. Os objetivos da SES são levados em conta no desenho do M&A?
Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Que estratégias foram usadas?
Com que efeitos?
Quais foram as conseqüências?
6. Há comunicação transparente entre as pessoas envolvidas (cite-as)?
Como isso aconteceu?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Com que efeitos?
7. Compartilham-se valores (artefatos, mitos, símbolos, rituais, linguagens, valores) entre a
SES e o M&A?
Como isso aconteceu? O que levou a isso?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Com que efeitos?
8. As regras existentes para o desenvolvimento das atividades da SES são integradas às
regras do M&A ou vice-versa?
Como isso acontece?
O que levou a este evento?
141
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
Por que?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
9. Os recursos (financeiros, humanos, materiais e treinamento) disponibilizados pela SES
para realizar as atividades de M&A são adequados?
Por quê?
10. As práticas e técnicas usadas nas atividades de M&A são compatíveis com aquelas da
SES ?
Como isso acontece?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
1. Que conseqüências você espera que os processos avaliativos deflagrados pela
PNMAAB tragam para o MS, Estados e Municípios?
2. A PNMAAB influencia na elaboração da agenda nacional de saúde?
3. A PNMAAB influencia na implementação da política da AB?
4. Houve mudanças no MS influenciadas pela PNMAAB? (ganhos concretos em
relação à saúde, equidade e benefícios econômicos e sociais)
5. As prioridades para investimento de recursos são definidas considerando as
avaliações realizadas?
6. As informações produzidas pelos processos avaliativos são utilizadas para a tomada
de decisão (redirecionamento de ações/readequação de estratégia)?
7. Os processos avaliativos têm revelado os principais problemas/fragilidades dos
programas avaliados?
8. Na sua opinião, os gestores estão preparados para utilizar os resultados das
avaliações realizadas?
142
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
9. Que tipos de avaliação demonstraram ser mais úteis?
10. Os processos avaliativos e/ou resultados das avaliações são divulgados? Como?
11. O foco das avaliações está concentrado nos problemas mais críticos da política
nacional de saúde? Detalhe (problemas com base no perfil epidemiológico, interesse
do gabinete retratado nas avaliações, necessidades dos demandantes)
12. Que fatores poderiam tornar os formuladores de políticas (gestores, conselheiros...)
mais receptivos à avaliação?
13. Você considera que o MS hoje possui uma cultura de avaliação?
14. Você considera que as avaliações realizadas ocasionaram mudanças nos
pensamentos ou nas ações dos profissionais envolvidos? Exemplifique
15. Você percebe que as pessoas envolvidas nos processos de avaliação tentam
influenciar outros profissionais que não participaram para utilização das informações
geradas pelos estudos realizados?
143
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO B– Roteiro de Entrevista Diretoria da Coordenação de Acompanhamento e
Avaliação da Atenção Básica
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Diretoria da Coordenação de Acompanhamento e Avaliação da Atenção Básica
– CAA/DAB
Nome:______________________________________________________________
Formação: __________________________________________________________
Titulação: ___________________________________________________________
Tempo que ocupa o cargo: _____________________________________________
Entrevistadora: _______________________________________________________
Data e local: __________________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
Dinamização do Pacto de Indicadores
1. Como ficou o processo de pactuação dos indicadores da AB, no contexto do Pacto
pela Saúde?
2. O processo de pactuação conta com a participação efetiva das três instâncias de
gestão do SUS? De que forma?
3. Vocês dispõem de relatórios gerenciais com a situação dos indicadores?
4. Os relatórios gerenciais são publicizados? De que forma?
Monitoramento do Componente I do PROESF
1. Na sua opiniao, o componente I do PROESF atendeu as expectativas do DAB? (cumpriu
sua missao?)
Estudos de Linha de Base
1. Na sua opiniao, os estudos de linha de base atenderam as expectativas do DAB?
(cumpriu sua missao?)
AMQ
144
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
1. O AMQ tem dado o retorno esperado pelo DAB? Detalhe
2. Os instrumentos elaborados no AMQ são passíveis de utilização em todo território
nacional?
Fortalecimento da capacidade técnica das SES
1. Na sua opiniao, o projeto de fortalecimento atendeu as expectativas do DAB? (cumpriu
sua missao?)
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à SUSTENTABILIDADE:
1. Foram tomadas providências para estabilizar os recursos organizacionais (financeiros,
humanos, materiais, de treinamento) necessários às atividades de M&A?
Como isso aconteceu?
O que levou a isso? Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
2. A SES assumiu riscos para desenvolver as atividades de M&A?
Como isso aconteceu?
O que levou a isto?
Por quê?
3. As pessoas envolvidas foram incentivadas para desempenhar as atividades de M&A?
Como isso aconteceu?
O que levou a este evento?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Quais foram as conseqüências?
4. As atividades de M&A foram adaptadas ao contexto local levando em consideração sua
efetividade e as necessidades da população?
Como isso aconteceu?
145
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
5. Os objetivos da SES são levados em conta no desenho do M&A?
Por quê?
6. Há comunicação transparente entre as pessoas envolvidas (cite-as)?
Como isso aconteceu?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Com que efeitos?
7. Compartilham-se valores (artefatos, mitos, símbolos, rituais, linguagens, valores) entre a
SES e o M&A?
Como isso aconteceu? O que levou a isso?
8. As regras existentes para o desenvolvimento das atividades da SES são integradas às
regras do M&A ou vice-versa?
Como isso acontece?
O que levou a este evento?
Por que?
9. Os recursos (financeiros, humanos, materiais e treinamento) disponibilizados pela SES
para realizar as atividades de M&A são adequados?
Por quê?
10. As práticas e técnicas usadas nas atividades de M&A são compatíveis com aquelas da
SES ?
Como isso acontece?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
1. A PNMAAB influencia na implementação da política da AB?
2. Houve mudanças no MS influenciadas pela PNMAAB? (ganhos concretos em relação à
saúde, equidade e benefícios econômicos e sociais)
146
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
3. As prioridades para investimento de recursos são definidas considerando as
avaliações realizadas?
4. As informações produzidas pelos processos avaliativos são utilizadas para a tomada de
decisão (redirecionamento de ações/readequação de estratégia)?
5. Os processos avaliativos têm revelado os principais problemas/fragilidades dos
programas avaliados?
6. Na sua opinião, os gestores estão preparados para utilizar os resultados das
avaliações realizadas?
7. Que fatores poderiam tornar os formuladores de políticas (gestores, conselheiros...) mais
receptivos à avaliação?
8. Que tipos de avaliação demonstraram ser mais úteis?
9. Os processos avaliativos e/ou resultados das avaliações são divulgados? Como?
10. O foco das avaliações está concentrado nos problemas mais críticos da política nacional
de saúde? Detalhe (problemas com base no perfil epidemiológico, interesse do gabinete
retratado nas avaliações, necessidades dos demandantes)
11. Você considera que as avaliações realizadas ocasionaram mudanças nos pensamentos
ou nas ações dos profissionais envolvidos? Exemplifique
12. Você percebe que as pessoas envolvidas nos processos de avaliação tentam influenciar
outros profissionais que não participaram para utilização das informações geradas pelos
estudos realizados?
13. Você considera que o MS hoje possui uma cultura de avaliação?
14. O que mais voce gostaria de falar a respeito da PNMAAB?
147
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO C – Roteiro de Entrevista PROESF
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Responsável PROESF
Nome:_______________________________________________________________
Idade:_____________________ Sexo:_________________________________
Tempo do exercício da função:_____________________________________
Formação:__________________________________________________________
Pós-graduação:____________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
1. Você considera concluída a avaliação da fase 1 do PROESF? Por que?
2. O que está sendo pensado para avaliar a segunda fase?
3. Haverá uma continuidade dos estudos de linha de base?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à SUSTENTABILIDADE:
1. Foram tomadas providências para estabilizar os recursos organizacionais (financeiros,
humanos, materiais, de treinamento) necessários às atividades de M&A?
Como isso aconteceu?
O que levou a isso? Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
2. A SES assumiu riscos para desenvolver as atividades de M&A?
Como isso aconteceu?
O que levou a isto?
Por quê?
148
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
3. As pessoas envolvidas foram incentivadas para desempenhar as atividades de M&A?
Como isso aconteceu?
O que levou a este evento?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Quais foram as conseqüências?
4. As atividades de M&A foram adaptadas ao contexto local levando em consideração sua
efetividade e as necessidades da população?
Como isso aconteceu?
5. Os objetivos da SES são levados em conta no desenho do M&A?
Por quê?
6. Há comunicação transparente entre as pessoas envolvidas (cite-as)?
Como isso aconteceu?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Com que efeitos?
7. Compartilham-se valores (artefatos, mitos, símbolos, rituais, linguagens, valores) entre a
SES e o M&A?
Como isso aconteceu? O que levou a isso?
8. As regras existentes para o desenvolvimento das atividades da SES são integradas às
regras do M&A ou vice-versa?
Como isso acontece?
O que levou a este evento?
Por que?
9. Os recursos (financeiros, humanos, materiais e treinamento) disponibilizados pela SES
para realizar as atividades de M&A são adequados?
Por quê?
149
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
10. As práticas e técnicas usadas nas atividades de M&A são compatíveis com aquelas da
SES ?
Como isso acontece?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
15. A PNMAAB influencia na implementação da política da AB?
16. Houve mudanças no MS influenciadas pela PNMAAB? (ganhos concretos em relação à
saúde, equidade e benefícios econômicos e sociais)
17. As prioridades para investimento de recursos são definidas considerando as
avaliações realizadas?
18. As informações produzidas pelos processos avaliativos são utilizadas para a tomada de
decisão (redirecionamento de ações/readequação de estratégia)?
19. Os processos avaliativos têm revelado os principais problemas/fragilidades dos
programas avaliados?
20. Na sua opinião, os gestores estão preparados para utilizar os resultados das
avaliações realizadas?
21. Que fatores poderiam tornar os formuladores de políticas (gestores, conselheiros...) mais
receptivos à avaliação?
22. Que tipos de avaliação demonstraram ser mais úteis?
23. Os processos avaliativos e/ou resultados das avaliações são divulgados? Como?
24. O foco das avaliações está concentrado nos problemas mais críticos da política nacional
de saúde? Detalhe (problemas com base no perfil epidemiológico, interesse do gabinete
retratado nas avaliações, necessidades dos demandantes)
150
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
25. Você considera que as avaliações realizadas ocasionaram mudanças nos pensamentos
ou nas ações dos profissionais envolvidos? Exemplifique
26. Você percebe que as pessoas envolvidas nos processos de avaliação tentam influenciar
outros profissionais que não participaram para utilização das informações geradas pelos
estudos realizados?
27. Você considera que o MS hoje possui uma cultura de avaliação?
28. O que mais voce gostaria de falar a respeito da PNMAAB?
151
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO D – Roteiro de Entrevista Conass
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Entrevista Conass
Nome:_____________________________________________________________
Idade:_____________________ Sexo:_________________________________
Tempo do exercício da função:__________________________________________
Formação:__________________________________________________________
Pós-graduação:______________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
1. O que você conhece sobre os projetos de institucionalização da avaliação da AB?
2. Como o Ministério da Saúde vem atuando em relação à institucionalização da
Avaliação?
3. Ele envolveu os estados? De que forma?
4. Você acha que existe uma política de M&A da AB?
5. Você acha que houve investimento suficiente de recursos financeiros para
implantação da PNMAAB em comparação com os custos da PAB?
6. Em relação ao apoio em prol da institucionalização da AVAB, como você vê o apoio
do Conass? Você acha que o Conass apóia a Institucionalização da Avaliação?
Dinamização do Pacto
1. No âmbito do monitoramento, o processo do pacto da AB envolveu os gestores?
2. O Pacto está articulado aos instrumentos de programação da AB?
3. O processo de pactuação das metas e análise dos indicadores conta com a
participação efetiva das três instâncias de gestão do SUS?
4. O processo de pactuação das metas e análise dos indicadores da AB tem
incentivado o diálogo entre os gestores?
5. Os relatórios gerenciais são publicizados a todos os interessados?
Fortalecimento da capacidade técnica das SES
152
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
1. O que você sabe sobre os projetos de fortalecimento da capacidade técnica das
SES?
2. A PNMAAB subsidiou as SES na elaboração dos Planos Estaduais para
fortalecimento das ações de M&A?
3. Os CC contratados têm reconhecida experiência em pesquisa na área de avaliação
ou áreas afins para subsidiar as ações de M&A das SES?
4. Os CC apresentaram propostas de trabalho condizentes com os pressupostos das
SES?
5. Que ações de M&A foram desenvolvidas pelas SES resultantes do projeto de
fortalecimento da capacidade técnica das SES?
6. As SES estão demandando/realizando estudos avaliativos de acordo com sua
necessidade?
AMQ
1. O que você acha do AMQ?
2. Os instrumentos elaborados são passíveis de utilização em todo território nacional?
3. Os gestores municipais/estaduais foram sensibilizados para a implantação do AMQ?
Que estratégias foram utilizadas?
4. O AMQ tem contribuído com os gestores na elaboração de planos de intervenção e
ações para melhoria da qualidade?
5. Houve algum treinamento específico para os profissionais das SES/SMS no
manuseio do sistema informatizado?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à SUSTENTABILIDADE:
1. Foram tomadas providências para estabilizar os recursos organizacionais (financeiros,
humanos, materiais, de treinamento) necessários às atividades de M&A?
Como isso aconteceu?
O que levou a isso? Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
2. A SES assumiu riscos para desenvolver as atividades de M&A?
153
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
Como isso aconteceu?
O que levou a isto?
Por quê?
3. As atividades de M&A foram adaptadas ao contexto local levando em consideração sua
efetividade e as necessidades da população?
4. O que você acha que tem sido feito para sustentabilidade da PNMAAB?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
1. As informações produzidas pelos processos avaliativos são utilizadas para a tomada
de decisão no MS e nas SES (redirecionamento de ações/readequação de
estratégia)?
2. Os processos avaliativos têm revelado os principais problemas/fragilidades do
PROESF?
3. Na sua opinião, os gestores estão preparados para utilizar os resultados das
avaliações realizadas?
4. Quais as principais conseqüências dos projetos e estratégias da PNMAAB nas SES
e MS?
5. Os processos avaliativos e/ou resultados das avaliações do PROESF são
divulgados? Como?
6. Que fatores poderiam tornar os formuladores de políticas (gestores, conselheiros...)
mais receptivos à avaliação?
7. Você considera que o MS e as SES hoje possuem uma cultura de avaliação?
8. Existe algo que o Sr. gostaria de falar sobre a PNMAAB e que não lhe foi
perguntado?
154
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO E– Roteiro de Entrevista
Conasems
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Entrevista Conasems
Nome:__________________________________________________________________
Idade:_____________________ Sexo:______________________________________
Tempo do exercício da função:_______________________________________________
Formação:_______________________________________________________________
Pós-graduação:___________________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
1. O que você conhece sobre os projetos de institucionalização da avaliação da AB?
2. Como o Ministério da Saúde vem atuando em relação à institucionalização da
Avaliação?
3. Ele envolveu os estados? De que forma?
4. Você acha que existe uma política de M&A da AB?
5. Você acha que houve investimento suficiente de recursos financeiros para
implantação da PNMAAB em comparação com os custos da PAB?
6. Em relação ao apoio em prol da institucionalização da AVAB, como você vê o apoio
do Conass? Conasems? Você acha que o Conass apóia a Institucionalização da
Avaliação?
Dinamização do Pacto
1. No âmbito do monitoramento, o processo do pacto da AB envolveu os gestores?
2. O Pacto está articulado aos instrumentos de programação da AB?
3. O processo de pactuação das metas e análise dos indicadores conta com a
participação efetiva das três instâncias de gestão do SUS?
4. O processo de pactuação das metas e análise dos indicadores da AB tem
incentivado o diálogo entre os gestores?
5. Os relatórios gerenciais são publicizados a todos os interessados?
Fortalecimento da capacidade técnica das SES
155
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
1. O que você sabe sobre os projetos de fortalecimento da capacidade técnica das
SES?
2. A PNMAAB subsidiou as SES na elaboração dos Planos Estaduais para
fortalecimento das ações de M&A?
3. Os CC contratados têm reconhecida experiência em pesquisa na área de avaliação
ou áreas afins para subsidiar as ações de M&A das SES?
4. Os CC apresentaram propostas de trabalho condizentes com os pressupostos das
SES?
5. Que ações de M&A foram desenvolvidas pelas SES resultantes do projeto de
fortalecimento da capacidade técnica das SES?
6. As SES estão demandando/realizando estudos avaliativos de acordo com sua
necessidade?
AMQ
1. O que você acha do AMQ?
2. Os instrumentos elaborados são passíveis de utilização em todo território nacional?
3. Os gestores municipais/estaduais foram sensibilizados para a implantação do AMQ?
Que estratégias foram utilizadas?
4. O AMQ tem contribuído com os gestores na elaboração de planos de intervenção e
ações para melhoria da qualidade?
5. Houve algum treinamento específico para os profissionais das SES/SMS no
manuseio do sistema informatizado?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à SUSTENTABILIDADE:
1. O que você acha que tem sido feito para sustentabilidade da PNMAAB?
2. Você acha que com o término dos recursos do PROESF o MS e as SES têm
condições de dar continuidade à PNMAAB?
3. Você acha que a DAB assumiu riscos ao investir recursos na PNMAAB?
4. A PNMAAB esta integrada a estrutura organizacional do MS?
156
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
1. As informações produzidas pelos processos avaliativos são utilizadas para a tomada
de decisão no MS e nas SES (redirecionamento de ações/readequação de
estratégia)?
2. Os processos avaliativos têm revelado os principais problemas/fragilidades do
PROESF?
3. Na sua opinião, os gestores estão preparados para utilizar os resultados das
avaliações realizadas?
4. Quais as principais conseqüências dos projetos e estratégias da PNMAAB nas SES
e MS?
5. Os processos avaliativos e/ou resultados das avaliações do PROESF são
divulgados? Como?
6. Que fatores poderiam tornar os formuladores de políticas (gestores, conselheiros...)
mais receptivos à avaliação?
7. Você considera que o MS e as SES hoje possuem uma cultura de avaliação?
8. Existe algo que o Sr. gostaria de falar sobre a PNMAAB e que não lhe foi
perguntado?
157
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO F– Roteiro de Entrevista Banco Mundial
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Entrevista Banco Mundial
Nome:_______________________________________________________________
Idade:_____________________ Sexo:_________________________________
Tempo do exercício da função:_____________________________________
Formação:__________________________________________________________
Pós-graduação:____________________________________________________
Qual a sua função no Banco Mundial ?
Há quanto tempo?
Qual foi a historia do Projeto de Fortalecimento do Monitoramento e Avaliação nas Secretarias
Estaduais? Como foi que ele nasceu?
Quem pensou na estratégia de implantação do Projeto?
O Sr(a). Participou da elaboração do projeto?
Por que o Banco Mundial decidiu investir no Projeto?
E em relação ao Projeto de Fortalecimento das SES em M&A, houve problema na implantação?
Se sim, foi feito algo para ajudar na superação destes problemas?
E o que facilitou a implantação do Projeto?
O projeto em si, ele tem mais gerado consenso ou conflitos?
E neste projeto, quais os atores mais interessados?
O Sr(a). acha que as SES tem capacidade para operacionalizar o projeto?
O que o Sr(a). acha de mais importante no Projeto, nos estados?
Então o que o Sr(a). considera os maiores problemas do Projeto de Fortalecimento?
E como o Sr(a). percebe a participação dos Centros Colaboradadores?
Numa escala de 1 a 10 que valor o Sr(a). diria que o projeto possui para o DAB?
E para a CAA/DAB?
E para o Banco Mundial em relação que valor teria este projeto em relação aos demais?
O Sr(a). percebe alguma restrição organizacional para dar continuidade ao projeto?
De forma geral quais são suas maiores expectativas em relação ao projeto?
158
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO G– Roteiro de Entrevista Coordenação/Gerência da Atenção Básica da
SES
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Coordenação/Gerência da Atenção Básica
Secretaria Estadual de Saúde
NOME:_______________________________________________________________
IDADE:_____________________ SEXO:_________________________________
TEMPO DO EXERCÍCIO DA FUNÇÃO:_____________________________________
FORMAÇÃO:__________________________________________________________
PÓS-GRADUAÇÃO:____________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
Gestão do M&A 1
1.Como são divididas as atividades de M&A entre os integrantes da equipe da
política da AB?
Estrutura Geral
2.Há recurso específico destinado às atividades de M&A no orçamento da Atenção
Básica? Quanto? Qual a fonte destes recursos?
3.Se sim, o orçamento é adequado às necessidades das atividades de M&A?
4.São pensadas estratégias de reserva orçamentária?
5.Há uma equipe formalizada na SES para o desenvolvimento das ações de M&A?
Há quanto tempo?
6.Quantas pessoas compõem esta equipe?
7.Qual o tipo de vínculo das pessoas que compõem o núcleo de M&A da SES?
8.Há estrutura física na AB específica para as ações de M&A?
9.Há equipamentos/insumos suficientes/adequados para a realização das atividades
de M&A?
11.Há manutenção periódica dos equipamentos existentes?
159
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
Aperfeiçoamento do SIAB
12. O novo SIAB foi implantado na AB da SES?
13. Se sim, a SES contou com a estrutura necessária para a implantação do novo
SIAB (equipamentos de informática, software, pessoal qualificado)? O que faltou?
14. Os técnicos foram capacitados para manusear o novo sistema?
15. Os novos indicadores do SIAB estão sendo utilizados, no sentido de viabilizar o
processo de M&A da Atenção Básica, e não só do PACS/PSF?
16. Que estratégias a SES está utilizando para análise dos dados do novo SIAB?
Dinamização do Pacto
17. O processo de pactuação das metas e análise dos indicadores conta com a
participação efetiva das três instâncias de gestão do SUS?
18. O processo de pactuação das metas e análise dos indicadores da AB tem
incentivado o diálogo entre os gestores?
19. Qual a estratégia utilizada para o envolvimento dos atores?
20. A pactuação das metas tem sido um processo crítico-reflexivo dos gestores?
21. Qual o método utilizado para a análise dos dados?
22. O pacto da AB está articulado com outros instrumentos de programação e
pactuação? Quais?
23. Os relatórios gerenciais são publicizados a todos os interessados? De que
forma?
Monitoramento do Componente I do PROESF
24. Foram criadas estratégias para sensibilização dos gestores para o M&A do
Proesf? Quais?
25. Foi definido cronograma de acompanhamento dos municípios?
26. Foi estabelecida uma metodologia de análise dos indicadores do componente I
do PROESF? Qual?
27. Os gestores foram incentivados a implementarem ações com vistas a alcançar
os indicadores do PROESF?
28. Foram realizadas visitas in loco para verificação do desempenho das ações
desenvolvidas no PROESF?
29. Os relatórios gerenciais têm sido disponibilizados aos gestores? Qual a
periodicidade?
160
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
30. Os relatórios de monitoramento têm subsidiado o processo de gestão por
resultados nas 3 esferas de governo?
Construção do MonitorAB
31 O monitorAB foi implantado?
32 A SES utiliza este sistema? De que forma?
31. A SES acompanham a utilização deste sistema pelos municípios? De que forma?
32. Os dados estão sendo editados anualmente pela SES?
33. O banco de dados do monitorAB subsidia a elaboração de algum documento
(relatório, informe, boletim) da AB?
Estudos de Linha de Base
34. Houve envolvimento das SES nos ELB? De que forma?
35. Quantos e quais municípios foram selecionados para os ELB?
36. Os diversos atores envolvidos dos municípios e estados foram incentivados a
participarem dos ELB?
37. Foram desenvolvidas metodologias de análise das práticas do PSF considerando
as especificidades regionais
38. As diferentes metodologias adotadas foram socializadas entre os grupos
participantes do estudo?
39. Os resultados parciais da pesquisa foram compartilhados com as SES? De que
forma?
40. Os resultados das pesquisas estão subsidiando a atenção e a gestão da AB? De
que forma?
41. Houve apropriação dos métodos utilizados pela SES?
AMQ
42. Foram estabelecidos padrões de qualidade para a Estratégia Saúde da
Família?
43. Foram desenvolvidos instrumentos de auto-avaliação do PSF?
44. Os instrumentos elaborados são passíveis de utilização em todo território
nacional?
45. As SES utilizam estes instrumentos? Quais?
46. Como está o processo de implantação do AMQ na SES (adesão dos
municípios, contribuição do AMQ para as SES e municípios, dificuldades do
processo de implantação)?
47. Quantos municípios estão cadastrados no AMQ?
48. Quantas ESF estão cadastradas no AMQ?
161
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
49. Quantas ESF atualizam periodicamente seus dados?
50. Os gestores municipais foram sensibilizados para a implantação do AMQ?
Que estratégias foram utilizadas?
51. O AMQ tem contribuído com os gestores na elaboração de planos de
intervenção e ações para melhoria da qualidade?
52. Houve algum treinamento específico para os profissionais das SMS no
manuseio do sistema informatizado?
Análise de indicadores
53. A SES tomou conhecimento do estudo realizado pela CAA sobre a análise dos
indicadores de saúde segundo grau de cobertura do PSF? De que forma?
Fortalecimento da capacidade técnica das SES
54. Que experiências a SES teve em atividades de M&A antes da implantação da
PNMAAB? E depois?
55. Foram desenvolvidas metodologias nas SES para fomentar o processo de
M&A?
56. Foram capacitados profissionais das SES em M&A? Quantos?
57. Quantos técnicos envolvidos com as ações de M&A são do quadro da SES?
58. A PNMAAB subsidiou as SES na elaboração dos Planos Estaduais para
fortalecimento das ações de M&A?
59. Outros setores das SES, além da AB, foram envolvidos no processo? De que
forma se deu este envolvimento?
60. Que ações de M&A foram desenvolvidas pelas SES resultantes do projeto de
fortalecimento da capacidade técnica das SES?
61. As SES estão demandando/realizando estudos avaliativos de acordo com sua
necessidade?
62. A equipe técnica da AB possui habilidades desenvolvidas para a coleta e
análise dos dados de M&A?
63. As fontes de coleta das informações são confiáveis?
64. De que forma é feita a retroalimentação das informações para as áreas que
subsidiam a política da AB?
Gestão do M&A 2
65. Como é realizado o acompanhamento das atividades de M&A?
162
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
Comunicação em eventos técnicos e científicos
66. Há publicação das ações, projetos, estratégias de M&A e seus resultados? Quais?
De que forma (impressa, congressos, conferencias, cursos, seminários, reuniões
técnicas)?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à SUSTENTABILIDADE:
1. Foram tomadas providências para estabilizar os recursos organizacionais (financeiros,
humanos, materiais, de treinamento) necessários às atividades de M&A?
Como isso aconteceu?
O que levou a isso? Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
2. A SES assumiu riscos para desenvolver as atividades de M&A?
Como isso aconteceu?
O que levou a isto?
Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Quais foram as conseqüências?
3. As pessoas envolvidas foram incentivadas para desempenhar as atividades de M&A?
Como isso aconteceu?
O que levou a este evento?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Quais foram as conseqüências?
163
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
4. As atividades de M&A foram adaptadas ao contexto local levando em consideração sua
efetividade e as necessidades da população?
Como isso aconteceu?
5. Os objetivos da SES são levados em conta no desenho do M&A?
Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Que estratégias foram usadas?
Com que efeitos?
Quais foram as conseqüências?
6. Há comunicação transparente entre as pessoas envolvidas (cite-as)?
Como isso aconteceu?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Com que efeitos?
7. Compartilham-se valores (artefatos, mitos, símbolos, rituais, linguagens, valores) entre a
SES e o M&A?
Como isso aconteceu? O que levou a isso?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Com que efeitos?
8. As regras existentes para o desenvolvimento das atividades da SES são integradas às
regras do M&A ou vice-versa?
Como isso acontece?
O que levou a este evento?
Por que?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
9. Os recursos (financeiros, humanos, materiais e treinamento) disponibilizados pela SES
para realizar as atividades de M&A são adequados?
164
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
Por quê?
10. As práticas e técnicas usadas nas atividades de M&A são compatíveis com aquelas da
SES ?
Como isso acontece?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
1. Os processos avaliativos desenvolvidos até o momento (ELB, Fortalecimento das SES,
capacitação, AMQ) trouxeram benefícios para a SES?
2. Os processos avaliativos desenvolvidos até o momento (ELB, Fortalecimento das SES,
capacitação, AMQ) provocaram mudanças na SES?
3. As prioridades para investimento na Atenção Básica são definidas, levando em
consideração as informações de M&A? Exemplifique.
4. Houve mudança de estratégias de ação na SES causadas pelas informações
produzidas pelas ações de M&A? Exemplifique
5. Os resultados das ações de M&A têm tido, na prática, relevância na tomada de decisão
da organização?
6. As ações de M&A têm respondido aos principais questionamentos dos membros da
organização e sanado suas preocupações?
7. A avaliação revelou a existência/extensão de problemas/fragilidades em algum
programa da atenção básica?
8. Você percebe correlação entre a política de AB e os resultados da avaliação nesta
área?
9. Houve preparo para os gestores das SES (receberam treinamento, sensibilização) para
absorver resultados das avaliações? Qual?
10. No processo de formulação da política da AB como um todo, que tipos de avaliação
provaram ser as mais úteis?
165
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO H– Roteiro de Entrevista Gabinete da SES
Roteiro de Entrevista para avaliação da implantação, uso e sustentabilidade da
PNMAAB
Representante do Gabinete da Secretaria Estadual de Saúde
Nome:_______________________________________________________________
Idade:_____________________ Sexo:_________________________________
Formação:__________________________________________________________
Pós-graduação:____________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
Pacto de Indicadores:
9. O processo de pactuação das metas e análise dos indicadores conta com a
participação efetiva da SES? Como se dá esta participação?
10. O processo de pactuação das metas e análise dos indicadores da AB tem
incentivado o diálogo entre os gestores?
11. O pacto da AB está articulado com outros instrumentos de programação e
pactuação? Quais?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à SUSTENTABILIDADE:
1) Que estratégias são utilizadas pela AB para mobilizar recursos financeiros para as
atividades de M&A? São pensadas estratégias de reserva orçamentária para as ações de
M&A?
O que levou a isto?
Por quê?
2) A SES assumiu riscos para desenvolvimento das ações de M&A?
Como isso aconteceu?
O que levou a isto?
Por quê?
O que foi particularmente positivo ou negativo em relação às atividades de M&A?
166
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
Como as partes envolvidas se sentiram a respeito?
Como as partes interessadas reagiram?
Quais foram as conseqüências?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
1. Na sua opinião, até que ponto a implementação da política de atenção básica
resultou em ganhos concretos em relação à saúde, equidade e benefícios
econômicos e sociais?
2. De que forma os resultados das avaliações chegam aos atores interessados?
3. Que nível de correlação você percebe entre a política de AB/ saúde e os resultados
da avaliação nesta área?
4. A avaliação da atenção básica se concentrou nos aspectos mais críticos
da política
estadual de saúde?
5. Os resultados da avaliação da atenção básica ajudaram a escolher o melhor
caminho para implementar a política de atenção básica desta secretaria e serviram
de base para qualquer tomada de decisão no seu processo de implementação?
6. Os resultados das avaliações da atenção básica foram tão decisivos que
estimularam redirecionamento e/ou inserção de novas ações na SES?
7. Uma vez formulada a política de atenção básica de saúde do estado/do governo
federal, os resultados das avaliações ajudaram na divulgação da política ou para
apoiá-la em termos de recursos financeiros, comprometimento político e opinião
pública?
8. Foram propostos estudos/pesquisas de avaliação, de acordo com interesse do
gabinete?
9. Os serviços prestados pela avaliação da AB correspondem às necessidades dos
demandantes e aos recursos investidos?
10. Qual foi o preparo que os gestores das SES receberam (treinamento, sensibilização)
para absorver resultados das avaliações?
11. No processo de formulação da política como um todo, que tipos de avaliação
provaram ser as mais úteis?
12. Quais fatores, na sua opinião, poderiam tornar os formuladores de políticas
(gestores, conselheiros...) mais receptivos à avaliação?
13. O gestor acha que hoje sua equipe tem mais habilidade e competência para coleta e
análise de dados?
14.
Considera que hoje existe uma cultura de avaliação na AB?
167
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO I– Roteiro de Entrevista com coordenador ou técnico de um programa da AB
que foi avaliado da SES
Roteiro de Entrevista para avaliação da implantação e uso da PNMAAB
Coordenador ou técnico de um programa da AB que foi avaliado / Secretaria
Estadual de Saúde
Nome:_______________________________________________________________
Idade:_____________________ Sexo:_________________________________
Tempo do exercício da função:_____________________________________
Formação:__________________________________________________________
Pós-graduação:____________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
1. Como tem se dado a sua participação na avaliação da AB?
2. Foram propostos estudos/pesquisas de avaliação, de acordo com interesse da
gerência?
3. Em que momentos da implementação do M&A, os interessados externos têm
participação?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
4. Como acontece o processo de disseminação e uso dos resultados das pesquisas
financiadas?
5. Os processos avaliativos desenvolvidos até o momento (ELB, Fortalecimento das
SES, capacitação, AMQ) trouxeram benefícios para a sua coordenação?
6. As prioridades para investimento no seu setor, levam em consideração as
informações de M&A? Exemplifique.
7. Houve mudança de estratégias de ação no seu setor causadas pelas informações
produzidas pelas ações de M&A? Exemplifique
168
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
8. Os resultados das ações de M&A têm tido, na prática, relevância na tomada de
decisão no seu setor?
9. As ações de M&A têm respondido aos principais questionamentos do seu setor e
sanado suas preocupações?
10. A avaliação revelou a existência/extensão de um problema em alguma intervenção
do seu setor?
11. As informações trabalhadas primam pela credibilidade dos julgamentos das
intervenções? Como?
12. Você percebe correlação entre a política de AB e os resultados da avaliação nesta
área?
13. Houve preparo para os gestores das SES (receberam treinamento, sensibilização)
para absorver resultados das avaliações? Qual?
14. No processo de formulação da política como um todo, que tipos de avaliação
provaram ser as mais úteis?
15. Considera que hoje existe uma cultura de avaliação na AB?
169
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO J– Roteiro de Entrevista com técnico representante de uma Política com
interface com a Atenção Básica/SES
Roteiro de Entrevista para avaliação da implantação e uso da PNMAAB
Técnico representante de uma política com interface com a Atenção Básica /
Secretaria Estadual de Saúde
Nome:_______________________________________________________________
Idade:_____________________ Sexo:_________________________________
Tempo do exercício da função:_____________________________________
Formação:__________________________________________________________
Pós-graduação:____________________________________________________
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados à IMPLANTAÇÃO:
1. Como tem se dado a sua participação na avaliação da AB?
2. Foram propostos estudos/pesquisas de avaliação, de acordo com interesse da
gerência?
3. Em que momentos da implementação do M&A, os interessados externos têm
participação?
Em relação ao Monitoramento de Avaliação da AB considere os seguintes eventos
relacionados ao USO/INFLUÊNCIA:
4. Como acontece o processo de disseminação e uso dos resultados das pesquisas
financiadas?
5. Os processos avaliativos desenvolvidos até o momento (ELB, Fortalecimento das
SES, capacitação, AMQ) trouxeram benefícios para a sua coordenação?
6. As prioridades para investimento no seu setor, levam em consideração as
informações de M&A? Exemplifique.
7. Houve mudança de estratégias de ação no seu setor causadas pelas informações
produzidas pelas ações de M&A? Exemplifique
170
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
8. Os resultados das ações de M&A têm tido, na prática, relevância na tomada de
decisão no seu setor?
9. As ações de M&A têm respondido aos principais questionamentos do seu setor e
sanado suas preocupações?
10. A avaliação revelou a existência/extensão de um problema em alguma intervenção
do seu setor?
11. As informações trabalhadas primam pela credibilidade dos julgamentos das
intervenções? Como?
12. Você percebe correlação entre a política de AB e os resultados da avaliação nesta
área?
13. Houve preparo para os gestores das SES (receberam treinamento, sensibilização)
para absorver resultados das avaliações? Qual?
14. No processo de formulação da política como um todo, que tipos de avaliação
provaram ser as mais úteis?
15. Considera que hoje existe uma cultura de avaliação na AB?
171
FELISBERTO, E. Análise da implantação e da sustentabilidade da Política Nacional de Monitoramento e Avaliação – Anexos
__________________________________________________________________________________________________________
ANEXO L – Parecer do Comitê de Ética
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
