ads:
FUNDAÇÃO EDUCACIONAL E CULTURAL DR. PEDRO LEOPOLDO
MESTRADO PROFISSIONAL EM ADMINISTRAÇÃO
GLAUCIANE DA PIEDADE RODRIGUES
AVALIAÇÃO EX-POST EM PROJETOS DE PESQUISA
PEDRO LEOPOLDO - MG
2008
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
GLAUCIANE DA PIEDADE RODRIGUES
AVALIAÇÃO EX-POST EM PROJETOS DE PESQUISA
Dissertação apresentada como requisito parcial à
obtenção do grau de Mestre, Curso de Mestrado
Profissional em Administração da Fundação
Educacional e Cultural Dr. Pedro Leopoldo.
Orientadora: Profª Drª Adelaide Maria Coelho Baeta.
PEDRO LEOPOLDO
2008
ads:
2
DEDICATÓRIA
A realização deste sonho não foi concretizada em apenas um dia, nem somente
por uma pessoa; deve-se, principalmente, a todos aqueles que contribuíram
imensamente para a constituição de minha história.
Dedico este trabalho especialmente:
A Deus, fonte contínua de inspiração e apoio em minha caminhada.
À minha família, que muito me orgulha e que com seu amor incondicional sempre
me incentiva a crescer e desenvolver, através do estudo.
Aos meus amigos e mestres, que sempre se mostraram parceiros e fiéis, nos
bons e maus momentos, ensinando-me a cada dia o valor da palavra amizade.
3
AGRADECIMENTOS
Um agradecimento mais que especial a uma pessoa que aprendi a admirar muito
nos últimos dois anos, minha orientadora Profa. Dra. Adelaide Maria Coelho
Baeta. Muito obrigada por ter acreditado em mim desde o início e por auxiliar-me
a explorar um campo novo, motivando-me e auxiliando-me a superar minhas
limitações.
Aos estimados professores que participaram de minha banca
: Dr. Luís Aureliano,
Dra. Elisa Rocha e Dra. Patrícia Vidal, que muito me auxiliaram com suas
sugestões de melhoria e ensinamentos.
A toda equipe de apoio e professores do Mestrado Profissional em Administração
da Fundação Educacional e Cultural Dr. Pedro Leopoldo, instituição que
contribuiu de maneira fundamental para a minha história acadêmica.
Aos colegas do mestrado, exemplos de determinação e principalmente muito
empenho, para superarmos todos os desafios.
À minha amiga Elizabeth Adão, que me auxiliou na revisão gramatical deste
texto.
À FAPEMIG, pelo apoio financeiro e suporte oferecidos para realização das
pesquisas.
E um agradecimento especial a todas as pessoas que participaram das
entrevistas, grandes exemplos de dedicação e coragem para superar os
desafios, confiando no meu trabalho.
4
“Não
se gerencia o que não se mede,
não se mede o que não se define,
não se define o que não se entende,
não há sucesso no que não se gerencia”.
William E. Deming
5
RESUMO
O objetivo deste trabalho é analisar as práticas de avaliação adotadas nas
Fundações de Amparo à Pesquisa no Brasil. A área de Ciência e Tecnologia tem
recebido atenção especial nos últimos anos. Ao perceber a pesquisa como um
fator indutor da ação inovadora nas empresas, o governo aumentou o
investimento nesta área. Com isto, as agências financiadoras das atividades de
pesquisa e desenvolvimento buscam novas formas de avaliar os investimentos
realizados e oferecer respostas à sociedade acerca dos benefícios diretamente
proporcionados. A pesquisa utilizou a metodologia de estudo de casos múltiplos
envolvendo três Fundações. Para a coleta de dados, foram realizadas entrevistas
semi-estruturadas, com pessoas ligadas às atividades de avaliação de resultados
de projetos, além da análise de registros. As principais conclusões mostram que
estas instituições realizam a avaliação ex-post por meio da análise do Relatório
Técnico-Científico Final. Apresentam como resultados, indicadores de insumos e
de produtos. Os impactos de inovação e sociais das pesquisas ainda não são
mensurados. Verifica-se a dificuldade de criar indicadores para este tipo de
avaliação e a necessidade de desenvolver teorias e competências nesta área.
Palavras-Chave: Projetos de P&D, Fundações de Amparo à Pesquisa, Avaliação
ex-post, indicadores de resultados.
6
ABSTRACT
The aim of this work is to analyse the assessment practices adopted by the
Research Support Foundations in Brazil. The Science and Technology sector
received special attention in the past fews years. Identifying research as a
fosterer of corporate innovation actions, the government increased the level of
investments in the field. The result was that the fund providers for the activities of
research and development have been seeking new forms of assessing the
investments made and of offering answers to the questions proposed by the
society about the direct benefits of reseach activities. This survey used the
multiple case study methodology involving three Research Support Foundations.
Semi-structured interviews with people linked to the activities of project results
evaluation and an analysis of records were used for data collection. The main
conclusions show that those institutions perform ex-post evaluations though the
analysis of the final technical-scientific report. The results found were input and
product indicator. The social and innovative impacts of the research have not yet
been measured. The work also points to the difficulty to create indicators for this
type of assessment and the need to develop theories and competencies in this
area.
Key words
: R&D projects, Research Support Foundations, ex-post assessment,
result indicators.
7
SUMÁRIO
ILUSTRAÇÕES..................................................................................................... 9
ABREVIATURAS E SIGLAS .............................................................................. 10
1 - INTRODUÇÃO............................................................................................... 11
1.1 Objetivos ................................................................................................... 14
1.1.1 Objetivo Geral...................................................................................... 14
1.1.2 Objetivos Específicos .......................................................................... 14
1.2 Relevância do Estudo................................................................................ 15
2 – REFERENCIAL TEÓRICO............................................................................ 17
2.1 Ciência, Tecnologia e Inovação: Conceitos e Tendências ........................ 18
2.2 A Política de C,T&I no Brasil e seus Desafios........................................... 24
2.3 As Fundações de Amparo à Pesquisa (FAP) ............................................ 32
2.4 Avaliação em Projetos de Pesquisa .......................................................... 35
2.4.1 Avaliação Ex-Post em Projetos de Pesquisa....................................... 39
2.4.2 Indicadores de Avaliação de Projetos de Pesquisa............................. 48
3 – METODOLOGIA ........................................................................................... 59
3.1 Classificação da pesquisa ......................................................................... 60
3.2 Coleta de dados ........................................................................................ 61
3.3 Técnica de análise dos dados ................................................................... 64
3.4 Limitações do Método ............................................................................... 65
4 – DESCRIÇÃO DOS CASOS .......................................................................... 66
4.1 FAP A ....................................................................................................... 66
4.1.1 Caracterização da Fundação................................................................ 66
4.1.2 A FAP A e a Avaliação Ex-Post............................................................ 68
4.1.3 Métodos e Práticas de Avaliação Ex-Post........................................... 69
4.1.4 - Indicadores Utilizados ........................................................................ 73
4.1.5 Considerações sobre o Caso ............................................................... 76
4.2 FAP B ....................................................................................................... 81
4.2.1 Caracterização da Fundação................................................................ 81
4.2.2 Métodos e Práticas de Avaliação Ex-Post............................................ 83
8
4.2.3 Indicadores Utilizados .......................................................................... 85
4.2.4 Considerações sobre o caso ................................................................ 87
4.3 FAP C....................................................................................................... 90
4.3.1 Caracterização da Fundação................................................................ 90
4.3.2 Métodos e Práticas de Avaliação Ex-Post............................................ 91
4.3.3 Indicadores Utilizados .......................................................................... 94
4.3.4 Considerações sobre o Caso ............................................................... 96
5 – ANÁLISE COMPARATIVA DOS CASOS..................................................... 99
6 – CONSIDERAÇÕES FINAIS ........................................................................ 108
REFERÊNCIAS................................................................................................. 113
APÊNDICES ..................................................................................................... 119
9
ILUSTRAÇÕES
FIGURA 01 –
Método de estudo de caso .............................................. 59
GRÁFICO 01 – Pedidos e concessões de patentes
depositados no INPI ........................................................ 27
GRÁFICO 02 – Distribuição percentual dos dispêndios dos
governos estaduais aplicados em C&T ........................... 30
QUADRO 01 – Fundos Setoriais em C&T ................................................ 26
QUADRO 02 – Ano de implantação das FAP´s ........................................ 33
QUADRO 03
– Indicadores propostos para avaliação de
resultados de projetos do PAPPE .................................... 55
QUADRO 04
– Aspectos de indicadores de resultados de C&T ............... 57
QUADRO 05 – Características institucionais e da avaliação
ex-post em três FAP´s ..................................................... 104
QUADRO 06 – Indicadores utilizados por três FAP´s ............................... 107
10
ABREVIATURAS E SIGLAS
ABNT - Associação Brasileira de Normas Técnicas.
C&T - Ciência e Tecnologia.
C,T&I - Ciência, Tecnologia e Inovação.
CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior.
CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico.
CYTED - Programa Iberoamericano de Ciência e Tecnologia para o
Desenvolvimento.
DAV - Departamento de Avaliação.
FAP - Fundação de Amparo à Pesquisa.
FINEP - Financiadora de Estudos e Projetos.
FNDCT - Fundo Nacional de Desenvolvimento Científico e Tecnológico.
GPI - Gerência de Propriedade Intelectual.
ICT - Instituições de Ciência e Tecnologia
INPI – Instituto Nacional de Propriedade Industrial.
MCT - Ministério da Ciência e Tecnologia.
OCDE - Organização de Cooperação para o Desenvolvimento Econômico.
OEA - Organização dos Estados Americanos.
P&D - Pesquisa e Desenvolvimento.
PAPPE - Programa de Apoio à Pesquisa em Empresas.
PI - Propriedade Intelectual.
PIB - Produto Interno Bruto.
PPSUS - Projetos de Pesquisa e Desenvolvimento Tecnológico Prioritários
para o Sistema Único de Saúde.
RICYT - Rede Iberoamericana de Indicadores de Ciência e Tecnologia.
RP - Relatório Parcial.
RTF - Relatório Técnico Final.
SEBRAE - Serviço Brasileiro de Apoio às Micro e Pequenas Empresas.
UNICEF - Fundo das Nações Unidas para a Infância.
11
1 - INTRODUÇÃO
Um contexto de mudanças constantes vem marcando o mundo globalizado de
hoje. O que é produzido em um país pode ser comercializado em outro e isto tem
levado os governos a se preocuparem com a competitividade das empresas.
Políticas são criadas e medidas são tomadas com o objetivo de proteger e
fortalecer as empresas para concorrerem no mercado internacional.
Este novo cenário provoca uma reavaliação das políticas públicas, principalmente
nos países em desenvolvimento, que têm que se preocupar com os quesitos
básicos sociais. Estes passam a buscar meios de se organizarem e se
prepararem para o futuro tendo em vista as conseqüências desse contexto.
Cresce então a busca pelo conhecimento e pela inovação, ou seja, aumenta o
investimento em Ciência, Tecnologia e Inovação – C,T&I. São criadas instituições
e mecanismos financeiros que compõem o Sistema de Ciência e Tecnologia, que
tem como responsabilidade estabelecer políticas e programas voltados para o
desenvolvimento econômico, social e científico dos países.
Segundo Zouain (2001), a eficácia das políticas de Ciência e Tecnologia - C&T
está relacionada com a capacidade dos setores industriais fazerem face às
exigências de competitividade e inovação. Isso supõe a criação de uma infra-
estrutura de pesquisas e a ligação destas com o setor produtivo.
A capacidade de inovar é um fator estratégico no progresso das nações. O
processo de competição entre as empresas, segundo Liberal (2005), envolve
uma disputa de liderança tecnológica, em que a criação e manutenção de
produtos e serviços são fatores determinantes. O crescimento das empresas e
conseqüentemente dos países resulta, diretamente, da sua capacidade de
inovação tecnológica.
A inovação tecnológica é uma conseqüência do acúmulo de conhecimento que é
conseguido através das pesquisas cuja promoção constitui um desafio para os
Sistemas de C&T dos países em desenvolvimento.
12
O sistema de Ciência e Tecnologia (C&T) brasileiro é formado por
agentes do setor industrial e empresarial, do sistema educacional e
financeiro. Os agentes financeiros mais importantes são as instituições
públicas nacionais e estaduais. Em nível estadual, há as Fundações
Estaduais de Amparo à Pesquisa (FAP´s), agentes que financiam
projetos de pesquisa de instituições públicas e privadas na área de C&T
e artes (HERRLEIN, 2001, p. 01).
As Fundações de Amparo à Pesquisa (FAP´s) correspondem às agências
estaduais de fomento à pesquisa. Pertencem à administração indireta e exercem
o papel do governo na área de Ciência e Tecnologia e Inovação. Têm como
objetivo incentivar a partilha de conhecimento na sociedade, buscando o bem
estar social, o desenvolvimento econômico e benefícios em termos de
arrecadação do Estado (PEIXOTO, 2005).
Como o setor de Ciência e Tecnologia vem crescendo consideravelmente nos
últimos anos, também os investimentos em pesquisa tiveram um aumento
notável. Isto faz com que as instituições que compõem o Sistema de C&T
busquem formas de gerir melhor os recursos aplicados. As organizações
responsáveis pelo apoio à pesquisa científica, de uma maneira geral, têm se
mostrado interessadas em avaliar suas políticas de financiamentos em C&T, e
assim justificar suas decisões.
Como afirma Francisco (2002), a cobrança da sociedade em relação aos
investimentos públicos feitos em C&T está fazendo com que sejam incorporadas
novas formas de informar ao público o que vem sendo desenvolvido.
Com isto, tem aumentado o interesse da administração pública em processos e
sistemas eficientes de avaliação de resultados de projetos e programas. Além da
transparência, este sistema deve servir também, e principalmente, como uma
ferramenta gerencial, que permita correções e ajustes nas políticas de
investimento. Segundo MacLean et al.
1
(1998, citado por FRANCISCO, 2002), os
objetivos desta avaliação devem ser: primeiro assegurar que os recursos
1
MACLEAN, M.; DAVIES, C.; LEWISON, G.; ANDERSON, J.. Evaluating the
research activity and impact of funding agencies.
Research Evaluation
. Vol. 7,
número 1, pg. 7-16. Abril, 1998.
13
financeiros limitados sejam bem gastos e, segundo, apresentar estes
investimentos ao público, de forma transparente.
Neste processo de busca por resultados, encontram-se também as FAP´s. Estas
têm investido na realização de estudos com vistas a criar sistemas de avaliação
de resultados dos programas e projetos apoiados.
Tradicionalmente, estas Fundações vinham apresentando a destinação dos
recursos sem indicar os benefícios sócio-econômicos proporcionados. Um
sistema de avaliação ex-post, ou de resultados, poderá fornecer respostas que
justifiquem não somente os recursos financeiros empregados, mas também as
escolhas feitas, as áreas científicas de maior potencial ou regiões mais carentes
de desenvolvimento científico e tecnológico (FRANCISCO, 2002).
Dentro deste contexto, busca-se uma análise crítica da metodologia utilizada
pelas FAP´s na condução da avaliação de resultados dos projetos de pesquisa
apoiados.
14
1.1 Objetivos
1.1.1 Objetivo Geral
Identificar como é realizada a avaliação de resultados (ex-post) dos projetos de
pesquisa apoiados pelas Fundações de Amparo à Pesquisa – FAP´S.
1.1.2 Objetivos Específicos
• Verificar quais os principais procedimentos, métodos e instrumentos utilizados
na avaliação de resultado dos projetos apoiados em cada uma das
instituições pesquisadas;
• Identificar quais indicadores foram considerados na escolha destas técnicas e
os principais critérios utilizados na escolha desses indicadores;
• Fazer uma análise comparativa dos casos, apontando os métodos mais
utilizados pelas FAP´s para avaliar o resultado dos projetos apoiados.
15
1.2 Relevância do Estudo
O desenvolvimento científico e tecnológico é considerado como um meio de
solucionar as carências geradas pelas transformações que marcam a sociedade,
o que aponta a necessidade de modernização dos métodos adotados pelas
entidades que atuam neste setor (MENCARINI, 2005).
Como os investimentos em pesquisa são necessários para a capacitação do país
e, como os recursos públicos destinados à pesquisa estão cada vez mais
disputados, a avaliação de projetos promove vários benefícios, ajuda a manter e
até a aumentar esses recursos, uma vez que são identificados os resultados
trazidos por estes investimentos (HERRLEIN, 2001).
Além disto, permite gerar informações que podem ser transmitidas à sociedade
acerca dos processos de decisão envolvendo recursos públicos. Schwartzman
(2002), afirma que os procedimentos para avaliação em C&T são freqüentemente
desconhecidos ou ignorados em instituições dominadas por culturas burocráticas,
políticas ou empresariais, impossibilitando a clareza e consistência a respeito da
efetividade da pesquisa desenvolvida no País.
Como regra geral, as FAP´s vinham registrando somente a destinação dos
recursos, sem indicar os benefícios sócio-econômicos proporcionados, limitando-
se a apresentar o volume de recursos investidos em cada projeto, o número de
bolsas concedidas e, eventualmente, a produção bibliográfica.
Percebe-se que algumas FAP´s já têm iniciado estudos sobre a avaliação de
resultados de projetos de pesquisa e criação de indicadores, mas estas
informações ainda são muito superficiais. Diante disso, este trabalho visa
identificar as práticas de avaliação mais utilizadas em três FAP´s atuantes no
Brasil.
Os resultados deste estudo permitirão que outros órgãos de fomento, inclusive
aquelas agências emergentes, possam usufruir de informações importantes para
16
alavancar o processo de avaliação ex-post dos projetos, encurtando o caminho
percorrido por aquelas que fazem parte da amostra do trabalho.
As FAP´s estudadas terão a oportunidade de fazer uma comparação dos seus
processos de avaliação confirmando sua efetividade e/ou identificando novos
métodos mais eficazes.
Poderão ser identificadas as principais dificuldades encontradas na criação e
implementação de um sistema de avaliação de resultados de projetos,
contribuindo para o desenvolvimento de futuros trabalhos nesta área, o que
mostra a flexibilidade da proposta. Assim sendo, o estudo também se justifica
pela contribuição que oferece ao conhecimento do tema.
Para o Sistema de Ciência e Tecnologia brasileiro, esta pesquisa se torna
relevante para que se identifique como as FAP´s vêm atuando em termos de
compromisso com o resultado da pesquisa, apresentando informações sobre
práticas a serem divulgadas entre as instituições de Pesquisa e Desenvolvimento
(P&D) do Brasil.
O Ministério da Ciência e Tecnologia tem como objetivo reduzir as disparidades
regionais através do compartilhamento de esforços para o desenvolvimento da
pesquisa e para a promoção da inovação, observadas as especificidades de
cada região. Para isto é necessário desenvolver e implementar mecanismos
eficientes de comunicação dos resultados, ações e atividades de CT&I para os
diversos segmentos da sociedade (BRASIL, 2002).
Com base nas questões apresentadas, verifica-se a relevância deste estudo para
o Sistema de Ciência e Tecnologia brasileiro e mais especificamente para as
FAP´s que têm a responsabilidade de gerir os recursos repassados para o apoio
à pesquisa assumindo o compromisso com o resultado.
17
2 – REFERENCIAL TEÓRICO
Com o intuito de elevar a qualidade na estruturação do trabalho e no nível de
análise dos dados coletados, foram revisados os trabalhos de vários autores
buscando-se, tanto quanto possível, a completude neste aspecto.
O referencial teórico foi dividido em quatro partes compostas da seguinte forma:
primeiramente foi feita uma apresentação geral do tema Ciência e Tecnologia,
abordando os conceitos e as tendências para este setor. Foca-se, a seguir, o
caso do Brasil, os desafios e as diretrizes emergentes desse processo global.
Percebe-se então, neste contexto, a importância da pesquisa e da inovação para
o desenvolvimento econômico de um país.
As principais abordagens utilizadas na construção destes textos foram retiradas
do Manual de Oslo, do Livro Branco e do site do Ministério da Ciência e
Tecnologia. Estes podem ser considerados como referência no que diz respeito à
Ciência, Tecnologia e Inovação.
Segundo a OCDE - Organização de Cooperação para o Desenvolvimento
Econômico - (2005), as referências usuais sobre inovação têm como base o
Manual de Oslo. Elaborado conjuntamente pela OCDE e o Eurostat - Gabinete de
Estatísticas da União Européia, é baseado em um consenso de opiniões sobre a
demanda de indicadores de inovação e as necessidades fundamentais de
políticas públicas. O estudo baseia-se também na teoria econômica, abordando
as definições e a abrangência da inovação e as lições a serem aprendidas a
partir de outras pesquisas.
O Eurostat é uma organização estatística que produz dados para a União
Européia e promove a harmonização dos métodos estatísticos entre os Estados
membros. A OCDE (ou OECD Organization for Economic Co-operation and
Development) é uma organização internacional dos países desenvolvidos e
industrializados que adota princípios da democracia representativa e da
economia de livre mercado.
18
O Manual foi escrito para e por especialistas de cerca de 30 países. Apesar da
complexidade deste processo, tem como objetivo orientar e padronizar conceitos,
metodologias e construção de estatísticas e indicadores de pesquisa de P&D de
países industrializados (OCDE, 2005).
O Ministério da Ciência e Tecnologia (MCT), foi criado em 1985, cabendo-lhe a
coordenação e articulação dos diferentes órgãos promotores do desenvolvimento
científico e tecnológico, como também a elaboração das políticas estratégicas
para o setor. Para definir a nova política, esse Ministério, juntamente com a
Academia Brasileira de Ciências, promoveu, em 2001, uma conferência nacional
que reuniu pesquisadores, empresários, técnicos do setor público e legisladores
para discutirem os avanços alcançados e os obstáculos a serem vencidos na
implantação de um efetivo sistema de ciência, tecnologia e inovação (NEVES,
1999).
Os resultados desse trabalho estão contidos no Livro Verde da C&T, publicado
em 2001 e utilizado como base na elaboração do Livro Branco – Ciência,
Tecnologia e Inovação, de junho de 2002, o qual apresenta os principais desafios
bem como os objetivos e diretrizes estratégicas para a área, com projeção até
2012 (BRASIL, 2002).
Outro assunto abordado no referencial teórico são as Fundações de Amparo à
Pesquisa: o que são, como se posicionam no sistema de C&T do Brasil e a
importância que têm face à descentralização deste sistema.
Finalmente, é apresentada a literatura sobre a avaliação de projetos de pesquisa,
destacando a avaliação ex-post e a importância do uso de indicadores neste
processo.
2.1 Ciência, Tecnologia e Inovação: Conceitos e Tendências
Constantes mudanças traduzem o mundo globalizado de hoje provocando uma
reavaliação das políticas públicas. Segundo a OCDE (2005), a eficácia dessas
políticas está relacionada com a capacidade dos setores industriais fazerem face
19
às exigências de competitividade e inovação. Isso supõe a criação de uma infra-
estrutura de pesquisas e a ligação destas com o setor produtivo.
Verifica-se que a Ciência, a Tecnologia e a Inovação – C,T&I - são fatores
determinantes para o desenvolvimento econômico de um país. Para melhor
compreensão desta afirmação serão apresentados os conceitos e as diferenças-
chave de cada um com um destaque para o papel que estes possuem no cenário
econômico brasileiro.
Para Zouain (2001) ciência e tecnologia são sistemas diferentes, mas inter-
relacionados. A tecnologia alimenta a ciência com problemas, instrumentos e
recursos. A ciência também alimenta a tecnologia produzindo conhecimento e
capacidades básicas, porém, em menor extensão.
Baêta (1999, p. 23) afirma que “a demanda crescente por tecnologia decorre da
necessidade de inovar imposta pela nova estrutura econômica”. Segundo esta
autora, a abertura dos mercados fez com que empresas e governos busquem por
estratégias que aumentem o nível da capacitação tecnológica.
A ciência é definida por Spinak (1998) como um sistema de produção de
informação, na forma de publicações e patentes, considerando publicação como
qualquer informação registrada em formatos permanentes e disponíveis para o
uso comum. Essas informações compõem a base conceitual da geração do
conhecimento. Já a tecnologia é definida como a aplicação desse conhecimento
da ciência à produção em geral.
O conhecimento é produzido através das pesquisas. Os dados relacionados ao
objeto estudado são levantados, decodificados e transformados em informações
úteis para solução de problemas. Se a Ciência é uma conseqüência das
pesquisas, torna-se coerente reconhecer e ressaltar também a importância desta
na área de C,T&I. Segundo Francisco (2002), para que ocorra o crescimento
econômico e o desenvolvimento social do país, deve-se investir em pesquisas
científicas e tecnológicas.
20
A pesquisa e o desenvolvimento experimental (P&D) compreendem o
trabalho criativo realizado de forma sistemática com o objetivo de
aumentar o estoque de conhecimentos, incluindo os conhecimentos do
homem, da cultura e da sociedade, e o uso desse estoque de
conhecimentos para antever novas aplicações. (OCDE, 2005, p. 105).
Segundo Rocha e Ferreira (2001, p. 65), “as abordagens baseadas nas políticas
de ciência e tecnologia estão sendo substituídas pela concepção dos sistemas
nacionais de inovação”. O processo de inovação vem assumindo um papel
estratégico nas discussões sobre a sobrevivência e a competitividade das
empresas brasileiras.
Os sistemas nacionais de inovação são compreendidos como uma construção
institucional que pode ter como resultado uma ação planejada e consciente ou
um somatório de decisões não planejadas e desarticuladas, a fim de impulsionar
o progresso tecnológico (ROCHA e FERREIRA, 2001).
As economias industrializadas vêem a incorporação do conhecimento científico
como característica central da inovação tecnológica. O desafio é incrementar a
capacidade de inovar e de transformar conhecimento em riqueza para a
sociedade brasileira e esta transformação acontece através da ação inovadora
das empresas (SILVA e MELO, 2001).
A Financiadora de Estudos e Projetos - FINEP (2007) define a inovação como
sendo a introdução, com êxito, no mercado, de produtos, serviços, processos,
métodos e sistemas que não existiam anteriormente, ou contendo alguma
característica nova e diferente do padrão em vigor. Compreende diversas
atividades científicas, tecnológicas, organizacionais, financeiras, comerciais e
mercadológicas.
De acordo com o Livro Branco, a inovação é um fenômeno complexo que
pressupõe a presença e articulação de um número elevado de agentes e
instituições de natureza diversa, com lógicas e procedimentos distintos; objetivos
de curto e de longo prazo; potencialidades e restrições específicas e motivações
variadas (BRASIL, 2002).
21
Significa a solução de um problema tecnológico, utilizada pela primeira vez,
descrevendo o conjunto de fases que vão desde a pesquisa básica até o uso
prático, compreendendo a introdução de um novo produto no mercado em escala
comercial, tendo, em geral, fortes repercussões sócio-econômicas (FINEP,
2007).
A globalização funciona como uma mola propulsora para o processo de
inovação. De acordo com a OCDE (2005, p. 49), “a competição internacional
força as empresas a aumentarem sua eficiência e desenvolver novos produtos”.
A inovação tecnológica tende a gerar efeitos positivos sobre a receita
(em função da venda de novos produtos) e sobre os lucros da empresa
(em função da economia de custos decorrente de novos processos e
métodos produtivos introduzidos pelas empresas) (ROCHA e
FERREIRA, 2001, p. 67).
Algumas empresas são forçadas a promover mudanças institucionais, ou mesmo
a desenvolver novas indústrias para se adaptarem a essa economia “aberta”.
De acordo com o Manual de Oslo (OCDE, 2005), as inovações podem ser
entendidas como mudanças significativas, com o intuito de distingui-las de rotinas
e mudanças menores. Uma inovação pode também consistir em uma série de
pequenas mudanças incrementais. O Manual apresenta quatro tipos de
diferentes de inovação:
- Inovação de produto - introdução de um bem ou serviço novo ou
significativamente melhorado no que concerne a suas características ou usos
previstos. Incluem melhoramentos significativos em especificações técnicas,
componentes e materiais, softwares incorporados, facilidade de uso ou outras
características funcionais.
- Inovação de processo - implementação de um método de produção ou
de
distribuição novo ou significativamente melhorado. Incluem mudanças
significativas em técnicas, equipamentos e softwares.
22
- Inovação de marketing - implementação de um novo método de marketing com
mudanças significativas na concepção do produto ou em sua embalagem, no
posicionamento do produto, em sua promoção ou na fixação de preços.
-
Inovação organizacional - implementação de um novo método organizacional
nas práticas de negócios da empresa, na organização do seu local de trabalho
ou em suas relações externas. Podem visar à melhoria do desempenho de
uma empresa por meio da redução de custos administrativos ou de custos de
transação, estimulando a satisfação no local de trabalho, ganhando acesso a
ativos não transacionáveis ou reduzindo os custos de suprimentos.
O Manual também inclui como inovações organizacionais aquelas relacionadas à
satisfação do trabalhador bem como o conhecimento adquirido por este
considerando que ambas afetam a produtividade deste dentro da empresa e
agrega valor aos ativos intangíveis da organização. Além disso, podem também
melhorar a qualidade e a eficiência do trabalho, acentuar a troca de informações
e refinar a capacidade empresarial de aprender e utilizar conhecimentos e
tecnologias.
Os economistas supõem que a mudança organizacional é uma resposta
a uma mudança técnica, quando de fato a inovação organizacional
poderia ser uma condição necessária para a inovação técnica”. As
inovações organizacionais não são apenas um fator de apoio para as
inovações de produto e processo; elas mesmas podem ter um impacto
importante sobre o desempenho da firma (OCDE, 2005, p. 17).
Devido à dificuldade percebida na hora de classificar as inovações em serviços,
as inovações de marketing e organizacionais foram incluídas somente na terceira
edição do Manual de Oslo.
O trabalho de Joseph Schumpeter, influenciou significativamente as teorias da
inovação. Seu argumento é de que o desenvolvimento econômico é conduzido
pela inovação por meio de um processo dinâmico denominado por ele como
“destruição criadora”, onde as novas tecnologias substituem as antigas (OCDE,
2005).
23
É uma meta de todos os países e regiões elevar os indicadores de C,T&I nos
próximos anos. De acordo com Paula (2005), duas observações podem ser feitas
acerca dos esforços tecnológicos nacionais: A primeira diz respeito à magnitude
absoluta dos gastos em P&D, que considera ser decisiva na determinação do
potencial de desenvolvimento tecnológico dos países. A segunda diz respeito ao
ritmo de crescimento dos gastos em P&D.
Vários países vêem formulando políticas públicas de apoio à inovação que se
traduzem em instrumentos capazes de estimular a transferência de tecnologia
por intermédio de experiências de cooperação entre o setor produtivo e as
instituições de pesquisa, a fim de agilizar o processo de inovação (BAÊTA, 1999).
Num contexto de acirramento da competição internacional, as escalas de
pesquisa e de mercado adquirem grande importância, exigindo uma focalização
das políticas tecnológicas em áreas consideradas promissoras e a ampliação dos
esforços de cooperação internacional. As características do financiamento em
C,T&I ilustram as condições dos sistemas nacionais e se destacam como um dos
principais focos das políticas de inovação.
Dados sobre a situação atual dos países, em relação ao financiamento na área
de C,T&I, são apresentados em um estudo realizado por Paula (2005). Segundo
ele, países asiáticos como Japão e Coréia já apresentavam, no início dos anos
90, uma ampla predominância das empresas (superior a 70%) no financiamento.
Ao longo da década de 90 a responsabilidade das empresas avançou para níveis
próximos a 70% nos EUA, Alemanha, Finlândia, Irlanda e Suécia. Mas para a
maioria dos países da OCDE o peso do setor privado ainda é inferior a 60%.
O financiamento público representou, em 2001, cerca de 18,5% do total no
Japão, 25% na Coréia do Sul e na Finlândia e 27% nos EUA, ficando em torno de
1/3 do financiamento total na Alemanha, Canadá e no Reino Unido. Mas chega a
37% nos casos da França, 40% na Espanha e a cerca de 50% (dados de 1997)
na Itália.
24
Embora o financiamento externo tenha se ampliado na década, em poucos
países da OCDE ele é expressivo no financiamento ao esforço tecnológico.
Dentre as grandes economias, apenas no Canadá e, principalmente, no Reino
Unido, ele é relevante, passando de 12% do financiamento total em 1991 para
cerca de 18,0% em 2001.
Paula (2005) destaca que a participação do setor privado no financiamento à
P&D tem chegado a taxas superiores ao setor público. Atingir ou manter esse
desempenho é uma meta comum a todos os documentos nacionais de políticas,
não significando uma redução do financiamento público, que tem projeções de
crescimento na maioria dos países, mas uma predominância das empresas na
expansão do financiamento.
A situação do Brasil referente ao financiamento das atividades de P&D é melhor
detalhada no próximo tópico, onde pode ser observada também a situação dos
outros países, de crescimento dos investimentos na área de C,T&I e uma forte
preocupação em aumentar a parcela de investimento do setor privado.
Além das políticas de financiamento, as responsabilidades pela execução do
gasto também são alvo da necessidade de uma reorganização institucional.
Segundo Paula (2005) o setor público precisa focalizar e tornar mais eficiente o
gasto público em P&D, flexibilizar os regimes de gestão e administração de
pessoal das instituições públicas e universidades, permitindo explorar melhor o
potencial dos pesquisadores e as áreas de excelência, ampliar a consulta e a
participação da indústria na definição das prioridades governamentais de C&T e
introduzir sistemáticas de avaliação e financiamento por projetos, ao lado das
sistemáticas tradicionais.
2.2 A Política de C,T&I no Brasil e seus Desafios
A C
,T&I possui papel central na construção do futuro nacional e de cada região
do País. Seu principal desafio é a adequação às mega-condições brasileiras:
dimensões territoriais e populacionais, recursos naturais e biodiversidade,
participação na política e na economia mundiais (OCDE, 2002).
25
A incorporação da pesquisa e desenvolvimento na produção de bens e serviços
inovadores é a fonte do crescimento da produtividade do trabalho e da riqueza
per capta das sociedades avançadas. No Brasil, os recursos disponíveis para a
pesquisa e desenvolvimento (P&D) aumentaram significativamente e a inovação
tecnológica aparece como objetivo central (SILVA e MELO, 2001).
No Brasil, comparando-se com os recursos privados, os recursos públicos ainda
representam uma parcela considerável nos investimentos em pesquisa. Com o
intuito de mudar esta situação, o governo brasileiro criou, em 1999, os fundos
setoriais (QUADRO 01). São instrumentos de financiamento de projetos de
pesquisa, desenvolvimento e inovação no País.
Estes fundos são formados por percentuais do faturamento de empresas
privatizadas ou por contribuições pela exploração de recursos naturais. Os
valores são oriundos de receitas já previstas pelo governo e cobradas das
empresas, não implicando em aumento tributário (ROMÃO, 2002).
Foram criados 16 Fundos Setoriais, sendo 14 relativos a setores específicos e
dois transversais (programas estratégicos do MCT que têm ênfase na Política
Industrial, Tecnológica e de Comércio Exterior). Destes, um é voltado à interação
universidade-empresa (Fundo Verde-Amarelo), enquanto o outro é destinado a
apoiar a melhoria da infra-estrutura de Instituições de Ciência e Tecnologia - ICTs
(Infra-estrutura) (FINEP, 2007).
Os fundos setoriais de C&T têm como objetivo garantir a ampliação e a
estabilidade do financiamento para a área e a criação de um novo modelo de
gestão, fundado na participação de vários segmentos sociais, no estabelecimento
de estratégias de longo prazo, na definição de prioridades e com foco nos
resultados (BRASIL, 2007).
O desafio brasileiro apresentado pelo Livro Branco é alcançar, daqui a dez anos,
o patamar de 2% do PIB em investimentos em P&D, num horizonte de
crescimento médio do PIB da ordem de 4% ao ano, assim como a ampliação da
participação das empresas (BRASIL, 2002).
26
QUADRO 01
Fundos Setoriais de Ciência e Tecnologia
1 CT- AERO Fundo para o Setor Aeronáutico
2 CT- AGRO Fundo para o Setor de Agronegócios
3 CT- AMAZONIA Fundo para atividades de pesquisa e desenvolvimento na região
amazônica.
4 CT- AQUAVIÁRIO Fundo para o Setor de Transporte Aquaviário e Construção Naval.
5 CT- BIOTEC Fundo Setorial de Biotecnologia
6 CT- ENERG Fundo Setorial de Energia
7 CT- ESPACIAL Fundo Setorial Espacial
8 CT- HIDRO Fundo Setorial de Recursos Hídricos
9 CT- INFO Fundo Setorial para Tecnologia da Informação
10 CT- INFRA Fundo de Infra-Estrutura
11 CT- MINERAL Fundo Setorial Mineral
12 CT- PETRO Fundo Setorial do Petróleo e Gás Natural
13 CT- SAÚDE Fundo Setorial de Saúde
14 CT- TRANSPORTE
Fundo Setorial de Transportes Terrestres
15 FUNTTEL Fundo Setorial para o Desenvolvimento Tecnológico das
Telecomunicações.
16 VERDE-AMARELO
Fundo de apoio à atividades de cooperação tecnológica entre
universidades, centros de pesquisa e o setor produtivo em geral.
Fonte: FINEP, 2007.
Trata-se de um grande esforço por parte do setor público e privado que só será
possível com uma política ativa de suporte às atividades de pesquisa e de forte
estímulo ao setor privado.
Além disso, é reconhecida a limitada capacidade, até agora demonstrada no
País, em transformar os avanços do conhecimento em inovações traduzidas em
efetivas conquistas econômicas e sociais (BRASIL, 2002). Para ilustrar esta
afirmação, o GRAF. 01 apresenta o cenário das solicitações e concessões de
patentes do INPI.
Uma vez depositados junto ao INPI, esses pedidos são analisados e podem ser
concedidos ou não. Assim, o número de patentes (ou registros) concedidos pelo
INPI compõe um indicador das atividades inovativas do país mais refinado que o
número de pedidos, pois consideram apenas aqueles que foram bem sucedidos.
O poder de inovar demanda conhecimento para projetar novas tecnologias de
produtos ou de processos; envolve a realização de atividades de pesquisa e
desenvolvimento nas empresas, internamente ou em cooperação com outros
agentes; a importação e absorção de tecnologias; a formação de pessoas
27
qualificadas; e, a disponibilidade de infra-estrutura científica e tecnológica
(BRASIL, 2002).
No Brasil, as atividades de pesquisa e desenvolvimento (P&D), fontes mais
importantes de novas tecnologias, têm sido realizadas praticamente pelas
universidades e alguns centros de pesquisa do setor público. Novas estratégias
estão sendo criadas para garantir a necessária transferência de conhecimentos
tecnológicos com vistas à inovação nas empresas (BAÊTA, 1999).
Diante desse contexto, destaca-se a importância que é dada hoje à consolidação
de um eficaz Sistema Nacional de CT&I. O Livro Branco caracteriza como tarefa
vital, a dotação desse Sistema de volume adequado de recursos, distribuídos de
forma a estimular sua integração, eficácia e equilíbrio. Estão inseridos neste
sistema, as agências de fomento e os institutos de pesquisa.
A pesquisa e o desenvolvimento (P&D) têm um papel fundamental na aceleração
do progresso científico e tecnológico e, com uma intensidade cada vez maior,
impõe-se a realização de um esforço nacional de P&D, como condição de
soberania e de construção do futuro do País e da sociedade.
GRÁFICO 01
-
Pedidos e concessões de patentes de invenção, de modelo de
utilidade e
de desenho industrial depositados no Instituto Nacional de Propriedade
Industrial (INPI) - 1995-2004
0
5.000
10.000
15.000
20.000
25.000
1995 1996 1997 1998 1999 2000 2001 2002 2003 2004
Patentes solicitadas e Origem do Depositante
Patentes Concedidas e Origem do Depositante
Gráfico elaborado pela autora. Fonte: www.mct.gov.br - Atualizado em: 10/03/2006
Nota: Incluem os pedidos depositados junto a
o INPI e os pedidos internacionais, na "fase
nacional", depositados por meio do Tratado de Cooperação em Patentes (PCT).
28
Durante a Conferência Nacional de Ciência, Tecnologia e Inovação, que deu
origem ao Livro Branco, foi formulada e registrada uma Política Nacional de
Ciência, Tecnologia e Inovação alicerçada em seis objetivos maiores, a serem
alcançados até o ano 2012:
1. Criar um ambiente favorável à inovação no País;
2. Ampliar a capacidade de inovação e expandir a base científica e tecnológica
nacional;
3. Consolidar, aperfeiçoar e modernizar o aparato institucional de Ciência,
Tecnologia e Inovação;
4. Integrar todas as regiões ao esforço nacional de capacitação para Ciência,
Tecnologia e Inovação;
5. Desenvolver uma base ampla de apoio e envolvimento da sociedade na
Política Nacional de Ciência, Tecnologia e Inovação;
6. Transformar CT&I em elemento estratégico da política de desenvolvimento
nacional.
A ampliação do financiamento público e privado às atividades de CT&I exige
continuado apoio político que se traduza na realidade do orçamento federal e de
sua execução durante os próximos anos, e na adoção de mecanismos de
avaliação que demonstrem à sociedade a relevância dos investimentos
realizados e os resultados por eles gerados (BRASIL, 2002).
No segundo nível da política de CT&I, apresentada pelo Livro Branco, são
explicitadas e qualificadas as diretrizes estratégicas que identificam as vias
prioritárias para atingir os objetivos propostos.
I. Implantar um efetivo Sistema Nacional de Ciência, Tecnologia e Inovação.
II. Promover a inovação para aumentar a competitividade e a inserção
internacional das empresas brasileiras.
III. Ampliar de forma sustentada os investimentos em C,T&I.
29
IV. Expandir e modernizar o sistema de formação de pessoal para C,T&I.
V. Ampliar, diversificar e consolidar a capacidade de pesquisa básica no
País.
VI. Modernizar e consolidar instituições e procedimentos de gestão da política
de Ciência, Tecnologia e Inovação e os mecanismos de articulação com
as demais políticas públicas.
VII. Educar para a sociedade do conhecimento.
VIII. Intensificar e explorar novas oportunidades da cooperação internacional
em C,T&I.
IX. Ampliar a dimensão estratégica das atividades de C,T&I.
Torna-se necessário modernizar e reestruturar as ações de fomento à pesquisa,
buscando a excelência, elevação da produtividade, a concentração de esforços
em áreas de particular interesse para o País e o fortalecimento da capacidade de
pesquisa em nível regional (BRASIL, 2002).
Existe uma desigualdade entre as regiões do país em termos de investimentos
em C&T (GRAF. 02). Verifica-se que a maioria dos investimentos são
provenientes de estados do sudeste e que 48,9% dos dispêndios com C&T são
provenientes do Estado de São Paulo.
Segundo Romão (2002), o CNPq destinou 60% das bolsas e fomento à pesquisa
a região Sudeste, onde estão localizados 73% dos doutores, 70% dos grupos de
pesquisa e 92% dos doutorandos.
Apesar disso, o número de pesquisadores no Brasil tem crescido
substancialmente e, conseqüentemente a pesquisa também aumentou. As outras
regiões também estão recebendo atenção especial dos órgãos de fomento.
O complexo nacional de Ciência, Tecnologia e Inovação apresenta-se hoje
bastante diversificado abrangendo diferentes organismos que atuam na
promoção do desenvolvimento científico e tecnológico.
30
Os organismos federais e estaduais fomentam as atividades de pesquisa
científica, tecnológica e de formação de recursos humanos; as universidades e
institutos de pesquisa, públicos e privados, por sua vez, incubem-se de produzir o
conhecimento científico e tecnológico. Na esfera estadual, atuam, na
coordenação das políticas e no fomento as Secretarias Estaduais de C&T
juntamente com as Fundações de Amparo à Pesquisa (FAP’s) (NEVES, 1999).
O CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico),
criado em 1951, é um órgão federal e constitui-se na agência federal de fomento
que oferece a maior diversidade de modalidades de apoio à ciência e à
tecnologia no país. Mobiliza recursos de outros Ministérios e dos Fundos
Setoriais. Atua sob duas formas principais: o fomento, sob a forma de programas,
e a formação de recursos humanos qualificados para a pesquisa (NEVES, 1999).
Também como agência federal, criada 1965, a FINEP (Financiadora de Estudos
e Projetos) foi constituída, inicialmente, como o Fundo de Financiamento de
Estudos e Projetos e Programas. Em 1969, com a criação do Fundo Nacional de
Desenvolvimento Científico e Tecnológico (FNDCT), transformou-se na sua
secretaria executiva oficial. Em 1973, passou a ser, também, um instrumento de
incentivo ao desenvolvimento tecnológico empresarial. Nos anos 90, deixou de
GRÁFICO 02: Distribuição percentual dos dispêndios dos governos estaduais
aplicados em C&T, segundo unidades da federação - 2004
Fonte: www.mct.gov.br - Atualizado em: 31/07/2006.
Nota: Não inclui pós-graduação.
31
apoiar a pesquisa acadêmica para ser a “agência federal da inovação”
tecnológica, favorecendo, principalmente, a produção de novas tecnologias em
empresas e outras instituições que investem em pesquisa e desenvolvimento
(NEVES, 1999).
No âmbito estadual, destacam-se as Fundações de Amparo à Pesquisa (FAP’s),
que apóiam, financeiramente, projetos de pesquisa, ensino e extensão e a
realização de eventos científicos e tecnológicos (NEVES, 1999). Mais detalhes
sobre estes organismos poderão ser verificados no próximo tópico.
A ampliação do papel da Ciência, Tecnologia e Inovação, no conjunto das
políticas públicas, implica grande desafio institucional para o tradicional sistema
de C&T. A construção desse novo modelo deverá ter como objetivo central o
reforço de sua natureza sistêmica, participativa e integradora de atores
econômicos, sociais, políticos, regionais e acadêmicos (BRASIL, 2002).
É preciso aumentar a capacitação do sistema nacional de CT&I para gerir
políticas e instituições; formar recursos humanos e capacitar as instituições em
política e gestão; reforçar a eficácia e a eficiência de estratégias empresariais e
das políticas de CT&I; desenvolver a habilidade de identificar e antecipar
oportunidades e tendências; introduzir sistemas de acompanhamento e avaliação
de políticas, instituições, programas; e, aperfeiçoar e consolidar o sistema de
indicadores (BRASIL, 2002).
Uma das principais preocupações por parte do Ministério da Ciência e Tecnologia
– MCT é a lacuna dos indicadores regionais. Esta já está sendo resolvida com a
incorporação dos resultados alcançados nas unidades da federação, como
conseqüência da cooperação entre o MCT, as secretarias estaduais de ciência e
tecnologia e as fundações de apoio à pesquisa, no processo de levantamento de
informações e geração de indicadores (BRASIL, 2007).
Neste novo cenário, um fato se destaca como uma importante ação do governo
nacional para acelerar o desenvolvimento econômico, a aprovação da Emenda
Constitucional No. 19, em 1998, que, segundo Abrucio (2004), representou o
32
maior êxito da reforma administrativa. Estabeleceu a adoção do Princípio da
Eficiência, ou seja, não basta somente o controle, é necessário que se obtenha
resultados.
Pode-se afirmar que a Ciência, Tecnologia e Inovação (C,T&I) cumprem um
importante papel na construção das sociedades modernas. O conhecimento
torna-se a variável-chave do desenvolvimento e do aumento de competitividade
de qualquer setor da economia.
A atual posição relativa do Brasil no campo científico mundial constitui valiosa
conquista. Elevar ou mesmo manter tal nível exigirá fortes compromissos no
sentido de construir oportunidades de crescimento e valorização da atividade de
pesquisa, mas, o grande desafio é transformar esse conhecimento em riqueza
para o país (BRASIL, 2002).
2.3 As Fundações de Amparo à Pesquisa (FAP)
A Constituição Federal de 1988 facultou aos estados a vinculação orçamentária
para o setor de C&T, estimulando assim atividades de fomento à pesquisa
científica e tecnológica por parte dos governos. A
“arma” que o Brasil
desenvolveu para apoiar esta descentralização é o seu sistema de fundações
estaduais de amparo à pesquisa.
A primeira, a FAPESP, já constava na Constituição do Estado de São Paulo
desde 1947 e foi instalada em 1962. Após surgiram a
FAPERGS, em 1964 no
Rio Grande do
Sul, a FAPERJ, em 1980 no Rio de Janeiro e a FAPEMIG, em
1985 em Minas Gerais. (QUADRO 02) (SILVA, 2000
).
A idéia era criar sistemas estaduais que aproveitassem a bem sucedida
experiência da FAPESP e que viessem a preparar os estados para o aumento da
transferência de recursos proporcionada pela descentralização fiscal, além disso,
representava uma alternativa para diminuir as disparidades regionais. Na região
sudeste concentram-se 54% dos pesquisadores brasileiros (ROMÃO, 2002).
33
As Fundações de Amparo à Pesquisa (FAP´s) estão inseridas no Sistema de
C&T e são responsáveis pela distribuição de recursos financeiros
governamentais destinados ao desenvolvimento científico e tecnológico do país e
do estado.
QUADRO 02
Ano de implantação das FAP´s
Instituição Ano
1 FAPESP - Fundação de Amparo à Pesquisa do Estado de São Paulo 1962
2 FAPERGS - Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul 1964
3 FUNPEC - Fundação Norte Rio-Grandense de Pesquisa e Cultura 1978
4 FAPERJ - Fundação Carlos Chagas de Amparo à Pesquisa do Estado do Rio de
Janeiro
1980
5 FAPEMIG - Fundação de Amparo à Pesquisa do Estado de Minas Gerais 1985
6 SECTAM - Secretaria Executiva de Ciência, Tecnologia e Meio Ambiente - Pará 1988
7 FACEPE - Fundação de Amparo à Ciência e Tecnologia do Estado de Pernambuco
1989
8 FAPEMA - Fundação de Amparo à Pesquisa e ao Desenvolvimento Científico e
Tecnológico do Estado do Maranhão
1991
9 FAPEMAT – Fundação de Amparo a Pesquisa do Estado de Mato Grosso 1991
10 FUNCAP - Fundação Cearense de Amparo à Pesquisa 1991
11 FAPEAL - Fundação de Amparo à Pesquisa do Estado de Alagoas 1992
12 FAPESQ - Fundação de Amparo à Pesquisa do Estado da Paraíba 1992
13 FAPESB - Fundação de Amparo à Pesquisa do Estado da Bahia 1992
14 FAPDF - Fundação de Apoio à Pesquisa do Distrito Federal 1993
15 FAPEPI - Fundação de Amparo à Pesquisa do Estado do Piauí 1994
16 FAPERN - Fundação de Apoio à Pesquisa do Estado do Rio Grande do Norte 1996
17 FAPES - Fundação de Apoio à Ciência e Tecnologia do Espírito Santo 1996
18 FAPESC – Fundação de Amparo à Pesquisa Científica e Tecnológica de Santa
Catarina
1997
19 Fundação Araucária de Apoio ao Desenvolvimento Científico e Tecnológico do
Paraná
1998
20 FUNDECT – Fundação de Apoio ao Desenvolvimento do Ensino, Ciência e
Tecnologia do Estado do Mato Grosso do Sul
1998
21 FAP-SE – Fundação de Amparo à Pesquisa de Sergipe 1999
22 FAPEAM - Fundação de Amparo à Pesquisa do Estado do Amazonas 2002
Fonte: BRASIL/MCT, 2007 e SILVA, 2000.
Nota: Quadro elaborado pela autora.
Assim como o CNPq, as FAP´s atuam no fomento e capacitação de recursos
humanos e nas atividades de C,T&I, sob a forma de programas que se
classificam em básicos e especiais. Os programas básicos destinam-se ao
atendimento das demandas nas diversas áreas do conhecimento, mediante
critérios de mérito, ou também, de acordo com as prioridades de investimento
estabelecidas pelo órgão. Os programas especiais atendem a áreas
34
consideradas estratégicas, por meio de mecanismos de indução, da articulação
interinstitucional e da incorporação de critérios relevantes (NEVES, 1999).
As FAP’s têm papel decisivo na qualidade e na velocidade em que
ocorrem os avanços científicos e tecnológicos no País. É por meio delas
que novos campos de pesquisa são incentivados e áreas incipientes
podem desenvolver-se, ao mesmo tempo em que se mantém
assegurada a continuidade da pesquisa em campos maduros
(FRANCISCO, 2002).
Além dos projetos de pesquisa, de maneira geral, as FAP´s também concedem
recursos para auxílio na organização de eventos, auxílio pesquisador visitante,
apoio à pós-graduação e bolsas.
A Constituição de cada Estado estabelece um valor percentual a ser repassado
às FAP´s para apoio à pesquisa. Ocorre que, na maioria dos estados, isto não é
cumprido, o que demonstra a fragilidade do sistema em relação à política que é
praticada.
O sistema de financiamento segue as diretrizes da Secretaria Estadual ou das
Universidades que fazem parte do Sistema de Ciência e Tecnologia de cada
Estado. A partir destas diretrizes são identificadas as áreas relevantes, bem
como elaborados os editais, induzindo a pesquisa nestas áreas.
A avaliação é feita por pares, ou seja, são outros pesquisadores que analisam as
propostas apresentadas através da participação em Câmaras, Comissões
Especiais (no caso dos programas especiais) ou até mesmo Consultores ad-
hocs. Cada FAP adota um método específico de julgamento, porém, em todas a
avaliação é feita por pares.
Pertencentes à administração pública indireta, as FAP´s devem reconhecer que o
principal cliente do sistema é a sociedade (principalmente a comunidade
científica – que representa, ao mesmo tempo, cliente no processo de obtenção
de recursos e agente na promoção do desenvolvimento científico), e que seus
anseios de eficiência/eficácia, em termos de C&T deveriam ser monitorados
permanentemente de forma a identificar desvios entre o almejado e o alcançado
(PEIXOTO, 2005).
35
No entanto, estas fundações não parecem estar preparadas para essas
exigências. Possuem grandes deficiências em seus processos de controle
interno, avaliação de desempenho e prestação de contas para o ambiente
externo, potencializando a necessidade de compreender e atuar sobre sua
situação financeira e operacional (PEIXOTO, 2005).
O tempo que se tem para passar de resultados de pesquisa à inovação e ganhos
em competitividade é cada vez mais curto; a renovação de conhecimentos e
prioridades é cada vez mais rápida; a infra-estrutura de apoio em ciências exatas
e experimentais têm vida útil cada vez mais curta e custos mais elevados (SILVA,
2000).
Além disso, devido à limitação dos recursos públicos a serem investidos e à
cobrança da sociedade por transparência nos processos, torna-se importante a
definição de prioridades e a demonstração dos resultados alcançados no
processo de apoio a P&D (FRANCISCO, 2002).
Como um componente central da política de C,T&I, as FAP´s precisam se
adequar ao novo cenário que foi apresentado, estabelecendo diretrizes para
alcance de metas que visem ao desenvolvimento regional e nacional.
Para atender a essas cobranças e verificar se essas atividades promovidas estão
realmente gerando produtos e serviços para a sociedade, dentre outras ações, as
FAP´s necessitam construir sistemas eficientes para avaliar os resultados de
seus programas e projetos.
2.4 Avaliação em Projetos de Pesquisa
Castro (2006) afirma que toda organização deve ser analisada sob o escopo da
eficácia e da eficiência. A eficácia relaciona-se com o atendimento dos objetivos
desejados. Em uma visão simples, o conceito de “ciência eficaz” está associado
a um produto tecnológico qualquer que resulta do trabalho de pesquisa. Mas a
pesquisa que leva a decisões de política governamental, ou decisões
empresariais também pode ser considerada eficaz (SCHWARTZMAN, 2002).
36
A eficiência considera que mais importante que o simples alcance dos objetivos
estabelecidos é deixar explícito como esses foram conseguidos. Se preocupa em
utilizar a racionalidade econômica que busca maximizar os resultados e
minimizar os custos (TORRES, 2004).
Além da eficácia e da eficiência, a literatura especializada incorporou um terceiro
conceito, a efetividade. Na área pública, esta afere em que medida os resultados
de uma ação trazem benefício à população. A efetividade é mais abrangente que
a eficácia na medida em que, além de indicar se o objetivo foi atingido, mostra
também se trouxe melhorias para a população visada (CASTRO, 2006).
O Princípio da Eficiência exige que a atividade administrativa seja exercida com
presteza, perfeição, rendimento funcional, resultados positivos para o serviço
público e satisfatório atendimento das necessidades da comunidade e seus
membros (MEIRELES, 2002).
Outros conceitos são apresentados por Cunha (2006):
• Objetivo - situação que se deseja obter ao final do cronograma de atividades
proposto.
• Meta – dimensão quantitativa, temporal e espacial do objetivo.
• Produto – resultado concreto das atividades desenvolvidas (bens ou serviços).
• Efeito – resultados decorrentes das ações do programa, podendo ser
intermediários (durante o programa), ou finais (que perduram após o programa).
• Impacto – resultado que pode ser atribuído exclusivamente às ações do
programa, após a eliminação dos efeitos externos, ou seja, é o resultado líquido
ou efeitos sociais do programa ou projeto.
Para Campos (1999), os impactos econômicos da pesquisa científica podem ser
classificados conforme dois critérios: objetividade e efetividade. Quanto à
objetividade, os impactos podem ser diretos, relacionados aos resultados
previstos pelos objetivos propostos, ou indiretos, resultantes de desdobramentos
não previstos.
37
A efetividade é dividida em três possibilidades: o impacto real efetivo, aquele já
efetivado cuja aplicação já foi difundida no mercado, com resultados reais e
tangíveis; o impacto potencial, que diz respeito aos resultados que ainda não
foram aplicados, mas estão disponíveis; o impacto real em difusão/transferência,
que trata dos desenvolvimentos que não atingiram ainda sua maturidade para
serem plenamente difundidos, porém já se encontram incorporados em certos
artefatos no mercado (CAMPOS, 1999).
Para a identificação dos reais resultados de projetos de pesquisa, é necessário
que estes passem por um processo de avaliação. Além de fornecer respostas
acerca das conseqüências e importância das atividades desenvolvidas, nas
FAP´s este processo serve inclusive para responder às três questões aqui
apresentadas: Os objetivos foram atingidos? Os recursos foram bem utilizados
para o alcance desses objetivos? Quais
foram os resultados e impactos
gerados?
Uma avaliação pode ser realizada por uma série de motivos, dentre eles, para
permitir o aperfeiçoamento de atividades, garantir que objetivos sejam atingidos,
que recursos escassos sejam utilizados de maneira eficiente para evitar prejuízos
tanto à sociedade como aos indivíduos e para evitar a repetição de erros
(KONDO, 1999). É um processo orientado para a ação e para a gestão que
permite, ainda, legitimar a imagem institucional e responsabilização
(accountability). Implica na análise do contexto e na determinação de critérios
apropriados, parâmetros de referência, variáveis, medições e indicadores
(MARTINEZ e ALBORNOZ
2
, 1998 citado por FRANCISO, 2002).
Francisco (2002) afirma que a avaliação de projetos tem como objetivo justificar
escolhas, controlar o desenvolvimento e auxiliar os processos de decisão. É
utilizada para fornecer subsídios tanto para as atividades administrativas como
para as operacionais, direcionando-as à obtenção de melhores índices de
eficácia, eficiência, relevância, e ainda de impactos positivos. A relevância diz
2
MARTÍNEZ, E., ALBORNOZ, M. Indicadores de ciencia y tecnologia: balance y persperctivas. In:
MARTÍNEZ, Eduardo, ALBORNOZ, Mario (eds.)
Indicadores de ciência y tecnologia
: estado
del arte y perspectivas. Caracas: Nueva Sociedad, 1998.
38
respeito à importância dos objetivos, contrastando-os com outras necessidades.
Os impactos referem-se aos efeitos sociais do projeto.
O processo de avaliação de projetos de pesquisa na área de C&T segue os
diferentes critérios e objetivos definidos. São usados para seleção de projetos
(ex-ante), para o acompanhamento e controle do desenvolvimento (de
progresso), ou para avaliar o seu desempenho ou sucesso (ex-post) (SBRAGIA,
1984).
Analisando, de forma geral, as FAP´s do Brasil, verifica-se que para
selecionarem os projetos que financiam, realizam uma avaliação ex-ante,
segundo objetivos, requisitos e outros parâmetros indicados em editais. Estes
editais são elaborados levando-se em consideração as diretrizes e prioridades
dos programas do Governo do Estado.
Na avaliação ex-ante, as propostas são analisadas por pesquisadores de
renomada experiência e o parecer destes avalia o mérito científico do projeto,
indicando a viabilidade da execução da pesquisa, o currículo dos pesquisadores
e a coerência entre os recursos necessários em função dos valores de custeio e
capital requeridos.
Em virtude do baixo nível de recursos destinados pelas empresas, o governo
ainda é um importante agente na execução e no financiamento da P&D, portanto,
tão importante quanto a avaliação é a divulgação dos resultados dos projetos
apoiados pelas FAP´s. É através da demonstração destes resultados que o
sistema científico e tecnológico pode apresentar à sociedade os benefícios pelos
quais é responsável. Além disso, a transferência de tecnologia somente será
possível após a disseminação destes resultados no meio empresarial. Alguns
aspectos importantes deste processo são apresentados por Ohayon (1985):
- aspectos tecnológicos: referem-se ao grau de inovação ou melhoria obtido,
assim como à capacidade funcional do resultado do projeto.
39
- aspectos econômicos e mercadológicos: trata-se da viabilidade econômica do
uso dos resultados, inclusive na obtenção de vantagens competitivas.
- aspectos sociais, individuais e políticos: aceitabilidade social e política dos
resultados, através da melhoria da qualidade de vida e da saúde.
- aspectos relativos ao meio ambiente: relacionados à preservação do equilíbrio
ecológico.
- valores e aspectos coletivos dos resultados: referem-se aos benefícios à
coletividade, provenientes de opiniões de simpatizantes e adversários do uso dos
resultados.
Além destes, existem também os aspectos científicos que são, geralmente,
aqueles mais encontrados nas demonstrações de resultados de projetos de
pesquisa. Se referem a produção científica proporcionada pela pesquisa,
composta por publicações, dissertações, teses, novas metodologias, etc
(FRANCISCO, 2002).
Os impactos da atividade de P&D podem levar a resultados de pesquisa que
variam muito e podem não estar relacionados à natureza do trabalho realizado,
mas sim às condições do ambiente em que este trabalho se desenvolve
(SCHWARTZMAN, 2002).
Para uma melhor precisão na determinação dos resultados dos projetos
apoiados, é necessária a escolha por um método adequado de avaliação ex-post.
Serão apresentadas a seguir as principais teorias conceituais e metodológicas
sobre este tipo de avaliação.
2.4.1 Avaliação Ex-Post em Projetos de Pesquisa
Como foi mencionado, o financiamento da pesquisa depende principalmente da
iniciativa pública. Os governantes dos países e dos estados devem ter em mente
que o desenvolvimento do país depende de atividades que levem a inovação
tecnológica e a iniciativas que contribuam para à atenderem às necessidades
40
sociais do país. Portanto, dependendo da situação em que se encontra um país
ou até mesmo um estado, esta irá determinar as prioridades do governo no
investimento em pesquisas.
Algumas áreas podem ter impactos de médio e longo prazo, como, por exemplo,
as ciências sociais ou estudos sobre o meio ambiente que, no primeiro momento
servem para formar opinião sem que tenham utilização imediata. Schwartzman
(2002) cita o exemplo do Brasil que gasta tantos recursos na formação técnica e
científica e em projetos aplicados. Explica que isto se deve ao fato de que o País
precisa, cada vez mais, de gente qualificada e que os resultados virão com o
tempo.
Como qualquer outro, o setor de ciência e tecnologia, é formado por pessoas que
têm interesse na obtenção de recursos cada vez maiores para suas atividades e
instituições, e buscam os melhores argumentos possíveis para justificar suas
demandas crescentes. É importante examinar se os recursos despendidos estão,
de fato, atendendo aos propósitos para os quais eles deveriam se destinar. Isto
leva à necessidade de repensar os procedimentos e mecanismos utilizados para
avaliar e justificar os investimentos em C&T (SCHWARTZMAN, 2002).
A avaliação ex-post de projetos, é realizada após a conclusão do projeto, ou,
mais precisamente, após o término do prazo estipulado para esta execução.
Sbragia (1984) caracteriza este tipo de avaliação como sendo um processo que
permite a identificação dos resultados obtidos por uma atividade que foi
realizada, a fim de atingir determinados alvos ou objetivos, onde o projeto é
avaliado considerando seu desempenho ou sucesso.
Embora se associe normalmente a avaliação de desempenho à mensuração de
eficiência, este não é o único e nem o mais importante critério a ser utilizado. A
lista dos critérios que podem ser utilizados é longa e a escolha de um, ou vários
deles, depende dos aspectos que se deseja privilegiar na avaliação. Segundo o
41
manual da UNICEF
3
(1990, citado por COSTA e CASTANHAR, 2003, p. 973), os
mais comuns são:
-
Eficiência — a menor relação custo/benefício possível para o alcance dos
objetivos estabelecidos;
- Eficácia — medida do grau em que o programa atinge os seus objetivos e
metas;
- Impacto (ou efetividade) — indica se o projeto tem efeitos (positivos) no
ambiente externo em que interveio, em termos técnicos, econômicos,
socioculturais, institucionais e ambientais;
- Sustentabilidade — mede a capacidade de continuidade dos efeitos benéficos
alcançados pelos projetos após o seu término;
-
Análise custo-efetividade — comparação de formas alternativas da ação social
para a obtenção de determinados impactos, para ser selecionada aquela
atividade/projeto que atenda os objetivos com o menor custo;
-
Satisfação do beneficiário — avalia a atitude do usuário em relação à
qualidade do atendimento que está obtendo;
-
Eqüidade — procura avaliar o grau em que os benefícios estão sendo
distribuídos de maneira justa e compatível com as necessidades do usuário.
Trata-se de estabelecer critérios para verificar se os resultados do projeto foram
positivos não somente no que se refere aos seus próprios objetivos e custos,
mas também verificar quais foram os impactos gerados na sociedade como um
todo, levando-se em consideração as principais necessidades identificadas
previamente.
Ao emitir juízo quanto à eficácia dos resultados de um projeto legitima-se a
avaliação ex-ante, pois, são utilizados critérios que abordam os objetivos
3
UNICEF. Guide for monitoring and evaluation. New York: Unicef, 1990.
42
anteriores permitindo uma comparação entre o que foi proposto e o que foi
executado (FRANCISCO, 2002).
Como a P&D é composta por atividades complexas e de resultados, na maioria
das vezes, de longo prazo, na avaliação dos resultados é necessário que se
analise cada caso levando-se em consideração suas particularidades. Por
exemplo, grupos emergentes de pesquisa com grande promessa de qualidade
não podem ser comparados, em termos de quantidade de produção, com grupos
já estabelecidos; tecnologias incipientes, mas promissoras, não podem ser
avaliadas em termos de seus resultados práticos de curto prazo
(SCHWARTZMAN, 2002).
Tratando-se de recursos públicos, é importante que os resultados alcançados
tenham potencial para um retorno sócio-econômico, não só pela escassez de
recursos como também para prestar contas à sociedade sobre o retorno dos
investimentos que estão sendo feitos pela administração pública. Segundo
Herrlein (2001, p. 10):
A avaliação de projetos constitui-se uma tarefa complexa e necessária,
pois influencia a tomada de decisão com respeito a investimentos
públicos. Num ambiente de escassez de recursos, qualquer
investimento deve proporcionar um resultado que compense o esforço
despendido.
O dilema sobre qual deve ser o foco da avaliação reflete-se na existência de
diferentes metodologias de avaliação. Cohen e Franco (2004), apresentam duas
metodologias básicas:
− Avaliação de processos – corresponde à gestão, pois é realizada durante
a implementação do programa procurando identificar as dificuldades que
ocorrem durante o processo a fim de efetuar correções ou adequações.
−
Avaliação de impactos ou resultados – tem objetivos mais amplos, pois
procura responder se o programa funcionou ou não, em que medida o
programa alcançou seus objetivos e quais foram os seus efeitos.
43
Sulbrandt
4
(1993, citado por COSTA e CASTANHAR, 2003), ainda apresenta a
metodologia da avaliação de metas que é o tipo mais tradicional e tem como
propósito medir o grau de êxito que um programa obtém com relação aos
produtos mais imediatos (ou concretos) que dele decorrem.
Cotta (1998), afirma que a diferença entre uma avaliação de resultados e de
impactos depende do tipo de análise que se pretende realizar, se o objetivo é
identificar os efeitos de uma intervenção sobre a clientela atendida, trata-se de
uma avaliação de resultados; se a intenção é captar os reflexos desta mesma
intervenção em contexto mais amplo, então, trata-se de uma avaliação de
impacto.
O que difere os impactos dos resultados, é a distância entre os
geradores de C&T e seus receptores/impactados. Enquanto que os
resultados são imediatos, os impactos se manifestam indiretamente por
meio de fatores relacionados à pesquisa de C&T (GEISLER, 2000,
2003, p. 119).
As avaliações da produção e dos resultados imediatos são as únicas que podem
ser controladas. Para avaliar os resultados (ou impactos) de médio e longo
prazos devem ser empreendidas metodologias e estratégias mais complexas,
mesmo assim, quase sempre, é impossível isolar a influência dos fatores
externos nas mudanças ocorridas (KETTL, 1998).
Um dos resultados mais importantes e alvo das pesquisas no país são os
impactos de inovação. Mas as pesquisas de inovação precisam respeitar um
tempo mínimo para que o conhecimento e/ou a tecnologia adquiridos sejam
aplicados e a empresa possa medir os benefícios gerados. Já a pesquisa básica
não precisa deste respaldo, visto que não se relaciona a uma inovação
específica.
A inovação está associada à incerteza sobre os resultados das atividades
inovadoras, não sendo possível saber, antecipadamente, se a P&D vai resultar
no desenvolvimento bem-sucedido de um produto ou qual é a quantidade
4
SULBRANDT, José. La evaluación de los programas sociales: una perspectiva crítica de los
modelos usuales. In: KLIKSBERG, Bernardo (Org.).
Pobreza
: un tema impostergable. México:
Fondo de Cultura Economica, 1993.
44
necessária de tempo e de recursos para implementar um novo processo de
produção, marketing ou método de produção, ou o quão bem-sucedidas essas
atividades serão (OCDE, 2005).
Para as pesquisas sobre inovação, o Manual de Oslo apresenta algumas
recomendações que podem ser verificadas a seguir:
− A extensão do período de observação não deve exceder a três anos, nem
ser inferior a um ano.
− Deve investigar se alguma inovação de processo ou de produto
introduzida durante o período de observação foi nova para o mercado ou
para o mundo.
− Os dados devem ser coletados para os três tipos de interações: fontes
abertas de informação, aquisição de conhecimento e tecnologia e
inovação cooperativa.
As fontes abertas são informações disponíveis que não exigem a compra de
tecnologia ou de direitos de propriedade intelectual, ou interação com a fonte; a
aquisição de conhecimentos e tecnologia representam a compra de
conhecimento externo e/ou conhecimentos e tecnologias incorporadas em bens
de capital e serviços, que não envolvem interação com a fonte; a inovação
cooperativa é a cooperação ativa com outras empresas ou instituições públicas
de pesquisa para atividades de inovação (que podem incluir compras de
conhecimento e de tecnologia) (OCDE, 2005).
Muitas vezes, o tempo destinado a P&D ou o montante de recursos empregado
não permite que se alcance os resultados pretendidos no prazo estimado. Outras
vezes, por problemas contextuais, relacionados às empresas envolvidas ou aos
próprios pesquisadores, os resultados da pesquisa científica não chegam a
tornarem-se inovações, porém, estão prontos no seu desenvolvimento, apenas
não foram ainda utilizados ou aplicados de maneira a propiciar benefícios a
45
alguma empresa ou à sociedade em geral. Diante disso, é importantes que se
distingam os produtos e impactos efetivos daqueles potenciais (CAMPOS, 1999).
Para se definir a classificação mais adequada dos impactos e balizar a questão
referente à relevância de certos dados, Seadi et al. (2003) sugere que seja
focado o caráter do projeto avaliado, bem como a finalidade da avaliação.
Uma estrutura de avaliação destinada à medição dos benefícios econômicos da
P&D, recomendada por Williams e Rank
5
(1998, citado por FRANCISCO 2002),
considera que as atividades de pesquisa geram três tipos de outputs: resultados
da P&D, aumento do conhecimento e da perícia, e produtos que afetam as
atividades futuras de inovação.
Destes, são gerados três tipos de benefícios: 1) benefícios diretos:
desenvolvimento de novos produtos ou processos de produção; 2) benefícios de
competências: devidos ao uso dos conhecimentos ou da experiência ganha
durante a P&D; 3) benefícios para o sistema de inovação: desenvolvimento de
inovações a partir do uso das facilidades disponíveis como resultado do esforço
da P&D.
Para se iniciar um processo de avaliação de resultados de um projeto, é
necessário que antes seja definido o que se pretende medir e principalmente
quais critérios serão utilizados para isso. É preciso que se crie um conjunto de
indicadores de resultados. Mas este processo não é tão simples quanto parece,
pois, os resultados de projetos de C&T podem ser os mais variados possíveis.
Segundo Costa e Castanhar (2003), a avaliação somente é possível se o
planejamento for consistente e uma maneira de se testar a consistência do
planejamento é através da definição prévia da matriz lógica do programa. Esta
começa pela identificação dos objetivos gerais e específicos, dos indicadores de
performance pelos quais o programa será avaliado, bem como a indicação das
5
WILLIAMS, Douglas; RANK, Dennis. Measuring R&D Befits. Measuring the economic benefits of
research and development: the current state of the art.
Research Evaluation
. Vol. 7, número 1,
pg. 7-16. Abril, 1998.
46
fontes de dados que serão usadas para as mensurações, comparações e
análises necessárias.
Num segundo momento essa metodologia se volta para a identificação dos
recursos (financeiros, humanos e de infra-estrutura) alocados ao programa, as
atividades previstas, os resultados/impactos esperados (imediatos, médio e de
longo prazo) e as relações causais que a teoria por trás do programa pressupõe
que podem ser assumidas.
A gestão por objetivos ou resultados tem sido utilizada por alguns autores como
uma ferramenta moderna e competente. Perseguindo a evolução de indicadores
objetivamente expressos, todo o sistema se moverá compromissado. É
necessário que a administração pública se gerencie não mais por inputs
(recursos), mas sim por resultados, sejam eles quantificáveis, tangíveis e
imediatos (serviços oferecidos) ou impactos voltados aos usuários (SANTOS e
KOBASHI, 2005).
Toda a complexidade envolvida nestes processos é devida, principalmente, à
diversidade dos projetos e a longevidade de seus impactos aliados à
complexidade do desenvolvimento científico e tecnológico. Ainda existe o fator
relacionado à natureza intangível destes resultados (FRANCISCO, 2002).
Dependendo dos objetivos propostos pelo projeto, seus resultados
podem variar desde avanços teóricos no estado-da-arte da área em
questão, até o desenvolvimento de inovações tecnológicas. Devido a
grande incerteza inerente aos processos de P&D, não se pode garantir
quando, como e nem ao menos se os resultados esperados serão
obtidos (FRANCISCO, 2002, p. 20).
Também se deve considerar que, em alguns casos, os projetos de P&D podem
abranger mais de uma área do conhecimento, além disso, os objetivos dos
projetos a serem avaliados podem ser distintos. O propósito pode ser um produto
ou um processo final ou apenas a otimização de uma parte do processo de
produção ou ainda a produção de ensaios de garantia da qualidade de produtos,
etc. Assim, a avaliação deverá considerar um grande número de possibilidades.
47
No momento da escolha da metodologia de avaliação a ser utilizada, é
importante que se leve em conta também a distância temporal entre a atividade
de pesquisa e os seus impactos: se por um lado há necessidade de tempo para
que sejam evidenciados, quanto maior o tempo transcorrido mais difícil se torna
vincular os impactos aos respectivos projetos (STREET & BARKER
6
citado por
FRANCISCO, 2002).
Dependendo da complexidade do projeto de pesquisa, uma inovação pode
demorar tanto tempo para render lucros que se torna difícil associar os benefícios
gerados por ela às atividades e esforços de pesquisa despendidos anteriormente.
“Assim, não se pode deixar de considerar na avaliação a potencialidade para
futuros resultados positivos, pois os mesmos serão, ainda que parcialmente,
conseqüências do apoio anterior da Fundação” (FRANCISCO, 2002, p. 22).
Outro aspecto a ser considerado na avaliação ex-post de projetos de pesquisa é
a natureza intangível de alguns resultados, o que dificulta sua quantificação
como, por exemplo, aqueles que envolvem apenas processos de acumulação e
transferência de conhecimento, como o aumento da capacidade tecnológica de
uma empresa envolvida. Alguns benefícios são difíceis de traduzir em índices ou
números, sem que se perca sua importância.
Verifica-se uma multiplicidade de conceitos aplicáveis e uma variedade de
critérios apontados pelos estudiosos da matéria. Mas, nem a dificuldade nem o
risco devem ser obstáculo para as tentativas de se aplicar essa metodologia,
pois, esse é um campo em que o aprendizado com as experiências práticas
contribui para a superação das dificuldades conceituais e operacionais (COSTA e
CASTANHAR, 2003).
A aplicação destes conceitos e critérios requer formas específicas de
operacionalização, que são conhecidas como indicadores, cuja definição também
não é um ponto pacífico.
6
STREET, Penny; BARKER, Katharine. Evaluating the impacts of buildings energy research in the
UK
Research Evaluation
. Vol. 4, número 4, pg. 171-179. Dezembro, 1998.
48
2.4.2 Indicadores de Avaliação de Projetos de Pesquisa
Face à globalização da economia e à crescente competitividade entre nações e
entre empresas, a busca de informações quantitativas sobre as atividades de
C&T faz parte, hoje, da agenda dos governos dos mais variados países e das
mais variadas culturas. Como resultado deste processo, tem havido um esforço
considerável no sentido de desenvolver conceitos, técnicas e bases de dados
para a construção de indicadores nas atividades C&T.
O termo indicador é originário do latim indicare, que significa descobrir, apontar,
anunciar, estimar. Neste trabalho, adota-se o conceito apresentado por Filho e
Otani (2007), indicadores são funções que permitem obter dado ou informação
numérica sobre as medidas relacionadas a um sistema, um processo, um
produto ou uma grandeza, sendo utilizados para acompanhar e melhorar os
resultados do objeto de estudo ao longo do tempo.
Na perspectiva de Kondo (1998), a escolha desses indicadores na área de C&T
deve levar em consideração razões sólidas, tais como: necessidades sociais do
país, efeitos em cascata, melhorar um bem público com uma ação particular que
poderá melhorar o bem-estar da sociedade.
Tradicionalmente, estes indicadores são desagregados segundo três dimensões:
a natureza da pesquisa (básica e aplicada) e atividades científicas e técnicas
correlatas; os setores que executam ou financiam estas atividades (governo,
instituições de ensino superior e empresas); e a classificação dos recursos de
cada um destes setores, obedecendo critérios específicos para o governo
(segundo objetivos sócio-econômicos), as instituições de ensino superior
(segundo áreas do conhecimento) e as empresas (segundo setores de atividade
econômica) (BRASIL, 2007).
Mais recentemente, foram desenvolvidos os chamados indicadores de
resultados, que incorporaram a produção de patentes e a transferência de
tecnologia. Mas, segundo Brasil (2007), são ainda incipientes as tentativas de
elaboração de indicadores de impacto, isto é, formas de mensurar como
49
determinado resultado científico ou tecnológico afeta as várias dimensões das
condições de existência dos indivíduos. A simples observação dos indicadores de
C&T disponíveis permite constatar que na medida em que se caminha dos
indicadores de insumo para os de resultados e destes para os de impacto, mais
escassos eles se tornam.
Desde a década de 60, que a Organização de Cooperação para o
Desenvolvimento Econômico (OCDE), juntamente com diversas outras
organizações responsáveis pelo desenvolvimento científico e tecnológico dos
mais diversos países e regiões, iniciaram esforços a fim de sistematizar as
medições das ações relacionadas à ciência e tecnologia e produzir algumas
normas padrão para o estabelecimento e utilização de indicadores em C&T
(FRANCISCO, 2002).
Foram desenvolvidas várias metodologias que podem ser resumidas em quatro
manuais de referência: Manual de Frascati, Manual de Oslo, Manual de Canberra
e Manual de Bogotá.
O Manual de Frascati (OCDE, 1993) teve sua primeira edição em 1963. O
Manual de Oslo (OCDE, 1997) oferece metodologias para a recopilação de
dados que permitam interpretar a inovação em C&T. O Manual de Canberra
(OCDE, 1995) proporciona diversas metodologias para avaliar os recursos
humanos dedicados a C&T, mas não menciona os métodos cientométricos. A
maioria dos indicadores é baseada em insumos e produtos (ROMÃO, 2002).
O Manual de Bogotá, criado em 2001 pela RICYT Red Iberoamericana de
Indicadores de Ciencia y Tecnologia, em colaboração com a Organização dos
Estados Americanos (OEA) e o Programa Iberoamericano de Ciência e
Tecnologia para o Desenvolvimento (CYTED), tem como base os mesmos
objetivos principais do Manual de Oslo, ou seja, a sistematização de indicadores
destinados à medição de processos de inovação, porém voltados aos países em
desenvolvimento, em especial os da América Latina (FRANCISCO, 2002).
50
A mensuração dos resultados de um programa só poderá ser quantificada
através da utilização de indicadores. São recursos metodológicos que informam
sobre aspectos da realidade social ou sobre mudanças que estão se
processando na mesma. Para a análise e formulação de políticas estes
indicadores podem ser classificados da seguinte forma (JANUZZI, 2003):
1. Quanto à natureza do fenômeno indicado: o indicador-insumo é a medida
dos recursos – humanos, financeiros, equipamentos, etc. – alocados para
o programa; o indicador-produto serve para mensurar os resultados
efetivos das políticas; e os indicadores-processos são indicadores
intermediários de esforço operacional para a obtenção dos resultados.
2. Quanto à temporalidade: o indicador de estoque é a medida em um
momento específico; já o indicador de performance ou fluxo procura medir
mudanças ocorridas entre dois momentos distintos.
3. Quanto à avaliação de programas: indicadores de eficiência dos meios e
recursos empregados; indicadores da eficácia no cumprimento das metas;
e indicadores da efetividade social do programa, isto é, de seus efeitos.
Pela facilidade de levantamento, foco em produtividade e progresso e pelo fato
de não enfrentarem tantos problemas conceituais, os indicadores são muito
usados como medidores de atividade científica (SEADI et al., 2003). São
variáveis cuja função é descrever e mensurar certas características de um
fenômeno ou sistema, utilizando-se dados quantitativos ou qualitativos,
verificados por meio da análise do próprio fenômeno ou sistema (FRANCISCO,
2002).
Outro conceito de indicadores foi elaborado por Wilk
7
(citado por SEADI et al.
(2003, p.1):
[...] estatísticas que medem aspectos quantificáveis da criação,
disseminação e aplicação de ciência e tecnologia. Como indicadores
eles devem ajudar a descrever o sistema de ciência e tecnologia,
7
WILK, Martin B. Statistics Canada, A Framework for Measuring Research and Development
Expenditures in Canada, catálogo 88-506E, prefácio.
51
possibilitando uma melhor compreensão de sua estrutura, do impacto
de suas políticas e programas e do impacto de ciência e tecnologia na
sociedade e na economia.
Um sistema de avaliação ex-post, necessário para as FAP´s, deve fornecer
respostas que justifiquem não somente os recursos financeiros empregados, mas
também as escolhas feitas, como as áreas científicas de maior potencial ou
regiões mais carentes de desenvolvimento científico e tecnológico. Os
indicadores são fundamentais para a construção deste sistema, pois, servem
para reduzir a incerteza no processo de tomada de decisão (FRANCISCO, 2002).
De acordo com Kondo (1999), os indicadores existem para permitir aos
tomadores de decisão verificar se o sistema sob sua responsabilidade está
atingindo os objetivos para o qual foi planejado e uma das preocupações que se
deve ter durante a escolha desses indicadores é a possibilidade deles não serem
capazes de refletir a parte mais relevante dos fenômenos, pois, representam as
imperfeições destes fenômenos (KONDO, 1999).
No momento da entrega do relatório final, muitos projetos ainda não puderam
desenvolver e apresentar impactos. Normalmente os índices bibliométricos são
mais perceptíveis nesta fase do projeto, quando são finalizadas as teses e
dissertações, além disso, o tempo de elaboração e publicação de artigos ou do
requerimento de patente costumam ser previstos (SEADI et al., 2003).
Segundo Kostoff
8
(citado por HERRLEIN, 2001), existe uma variedade de
dimensões comuns na área de C&T. O construto mais simples é o que envolve
insumos e resultados e relata aspectos básicos da pesquisa e do período em que
ela ocorreu. Outros envolvem uma complexidade maior, são os de impacto que
resgatam desdobramentos dos períodos seguintes.
Peixoto (2005), afirma que os indicadores científicos surgem da medição dos
insumos (recursos humanos, financiamento público e privado, etc.) e dos
resultados (produção bibliográficas, patentes, etc.) das instituições científicas,
destacando a importância da existência de bancos de dados sobre C&T para
8
KOSTOFF, Ronald.
Science and Technology Metrics
, Departament of the Navy, Arlington, VA.
52
esta medição. Entretanto, há dificuldade em construir indicadores que reflitam
com segurança a realidade que se pretende representar e em estabelecer uma
relação de causa-efeito entre a atividade científica e tecnológica e o impacto
socioeconômico que a própria ciência provoca.
O Manual de Oslo (OCDE, 2005) apresenta uma classificação para este tipo de
impacto e traça diretrizes para a elaboração de indicadores que meçam certos
aspectos do processo de inovação:
−
Impacto Econômico e de Inovação : O impacto econômico demonstra o
retorno financeiro para a sociedade e para a empresa. Principalmente nos
casos onde é gerado um novo produto ou processo, os resultados da
comercialização são de grande relevância. Já o impacto da inovação
informa os impactos relacionados diretamente com o objetivo da pesquisa,
a produção científica e tecnológica.
− Impacto Ambiental : Atender ao direito de informação da população sobre
temas como qualidade do ar e da água, saúde e bem-estar, além de servir
de base para a cooperação e acordos internacionais
−
Impacto Social: Visa-se medir como os membros da sociedade foram
afetados pelo projeto, os efeitos na comunidade acadêmica e científica e o
conhecimento transferido diretamente aos envolvidos.
Apesar da sua significância, o impacto econômico só será efetivamente
mensurado no final do exercício e o de meio-ambiente provavelmente manifeste-
se num montante importante ao longo do tempo. Dessa forma, para permitir que
os impactos surjam e se desenvolvam seria interessante a entrega de relatórios
subseqüentes ao final (SEADI et al., 2003).
Os indicadores de resultados medem o impacto imediato do projeto e, como
muitos destes são intangíveis, apresentam dificuldade de medição. Então
formula-se suposições para a seleção de critérios que, de forma indireta,
possibilitem uma visualização dos resultados (SEADI et al., 2003).
53
Na avaliação de um programa em que existam projetos de pesquisa muito
diversificados, para simplificar e sintetizar resultados recorre-se a diferentes tipos
de indicadores quantitativos, basicamente bibliométricos e de desenvolvimento
técnico (HERRLEIN, 2001).
Alguns conceitos quantitativos relevantes para o estudo de indicadores em C&T
são apresentados por Kondo (1998):
- Bibliometria: é o estudo dos aspectos quantitativos da produção, disseminação
e uso da informação registrada.
- Cientometria: é o estudo dos aspectos quantitativos da ciência enquanto uma
disciplina ou atividade econômica. Sobrepõe-se à bibliometria.
- Informetria: é o estudo dos aspectos quantitativos da informação em qualquer
formato, não apenas dos cientistas.
A Cientometria, ou ciência das ciências, compreende o estudo das ciências
físicas, naturais e sociais para identificar sua estrutura, evolução e conexões,
bem como estabelecer relações entre as ciências e o desenvolvimento
tecnológico, econômico e social. Baseia-se em indicadores bibliométricos
construídos a partir de documentos publicados (SANTOS e KOBASHI, 2005).
Através destes conceitos, é possível compreender a realidade e estabelecer
parâmetros numéricos capazes de resumir informações generalizadas sobre
investimentos, produção e tendências no campo da ciência e tecnologia. Estes
parâmetros são conhecidos como indicadores de C&T.
Devido à variedade das áreas de conhecimento envolvidas nos projetos de C&T,
em especial os destinados aos projetos apoiados por FAP´s, diferentes objetivos
econômicos e sociais são enfatizados, sendo necessária a elaboração de
indicadores que apresentem características próprias, como a generalidade e a
capacidade de adequação a variados casos (HERRLEIN, 2001).
Um conjunto de indicadores é proposto por Francisco (2002, p. 29) para avaliar
os projetos financiados pela FAP do Rio Grande do Sul. Esta fez uma análise dos
54
indicadores apresentados por vários outros autores e manuais, estabelecendo,
de uma forma muito apropriada, aqueles que serviriam para medir os resultados
e impactos dos projetos de pesquisa na área de C&T:
- Indicadores de Insumo - usados para demonstrar os recursos utilizados nas
atividades de C&T, como valor gasto com pesquisa, número de pessoas
envolvidas na atividade científica, número de instituições de pesquisa. Este
indicador deve ser utilizado somente como demonstrativo dos investimentos e
não da relevância ou eficácia, sendo necessário avaliar outros aspectos.
- Indicadores de Produto - no sistema científico, o principal produto é o
conhecimento, que é gerado, transmitido e modificado, com agregação de novas
idéias. Como não se tem meios de medir o conhecimento diretamente, uma
maneira de medi-lo indiretamente é através de indicadores bibliométricos e de
patentes, principalmente. Porém, nem todas patentes requeridas transformam-se
realmente em uma inovação, o que representa um fator complexo e dificultador
na avaliação.
- Indicadores de Impacto Social - têm fundamental importância para a tomada de
decisões estratégicas, principalmente em países em desenvolvimento, pois,
servem para quantificar os impactos das atividades científicas em função de toda
sociedade, não apenas o seu impacto econômico.
- Indicadores de Inovação - partem de premissa de que a inovação tecnológica é
a base para a manutenção da competitividade e para o crescimento econômico.
Neste aspecto consideram-se os objetivos econômicos (ampliar a gama de
produtos, desenvolver produtos ecológicos, manter ou aumentar a participação
no mercado, diminuir custos de produção, melhorar as condições de trabalho,
etc).
Para uma melhor visualização desses indicadores, foi elaborado um quadro
especificando a dimensão de cada indicador com seus respectivos itens de
medição:
55
QUADRO 03
Indicadores propostos para avaliação dos Projetos do Edital de Interação
Universidade-Empresa da FAPERGS
Indicadores Itens a serem medidos
De Insumo
- Número de pesquisadores envolvidos.
- Número de bolsas concedidas.
- Número de pessoas dedicadas à absorção do projeto por parte da empresa
(técnicos, engenheiros, administradores, operários, etc.).
- Valor investido no projeto como percentagem do lucro da empresa.
- Valor investido pela FAPERGS.
De Produto
- Artigos publicados (revistas e periódicos nacionais e internacionais, livros).
- Teses defendidas.
- Dissertações defendidas.
- Patentes requeridas.
- Patentes concedidas.
- Demandas tecnológicas atendidas.
- Produtos novos.
- Produtos melhorados.
- Processos novos.
- Processos melhorados.
De
Inovação
- Tecnologias avançadas utilizadas.
- Número de pessoas na empresa que adquiriram qualificação durante/após o
projeto.
- Proporção de vendas devido aos produtos/processos novos.
- Proporção de vendas devido aos produtos/processos melhorados.
- Proporção de exportações devido aos produtos/processos novos ou
melhorados.
- Proporção no faturamento da empresa devido aos produtos/processos novos ou
melhorados.
- Proporção de redução de custos da empresa.
- Variações no uso dos fatores de produção da empresa (especificar fatores:
energia, mão-de-obra, matérias-primas, etc.).
De Impacto
Social
- Produtos e/ou processos novos ou melhorados que adotam tecnologias limpas.
- Número de empregos diretamente gerados.
- Número de empregos indiretamente gerados.
- Número de novos postos de trabalho criados.
- Impostos gerados na comercialização dos produtos e/ou processos novos ou
melhorados.
- Criação de uma empresa (spin-offs).
Fonte: FRANCISCO (2002, p. 29).
É importante considerar que nos projetos em etapas iniciais, cuja solução
tecnológica não foi atingida, torna-se mais difícil a mensuração de indicadores de
impacto. Além disso, Herrlein (2001) acrescenta que existem também indicadores
referentes ao impacto que os resultados de projetos de C&T acarretam para o
meio ambiente. Nem todos os indicadores mencionados são relevantes para
todos os projetos, assim como existem indicadores que não foram citados e
56
podem ser imprescindíveis na avaliação de algum projeto, eles vão variar de
acordo com os objetivos e a natureza dos mesmos.
Na definição dos indicadores que deverão ser utilizados em uma avaliação deve-
se atender a certos critérios que garantam sua adequação ao uso no processo.
É importante que se observe a simplicidade, objetividade, clareza e pertinência
dos indicadores propostos, além da coerência destes com os objetivos da
avaliação (OHAYON, 1985).
De acordo com Geisler (2000), duas das características mais importantes a
serem apresentadas por um conjunto de indicadores de avaliação são a validade
e a confiabilidade. A validade é essencial porque conecta o instrumento de
medição com o fenômeno a ser analisado, ou seja, é o que descreve o grau no
qual os valores apurados realmente medem o que se propõem a medir. A
confiabilidade refere-se ao grau no qual diferentes leituras do instrumento de
medição estão dentro de uma escala de erro aceitável.
Para se chegar a indicadores confiáveis, é necessário definir alguns passos de
construção do sistema de avaliação. Deve-se saber o que se deseja mensurar e
atingir e partir daí levantar um conjunto de medições passíveis de serem
avaliadas, que são combinadas e colocadas sob forma de indicadores. Estes
devem ser testados, segundo critérios estabelecidos, para que possam realmente
servir de auxílio na avaliação (GEISLER, 2000).
Para a avaliação de projetos apoiados por FAP´s, é importante que o conjunto de
indicadores selecionados destaque as características relacionadas à validade,
confiabilidade, relevância, abrangência do uso dos mesmos e a possibilidade de
quantificação (mensuralidade), além da viabilidade de coleta dos dados
(FRANCISCO, 2002).
Para garantir sua adequação ao processo de avaliação, o conjunto de
indicadores proposto deve atender a certos critérios. Foram identificados sete
critérios principais, apresentados no QUADRO 04.
57
Nem sempre os indicadores existentes são suficientes para apoiar a decisão das
agências regionais de fomento à pesquisa, exigindo a obtenção de novos
indicadores ou outras formas de conhecimentos úteis à gestão de C&T regional
(ROMÃO, 2002).
QUADRO 04
Aspectos de indicadores de resultados de C&T
Dimensão Característica
Validade Capacidade de identificação dos resultados de acordo com aqueles aspectos
esperados (científicos, tecnológicos, econômicos, sociais e ambientais), ou
seja, garantia de que o indicador é valido, pertinente e coerente para o que se
deseja medir.
Confiabilidade O indicador deve ser precisamente definido para que no momento de sua
aplicação não haja dúvidas em relação ao dado que se deseja obter. Este
aspecto se refere à clareza do indicador, ao grau em que diferentes leituras do
indicador são feitas no decorrer do tempo e se mantêm num intervalo aceitável.
Relevância Refere-se ao grau em que a medida a que se propõe é de interesse da
Fundação. Deve-se medir somente aquilo que revela aspectos de interesse no
sistema analisado, ou seja, o indicador deve ser útil na análise e na tomada de
decisão.
Abrangência O indicador proposto deverá ser útil para a análise de projetos de diferente
natureza, pertencentes a diferentes áreas do conhecimento, dentro de um
espectro abrangente de possíveis resultados.
Mensuralidade Para facilitar a agregação, cálculo e comparação, avaliação deve ser baseada,
o tanto quanto possível, em dados objetivos e numéricos. A partir daí, poderão
ser feitas análises subjetivas, porém a base deve ser objetiva.
Viabilidade Os indicadores deverão ser de simples obtenção, não agregando custos
adicionais ao processo de desenvolvimento da pesquisa, ou seja, o custo de
obtenção de um dado não pode ser superior aos benefícios decorrentes de sua
identificação.
Invariância de
Escala
Refere-se a manutenção da validade do indicador mesmo quando as
dimensões do processo ou sistema em análise sejam acentuadamente
diferentes, ou seja, em contextos diferentes, uma relação numérica, ou mesmo
uma grandeza simples pode significar estados distintos. Por exemplo, uma
relação de 5 publicações / 10 pesquisadores em um projeto de 12 meses de
duração, não tem o mesmo significado que em um projeto de 24 meses de
duração.
Fonte: Francisco (2002), Herrlein (2001) e Geisler (2000).
São várias as classificações e denominações encontradas para diferentes
conjuntos de indicadores, no entanto, segundo Francisco (2002) a que define a
melhor classificação ou o melhor conjunto são as características dos projetos a
serem avaliados, o propósito da avaliação, e também o tipo de órgão que financia
o projeto. Como muitos dos resultados obtidos em C&T não são passíveis de
mensuração, um processo de avaliação deve também permitir a indicação de
resultados intangíveis, por meio de demonstrativos qualitativos.
58
A escolha dos indicadores adequados envolve uma fundamentação nos reais
objetivos e interesses daquilo que se pretende medir. E para manipulá-los é
necessário que se possua conhecimento suficiente para interpretar os dados
obtidos e transformá-los em informações importantes para o Sistema de C&T.
59
3 – METODOLOGIA
Aspectos relacionados à metodologia desta pesquisa serão detalhados neste
capítulo. Inicialmente, será abordada a caracterização e estratégia do estudo,
procurando-se justificar as escolhas metodológicas. Além disto, serão detalhados
os instrumentos de coletas de dados, o universo e critério da amostra, as formas
de análise dos dados e, para finalizar, as principais limitações deste trabalho.
Tendo em vista o propósito do estudo que é verificar como as FAP´s realizam a
avaliação ex-post dos projetos apoiados, as questões de pesquisa são:
Como as FAP´s estudadas têm se organizado para avaliar os resultados
dos projetos de pesquisa apoiados?
Quais os principais indicadores, métodos e técnicas que são utilizados
nesta avaliação?
Quais critérios são considerados na seleção destes indicadores e
práticas?
Para responder a estas questões e esclarecer as etapas na pesquisa, foi utilizado
o modelo de pesquisa (FIG. 1) apresentado por Yin (2005):
FIGURA 01
MÉTODO DE ESTUDO DE CASO
Desenvolve a
teoria
Seleciona os
casos
Projeta o
protocolo de
coleta de dados
Chega a conclusões de
casos curzados
Modifica a teoria
PREPARAÇÃO, COLETA E ANÁLISE
ANÁLISE E
CONCLUSÃO
DEFINIÇÃO E PLANEJAMENTO
Escreve um
relatório de
caso
individual
Escreve um
relatório de
caso
individual
Escreve um
relatório de
caso
individual
Desenvolve implicações
políticas
Conduz
segundo
estudo de caso
Conduz
primeiro
estudo de caso
Conduz
estudos de
caso
remanescentes
Escreve um relatório de
casos cruzados
Fonte: Yin (2005, p. 72).
60
3.1 Classificação da pesquisa
Na revisão da literatura foram encontrados poucos estudos relacionados à
avaliação ex-post de projetos de pesquisa em Fundações de Amparo à Pesquisa.
Roesch (1999) afirma que a utilização do modo exploratório visa levantar
questões e hipóteses para futuros estudos através de dados qualitativos. Nesse
sentido, a pesquisa exploratória mostrou-se mais indicada.
A avaliação ex-post de projetos de pesquisa tem como objetivo determinar a
relevância, a eficiência, a eficácia e o impacto das atividades desenvolvidas,
fornecendo respostas acerca das conseqüências e da importância destas à
sociedade (FRANCISCO, 2002). Godoy (1995) afirma que quando o contexto é
pouco conhecido e a pesquisa é de caráter exploratório, a investigação mais
adequada é a de natureza qualitativa.
O método utilizado na pesquisa é o estudo de casos múltiplos. De acordo com
Yin (2005), o estudo de caso é uma inquirição empírica, que consiste numa
estratégia de pesquisa que procura um fenômeno contemporâneo dentro de um
contexto da vida real, em situações em que as fronteiras entre o fenômeno e o
contexto não são claramente estabelecidas, utilizando assim múltiplas fontes de
evidências. Segundo este autor, opta-se pela estratégia de estudo de caso,
quando se faz uma questão do tipo como ou por quê sobre um conjunto
contemporâneo, no qual o pesquisador tem pouco ou nenhum controle.
Especificamente para este trabalho foi utilizado o estudo de casos múltiplos por
envolver mais de uma organização (YIN, 2005). Cada caso foi selecionado de
forma a prever resultados semelhantes ou produzir resultados contrastantes por
razões previsíveis.
Conforme proposto por Yin (2005) e com o intuito de validar a qualidade deste
projeto de pesquisa, foram escolhidas várias fontes de evidências a fim de
incentivar linhas convergentes de investigação. Além disso, o rascunho do
relatório dos estudos de caso foi revisado por informantes-chaves.
61
Também foram documentados todos os procedimentos adotados em cada caso
por meio da elaboração de um protocolo de pesquisa. Este protocolo garante que
as operações do estudo, bem como os procedimentos de coleta de dados
poderão ser repetidos em outros estudos que apresentarão resultados
semelhantes (YIN, 2005).
Por critério de acessibilidade, a primeira FAP selecionada para coleta dos dados
serviu também como um estudo de caso piloto. Segundo Yin (2005), o estudo de
caso piloto auxilia na hora de aprimorar os planos para a coleta de dados tanto
em relação ao conteúdo dos dados, quanto aos procedimentos que devem ser
seguidos.
3.2 Coleta de dados
A formulação de bases teóricas preliminares é fundamental para a realização de
um estudo de caso. De acordo com Yin (2005), mesmo um estudo exploratório
deve apresentar os pressupostos teóricos que irão nortear a investigação. Assim,
as variáveis estratégicas identificadas na revisão da literatura formam a base
teórica que orientará a coleta de dados, e a interpretação e análise deles.
Após esta fase de revisão da literatura, o primeiro passo foi selecionar as FAP´s
que fazem parte da amostra do trabalho. De acordo com Yin (2005), para os
estudos de casos múltiplos, não deve ser adotada uma lógica de amostragem;
com isto, os critérios típicos adotados em relação ao tamanho da amostra se
tornam irrelevantes.
Assim, o universo deste trabalho é formado por FAP´s que atuam no Brasil. Dos
vinte e sete Estados brasileiros, vinte e dois possuem uma FAP. Dentro deste
universo foram escolhidas três, em função destas possuírem um sistema de
avaliação de resultados, em função do tempo de atuação e pelo critério de
acessibilidade.
Em relação às fontes de evidências, este estudo utilizou basicamente a
entrevista. Yin (2005) afirma que estas são importantes fontes de informações
para os estudos de caso, pois tratam de questões humanas. Neste caso, é
62
possível conversar abertamente com o entrevistado, podendo-se indagar o
respondente de várias formas e também pedir a opinião dele sobre determinado
assunto.
Foram realizadas entrevistas baseadas em roteiros semi-estruturados, para
Saunders
9
(2000, citado por HONMA, 2007), este tipo de entrevista acontece de
maneira informal e é utilizada para explorar um assunto a fundo onde é
necessária uma idéia geral do assunto, principalmente do entrevistado.
As entrevistas foram realizadas em novembro de 2007, pela própria
pesquisadora, junto aos responsáveis pelo sistema de avaliação de projetos das
FAP´s. Para aproveitar todo o comentário do entrevistado, foi utilizado um
gravador e posteriormente todo o conteúdo foi transcrito, classificado e
codificado.
Os principais objetivos do roteiro foram: 1) conhecer as Fundações; 2) entender
como a avaliação ex-post é realizada na realidade da FAP; e 3) identificar quais
critérios são utilizados para escolha das práticas e indicadores utilizados na
avaliação dos projetos. Pelo fato de ser composto de questões abertas e
fechadas, o entrevistado pode expor suas opiniões com maior flexibilidade.
Verificou-se também a existência de registros sobre avaliação de resultados nos
arquivos das FAP´s. Segundo Yin (2005), os registros em arquivos possuem os
mesmos pontos positivos relativos aos documentos; porém podem ser mais
precisos.
As observações diretas também são importantes fontes de evidências adicionais,
pois o pesquisador entra em contato com o ambiente do fenômeno que está
sendo estudado (YIN, 2005). Na coleta dos dados, o mesmo pesquisador
realizou visitas formais a cada FAP estudada, onde foi possível observar o
funcionamento dos setores e realizar a comparação das observações.
9
SAUNDERS, M. N. K.; LEWIS, P.; THORNHILL, A.
Research methods for business
studentes.
England: Pearson Education, 2000.
63
Outras fontes de evidências utilizadas foram os documentos e informações
disponíveis nos sites eletrônicos institucionais das FAP´s e documentos de
apresentação institucional. Para Yin (2005), a documentação apresenta como
pontos fortes a estabilidade, exatidão, discrição - as evidências não são
resultantes do estudo de caso – e a ampla cobertura de eventos, ambientes e
tempo.
Seguindo as recomendações propostas por Yin (2005), o protocolo desta
pesquisa contemplou os seguintes passos:
1. Elaboração do instrumento de coleta de dados.
2. Escolha da FAP para realização do estudo de caso piloto.
3. Realização do estudo de caso-piloto.
4. Analise das informações obtidas no estudo de caso piloto.
5. Adequação do roteiro de entrevista para realização das entrevistas semi-
estruturadas.
6. Definição dos casos estudados.
7. Agendamento das entrevistas nas FAP´s selecionadas para a pesquisa.
8. Realização das entrevistas.
9. Levantamento dos documentos e dos registros em arquivos de cada FAP.
10. Descrição e análise das informações provenientes das entrevistas, dos
documentos e dos registros de cada caso individualmente.
11. Elaboração do relatório final do estudo de casos múltiplos.
A fim de resguardar a imagem das instituições participantes bem como a
identidade dos indivíduos que colaboraram com a pesquisa, optou-se por não
identificá-los, o que possibilitou informações mais completas sobre cada caso
selecionado. Assim, cada caso é identificado por FAP A, B e C. Foram
entrevistados sete informantes de três FAP´s, sendo que, duas são do Sudeste e
uma do Sul do Brasil.
64
O número de pessoas entrevistadas variou de uma FAP para outra. O primeiro
contato foi feito com a Diretoria Científica de cada instituição, a fim de identificar
qual seria a pessoa mais recomendada para entrevistada, dado o nível de
detalhamento em questão.
Na FAP A, foi entrevistado o seu Diretor Científico (Entrevistado A1), o
Coordenador da Câmara de Ciências Sociais, Humanas, Letras e Artes
(Entrevistado A2), o Coordenador da Câmara de Ciências Exatas e dos Materiais
(Entrevistado A3) e um membro de uma Comissão de Avaliação de Relatórios
Técnicos (Entrevistado A4).
Na FAP B foram entrevistadas duas Assessoras da Diretoria Científica
(Entrevistado B1 e B2) que trabalham na área técnica, junto aos comitês
avaliadores. O Diretor Científico desta FAP havia confirmado sua participação,
porém, no dia agendado para entrevista, se ausentou.
Na FAP C, foi indicada apenas uma pessoa para participar da pesquisa, o
Assessor Especial da Presidência do Conselho Técnico Administrativo, que
também trabalha junto aos consultores avaliadores (Entrevistado C1).
Considerando que este, se trata de um funcionário antigo da casa, seu
depoimento foi suficiente com dados precisos para a análise do caso.
3.3 Técnica de análise dos dados
A análise dos dados ocorreu, primeiramente, de forma individual em cada FAP.
Após, foi realizada uma análise integrada das três FAP´s, na pretensão de
descobrir como é feita, de uma forma geral, a avaliação dos resultados dos
projetos apoiados.
Para isto foi utilizado o modelo proposto por Laville e Dionne (1999): “recortar os
conteúdos separando estes em categorias analíticas agrupadas por parentesco
de sentido e em função das intenções e objetivos do estudo, e também do
conhecimento do pesquisador na área”.
De acordo com os modelos de abordagem apresentados por estes autores, neste
estudo, foi utilizado o modelo aberto, onde as categorias não foram estipuladas
65
previamente e sim durante a análise. A classificação dos dados em categorias foi
guiada pelas questões de pesquisa, pela teoria estudada e pelos pontos mais
importantes de cada entrevista.
Ao observar a FIG. 01 verifica-se uma curva de retorno da linha pontilhada. Esta
representa uma situação de descoberta importante durante a realização dos
estudos de caso, onde o “reprojeto” pode ocorrer durante o processo, evitando
que o pesquisador seja acusado de distorcer ou ignorar a descoberta apenas
para acomodar o projeto original (YIN,2005).
3.4 Limitações do Método
Podem ser consideradas como limitações deste estudo a dificuldade de acesso
aos entrevistados, a possibilidade de respostas tendenciosas e imprecisas, em
função do interesse em não revelar acontecimentos considerados confidenciais.
Apesar das limitações apresentadas, o método de estudo de casos se mostrou
adequado, pois, possibilitou um aprofundamento nos conhecimentos sobre o
tema pesquisado, condizendo com a natureza exploratória da pesquisa.
66
4 – DESCRIÇÃO DOS CASOS
Nesse capítulo são apresentados, individualmente e de forma detalhada, cada
caso estudado. Os aspectos mais importantes das entrevistas bem como as
principais características da avaliação de resultados são ressaltadas em cada
caso visando aprimorar a análise contingencial.
Em cada caso, os dados são divididos em quatro partes: caracterização da FAP
e do contexto em que ela atua, descrição de todo o processo da avaliação ex-
post, identificação dos indicadores e critérios utilizados e, por último, são
apresentadas as considerações sobre cada caso.
Para caracterização das FAP´s foram retiradas informações dos seus sites
institucionais, dos relatórios anuais disponibilizados e das entrevistas. Para
descrever os critérios de avaliação foram analisados, além das entrevistas, os
formulários utilizados no processo.
Posteriormente é feita uma analise comparativa dos casos, destacando as suas
particularidades, similaridades e diferenças.
4.1 FAP A
4.1.1 Caracterização da Fundação
Criada na década de 80, é a única agência de fomento à pesquisa científica e
tecnológica do Estado e está vinculada à Secretaria de Estado de Ciência,
Tecnologia e Ensino Superior. Atua com base nas atribuições conferidas pela
Constituição do Estado e nas orientações do Conselho Estadual de Ciência e
Tecnologia e do seu Conselho Curador.
Seus recursos são assegurados pela Constituição do Estado, que determina o
repasse de 1% da receita orçamentária corrente. Este percentual é repassado
integralmente pelo governo do Estado e a Fundação tem autonomia para gestão
destes recursos em concordância com a política de ciência e tecnologia do
Estado.
67
Entre servidores efetivos, cargos comissionados e contratados, esta Fundação
possui 150 funcionários. Recentemente alterou sua estrutura organizacional e
realizou concurso público para dar suporte às novas atividades que seriam
desenvolvidas.
O processo de julgamento das propostas é realizado através de Câmaras de
assessoramento. Alguns programas especiais requerem a formação de
comissões específicas para julgamento. Muitas vezes, quando a Câmara não se
julga apta a avaliar o projeto, ou o valor solicitado é muito elevado, é requerida a
participação de outros pesquisadores ad-hoc, reconhecidos em suas respectivas
áreas, cujo parecer é referência para decisão e classificação da proposta.
Com o intuito de garantir a imparcialidade no processo de avaliação, os
pesquisadores, convidados para compor as Câmaras e comissões formadas,
pertencem a outros Estados. A clientela da FAP A é formada, principalmente, por
pesquisadores de instituições de ensino superior federais. Isto devido ao grande
número de instituições federais de ensino que o estado possui.
Outra característica desta FAP é que o foco do financiamento à pesquisa tem
mudado nos últimos anos. Como no sistema brasileiro, anteriormente, a
prioridade era a formação de recursos humanos através, principalmente, da
concessão de bolsas. Atualmente, sem diminuir o investimento nesta área, vem a
aumentando a busca e os investimentos na tecnologia e inovação.
(...) estamos investindo, de uma forma direcionada e induzida, para
focar um pouco mais em tecnologia e inovação. Porque nós precisamos
transformar essa ciência e esse conhecimento em coisas que
interessam para a sociedade. (Entrevistado A1)
Esta também é uma cobrança do governo do estado, instituição que direciona as
ações da FAP A. O governador tem cobrado o apontamento de indicadores
sociais de ciência e tecnologia. Assim esta Fundação tem atuado de forma a
orientar suas ações para resultado, o que tem ocasionado alterações na sua
estrutura e processos.
68
4.1.2 A FAP A e a Avaliação Ex-Post
A avaliação ex-post sempre existiu nesta fundação, porém em uma abordagem
bastante simplista. Após o término do prazo de execução da pesquisa, o
pesquisador encaminha à FAP, a prestação de contas financeira e o relatório
técnico científico final do projeto para avaliação.
A avaliação ainda vigente ela é uma avaliação que tem duas
abordagens. Uma avaliação técnica, que é feita através do relatório
técnico. O pesquisador apresenta um relatório, que é avaliado pela
Câmara, para ver se tem qualidade ou não o trabalho. E a outra, que é a
avaliação financeira através da prestação de contas. Só que esse
processo de avaliação é focado no processo e não no resultado.
(Entrevistado A1)
Pode ser percebida uma certa insatisfação desse entrevistado com a avaliação
que é realizada e o interesse em buscar novas formas de avaliar os projetos.
Através de uma visão futurista, afirma querer saber apenas os resultados do
processo.
Na verdade, eu não quero mais que o pesquisador me mande
calhamaço de um relatório dizendo o que ele fez. Eu quero saber o
seguinte: o que você conseguiu? Eu quero resultado. Você falou que ia
produzir um livro, só me mostra o livro. Não precisa escrever um
relatório de 200 páginas, que eu não quero lê-lo. Falou que vai orientar
duas dissertações de mestrado e doutorado. Eu quero saber se as teses
foram defendidas. Falou que vai publicar três artigos. Me entrega os três
artigos, afinal. (Entrevistado A1)
Verifica-se que existe a consciência de que a avaliação deve ser feita focando os
resultados, porém, esta abordagem ainda não foi implantada totalmente.
Recentemente, foi criado nesta FAP um departamento de avaliação que se
encontra em fase de estruturação. Também foi realizada uma reunião para
conscientizar os pesquisadores e envolvê-los neste novo sistema:
Nós fizemos aquela reunião com todos os membros da Câmara, mais
de 100 pesquisadores [...], para dizer o seguinte: Não dá mais para a
gente ficar apenas no relatório técnico. Em geral, o pesquisador pega o
projeto que ele submeteu e troca o verbo do futuro para o passado. [...]
nós queremos que ele diga o seguinte: Eu queria fazer isso, fiz isso e
mais isso. Eu não fiz isso por causa disso. Agora, se o resultado foi o
esperado ou melhor que o esperado, parabéns, diga porquê. E se não
foi, também diga porquê. (Entrevistado A1)
69
O entrevistado A2, ao reconhecer esta tendência para mudança, afirma que a
avaliação dos resultados era assentada no relatório do projeto em si, hoje visa
mais o produto: “artigos científicos, produtos tecnológicos, patentes, softwares,
metodologias, processos”.
Na verdade, é a sociedade que precisa se beneficiar do conhecimento
científico e tecnológico e da inovação que são produzidos. E a FAP e o
Estado têm que mediar essa relação entre a comunidade e a sociedade
acadêmica. [...] Como o recurso é escasso, você precisa aplicar isso
bem, de forma seletiva e de forma que dê resultado para a sociedade.
(Entrevistado A2)
Para ele, é primordial que sejam demonstrados á sociedade os resultados que
são obtidos através do investimento na pesquisa e, inclusive, com esta avaliação
podem ser identificadas as áreas que merecem e aquelas que não merecem
investimento.
4.1.3 Métodos e Práticas de Avaliação Ex-Post
A avaliação financeira é de responsabilidade do setor de prestação de contas,
que verifica se as notas fiscais, as aquisições, diárias, enfim, tudo que foi
adquirido está dentro da legislação vigente. Já a avaliação científica é um pouco
mais complexa e envolve vários aspectos diferentes.
Quando termina o prazo de execução da pesquisa, o pesquisador elabora um
relatório técnico-científico final, e o envia à FAP para avaliação. Segundo o
entrevistado A1, esta avaliação é realizada com desenvoltura pelas Câmaras de
assessoramento.
Segundo os entrevistados A2 e A3, as Câmaras têm uma composição
multidisciplinar e, quando seus membros se reúnem, os relatórios são
distribuídos de acordo com a experiência de cada um. Ressaltam ainda que um
avaliador não pode analisar o relatório de pesquisador da mesma instituição onde
trabalha.
De acordo com o entrevistado A2, que é membro de Câmara, a reunião para
avaliação dos relatórios ocorre da seguinte maneira: depois da distribuição dos
70
relatórios conforme a especialidade de cada membro, cada parecer terá um
relator. Posterior a esta análise, a pessoa relata este parecer a todos os
membros da Câmara que referendam ou não. Esclarece que, apesar de ter um
relator, a responsabilidade pelo parecer é compartilhada.
Outro aspecto abordado na entrevista foi sobre a orientação que é passada pela
FAP aos avaliadores. Foi questionado se a Fundação passa alguma diretriz para
julgamento do relatório além do formulário. O pesquisador A3 afirma que não e
que isto não daria certo, visto que, a avaliação é qualitativa e deve ser feita por
quem entende do assunto.
Não passa, e eu acho que não devia passar. Ai é uma questão bastante
técnica. Se você quiser colocar regrinhas quantitativas, fica difícil.
Pesquisa sempre tem o problema de desenvolvimento. Se não deu
certo ou não tem resultado bom suficiente para publicar naquele ponto
em que a pesquisa se encontra e você, por exemplo, reprova um projeto
desse, não foi por incapacidade e nem foi por displicência do
pesquisador, mas pela própria natureza do projeto. Então, essa
qualidade, ela tem que ser avaliada e julgada com bom senso de quem
entende da área. (Entrevistado A3)
Já o entrevistado A1 respondeu que eles se baseiam no Manual do Usuário.
Segundo ele, este documento contém informações sobre como o relatório deve
ser elaborado. Acrescenta que existe também um formulário elaborado pela FAP
que deve ser preenchido pelo avaliador.
Com este formulário o avaliador poderá chegar a três conclusões: aprovar o
relatório, aprovar parcialmente ou reprovar. Neste último caso o pesquisador fica
inadimplente na Fundação, não podendo ter mais nenhuma proposta aprovada
até que se regularize a sua situação.
Eles podem aprovar o relatório e então está resolvida a questão do
pesquisador, eles podem exigir determinadas diligências, que o
pesquisador tem que cumprir, e eles podem reprovar o relatório. Já teve
casos assim. Reprovando o relatório, o pesquisador fica inadimplente
com a FAP, até que regularize a vida dele. E eles baseiam isso no
Manual do Usuário, que diz como que o relatório deve ser feito.
(Entrevistado A1)
Quando as informações não estão muito claras, a Câmara pode também solicitar
mais dados sobre a pesquisa executada, até que sejam suficientes para emitir
um parecer sobre aquele relatório.
71
Essa avaliação é feita e boa parte dos relatórios que são encaminhados
para a Câmara, nesses últimos três anos em que eu tenho participado
dela, são de fato devolvidos para o pesquisador, para ele explicar
melhor, para ele complementar relatórios, para ele apresentar os
resultados que eventualmente não foram apresentados. E já houve
casos de um relatório ser devolvido mais de uma vez. (Entrevistado A3)
Mesmo quando o pesquisador tem seu relatório reprovado ele ainda pode tentar
fazer uma defesa ou desenvolver um novo relatório, de acordo com a indicação
da Câmara. Em alguns casos são recomendadas visitas in-loco, realizadas por
especialista da área, membro da Câmara ou não, juntamente com um técnico da
Fundação.
Até pouco tempo, estes relatórios, depois de aprovados, eram simplesmente
arquivados na biblioteca da fundação. A FAP A possui milhares de relatórios em
sua biblioteca, onde a maioria contém informações sobre os processos e não
dados finalísticos. Além disso, muitos dos relatórios consultados foram
elaborados fora das normas técnicas da ABNT e cada um possui uma estrutura
diferente.
Atualmente, antes de serem arquivados, os relatórios aprovados são
encaminhados para a assessoria de comunicação da FAP, que seleciona
aqueles que podem ser divulgados. Esta divulgação ocorre, geralmente, através
de revista científica ou no site da Fundação. Também pode ser divulgado em um
programa de televisão no qual a FAP é parceira.
Quando a Câmara indica a possibilidade de publicação o relatório é encaminhado
à Diretoria Científica que auxilia o pesquisador na publicação dos resultados.
Quando é indicada a possibilidade de geração de um novo produto, o relatório é
encaminhado ao setor de Propriedade Intelectual que orienta e auxilia o
pesquisador no registro de patente e/ou transferência de tecnologia.
Os relatórios técnico-científicos desta Fundação estão passando por um
processo de digitalização e, segundo informações da responsável pela biblioteca,
breve serão disponibilizados on-line para consulta. Com exceção daqueles que o
coordenador não autorizar, ficando disponível apenas o resumo ou o título.
72
Outro questionamento feito aos entrevistados foi no intuito de levantar sugestões
para melhorar a avaliação de resultados na organização. A resposta do
entrevistado A4 remete a responsabilidade da avaliação para a Fundação:
Não, realmente eu não tenho nem pensado o que poderia ser
melhorado nessas avaliações. Eu simplesmente sigo o que me é
solicitado. Talvez, uma pessoa mais voltada para a área da ciência da
informação fosse mais adequada para esse tipo de pergunta aí. [...] No
meu caso, eu sou mais conciso, eu vou realmente buscar a informação
que está me pedindo naquela questão. E aí, com o tempo, você
aprende realmente a ir lá e buscar o que você precisa. (Entrevistado A4)
Já o entrevistado A2 sugere para melhorar o processo de avaliação da FAP a
construção de metodologias que permitam medir os impactos das pesquisas que
são realizadas a partir dos usuários, por exemplo, empresa, comunidade,
comunidade acadêmica. Mas explica que esta seria uma longa trajetória e que
nos grandes centros de pesquisa da Europa e Estados Unidos é feita uma
prospecção da demanda.
Outra coisa que eu acho que pode ser melhorada é [...] começar avaliar
o impacto da produção científica derivada [...], desenvolver. Digamos,
você publicou um artigo, qual é o impacto desse artigo? Outra questão
é: se houve produção de tecnologia, qual é o grau de transferência
dessa tecnologia? Em que estágio ela se encontra e como ela pode ser
reaplicada? [...] se a gente conseguisse fazer as avaliações na
perspectiva do usuário. (Entrevistado A2)
Para ele, os benefícios sociais dos projetos somente poderiam ser medidos com
precisão através do usuário. Esclarece que a Câmara avalia o compromisso
estabelecido a partir do edital e não existem dados suficientes no relatório para
verificar a repercussão daqueles resultados. Apesar disso, o especialista daquela
área tem condições de fazer uma análise de coerência e fazer a indicação de
potenciais contribuições.
Para o entrevistado A2 a academia é muito afastada do usuário final. Acredita
que a pesquisa precisa envolver mais os interessados nos seus resultados, para
aumentar a probabilidade de prospecção dos problemas reais da sociedade.
O nosso pesquisador tem uma postura de pesquisa por oferta. Então,
eu vou pesquisar a partir daquilo que eu acho, da minha perspectiva,
que eu enxergo como um problema. Eu acho que a gente encurtaria
muito o caminho se a gente começasse apresentar o que as pessoas
gostariam que fosse pesquisado. Agora, isso é uma mudança de
73
postura, que implica mudança de valores, de concepção do que é
pesquisa. (Entrevistado A2)
O entrevistado A1 afirma que pretendem transformar a avaliação de resultados
em uma ferramenta de decisão, serão identificados os resultados daquela
pesquisa e o porquê desses resultados, ou seja, será feito um diagnóstico que
mostrará os aspectos positivos e negativos. Sendo possível atuar em cima
dessas informações e evitar erros futuros.
Outra questão apresentada pelo entrevistado A1 diz respeito às mudanças que
estão ocorrendo na elaboração dos editais. Afirma que estes estão sofrendo um
aperfeiçoamento para que também possam ter um enfoque mais voltado para
resultados.
Hoje, a gente procura desenhar os editais muito mais pensando no que
se quer atingir com aquela indução de projetos naquela área, do que
simplesmente colocar um dinheiro e falar assim: É na área da saúde.
(Entrevistado A1)
Além disso, pôde ser verificado também que o período entre a entrega do
relatório técnico-científico final e a realização da avaliação às vezes é muito
grande, o que prejudica o procedimento. O entrevistado A4, membro de uma
Comissão, relatou que, naquele momento, estava julgando um edital de 2003 e
que depois de quatro anos é muito difícil cobrar alguma coisa do pesquisador.
4.1.4 - Indicadores Utilizados
Durante as entrevistas, pôde-se perceber que a palavra “indicadores” ainda é
pouco utilizada nesta Fundação, porém, ao questionar sobre os critérios
utilizados na avaliação, o entrevistado A1 informou que as Câmaras têm
autonomia para fazer essa avaliação e algumas inclusive têm critérios diferentes
porque são de áreas diferentes.
Acrescenta ainda que existe o Manual do Usuário da instituição com todas as
normas de funcionamento e procedimentos de avaliação, porém “cada Câmara
tem autonomia para avaliar dentro do contexto de suas áreas de atuação e dizer
se aquele relatório pode ser aprovado ou não”.
74
O entrevistado A2 afirma que o relator deverá analisar em que medidas os
objetivos foram alcançados, a evolução do pesquisador do ponto de vista teórico
e metodológico, se houve participação de bolsistas, produção científica e a
qualidade do relatório (estrutura).
O entrevistado A3 ressalta que a avaliação é realizada comparando o que foi
proposto com o executado e o pesquisador pode ter vários problemas durante o
período de execução da pesquisa que devem ser considerados na hora de
avaliar. Além disso, acontece também de o pesquisador, na hora de elaborar a
proposta, superdimensionar os objetivos ou não receber todo o recurso
solicitado.
[...] às vezes o pesquisador propõe algo que é muito além da
capacidade de ser executada e quando é feito o relatório, não é
contemplado tudo o que ele havia proposto. Por exemplo,
eventualmente, o pesquisador propõe a publicar dez artigos. De repente
ele aparece com quatro. Mas os quatros, pela quantidade de recurso
que ele recebeu, mais do que justifica o empreendimento feito.
(Entrevistado A3)
O entrevistado A2 também cita o problema do superdimensionamento dos
objetivos dos projetos de pesquisa e informa que este é um aspecto que já é
observado durante a avaliação dos resultados.
Por diferentes fatores, o atendimento dos objetivos em projetos de pesquisa
nunca é dado como certo e, segundo o entrevistado A3, os motivos devem ser
analisados pela Câmara durante a avaliação dos relatórios:
Eventualmente podem existir casos de pesquisadores que vão estar
recebendo recursos e não vão estar executando adequadamente.
Então, quando o projeto é aprovado você está fazendo uma aposta que
pode não chegar no resultado esperado. Se foi por negligência ou se foi
por incapacidade técnica, isso tem que ser avaliado, para o pesquisador
não receber mais recurso depois. Então a avaliação é super importante.
(Entrevistado A3)
O avaliador (entrevistado A4) confessa que ao analisar um relatório,
primeiramente ele visualiza o que o formulário solicita e depois procura aquelas
informações no relatório apresentado e que nem sempre estas informações são
encontradas.
75
Tem pessoas que sabem fazer relatório, da mesma maneira que você
vai apresentar um projeto, tem pessoas que não sabem fazer um
projeto, não sabem dizer o que desejam fazer. Então, tem pessoas
também que não conseguem indicar o que é útil no processo. Então,
nesses relatórios que nós avaliamos, alguns escreveram os bons
resultados que foram obtidos e outros não. Fica muito superficial. Não
informam sequer se houve publicações. (Entrevistado A4)
O entrevistado A3, que é coordenador de uma das Câmaras da FAP, também
afirma que a avaliação segue o formulário a ser preenchido e os objetivos
propostos no projeto. Acredita que não é mais necessário utilizar o edital para
esta avaliação.
Na hora de avaliar o resultado a gente nem está mais olhando o edital
[...].Se ele propôs uma série de resultados esperados e a comissão que
avaliou e aprovou aquele projeto, na época, considerou que aqueles
resultados eram suficientes para justificar o investimento o que a gente
faz agora é conferir. Eu acho que essa é a maneira adequada. Quando
você aprova um projeto é em função dos objetivos e se alguém da FAP
já me pagou para obter aquele resultado, se eu obtive, está mais do que
satisfeito. (Entrevistado A3)
Contrapondo os dois anteriores, o Entrevistado A4 diz que verifica a finalidade do
edital para analisar os relatórios, porém, o formulário que a Fundação utiliza para
que eles possam resumir a avaliação é bem genérico e usado para vários tipos
de editais diferentes, o que elimina as especificidades de cada edital.
Ao analisar este formulário, verifica-se que é recente o uso do mesmo e que os
aspectos abordados são:
- cumprimento dos objetivos: se as metas foram cumpridas ou não;
-
formação de recursos humanos: quantas bolsas foram concedidas,
dissertações, teses e qualificação através de consultoria;
-
desempenho da equipe: produtividade e produção científica dentro da
pesquisa;
-
melhoria da infra-estrutura da instituição: aquisições e manutenções;
- benefícios provenientes do desenvolvimento da pesquisa: insumos para
políticas públicas, melhoria da qualidade de vida da população e outros;
-
aproveitamento dos resultados: produtos, processos e patentes.
76
Todos estes itens são fechados onde o avaliador apenas marca um x na resposta
sugerida pelo formulário. Por último existem dois campos pequenos onde o
avaliador escreve livremente o seu parecer técnico e as recomendações à
Fundação.
Um ponto importante neste formulário é no item benefícios, existem indicações
extremamente complexas e que podem não fornecer uma resposta específica
sobre os benefícios sociais que o projeto obteve ou poderá oferecer.
O entrevistado A1 reconhece que o leque de indicadores, na área de Ciência,
Tecnologia e Inovação, precisa ser ampliado para incluir outros valores que
representem os resultados mais próximos do usufruto da sociedade.
4.1.5 Considerações sobre o Caso
Ao caracterizar esta Fundação, observou-se um ambiente de mudanças, onde as
alterações vão desde sua estrutura organizacional aos processos relacionais com
os pesquisadores. Ao analisar o ambiente externo no qual esta FAP está inserida
é possível compreender o motivo destas transformações.
Seguindo as diretrizes federais, o governo do Estado também aumentou os
investimentos em C&T, mais especificamente à P&D, no intuito de gerar riqueza
para o estado e, conseqüentemente ao país. A intenção é transformar o
conhecimento gerado em inovações e aumentar a competitividade e o lucro das
empresas.
Assim, o cumprimento da constituição estadual, no repasse total dos recursos
previstos, é bastante recente e representou um grande aumento do montante
administrado pela FAP. Com isto, vieram também as cobranças por processos
mais eficazes de avaliação de resultados e por informações relevantes acerca
dos benefícios gerados pela pesquisa à sociedade. Que são também chamados
indicadores sociais.
Neste sentido, a FAP teve que se adequar a esta nova realidade. Modificou sua
estrutura organizacional e contratou mais pessoas através da realização de
77
concurso público. Em sua nova estrutura foi criada uma Gerência de Propriedade
Intelectual - GPI, que dá suporte aos pesquisadores no registro patentes e na
transferência da tecnologia desenvolvida. Também foi criado um Departamento
de Avaliação - DAV, que ainda não foi implantado, mas terá como
responsabilidade avaliar os resultados dos projetos aprovados.
Percebe-se certa ansiedade por parte dos dirigentes desta Fundação. Uma
organização tradicional que agora precisa atuar mais estrategicamente no
sentido de serem mais rigorosos na cobrança dos resultados. Apresenta-se como
desafio, envolver também os pesquisadores nesta nova visão. O Diretor
Científico desta FAP reconhece que a avaliação estava muito focada no
processo.
Anteriormente, quando o pesquisador terminava a pesquisa, apresentava apenas
a prestação de contas do projeto e o relatório técnico-científico, que, na maioria
das vezes, continha informações sobre a pesquisa e não de seus resultados.
Estes relatórios eram arquivados na biblioteca da FAP.
Hoje, após a análise e aprovação deste relatório pela Câmara, se houver a
indicação de novas tecnologias ou de patente, o projeto é encaminhado a GPI,
que complementa o processo, auxiliando o pesquisador a efetivar a transferência
das tecnologias criadas, ou no registro de patente.
Para isto, o relatório precisa passar antes por uma avaliação. A avaliação
científica nesta Fundação é realizada por Câmaras de assessoramento,
compostas por pesquisadores especialistas que têm como função realizar a
análise do relatório técnico-científico final.
Verifica-se que, a avaliação de resultados nesta FAP ainda tem uma abordagem
muito focada no relatório que é apresentado pelo pesquisador quando termina a
pesquisa. Além disso, nem sempre estes indicam claramente os resultados da
pesquisa, geralmente focam mais o processo, o que compromete a avaliação.
78
Outro fato presenciado foi a avaliação de relatórios de projetos que já se
encerraram há quatro anos. Como afirma Francisco (2002), uma distância muito
grande entre a data de término da pesquisa e a data da avaliação dificulta todo o
processo de mensuração dos resultados.
Para a avaliação do relatório, os membros da Câmara recebem da FAP um
formulário de síntese dos resultados do projeto. Recentemente, foram
acrescentadas neste formulário questões sobre inovações resultadas da
pesquisa.
A divulgação dos resultados, que é feita pela FAP, também pode ajudar no
processo de transferência de tecnologia. Um dos problemas vividos hoje é o fato
de muitas descobertas não chegarem até os usuários finais porque ficam dentro
das universidades. Entende-se que esta é uma ação que deve ser incentivada e,
inclusive, disseminada entre outras instituições de pesquisa.
Francisco (2002) destaca que é por meio da divulgação dos resultados dos
projetos apoiados que a FAP pode mostrar para a sociedade o benefício gerado
pela pesquisa, além de disseminar o conhecimento gerado no meio empresarial e
favorecer a transferência de tecnologia.
Porém, existe também o problema do sigilo que é necessário para aquelas
descobertas que estão em processo de registro de patente. Nestes casos, os
resultados da pesquisa não poderão ser divulgados até que se efetive a
concessão da patente. Outro problema enfrentado no Brasil é a demora destes
processos.
Percebe-se que o Diretor Científico desta FAP tem uma visão bastante futurista
para reestruturar a avaliação ex-post, porém, foi possível identificar um problema
a ser enfrentado: fazer com que os avaliadores, que também são pesquisadores,
tenham esta visão na hora de analisar um relatório.
Nas entrevistas com os membros de Câmaras foi constatado que dois, dos três
entrevistados, analisam o relatório buscando apenas as informações solicitadas
79
pelo formulário que deve ser preenchido e comparando os objetivos propostos
com o que foi realmente executado.
Um dos entrevistados afirmou que a avaliação de resultados não foca o usuário
final dos produtos gerados através daquela pesquisa. Entende-se aqui que a
avaliação de impactos sociais não é realizada. O que não é novidade, conforme
afirma Peixoto (2005) não é fácil construir indicadores que reflitam com
segurança a relação de causa-efeito entre a atividade científica e tecnológica e o
impacto socioeconômico que a própria ciência provoca.
Pode-se observar que a palavra “indicadores” não foi muito utilizada pelos
entrevistados, porém, apesar da autonomia que têm para avaliar os relatórios,
verifica-se que alguns critérios são utilizados na hora da avaliação dos resultados
dos projetos. Alguns pela consciência dos avaliadores que também são
especialistas no assunto que está sendo analisado e outros critérios são
determinados pelo próprio formulário proposto pela Fundação.
Os aspectos, apontados pelos os avaliadores, que devem ser observados na
avaliação dos relatórios são:
-
Qualidade do relatório;
- Valor aprovado (geralmente a Câmara sugere cortes no orçamento proposto);
- Evolução do pesquisador e da equipe durante a pesquisa;
- Formação de recursos humanos (membros e bolsistas);
-
Produção científica (número de publicações, dissertações e teses);
- Superdimensionamento por parte dos pesquisadores na hora de elaborar a
proposta (o que justifica o não cumprimento dos objetivos integralmente);
- Tempo para executar a pesquisa (nem sempre é suficiente para se ter
resultados);
80
- Problemas de desenvolvimento relacionados à natureza do projeto;
- Identificação de potenciais contribuições que ainda não podem ser
mensuradas.
No formulário podem ser identificados alguns itens de insumo, de produto e de
inovação. Porém, o avaliador apenas informa a ocorrência destes e não cita a
freqüência de cada um. Francisco (2002) afirma que a avaliação deve ser
baseada em dados objetivos e numéricos. A partir daí, poderão ser feitas
análises subjetivas, porém a base deve ser objetiva.
Somente indicar se houve ou não publicações ou defesa de dissertações, por
exemplo, não é suficiente para que se estabeleça uma avaliação de resultados,
um
indicador deve possuir uma característica de mensuralidade para facilitar o
seu cálculo.
Um dos entrevistados ressaltou que o formulário é muito generalista e utiliza-se o
mesmo para avaliar projetos de diferentes áreas. Seadi et al. (2003) sugere que
para se definir o que será avaliado deve ser focado o caráter do projeto, bem
como a finalidade da avaliação. Estes dois fatores variam de acordo com as
particularidades de cada programa ou edital.
Conclui-se que nesta FAP, a avaliação ex-post dos projetos de pesquisa está
focada na aprovação ou não da prestação de contas e do relatório técnico-
científico final. O formulário utilizado pela FAP, que representa um resumo da
avaliação da Câmara, destaca a ocorrência de desenvolvimento de novos
produtos ou de registro de patentes, fato que poderá dar outro destino ao
relatório que não seja o arquivo da instituição.
Um fato não mencionado por nenhum entrevistado desta FAP foi que, juntamente
com o relatório final, o pesquisador também tem que enviar um formulário que
representa uma síntese dos resultados. Este documento não foi mencionado em
nenhuma entrevista, o que coloca em dúvida a importância que é dada ao
mesmo pelos membros da Câmara e pela FAP.
81
Apesar de não ser utilizado o sistema de indicadores para avaliar os projetos de
pesquisa, na forma de relatório de atividades, a FAP apresenta, anualmente,
interessantes indicadores institucionais: indicação do valor investido, composição
dos recursos captados, números de projetos analisados e aprovados, cotas de
bolsas concedidas, número de eventos apoiados, pedidos de proteção de
propriedade intelectual, valores investidos por área e por modalidade de apoio e
valor investido no apoio para publicações.
Observa-se que a maioria destes indicadores são de processo (ou de esforços) e
não finalísticos. Como finalísticos podemos citar apenas o número de
publicações realizadas e o número de proteções intelectuais solicitadas, que não
quer dizer que chegará a ser uma patente. Também o número de bolsas
concedidas pode ser entendido como o número de pessoas formadas, ou
orientações ou trabalhos defendidos.
Conforme citado por Francisco (2002), os indicadores são fundamentais para a
construção de um sistema adequado de avaliação de resultados, pois, servem
para reduzir a incerteza no processo de tomada de decisão. No entanto, percebe-
se a necessidade de desenvolver competências nesta área.
Apesar das mudanças que estão ocorrendo, ainda não se conseguiu desenvolver
um método adequado, que forneça as informações que estão sendo cobradas da
Fundação. Acredita-se que a criação de um Departamento de Avaliação pode
representar o primeiro passo para solucionar este problema.
4.2 FAP B
4.2.1 Caracterização da Fundação
A FAP B tem a finalidade de desenvolver a pesquisa em todas as áreas do
conhecimento no Estado e atua de acordo com as políticas fixadas para o setor.
Assim como a FAP A, é uma das Fundações de Amparo à Pesquisa mais antiga
do Brasil e está vinculada à sua Secretaria de Estado da Ciência e Tecnologia.
82
É mantida por recursos do tesouro do Estado e a política e suas linhas gerais de
atuação são definidas pelo Conselho Superior, cabendo sua implementação ao
Conselho Técnico-administrativo.
Os projetos de pesquisa financiados devem estar enquadrados nas linhas
prioritárias estabelecidas pelo governo para a área. Anualmente, esta FAP
apresenta à comunidade científica e tecnológica seu programa de atuação, onde
se encontram as áreas a serem financiadas. A execução do mesmo é realizada,
normalmente, via edital público.
Os recursos previstos para serem repassados a esta Fundação pelo governo do
estado estão previstos na Constituição do Estado, que determina o repasse de
1,5% da receita líquida. Porém, segundo as duas assessoras entrevistadas, este
percentual nunca foi cumprido.
“[...] a gente decaiu bastante. É uma fundação antiga, que visa 1,5% da
receita líquida do Estado, só que não chega a receber nem 0,2%. Então,
os nossos diretores estão correndo atrás para ver se um dia possa
passar para 0,5% ou 1%”. Entrevistada B1
“No ano de 2006 foi repassado 3,05% do 1,5%. Nós tínhamos que ter
recebido 199 milhões e nós recebemos 6 milhões”. Entrevistada B2
Ainda segundo a entrevistada B2, neste ano, os recursos repassados pelo
governo foram inferiores àqueles do ano passado. Afirma que a comunidade
acadêmica acabou se acostumando e buscando recursos de outras fontes como
CNPq e CAPES.
Os recursos utilizados nos financiamentos são provenientes do governo do
estado e governo federal, através da FINEP, CNPq e CAPES. O setor privado
ainda não tem uma participação expressiva, somente através de contrapartida
nos editais que envolvem empresas.
O processo de julgamento é através de Comitês Científicos. Alguns programas
especiais requerem a formação Comissões Especiais para julgamento. Ao todo
são treze comitês, um em cada área e um deles é multidisciplinar, com
especialistas de todas as áreas.
83
A clientela da FAP B também é formada, principalmente, por pesquisadores de
instituições de ensino superior federais, devido ao grande número existente no
estado. Mas a entrevistada B2 afirma que as instituições de ensino particulares e
do interior também estão se aproximando da Fundação e cada vez mais
concorrendo aos editais.
Um fato importante é que o valor repassado pelo governo estadual tem diminuído
com o passar dos anos, o que contrapõe tudo que foi estudado até aqui. Os
apoios de fluxo contínuo (demanda universal, apoio a eventos, recém-doutor,
pesquisador visitante) tiveram que ser suspensos devido à escassez de recursos.
Esta Fundação possui atualmente 47 funcionários, onde, a maioria é originada de
cargos comissionados. Em 2002 houve um concurso público, porém foram
convocados apenas 07 servidores.
4.2.2 Métodos e Práticas de Avaliação Ex-Post
Segundo a entrevistada B1, sempre foi realizada a avaliação de resultados dos
projetos apoiados. “O pesquisador tem um tempo para desenvolver a pesquisa e,
após este período, ele envia a prestação de contas, que é analisada pelo setor
financeiro, e um relatório técnico-científico final, a ser analisado pelo comitê
científico”.
Alguns projetos exigem um relatório parcial semestral que deve ser analisado e,
se aprovado, é liberada a outra parte dos recursos. Pode acontecer do projeto
não ser aprovado e a Câmara solicitar mais informações, mas se ainda assim o
relatório for reprovado, os recursos devem ser devolvidos. Mesmo que a
prestação de contas esteja impecável.
Se o relatório é aprovado vai para o arquivo da Fundação. Segundo a
entrevistada B1, foi contratado recentemente um assessor que está implantando
um núcleo de propriedade intelectual, mas este ainda é um assunto novo na
FAP, até então não existe nenhum controle de patentes.
84
Acrescenta que a Fundação poderia desenvolver várias atividades para avaliar
os resultados dos projetos, porém, está extremamente carente de recursos
humanos, existem poucas pessoas trabalhando e cada pessoa fica bem
sobrecarregada e não têm como acrescentar mais funções.
Segundo a entrevistada B2, a avaliação de resultados é feita através do relatório,
porém, no ano passado, realizaram dois seminários para que os pesquisadores
apresentassem os resultados de suas pesquisas. Um corresponde a um
programa próprio do estado no qual houve uma pesquisa popular para que a
sociedade apresentasse as demandas de cada região para realização de
pesquisas. Depois os pesquisadores apresentaram os resultados para a
comunidade.
O outro seminário foi do Programa PPSUS que é resultado de um convênio entre
a FAP e o
governo federal. Foi realizado, no ano passado, um seminário para
apresentação dos resultados parciais dos projetos. Neste ano acontecerá o
segundo com os resultados finais. Ressalta que três projetos provavelmente vão
gerar patentes.
Além desses, estão estruturando outro seminário para apresentação dos
resultados dos projetos apoiados no edital de apoio à pesquisa em empresas.
E um outro que a gente está agora vendo é o PAPPE, que foi o primeiro
que a gente fez. A gente vai fazer acompanhamento, auditoria. A gente
tem uma parceria com o Sebrae e FINEP. Então, eles têm muitos
consultores no estado inteiro que vão poder estar ajudando a gente ir lá
naquela empresa ver como que está acontecendo. Porque a gente não
tem uma estrutura que dê para a gente, de fato, acompanhar todos os
projetos, mas é esta a intenção. E uma outra coisa seria fazer uma visita
junto com um técnico da FINEP, que financia o programa, para saber o
que gerou, o que vai fazer, o que pretende. Entrevistada B2
O PAPPE corresponde a uma parceria realizada entre o governo do Estado,
através da FINEP e a FAP para financiamento de projetos de pesquisa
apresentado por empresas. Em alguns casos, como este, pode haver outros
parceiros, como o SEBRAE.
85
Nestes seminários participam, além do pesquisador que vai apresentar os
resultados do projeto, o Comitê Científico, que vai avaliar o projeto, e a
comunidade. Os relatórios são passados antes para que o Comitê possa formular
as perguntas a serem feitas aos pesquisadores.
4.2.3 Indicadores Utilizados
Segundo a entrevistada B1, durante a análise dos relatórios, o que os
avaliadores observam é se os objetivos foram alcançados, se o cronograma foi
cumprido e se houve publicações. Afirma que é dada maior importância a este
último, onde é verificado se a publicação foi em revista de relevância.
Na avaliação de resultados desta FAP, os membros dos comitês que analisam os
relatórios também têm que preencher um formulário que vai dizer se o relatório
foi aprovado, se deve ser reformulado ou se foi reprovado.
A entrevistada B2 ressalta que estão sendo desenvolvidos novos métodos para
avaliar os relatórios como a elaboração de novos formulários e a realização de
mais seminários para apresentação dos resultados dos projetos.
Nestes novos formulários, os critérios de avaliação variam em função do edital e
estão sendo definidos pelos próprios técnicos da FAP, em alguns casos, é
solicitada ajuda do Comitê. De acordo com a entrevistada B2, muitas vezes, na
elaboração do edital, já é informado quais serão os critérios de avaliação.
Quando questionada sobre a indicação de desenvolvimento de algum produto, a
entrevistada B1 afirma que se houve ou não, o processo acaba ali e os relatórios
são arquivados. A entrevistada B2 também confirma este procedimento e
acrescenta que os avaliadores também não sabem o que fazer quando vêm as
indicações de desenvolvimento de um produto novo no relatório.
A entrevistada B1 ressalta que alguns relatórios não contêm informações acerca
do desenvolvimento de um novo produto ou o avaliador não sabe como
preencher o formulário, “eles não gostaram muito desse sistema”, afirma a
entrevistada B1.
86
Esclarece que no formulário do PAPPE, as questões são mais relacionadas à
empresa que recebeu o apoio. Afirma que depois da avaliação o projeto
normalmente é arquivado, mas, agora, estão sendo realizados seminários para
divulgação dos resultados.
A entrevistada B2 reconhece que é necessário que se desenvolvam indicadores
de impactos sociais, ou seja, benefícios à sociedade. Mas afirma que para isto é
preciso ter estrutura adequada.
Eu acho que isso é uma grande carência nossa. Mostrar para a
sociedade que, querendo ou não, indiretamente, é o nosso cliente. Eu
acho que a gente tem que começar a pensar que temos aí excelentes
pesquisas. Mas vai chegar até o hospital? Vai chegar até o doutor? Ou
aquilo ali é só para o cara publicar, publicar, publicar e encher o
currículo dele? É para isso que nós estamos financiando? [...] aqui está
o resultado, gerou emprego, criou produto, gerou renda?
Entrevistada B2
Esclarece que o formulário, depois de preenchido, não é utilizado nem para fazer
estatística. Confirma que a Fundação tem participação nas patentes registradas
mas não tem o controle das mesmas.
Segundo a entrevistada B2, com a criação do Núcleo de propriedade intelectual,
pretende -se desenvolver métodos de controlar estes registros, pois, será uma
forma da FAP conseguir mais autonomia. “São recursos que voltarão para FAP e
serão reinvestidos em pesquisa”.
Anteriormente à realização dos seminários para a apresentação dos resultados,
os relatórios são encaminhados aos membros dos Comitês, para que possam
identificar as necessidades de esclarecimentos e formular os questionamentos a
serem feitos aos pesquisadores.
Como o processo todo é arquivado após a avaliação, somente o avaliador tem
conhecimento dos resultados dos projetos. A entrevistada B2 destaca que para
melhorar o processo de avaliação é importante que a pesquisa não termine no
relatório.
87
No final do processo seria interessante saber se aquele conhecimento,
tecnologia ou produto gerado foi realmente aplicado. Verificar o impacto
que aquele resultado teve na sociedade. Entrevistada B2
Ao analisar alguns formulários disponibilizados pela FAP, observa-se que alguns
indicadores são mais genéricos e aparecem em todos os editais como:
- Caracterização da estrutura do projeto: se as etapas do cronograma foram
efetivamente realizadas e se a metodologia foi utilizada conforme proposto;
- Número de bolsistas que participaram do projeto;
- Número de publicações realizadas;
-
Indicação sobre a participação de algum membro da equipe em eventos e/ ou
congresso;
-
Identificação dos benefícios da realização do projeto para o avanço da área de
conhecimento, para o grupo de pesquisa e para a(s) instituição(ões) onde foi
desenvolvido;
- Descrição das condições favoráveis ou desfavoráveis para o desenvolvimento
do projeto;
- Exposição dos resultados concretos, através de tabelas, gráficos ou de outras
de quantificação.
Um aspecto que pode ser apreciado nestes formulários é que, para a maioria dos
itens, foram desenvolvidas formas quantitativas de mensuração. Característica
importante que uma avaliação de resultados deve conter.
A entrevistada B2 informa que os Comitês não gostaram muito da interferência
da FAP, apresentando um formulário que deve ser preenchido com os dados dos
relatórios que estão sendo analisados. De certa forma a avaliação acaba tendo
que ser feita em cima daquilo que é solicitado no formulário.
4.2.4 Considerações sobre o caso
Verifica-se que é uma instituição também vinculada à Secretaria de Ciência e
Tecnologia do Estado e tem atuado em um contexto onde os recursos estão cada
88
vez mais escassos por parte do governo. Apesar de ser uma das FAP´s mais
antigas, o seu orçamento é muito inferior ao das outras Fundações estudadas e,
segundo as assessoras entrevistadas, este tem diminuído a cada ano.
Apesar da constituição do estado prever o repasse de 1,5%, o governo não
repassa nem 0,5%, o que levou a Fundação a suspender os editais de fluxo
contínuo e atuar apenas em cima das demandas consideradas prioritárias que
são os editais de indução da pesquisa e de algumas bolsas como iniciação
científica.
Este fato significa um contraste em todo o Sistema Brasileiro de C&T que,
segundo Silva e Melo (2001), aumentou os recursos disponíveis para a P&D com
foco na busca pela inovação. Além disso, a Fundação tem operado com uma
estrutura bastante enxuta onde as pessoas possuem diversas tarefas. O que tem
prejudicado além de outras, a atividade de avaliação dos resultados dos projetos.
As práticas de avaliação utilizadas nesta FAP são:
- Análise da prestação de contas do projeto;
-
Análise do relatório técnico-científico final e;
- Realização de seminários para apresentação dos resultados dos projetos.
Depois de aprovados, os relatórios são arquivados. Mesmo que ocorra a
indicação de desenvolvimento de um novo produto ou processo. Pretendem
mudar isso com a criação do núcleo de propriedade intelectual que dará
seqüência aos processos que receberem a indicação de possibilidade de registro
de patente.
Esta FAP tem se esforçado para trabalhar mais focada nos resultados. Talvez
por possuir um número menor de projetos apoiados e devido à escassez de
recursos, algumas técnicas estão sendo desenvolvidas no sentido de levantar
informações sobre os projetos executados.
89
Como afirma Schwartzman (2002) é importante examinar se os recursos
despendidos estão atendendo aos propósitos estabelecidos. Assim, analisar os
resultados dos projetos de pesquisa também serve para avaliar e justificar os
investimentos em C&T.
Verifica-se que esta FAP também está aprimorando seus processos de avaliação
ex-post e um aspecto interessante é que os novos formulários que estão sendo
elaborados são personalizados para cada programa. Schwartzman (2002) afirma
que como a P&D é composta por atividades complexas, para avaliar os
resultados é necessário que se analise cada caso levando-se em consideração
suas particularidades.
Assim, os indicadores de sucesso selecionados para os projetos estão
relacionados com o objetivo do edital, o que agrega mais valor a avaliação de
resultados, pois, irá gerar dados para avaliação de todo o programa.
A realização de seminários, além de auxiliar na avaliação dos resultados dos
projetos, é entendida também como uma forma de prestar contas à sociedade de
como estão sendo gastos os recursos destinados à pesquisa e também uma
forma de disseminar a tecnologia desenvolvida.
Um aspecto interessante percebido é a aproximação desta FAP com os seus
parceiros. As outras instituições que fazem parte do convênio que deu origem a
determinado edital, também ajudam na avaliação dos resultados. Como é o caso
do SEBRAE, que irá contribuir com a visita dos seus consultores às empresas
que receberam apoio da FAP através do programa do PAPPE. Além disso,
segundo a entrevistada B2, geralmente vem um técnico do SEBRAE e outro da
FINEP para participarem do seminário.
Outra relação interessante é com os membros dos comitês que auxiliam na hora
da elaboração dos editais e na hora da seleção dos indicadores de avaliação de
resultados dos projetos aprovados.
Apesar dessa participação, nas entrevistas é mencionada a resistência de alguns
no preenchimento do formulário. Também é ressaltado que, em alguns casos, os
90
relatórios não contêm as informações solicitadas no formulário e acabam
deixando por isto mesmo.
Segundo as entrevistadas, os membros dos comitês valorizam bastante as
publicações e fazem questão de indicar quantas, porém, não dão tanta
importância quando há a indicação de um novo produto.
Observa-se que os formulários que são utilizados atualmente e foram
disponibilizados para análise possuem diversos indicadores, porém, ainda não é
feito nada com eles. Todo o processo é arquivado depois de aprovado.
4.3 FAP C
4.3.1 Caracterização da Fundação
É uma agência de fomento à pesquisa científica e tecnológica bastante antiga e
está ligada à Secretaria Estadual de Ensino Superior do estado. Tem autonomia
garantida por lei e os recursos repassados pelo governo correspondem 1% do
total de sua receita ordinária. Concede auxílios para a pesquisa e bolsas em
todas as áreas do conhecimento e financia outras atividades de apoio à
investigação, ao intercâmbio e à divulgação da ciência e da tecnologia no Estado.
Possui linhas regulares de fomento voltadas para o atendimento da demanda
espontânea (demanda de balcão) dos pesquisadores ligados às universidades e
institutos de pesquisa sediados no Estado. Os programas especiais são voltados
para a superação de carências no sistema de ciência e tecnologia do Estado.
Possui ainda uma linha de inovação tecnológica que compreende diversos
programas cujas pesquisas têm grande potencial de desenvolvimento de novas
tecnologias e de aplicação prática em diversas áreas do conhecimento.
O processo de julgamento nesta FAP também é feito por pares, assessores ad-
hoc escolhidos entre cientistas de reconhecida competência, de acordo com a
natureza e a área do conhecimento em que se insere cada projeto. Esta FAP
possui uma vasta rede de assessores voluntários inclusive fora do país.
91
O número de assessores ad-hoc consultados para análise de um projeto varia de
um a três, dependendo do programa em que se insere e também do porte
orçamentário da solicitação. Estes assessores avaliam o mérito científico das
propostas. Aquelas aprovadas são encaminhadas ao coordenador de área e
adjunto, que são escolhidos pela própria FAP.
Esses coordenadores se reúnem não mais para analisar o mérito, mas, para
verificar se todas as propostas, cujo parecer do consultor ad-hoc foi favorável,
estão dentro das normas da instituição. Depois é feito um ranqueamento em cima
do valor destinado àquele programa e aí é autorizada a contratação do projeto.
Esta FAP estabelece um vínculo de confiança com seus assessores, pois
entende que para o bom funcionamento deste sistema de análise, é
imprescindível a preservação do anonimato dos assessores ad-hoc.
A clientela desta FAP é formada principalmente por instituições de ensino
estaduais. As instituições federais e particulares, apesar de também participarem,
representam uma parcela bem menor se comparada com as outras.
4.3.2 Métodos e Práticas de Avaliação Ex-Post
Na FAP C, a avaliação de resultados ocorre também durante o processo de
execução do projeto. Em cada proposta aprovada por esta FAP, é determinada a
periodicidade que o coordenador terá que enviar um relatório parcial de
atividades para análise. Esse período poderá variar conforme a indicação na
aprovação do projeto.
Porque senão, chega na hora, vem a desculpa né, não pode. Então,
isso aí é chave, quer dizer, os relatórios, as datas são estabelecidas na
hora da aprovação. Se tem 2 anos, são quatro relatórios, mas naquela
data, um mês antes tem que ser entregue. Se não for aprovado, ele tem
que devolver para saber o porquê. Não anda. Então, pára o auxílio até
que as coisas sejam revistas. Entrevistado C1
Geralmente, os relatórios parciais são enviados semestralmente e quem avalia é
o assessor ad-hoc que aprovou a proposta. Se o projeto teve o parecer de mais
92
de um ad-hoc, é sorteado um deles para acompanhar todo o processo de
desenvolvimento do projeto.
Estes relatórios são enviados eletronicamente para os assessores avaliarem e
enviarem o parecer. Ou ainda, pode ser enviado todo o processo onde o
assessor ad-hoc vai anexar o parecer e devolver a FAP.
O assessor ad-hoc não recebe nada por avaliar os projetos. Já os
coordenadores de área têm a participação pelos projetos de pesquisa
avaliados. Tem projeto anual, no qual eles recebem ajuda de custo. [...]
Pela elaboração da visualização do programa todo, quando faz esse
relatório, eles passam horas dentro disso. E o restante do pessoal
trabalha absolutamente de graça. Para eles é um sentimento de orgulho
ser assessor desta FAP. Isso dá a eles uma posição diferente.
Entrevistado C1
Nos pareceres, o relatório parcial pode ser aprovado, ou pode ser solicitada
alguma ratificação ou ainda podem ser dadas dicas como aceleração do
processo. Se o relatório parcial não for aprovado, o auxílio é suspenso até que as
falhas sejam revistas.
Tanto nas avaliações de acompanhamento, onde são analisados os relatórios
parciais, quanto nas avaliações de resultados, através dos relatórios técnico-
científicos finais, é utilizado um formulário que é específico para cada programa,
ou seja, elaborado de acordo com o edital. A avaliação de acompanhamento e
final é realizada no mesmo formulário que já contém as questões para cada
etapa.
No relatório final do projeto, poderá ser emitido um parecer de aprovação, o
avaliador poderá solicitar alguma diligência, ou ainda, poderá ser reprovado. Em
alguns casos são realizadas visitas in-loco. Se o projeto é negado o pesquisador
ainda poderá recorrer.
Segundo o entrevistado C1, pode acontecer de um projeto ser enviado para um
assessor ad-hoc que trabalha na mesma universidade que o pesquisador
proponente. Afirma que são instituições muito grandes e nem sempre isto pode
ser evitado.
93
Procura-se evitar, mas existe a possibilidade, pois são universidades
muito grandes. A grande preocupação é escolher assessores que não
sejam do mesmo departamento. [...] daí podemos ter não só grandes
amizades como grandes inimizades, ano é verdade? Então, eu acho
que a função é tornar o mais impessoal possível esse julgamento.
Entrevistado C1
Quando é realizada a publicação dos resultados dos projetos, esta FAP costuma
complementar o valor aprovado que, dependendo da Revista, é uma quantia
razoável. Quanto maior o impacto da revista mais alto o valor a ser pago para
publicação.
Informa ainda que a Fundação oferece apoio aos pesquisadores no registro de
patentes. Existe um programa específico onde o pesquisador apresenta seu
projeto e solicita este apoio que passa pelo mesmo tipo de avaliação que os
demais projetos.
O entrevistado C1 ressalta que a FAP não recebe royalties e nenhum outro valor
referente a comercialização das inovações geradas a partir de projetos
financiados por ela.
Em geral, quem recebe é a unidade. A FAP apenas gerencia isso pois
ela é uma instituição de apoio. Entrevistado C1
Afirma também que o compromisso sobre a transferência fica à cargo da
instituição e à FAP cabe apenas gerenciar a qualidade e garantir que o fato
realmente ocorra através de publicações e documentos que comprovem a sua
veracidade.
Acrescenta que quando a pesquisa tem que gerar algum produto, normalmente já
existe uma parceria com alguma empresa para produzir e comercializá-lo e
participar com a contrapartida no projeto. A FAP intermedia esta relação e todos
entram com recursos na pesquisa.
Assim justifica que não tem como essa ciência não ser transferida para a
indústria, pois, na aprovação da proposta isto já entra como requisito. Mas,
depois de aprovados e se não há nenhuma recomendação, os relatórios são
arquivados e o processo é encerrado.
94
Informa que as diretrizes que a FAP segue não são passadas diretamente e
exclusivamente por uma Secretaria Estadual, mas sim pelas universidades. “Não
existe esta interferência”. Em contrapartida, assume que as universidades e as
secretarias se articulam para apresentar a demanda.
As secretarias também às vezes propõem. Tá certo? Mas aí é obrigado
a ter uma contrapartida da universidade. Eles têm que ir atrás de
alguém. E a universidade sozinha, quando faz um projeto social, não é
aceito. Ela tem que ir à Secretaria, para ter alguém ou alguma
instituição, ou algum hospital, alguma coisa de lá que possa interagir.
Sem essa interação, em geral, não é aprovado. Entrevistado C1
Verifica-se que as parcerias são intensamente incentivadas e, em alguns casos,
representam condição de aprovação das propostas, o que obriga o governo e a
academia a se aproximarem e trabalharem juntos em prol dos mesmos objetivos.
Mas em relação aos programas do governo para sanar as carências do estado a
FAP não tem atuação direta.
[...] quem apóia são as secretarias, através da sua estrutura. A FAP não
pode com 1% corrigir 99%, tá certo? Entrevistado C1
Nesta fala fica ainda mais evidente a autonomia desta Fundação no Estado em
que atua. Sendo que esta é uma característica bastante incomum por se tratar de
uma empresa pública vinculada ao governo estadual.
Para o entrevistado C1, a única coisa que precisa ser melhorada na avaliação
desta FAP é o processo de escolha dos assessores. Ressalta que este trabalho
deve ser o mais impessoal possível. Para ele, deveria ser realizado sorteio e
cada projeto deveria ser avaliado por pelo menos três assessores.
4.3.3 Indicadores Utilizados
Apesar de não ouvir a palavra “indicadores” durante toda a entrevista, pode-se
perceber que alguns critérios são utilizados na avaliação de resultados, que
nesta FAP é realizada através da análise da prestação de contas e do relatório
técnico científico.
Segundo o entrevistado C1 a avaliação final normalmente é realizada de acordo
com os objetivos propostos:
95
Porque toda pesquisa tem que levar a um resultado final, que é
exatamente aquilo que ele se propôs a fazer. Uma vez aprovado, deve
ser matéria de publicação. Ou através de registro de uma patente ou
coisa que o valha. O final tem que bater. Quer dizer, um projeto tem que
ter final. E esse final então tem que ser a publicação do (Paper), ou a
colocação de algum produto no mercado.
Afirma que tudo que começa tem que terminar e o resultado poderá ser obtido
através de uma publicação ou o desenvolvimento de algum produto
comercializável. Quando questionado sobre a avaliação dos impactos da
pesquisa afirma:
Se a publicação está em Revista boa é o impacto. Além disso, isso aí é
ponto para que ele possa adquirir outros bens. Porque, caso contrário,
se ele não publicou, ou ele tem impasse científico, na próxima vez está
aqui, o cara assinala lá: “Olha, não teve nada, não fez, etc.”, e não leva
nada.
Também relaciona como impacto da pesquisa o número de referências
apresentado na avaliação das revistas, o número de apresentações no qual os
pesquisadores são convidados a fazer e o aumento da competitividade das
empresas.
Como afirmado anteriormente, na avaliação do relatório técnico-científico parcial
e final, realizada pelo assessor ad-hoc, deve ser preenchido um formulário
elaborado pela FAP de acordo com os objetivos do programa e do edital.
Apesar destes formulários serem diferentes um do outro, por causa das
particularidades de cada programa, de maneira geral, são formados por questões
que abordam principalmente sobre:
- a aplicação dos recursos na execução do projeto de pesquisa;
- avaliação da necessidade de aditivo ao valor aprovado ou ao prazo concedido
para o projeto;
- comparação dos objetivos propostos com aqueles executados;
-
parcerias estabelecidas;
96
- Indicação de transferência da nova tecnologia desenvolvida na pesquisa
(publicações, teses, dissertações e participação em congresso).
Em todos os formulários existe um campo para que o avaliador opine sobre a
qualidade e o sucesso da pesquisa. Neste formulário estão os termos que vão
determinar a relação do pesquisador e a FAP após aquela pesquisa.
4.3.4 Considerações sobre o Caso
Diferente das demais FAP´s estudadas, a FAP C está ligada a Secretaria
Estadual de Ensino Superior. Apesar disso, a demanda por pesquisas é recebida
das universidades e não diretamente desta Secretaria. Observa-se que esta
Fundação busca manter a autonomia que sempre teve em suas decisões.
Relacionada à questão anterior, a clientela desta Fundação é formada
principalmente por instituições estaduais de ensino superior, que representam a
maioria no Estado.
Outra característica que a difere das outras é o sistema adotado de julgamento
de mérito das propostas. Este é realizado por assessores ad-hoc. Somente após
o parecer destes assessores é que a coordenação de área realiza uma análise
técnica para verificar se a proposta está dentro das normas da FAP para
posterior ranqueamento e encaminhamento à diretoria científica para decisão.
Na avaliação para aprovação do projeto, é determinada a freqüência em que
deve ser encaminhado para avaliação um relatório parcial. Geralmente este
período é de seis em seis meses.
A avaliação de resultados nesta FAP é realizada através da análise da prestação
de contas do projeto e da análise do relatório técnico-final científico. A análise
científica é realizada pelo mesmo assessor ad-hoc que avaliou o mérito da
proposta.
Cada programa ou edital possui um formulário diferente que o avaliador utiliza
para avaliar o relatório parcial e o relatório final do projeto. Apesar de serem
97
específicas para cada edital, observa-se que as questões dos formulários são
muito abertas, o que dificulta a elaboração de uma avaliação objetiva do
programa.
Esta Fundação não recebe nenhuma participação na comercialização dos
produtos ou tecnologias desenvolvidos em projetos apoiados. Quem recebe é a
instituição de ensino, parceira na pesquisa.
Um fato interessante neste caso é que a FAP procura incentivar as parcerias
entre governo, academia e empresas. Além de conduzir para um
desenvolvimento melhor orientado, também induz a pesquisas mais aplicadas.
Outra vantagem é que a parceria entre os cientistas e os usuários daquela
ciência acarretará em projetos mais direcionados e melhor acompanhados.
Assim será mais difícil chegar no final da pesquisa sem um produto, mesmo que
este represente alguma teoria que, em outro projeto se transformará em produto.
Verifica-se que a avaliação dos resultados é bastante focada no relatório com
ênfase nas publicações e no atendimento dos objetivos e cronograma físico e
financeiro, constatado isso, o relatório é aprovado e arquivado.
Outro aspecto que foi bem comentado pelo entrevistado é a necessidade de
tornar o processo de escolha dos assessores o mais impessoal possível. Ele
afirmou que ocorre de um projeto ser analisado por um pesquisador da mesma
instituição que o proponente.
A transferência de tecnologia não é acompanhada pela FAP, quem assume este
papel são as universidades. O entrevistado afirmou várias vezes que a FAP é
somente um órgão de apoio à pesquisa.
Esta FAP também apresenta, através de relatório anual, indicadores
institucionais de desempenho e resultados. Estes indicadores correspondem
principalmente ao número de projetos contratados e ao valor desembolsado pela
FAP. Este último é desmembrado conforme o perfil de investimento o que agrega
valor aos números e aprimora as informações apresentadas.
98
Para determinar o perfil de investimento, os projetos são classificados em quatro
categorias: pesquisa básica (avanço do conhecimento no tema, avanço do
conhecimento com potencial de aplicação tecnológica, com potencial de
contribuição com políticas públicas ou com potencial de aplicação no setor
público ou privado), pesquisa tecnológica, pesquisa em políticas públicas e
pesquisa tecnológica/políticas públicas.
Além dos indicadores relacionados acima também é apresentado o valor
desembolsado, distribuído por área do conhecimento e por instituição de vínculo
do pesquisador; e o número de bolsas e recursos desembolsados por área do
conhecimento e por instituição de vínculo do pesquisador. Estes dois itens são
classificados por programa apoiado pela FAP.
Em todos esses indicadores é realizada uma análise de evolução comparando
com os anos anteriores. Assim é calculada a taxa de variação de um ano para o
outro. A divulgação é realizada através da Revista da FAP, que tem periodicidade
mensal e através do site institucional.
Verifica-se que estes indicadores não apresentam os impactos sociais, que é
visto pela FAP como responsabilidade da instituição de ensino, vinculada ao
projeto. O fato da demanda ser apresentada diretamente pelas instituições de
ensino provavelmente explica esta situação.
99
5 – ANÁLISE COMPARATIVA DOS CASOS
Uma vez apresentada a descrição de cada caso sob investigação, passa-se,
neste capítulo, à análise comparativa dos casos. Trata-se da análise das
principais diferenças e similaridades encontradas nas FAP´s e nos processos
utilizados por elas para avaliarem os resultados dos projetos apoiados.
Verifica-se que cada FAP encontra-se em um contexto diferente que determina a
forma como atuam. A FAP A, encontra-se em um momento de ascensão, onde o
governo cumpre pela primeira vez o repasse de 1% do orçamento, garantido pela
constituição do Estado. Isto representa um aumento significativo do orçamento
desta Fundação, que precisou se reestruturar para gerir melhor estes recursos.
Em contrapartida, a FAP B passa por momentos difíceis. Os recursos repassados
pelo governo estão diminuindo a cada ano e, apesar da constituição prever o
repasse de 1,5%, o governo não repassa nem 0,5%. Diante deste contexto esta
FAP suspendeu os editais de fluxo contínuo e passa a ter que desenvolver
estratégias para continuar funcionando.
Já a FAP C está inserida em um contexto de tranqüilidade. O governo repassa os
1% da receita tributária do estado há muitos anos e, devido a grande experiência
e reconhecida importância que possui, encontra-se numa posição estável, onde
nem as políticas governamentais conseguiriam abalar facilmente.
Neste aspecto, constata-se que apenas a FAP B não tem acompanhado as
tendências nacionais para a ciência e tecnologia. Como visto, o Livro Branco
apresenta como uma das diretrizes estratégicas prioritárias a ampliação, de
forma sustentada, dos investimentos em C,T&I (BRASIL, 2002).
As FAP´s A e B estão ligadas às Secretarias Estaduais de Ciência e Tecnologia
dos seus estados. Estas têm interferência direta na determinação das diretrizes e
prioridades das Fundações. A FAP C está ligada à Secretaria de Ensino Superior
do Estado e recebe as demandas de investimentos das universidades e não
direto da Secretaria. Neste caso é bastante enfatizada a autonomia daquela
instituição.
100
Apesar de não ser possível afirmar se é causa ou conseqüência, o fato é que a
posição destas FAP´s na estrutura organizacional dos Estados tem relação direta
com as suas clientelas. Na FAP C, as universidades estaduais representam a
maioria das propostas apresentadas e aprovadas. Já nas FAP´s A e B, a clientela
é formada principalmente por universidades federais, que são maioria nos
Estados em que se encontram.
O processo de julgamento do mérito das propostas também é diferente apenas
na FAP C, que adota o sistema de ad-hoc. Já as FAP´s A e B possuem Câmaras
ou Comitês, que representa vários grupos de pesquisadores, nomeados pela
instituição, cada grupo em uma área do conhecimento.
Em todas três FAP´s pesquisadas, a avaliação ex-post se caracteriza
basicamente pela análise da prestação de contas e pela análise do relatório
técnico-científico final. Apenas a FAP B e C cobram e analisam o relatório parcial.
As visitas técnicas são práticas citadas pelos entrevistados das três Fundações,
porém, todos reconhecem que é muito raro os avaliadores indicarem a
necessidade de visita. Normalmente, os esclarecimentos são solicitados ao
pesquisador por escrito.
Até a data das entrevistas, as FAP´s B e C encerravam o processo com a
aprovação do relatório técnico-científico, que então era arquivado na biblioteca
destas Fundações. Porém, em ambas instituições foi criado um núcleo ou
departamento de Propriedade Intelectual que tem como uma de suas atribuições
garantir a transferência das novas tecnologias geradas através das pesquisas
apoiadas.
Já na FAP C, foi citado como uma forma de garantir a transferência deste
conhecimento gerado, a realização de parcerias. Esta Fundação valoriza mais
aqueles projetos que estabelecem algum tipo de parceria entre instituições de
ensino e empresas. Acreditam que as parcerias, não somente permitem um
controle por parte da instituição, como favorece a aplicação das descobertas
realizadas.
101
A FAP C também possui uma modalidade de apoio à propriedade intelectual,
onde o pesquisador pode apresentar uma proposta e solicitar auxílio para
proteger sua invenção e registrar patente.
O formulário a ser preenchido pelos avaliadores dos relatórios, é específico para
cada edital nas FAP´s B e C. Na FAP A, existe apenas um modelo que é utilizado
para todos os editais. Inclusive um avaliador entrevistado ressaltou a dificuldade
de encontrar algumas informações solicitadas no formulário, visto que não tem
relação com aqueles tipos de projetos.
A avaliação de impactos sociais faz parte da agenda da FAP A e B, que têm
desenvolvido meios e pesquisas para efetivarem a sua realização. Mas este
procedimento não foi identificado na FAP C, que, segundo o entrevistado, é
apenas um órgão de apoio. Para ele, quem deve se preocupar com isto são
instituições de ensino às quais o pesquisador está vinculado.
As três Fundações realizam a divulgação de alguns resultados de pesquisas
apoiadas. Como os relatórios são arquivados não foi possível identificar como os
projetos são escolhidos, mas esta divulgação é realizada através de programa de
televisão, publicação em revista ou site da instituição.
Esta divulgação que é feita pela própria instituição, também pode representar
uma forma de estar transferindo o conhecimento gerado. Este novo
conhecimento pode ter tido como conseqüência um novo produto, uma nova
tecnologia ou apenas representar uma descoberta científica.
Apesar de nenhuma destas FAP´s possuírem um conjunto de indicadores
sociais, as FAP´s A e C construíram um banco de dados que alimentam alguns
indicadores institucionais. A maioria destes são indicadores de esforços de P&D
e alguns podem ser classificados finalísticos, porém, ainda focados no produto.
As principais características, bem como as práticas de avaliação ex-post,
utilizadas pelas FAPs, encontram-se resumidamente expostas no QUADRO a
seguir:
102
QUADRO 05
Características institucionais e da avaliação ex-post em 03 FAP´s.
FAP A FAP B FAP C
Contexto Otimista (governo
repassa
integralmente os 1%
do orçamento).
Pessimista
(desinvestimento por
parte do governo).
Estável (governo
continua cumprindo o
repasse previsto.
Vínculo
Governamental
Secretaria Estadual
de C&T.
Secretaria Estadual
de C&T.
Secretaria Estadual de
Ensino Superior.
Clientela Universidades
Federais.
Universidades
Federais.
Universidades
Estaduais.
Sistema de
avaliação
Câmara
1
. Comitê
1
. Ad-hoc.
Tipos de Avaliações
Ex-ante (Mérito das
propostas).
Ex-post (RTF)
Ex-ante (Mérito das
propostas).
Acompanhamento
(RP).
Ex-post (RTF).
Ex-ante (Mérito das
propostas).
Acompanhamento (RP).
Ex-post (RTF)
Instrumentos de
avaliação ex-post
Prestação de contas.
RTF + formulário.
Visitas técnicas
2
.
Prestação de contas.
RTF + formulário.
Seminários.
Visitas técnicas
2
Prestação de contas.
RTF + formulário.
Visitas técnicas
2
.
Formulário
Genérico (o mesmo
para todos os editais)
.
De acordo com
Edital.
De acordo com Edital.
Registro de patentes
e transferência da
tecnologia
Gerência de PI.
Apoio através de
editais.
Núcleo de PI. Apoio através de
modalidade específica.
Valorização das
Parcerias.
Divulgação de
resultados de
projetos
Televisão.
Revista.
Site institucional.
Site institucional.
Revista.
Site institucional.
Avaliação de
Impactos.
Não realiza. Muito pouco.
Somente através da
avaliação do relatório.
Não realiza.
Notas: 1 Em programas muito específicos são formadas comissões especiais.
2 Todos os entrevistados confessaram que raramente ocorre a indicação de uma visita.
A avaliação ex-post nestas três Fundações tem o mesmo propósito: avaliar se os
objetivos dos projetos foram atingidos. Segundo Francisco (2002) é importante
que se faça uma comparação entre o que foi proposto e o que foi executado a fim
de testar a eficiência dos resultados.
Porém, conforme afirma Costa e Castanhar (2003), avaliar a eficiência não é o
único e nem o mais importante critério a ser utilizado. A escolha pelo conjunto de
103
critérios mais adequado vai depender dos aspectos a serem privilegiados na
avaliação.
Percebe-se que o contexto econômico onde cada FAP atua afeta diretamente na
avaliação de resultados, pois, em cada Fundação ela passa a ter um sentido
diferente. Schwartzman (2002) confirma que os impactos dos resultados de
pesquisa variam muito e podem não estar relacionados à natureza do trabalho
que é feito, mas sim às condições do ambiente em que este trabalho se
desenvolve.
Na FAP A, a avaliação permite justificar os gastos junto ao governo afim de
manter estes recursos, além de oferecer alguma resposta à sociedade de como
se dá o retorno do investimento feito em pesquisas.
Na FAP B, a avaliação se propõe a mostrar a importância da pesquisa no Estado
e tentar convencer o governo a aumentar o investimento na área de C,T&I.
Também oferece informações sobre os projetos que resultaram em um produto
final no qual a Fundação tem uma participação em sua comercialização através
de royalties. Este valor seria reinvestido em pesquisas e somaria
àquele que é
repassado pelo governo.
Já na FAP C, a avaliação de resultados, é totalmente focada na aprovação ou
não do relatório técnico-científico parcial ou final, e serve apenas para confirmar
se o pesquisador vem cumprindo ou cumpriu, no caso do relatório final, o que se
comprometeu a fazer e assim justificar o valor investido em cada projeto.
Como o foco da avaliação é diferente em cada uma das FAP´s estudadas,
conseqüentemente, as metodologias utilizadas e o grau de esforço despendido,
também não serão os mesmos (CUNHA, 2006). Verifica-se um esforço maior nas
duas primeiras FAP´s, que buscam otimizar seus resultados e processos, a fim
de aumentar ou manter a capacidade de investimento que possuem.
Na FAP C pode ser percebida uma grande estabilidade, onde não existe muita
preocupação no desenvolvimento de técnicas de avaliação de impactos sociais.
Isto pode ser devido a autonomia que esta possui dentro do sistema público
104
estadual, ou porque sua importância se confirma diante da sociedade, através da
capacidade em estabelecer parcerias com o setor empresarial.
Outro ponto que chama a atenção nos três casos estudados foi o fato de todos
os entrevistados confirmarem que sempre realizaram a avaliação de resultados,
porém não souberam especificar quais indicadores são praticados. Cunha (2006)
afirma que a mensuração de resultados somente pode ser quantificada através
da utilização de indicadores.
Verificou-se que os entrevistados, de maneira geral, não utilizavam a palavra
“indicadores” e alguns tinham dificuldade de apontá-los quando questionados.
Porém, ao substituí-la pela palavra “critérios” ou “parâmetros”, alguns
indicadores, basicamente de insumos, eram pontuados. Acredita-se que, apesar
de definirem, por meio de formulários, alguns critérios a serem verificados em
cada relatório, não existe um amplo conhecimento sobre o conceito de
indicadores e da sua importância dentro do processo de avaliação.
Ao analisar as respostas sobre como funciona o processo de avaliação e os
formulários que os avaliadores preenchem com uma síntese da avaliação, foi
possível perceber que cada FAP acaba definindo alguns itens a serem avaliados
no relatório técnico-científico final. Alguns destes itens podem ser definidos como
indicadores. Outros não podem ser quantificados, descaracterizando o item como
um indicador. De acordo com Francisco (2002), os indicadores devem ser
mensuráveis, caso contrário não vão gerar informação ao usuário.
Percebe-se também que alguns destes itens estão presentes nos formulários de
avaliação de resultados de todas as três Fundações (QUADRO 06).
Os dados apresentados nos QUADRO 06 refletem a freqüência da utilização dos
indicadores nas FAP´s estudadas, percebe-se que alguns são utilizados por
todas, que são aqueles indicadores de insumos e de produtos. Segundo Herrlein
(2001), o construto mais simples é aquele que envolve indicadores de insumos e
resultados (produtos). Além da facilidade de mensuração, os dados são
encontrados dentro da própria instituição.
105
Em contrapartida, os indicadores de inovação quase não são evidenciados na
avaliação de resultados dos projetos de pesquisas apoiados por estas FAP´s.
Estes indicadores, além de serem difíceis de se mensurar, são alimentados
geralmente por informações que estão fora da instituição.
Mais complexos ainda são os indicadores de impacto, pois, resgatam
desdobramentos dos períodos seguintes. Observa-se a dificuldade em construir
indicadores representam com segurança a relação de causa-efeito entre a
atividade científica e tecnológica e o impacto socioeconômico que a própria
ciência provoca (HERRELIN, 2001).
QUADRO 06
Indicadores utilizados pelas 03 FAP´s estudadas.
Indicador Itens a serem medidos
FAP
A
FAP
B
FAP
C
- Número de pesquisadores envolvidos.
X
- Número de bolsas concedidas.
X X
- Valor investido pela FAP.
X X X
- Contrapartida da instituição executora.
X X
De Insumo
- Parcerias estabelecidas para realização da pesquisa.
X
- Artigos publicados (revistas e periódicos nacionais e
internacionais, livros).
X X X
- Apresentação de trabalhos em congressos, participação em
eventos.
X X X
- Teses defendidas.
X X X
- Dissertações defendidas.
X X X
- Patentes requeridas.
X
- Patentes concedidas.
X
- Produtos novos (protótipos).
X X X
- Produtos melhorados.
X
- Processos novos.
X X X
- Processos melhorados.
X
De Produto
- Melhoria da Infra-estrutura (aquisições e manutenções).
X
- Grupos novos de pesquisa.
X
- Número de pessoas que adquiriram qualificação durante/após o
projeto.
X X
De Inovação
- Mecanismos de transferência de conhecimento.
X
- Multiplicação da proposta.
X
De Impacto
Social
- Número de referências em revistas.
X
O único entrevistado da FAP C considera a publicação dos resultados de uma
pesquisa em revistas de relevância científica um impacto social. Para ele, além
do reconhecimento da importância do assunto ao ser aceito o trabalho, também
surge a oportunidade de multiplicação do conhecimento gerado.
106
Este fato comprova a teoria aqui apresentada de que, à medida que se caminha
dos indicadores de insumo para os indicadores de resultados e destes para os
indicadores de impactos, eles vão se tornando mais escassos (BRASIL, 2007).
Outros aspectos fazem parte dos formulários utilizados pelas FAP´s na avaliação
ex-post. Nestes, o avaliador indica apenas a sua ocorrência. São eles:
- Alcance dos objetivos;
-
Cumprimento do cronograma;
- Conformidade da metodologia escolhida;
- benefícios da realização do projeto para o avanço da área de conhecimento;
-
para o grupo de pesquisa e para a(s) instituição(ões) onde foi desenvolvido;
-
Descrição das condições favoráveis ou desfavoráveis para o desenvolvimento
do projeto;
-
a aplicação dos recursos na execução do projeto de pesquisa;
- comparação dos objetivos propostos com aqueles executados.
Embora sejam aspectos importantes a serem avaliados e que podem fornecer
um interessante diagnóstico de financiamento da pesquisa no Estado, em todas
estas FAP´s, o processo acaba sendo arquivado após aprovação do relatório
técnico final. Ainda é muito recente a prática de divulgação dos resultados e os
esforços transferência de tecnologia.
Assim, os dados ainda são muito precários para que se utilize a avaliação ex-
post como um diagnóstico. Além disso, de maneira geral, os impactos sociais
ainda não são analisados por estas instituições e a técnica de desenvolvimento
de indicadores para avaliação dos resultados dos projetos apoiados não é
utilizada adequadamente.
De acordo com Costa e Castanhar (2003), a avaliação somente é possível se o
planejamento for consistente e para avaliar os resultados de um projeto é
necessário que antes seja definido o que se pretende medir e principalmente
107
quais critérios serão utilizados para isso. É preciso que se crie um conjunto de
indicadores de resultados.
Estes autores ensinam que este planejamento começa pela identificação dos
objetivos gerais e específicos e dos indicadores de performance nos quais a
avaliação se apoiará. Também devem ser definidas as fontes de dados que
serão usadas para as mensurações, comparações e análises necessárias.
Conclui-se então que existem dois níveis de avaliação: um que abrange o projeto
em si e outro que abrange todo o programa, composto por vários projetos.
Assim, a avaliação do projeto deve facilitar o processo de avaliação dos
resultados do programa através da definição de indicadores. Diante disso, os
indicadores de resultados serão, em parte, universais, ou seja, poderão ser
utilizados para todos os projetos, e a outra parte deles será criada e utilizada de
acordo com a natureza do programa/edital.
A seleção destes indicadores deve ser realizada durante a definição do
programa/edital, o que orientará o processo de gestão focada nos resultados.
Devido a complexidade aqui apresentada, entende-se que é mais coerente
avaliar os impactos de um programa do que de cada projeto apoiado.
Este planejamento para resultados permitirá a escolha por indicadores que
atendam os critérios de validade, confiabilidade, relevância, abrangência,
mensuralidade, viabilidade e invariância de escala; apresentados na literatura por
Francisco (2002), Herrlein (2001) e Geisler (2000). Fornecendo informações mais
precisas sobre na avaliação de resultados.
Observa-se que os critérios utilizados pelas FAP´s estudadas são definidos sem
que antes seja estabelecida uma metodologia de escolha. Esta falta de
planejamento para resultados confunde e dificulta todo o processo de avaliação,
ou seja, são gerados dados que podem não ter significado algum.
Por outro lado, as várias iniciativas para desenvolvimento de uma avaliação de
resultados mais eficiente podem ser percebidas e a expectativa é de que,
brevemente, novas práticas sejam adotadas e novas informações sejam
oferecidas à sociedade sobre o financiamento da pesquisa.
108
6 – CONSIDERAÇÕES FINAIS
Este estudo procurou identificar e analisar as práticas e indicadores adotados por
três Fundações de Amparo à Pesquisa no Brasil para avaliarem os resultados
dos projetos apoiados.
Inicialmente, neste capitulo, procura-se apresentar as principais conclusões do
estudo, que são complementadas pelas considerações finais e seguidas com
algumas sugestões para futuras pesquisas.
Percebe-se que as práticas de avaliação utilizadas variam conforme o contexto
no qual cada Fundação atua. Porém a dificuldade em se avaliar a inovação e os
impactos sociais está presente em todas as FAP´s estudadas.
A questão dos relatórios serem mal elaborados dificulta ainda mais esta
avaliação. Segundo os avaliadores entrevistados, muitas informações solicitadas
no formulário da FAP não são encontradas nos relatórios. Assim os
pesquisadores são intimados a prestar maiores informações e o processo de
avaliação acaba levando um tempo superior ao previsto.
Um ponto que não foi citado, porém, acredita-se que seja importante mencionar é
a possibilidade das informações não estarem fielmente apresentadas nos
relatórios. Como se sabe, apenas a FAP C não tem participação na
comercialização das patentes registradas. Mesmo assim as universidades
assumem este papel.
Alguns aspectos bem subjetivos permeiam a avaliação dos resultados. Os
avaliadores entrevistados na FAP A afirmam que precisam ser bastante
tolerantes e levar em consideração aspectos como superdimensionamento por
parte do pesquisador na hora de elaborar uma proposta, problemas relacionados
ao próprio desenvolvimento da pesquisa, enfim, questões que podem prejudicar
a atendimento de todos os objetivos propostos.
Assim, é importante que a avaliação continue sendo realizada por pares e
especialistas da área. Entende-se que estes têm condições de identificar esta
109
subjetividade presente nas pesquisas e realizar a avaliação de seus resultados
sem prejudicar a essência das mesmas.
A visita técnica, apesar de ser um procedimento citado por todas as FAP´s, não é
muito praticada. Um aspecto dificultador é o fato destas envolverem gastos com
passagens e diárias, além da disponibilização de recursos humanos. Acrescenta-
se ainda o aspecto da confiança sempre depositada no pesquisador.
A definição de indicadores facilitará a avaliação de resultados, pois, estes irão
indicar a necessidade de se aprimorar os instrumentos de avaliação ou
acrescentar outros que forneçam dados suficientes para alimentar os indicadores
selecionados. Sem a definição dos indicadores a avaliação poderá ocasionar em
informações perdidas e sem propósitos.
Além disso, a avaliação de resultados baseada no sistema de indicadores,
adequadamente selecionados, proporcionará um diagnóstico do financiamento
da pesquisa no estado. Este permitirá correções e ajustes nas políticas de
investimento, favorecendo e justificando as decisões tomadas (FRANCISCO,
2002).
O QUADRO 06 mostra que as dificuldades metodológicas podem levar à
utilização de indicadores que se aplicam, principalmente, aos aspectos dos
esforços despendidos com a P&D. Porém, o objetivo básico do processo não é
produzir números e sim melhorar os resultados. Conforme afirma Costa e
Castanhar (2003), deve-se ter sempre em mente que a inovação administrativa
importante é praticar a administração por desempenho e não a aferição do
desempenho.
Não contrapondo esta idéia, é importante salientar que a importância dos
indicadores de insumo e produtos é inquestionável, mas, devido às dificuldades
apresentadas na avaliação da inovação e dos impactos, os esforços se voltam
para estas duas.
Acredita-se que a avaliação de resultados deve envolver toda a organização,
pois, para que se obtenha ótimos resultados é necessário que todos os
110
processos organizacionais estejam focados em resultados. Dentro de uma FAP,
é preciso estabelecer uma linha de raciocínio e procedimentos para resultados
que vão desde a definição do programa e elaboração do edital, até a análise dos
relatórios técnicos finais.
Assim, se mostra bastante adequada a prática das FAP´s B e C em criar
indicadores de avaliação de projetos, em cima dos editais elaborados. Este
método irá gerar informações um pouco mais padronizadas em relação à
avaliação de cada processo e fornecerá dados para avaliação de todo o
programa / edital.
O setor de avaliação deve atuar juntamente com os setores de propriedade
intelectual e/ou transferência de tecnologia. As informações geradas a partir
daquele setor poderão alimentar os processos de concretude da inovação
praticados por este setor.
Indicadores institucionais são apresentados pelas FAP´s A e C, porém em
nenhum são abordados os benefícios que a sociedade recebe pelas pesquisas
apoiadas. Por outro lado, são produzidos interessantes resultados anuais de
insumos e produtos.
Verifica-se a necessidade de se desenvolver competências na área de avaliação
de resultados e de desenvolvimento de indicadores para o setor público.
Conforme apresentado por Costa e Castanhar (2003), não é possível avaliar,
sem que antes seja definido o que representa o sucesso de um projeto ou
programa. Esta definição é realizada através do planejamento.
Geisler (2000) acrescenta que para se chegar a indicadores confiáveis, deve-se
saber o que se deseja mensurar e atingir e partir daí levantar um conjunto de
medições passíveis de serem avaliadas, que são combinadas e colocadas sob
forma de indicadores. Estes deverão ser testados, segundo critérios
estabelecidos, para que possam realmente servir de auxílio na avaliação.
Também é importante a padronização dos indicadores utilizados nas FAP´s.
Além de fornecer informações com maior capacidade de comparação entre estas
111
Fundações, complementará também o sistema federal de elaboração de
indicadores. Estas informações auxiliarão o governo nas ações de redução das
disparidades regionais apresentadas por Brasil, (2002).
Avaliar resultados também pode representar mudanças na estrutura e na cultura
organizacional. Onde todos os setores devem estar focados em resultados.
Porém, vale questionar sobre a finalidade destas instituições: apenas apoiar as
pesquisas financeiramente, como é o caso da FAP C, ou também garantir que os
resultados sejam efetivos fora das universidades, como buscam as FAP´s A e B.
A análise dos impactos sociais da pesquisa é fundamental para a tomada de
decisões estratégicas, porém, elaboração desses indicadores é bastante
complexa. Além disso, alguns resultados podem demorar muito tempo para
aparecer realmente, assim, as avaliações poderiam indicar separadamente os
produtos e impactos efetivos daqueles potenciais (CAMPOS, 1999).
Francisco (2002) destaca que, diante da variedade de classificações e
denominações encontradas para diferentes conjuntos de indicadores, os mais
apropriados são aqueles que envolvem características dos projetos a serem
avaliados, o propósito da avaliação, e também o tipo de órgão que financia o
projeto.
Como muitos dos resultados obtidos em C&T não são passíveis de mensuração,
Francisco (2002) ressalta que um processo de avaliação deve também permitir a
indicação de resultados intangíveis, por meio de demonstrativos qualitativos. Ou
seja, também devem ser selecionados indicadores que ofereçam análises
qualitativas dos resultados.
A avaliação de impactos (sociais e econômicos) somente será possível após o
término da pesquisa. Seadi et al. (2003) sugere que seria interessante a entrega
de relatórios subseqüentes ao final do projeto, para que estes impactos tenham
um tempo para sugir e se desenvolver.
Os procedimentos adotados vão ganhando forma a medida que estão sendo
utilizados e a avaliação ex-post é um processo que precisa ser aprimorado dentro
112
das FAP´s. Acredita-se que a prática vai transformá-la em uma ferramenta
gerencial importante.
Com a aplicação deste novo conceito de avaliação de resultados, as agências de
fomento passam a, além de induzir, fomentar e apoiar as pesquisas, garantir que
estas efetivamente se transformem em competitividade para os estados.
A evolução na discussão sobre o tema central deste estudo deve continuar por
meio de novas pesquisas, pois este trabalho não teve a pretensão em esgotar o
assunto, nem mesmo ser de alguma forma conclusivo.
Assim, abrem-se possibilidades para novas investigações, pois o tema avaliação
ex-post em projetos de pesquisa ainda é pouco explorado:
•
Realizar novas pesquisas, envolvendo os temas avaliação ex-post e
competências de gerenciamento de projetos de pesquisa, visando maior
articulação e aproximação dos dois campos teóricos.
• Realizar este estudo em outras instituições de apoio à pesquisa,
especialmente naquelas onde os recursos são reembolsáveis.
• Realizar pesquisas sobre as possíveis parcerias para avaliação de resultados.
Como no Brasil as pesquisas ocorrem, principalmente, dentro das
universidades, acredita-se que parcerias entre as FAP´s e as universidades,
para avaliação destes resultados, podem ser bem interessantes.
113
REFERÊNCIAS
ABRUCIO, Fernando Luiz.
Reforma do Estado no federalismo brasileiro e a
articulaçao entre o governo federal e os estados: o caso do Programa
Nacional de Apoio à Modernização da Gestão e do Planejamento dos Estados. IX
Congreso Internacional del CLAD sobre la Reforma del Estado y de la
Administración Pública, Madrid, España, 2 - 5 Nov. 2004.
BAÊTA, Adelaide Maria Coelho.
O Desafio da criação
: uma análise das
incubadoreas de empresas de base tecnológica. Rio de Janeiro: Vozes, 1999,
132 p.
BRASIL. Ministério da Ciência e Tecnologia.
Livro Branco
. Brasília: MCT, 2002.
Disponível em: <http://www.abc.org.br/arquivos/ConferenciaNacional/livro.pdf>.
Acesso em: 10 abr. 2007.
BRASIL. Ministério da Ciência e Tecnologia.
Indicadores
: apresentação/
histórico. Disponível em: http://www.mct.gov.br/estat/ascavpp/menu1page.htm.
Acesso em: 10 abr. 2007.
CAMPOS, André Luiz Sica de
. Identificação de Impactos Econômicos a Partir
da Pesquisa Acadêmica: um estudo de projetos temáticos da FAPESP. 1999.
93f. Dissertação (Mestrado em Política Científica e Tecnológica) - Universidade
Estadual de Campinas. Campinas.
CASTRO, Rodrigo Batista de. Eficácia, Eficiência e Efetividade na Administração
Pública. In: ENCONTRO ANUAL DA ASSOCIAÇÃO NACIONAL DOS
PROGRAMAS DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO, XXX, Salvador.
Anais... Salvador, ANPAD, 2006.
COHEN, Ernesto; FRANCO, Rolando.
Avaliação de Projetos Sociais
.
Petrópolis, Vozes, 2004.
COSTA, F. L.; CASTANHAR, J. C. Avaliação de Programas Públicos: desafios
conceituais e metodológicos.
Revista de Administração Pública
, Rio de
Janeiro, 37(5):969-92, Set./Out. 2003.
114
COTTA, Tereza C.
Metodologias de Avaliação de Programas e Projetos
Sociais
: análise de resultados e de impacto. Brasília, Revista do Serviço Público,
ano 49, n. 2, abr./jun., 1998.
CUNHA, Carla Giane Soares da.
Avaliação de Políticas Públicas e Programas
Governamentais: tendências recentes e experiências no Brasil
. Trabalho
elaborado durante o curso “The Theory and Operation of a Modern National
Economy”, ministrado na George Washington University, no âmbito do Programa
Minerva. Rio Grande do Sul, 2006.
FILHO, Esperidião Amin Helou; OTANI, Nilo. A utilização de Indicadores na
Administração Pública: a lei nº 12.120/2002 do Estado de Santa Catarina.
Revista de Ciências da Administração
, Santa Catarina, Outubro de 2006, V. 9 -
n. 17 - jan./abr. de 2007.
Financiadora de Estudos e Projetos. Glossário: Termos e Conceitos. Brasília:
FINEP, 1996. Disponível em: http://www.finep.gov.br. Acesso em: 09 abr. 2007.
FRANCISCO, Lourdes Terezinha dos Santos Tomé
. Indicadores para
Avaliação de Resultados de Projetos de Pesquisa Científica e Tecnológica.
2002. 128f. Dissertação (Mestrado em Administração) - Universidade Federal do
Rio Grande do Sul. Porto Alegre.
GEISLER, Eliezer. “
The Metrics of Science and Technology
”. Westport:
Quorum Books, 2000.
GODOY, Arilda S.
Introdução à Pesquisa Qualitativa e suas Possibilidades
.
Revista de Administração de Empresas/EAESP/FGV, v.35 nº2, mar./abri. 1995,
p.57-63.
HERRLEIN Pereira, Claudia Maria.
Investimentos em Ciência e Tecnologia:
indicadores de resultados de projetos de pesquisa. 2001. 111 f. Dissertação
(Mestrado em Administração) - Universidade Federal do Rio Grande do Sul.
Porto Alegre.
115
HONMA, Edson Tadayoshi.
Competências Empreendedoras:
estudo de casos
múltiplos no setor hoteleiro em Curitiba. 2007. 180f. Dissertação (Mestrado em
Administração). Universidade Federal do Paraná. Paraná.
JANNUZZI, Paulo de M.
Indicadores Sociais no Brasil
: conceitos, fontes de
dados e aplicações. Campinas, Editora Alínea, 2. ed., 2003.
KETTL, Donald F. (1996) A revolução global: reforma da administração do setor
público. In: BRESSER-PEREIRA, Luiz Carlos; SPINK, Peter. Reforma do
Estado e Administração Pública Gerencial
. Rio de Janeiro: FGV, 1998.
KONDO, Edson Kenji. Desenvolvendo Indicadores Estratégicos em Ciência e
Tecnologia: as Principais Questões. Ciência da Informação, Brasília, v.27, n.2,
p. 128-133, maio/ago. 1998.
_______.
Indicadores: Seu Impacto na Avaliação das Políticas Publicas de
C&T. IV TALLER IBEROAMERICANO E INTERAMERICANO DE INDICADORES
DE CIENCIA Y TECNOLOGIA. México. 1999.
LAVILLE, C.; DIONNE, J.
A construção do saber:
Manual de metodologia
da pesquisa em ciências humanas. Porto Alegre: Ed. UFMG, 1999.
LIBERAL, Claudemir Gonçalves
.
Indicadores de ciência e tecnologia:
conceitos e
elementos históricos.
Revista Ciência & Opinião
. Curitiba, v. 2, n. 1/2, jan./dez
2005.
MEIRELLES, Hely Lopes.
Direito Administrativo Brasileiro
. São Paulo:
Malheiros, 2002, 94p.
MENCARINI, Regina Cely.
Estrutura de decisão:
intefração normativa e
objetivos de sistema: o caso do CNPQ. 1998. Dissertação (Mestrado em
Administração) – Universidade Federal do Paraná, Curitiba.
NEVES, Clarissa Eckert Baeta. Institucionalização da pesquisa e sistemas
decisórios. In: FRANCO, Maria Estela Dal Pai; MOROSINI, Marília Costa (Orgs.).
116
Universidade e pesquisa
: políticas, discursos e práticas. Passo Fundo: UPF,
1999.
OCDE.
Manual de Oslo
: Diretrizes para Coleta e Interpretação de Dados sobre
Inovação. 3 ed. Flávia Gouveia (trad.). Brasília: FINEP, 2005. 184 p.
OHAYON, Pierre.
Metodologia de avaliação "
ex-post
" de projetos de
pesquisa em órgãos governamentais de coordenação de apoio à P&D do
Brasil e da França. 1985. Tese (Doutorado) – Universidade de São Paulo,
Programa de Pós-Graduação em Administração/FEA, São Paulo.
PAULA, Tomás Bruginski de.
Diretrizes das Políticas Tecnológicas e de
Inovação: Uma Análise Comparada – Uma Visão Geral. Instituto de Estudos
para o Desenvolvimento Industrial, Mar/2005. Disponível em:
http://nanotecnologia.incubadora.fapesp.br. Acesso em: 10 de Abril de 2007.
PEIXOTO, Fernanda Maciel. Painéis de indicadores Financeiros e
Operacionais para Alocação de Recursos
: o caso FAPEMIG. 2005. 335f.
Dissertação (Mestrado em Administração). Universidade Federal de Uberlândia.
Uberlândia.
ROCHA, Elisa M. P.; FERREIRA, Martha. A. T. Análise dos Indicadores de
Inovação Tecnológica no Brasil: comparação entre um grupo de empresas
privatizadas e o grupo geral de empresas.
Ciência da Informação
, Brasília, v.
30, n. 2, p. 64-69, maio/ago. 2001. Disponível em:
http://www.ibict.br/cionline/viewarticle.php?id=230. Acesso em: 26 jul /2007.
ROESCH, Sylvia Maria Azevedo.
Projetos de estágio e de pesquisa em
administração:
guias para estágios, trabalhos de conclusão, dissertações e
estudos de caso. São Paulo: Atlas, 1999.
ROMÃO, Wesley.
Descoberta de Conhecimento Relevante em Banco de
Dados sobre Ciência e Tecnologia
. 2002. 238f. Tese (Doutorado) -
Universidade Federal de Santa Catarina, Programa de Pós-Graduação em
Engenharia de Produção, Florianópolis.
117
SANTOS, R. N. M.; KOBASHI, N. Y.
Aspectos metodológicos da produção de
indicadores em Ciência da Informação
. In: ENCONTRO NACIONAL DE
CIÊNCIA DA INFORMAÇÃO (CINFORM): INFORMAÇÃO, CONHECIMENTO E
SOCIEDADE DIGITAL. 2005. Anais. Salvador: Universidade Federal da Bahia
(UFBA). v. 1.
SBRAGGIA, Roberto. (1984) Avaliação do desempenho dos projetos em
instituições de pesquisa: um estudo empírico dentro do setor de tecnologia
industrial.
Revista de Administração
. v.19, n.1, jan – mar, p. 83-93.
SCHWARTZMAN, Simon.
A Pesquisa Científica e o Interesse Público
. Revista
Brasileira de Inovação. 2002. Disponível em: http://br.monografias.com/trabalhos.
Acesso em: 10 de abril de 2007.
SEADI, C.F.; FRACASSO, E.M.; SANTOS, L.T.
Indicadores para avaliação de
resultados de um projeto na área de materiais. 2003. Disponível em:
www.presidentekennedy.br/recadm/edicao2/artigo07.pdf. Acesso em: 13 abr.
2007.
SILVA, Alberto Carvalho da. Descentralização em política de ciência e
tecnologia
. In: Estudos Avançados, Universidade de São Paulo, vol. 14, número
39, 2000. Disponível em: http://www.scielo.br. Acesso em: 09 abr. 2007.
SILVA, C. G.; MELO L. C. P. (Orgs.).
Livro Verde
: Ciência tecnologia e inovação:
desafio para a sociedade brasileira. Brasília: Ministério da Ciência e Tecnologia /
Academia Brasileira de Ciências. 2001. Disponível em:
http://www.forum.ac.gov.br/autoindex/index.php?dir=Livro%20Verde/. Acesso em:
10 abr. 2007.
SPINAK, E. Indicadores Cienciométricos.
Ciência da Informação
, Brasília, v. 27,
n. 2, p. 121-148, maio/ago., 1998.
TORRES, Marcelo Douglas de Figueiredo.
Estado, democracia e
administração pública no Brasil. Rio de Janeiro: FGV, 2004. 224p.
118
ZOUAIN, Deborah Moraes.
Gestão de Instituições de Pesquisa
. Rio de
Janeiro: FGV, 2001. 256 p.
YIN, Robert K.
Estudo de Caso
: planejamento e métodos. 3 ed. Porto Alegre:
Bookman, 2005.
119
APÊNDICES
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
