ads:
FUNDAÇÃO GETULIO VARGAS
ESCOLA DE ADMINISTRAÇÃO DE EMPRESAS DE SÃO PAULO
TATIANA TINOCO
A PRODUÇÃO CIENTÍFICA DE ADMINISTRAÇÃO NO BRASIL, 1997-2002:
uma perspectiva bibliométrica
SÃO PAULO
2005
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
2
TATIANA TINOCO
A PRODUÇÃO CIENTÍFICA DE ADMINISTRAÇÃO NO BRASIL, 1997-2002:
uma perspectiva bibliométrica
Dissertação apresentada à Escola de
Administração de Empresas de São
Paulo da Fundação Getulio Vargas,
como requisito para obtenção do título
de Mestre em Administração de
Empresas
Campo de Conhecimento
Estudos Organizacionais
Orientador: Prof. Dr. Miguel P. Caldas
SÃO PAULO
2005
ads:
3
TATIANA TINOCO
A PRODUÇÃO CIENTÍFICA DE ADMINISTRAÇÃO NO BRASIL, 1997-2002:
uma perspectiva bibliométrica
Dissertação apresentada à Escola de
Administração de Empresas de São
Paulo da Fundação Getulio Vargas,
como requisito para obtenção do título
de Mestre em Administração de
Empresas
Campo de Conhecimento
Estudos Organizacionais
Data de aprovação:
___ /____/ _____
Banca examinadora:
Prof. Dr. Miguel P. Caldas (Orientador)
Loyola University of New Orleans
Prof. Dr. Clóvis Machado-da-Silva
FGV-EAESP
Profª. Dra. Silvia Constant Vergara
FGV-EBAPE
4
AGRADECIMENTOS
Quase três anos se passaram desde que iniciei a minha jornada na pós-graduação.
Foram anos intensos em que o convívio com colegas e Professores de diversas linhas de
pesquisa e alguns países engrandeceram o meu modo de ver a academia e de compreender o
valor e as dificuldades da pesquisa acadêmica.
Em todos esses anos tive o suporte da minha família a quem devo agradecer
imensamente, especialmente ao meu pai, minha mãe e meu irmão que estiveram sempre ao
meu lado mesmo nos dias em que a convivência comigo não era a mais agradável.
Durante esse percurso outras pessoas também foram fundamentais e merecem todo o
meu agradecimento pela dedicação, preocupação e pelas lições acadêmicas e principalmente
pelas lições de vida que me mostraram, são elas: o meu orientador Prof. Miguel P. Caldas, por
quem tenho profunda admiração tanto acadêmica quanto pessoalmente; Profa Maria José
Tonelli a quem devo todo o carinho pela paciência e insistência; Profa Beatriz Maria Braga
Lacombe, que sempre me deu todo o suporte e me fez compreender que fazer pesquisa é um
trabalho árduo porém recompensante. Não poderia deixar de mencionar outros mestres e
colegas que estiveram presentes nessa caminhada e têm sem dúvida uma grande parcela de
contribuição para esse trabalho: Thomaz Wood Jr, Carlos Osmar Bertero, Rafael Alcadipani,
Francisco Aranha, Rodrigo Mendes, Rebeca Chu, Mario Aquino, Maria Ester de Freitas, Ilda
Fontes, Bernardete Bonello, Roseli Mazario, Rosa Cadete de Almeida e aos professores Pedro
Lincoln e Allan Claudius, que com suas sugestões e contraposições me forçaram a realmente
mergulhar no tema escolhido.
Ainda não poderia esquecer dos meus grandes amigos que, apesar de algumas
reclamações, foram privados da minha companhia durante esse período: José Dias, Andréa
Leite, Sergio Hojo, Fabio Augusto C. Leal da Silva e Karen Mainardi. A vocês obrigado pela
paciência e por não desistirem nunca de me procurar.
Por fim, porém não menos importante, quero agradecer ao meu noivo e futuro marido
pela paciência, pelo suporte emocional e operacional e pelo amor que engrandeceram e
tornaram essa jornada bem mais estimulante.
5
RESUMO
Nesta pesquisa a bibliometria foi utilizada para mapear e analisar os padrões de
citação na área de Administração com base nos artigos publicados nos principal congresso de
Administração nacional, o ENANPAD, e nos principais periódicos acadêmicos da área
(RAC, RAE, RAP e RAUSP) entre os anos de 1997 e 2002. A falta de uma análise
aprofundada da base teórica/ metodológica – representada pelas referências teóricas - utilizada
na pesquisa nacional em administração motivou esse estudo no sentido de analisar de aspectos
da produção científica, anteriormente não investigados, que são refletidos na base
bibliográfica utilizada pelos autores na área de Administração: a densidade da publicação em
geral e ao longo do tempo, os autores mais prolíficos, as instituições que geram mais
pesquisadores e o padrão de citações, os tipos de publicação mais utilizadas em pesquisas
nacionais, as obras mais referenciadas, os veículos mais citados, o tempo de impacto da
pesquisa nacional e o fator de impacto dos periódicos nacionais. Todos esses fatores quando
analisados permitem contribuir para o preenchimento das lacunas na análise da produção
científica nacional.
PALAVRAS-CHAVE: Bibliometria, referências bibliográficas, análise de impacto, produção
acadêmica.
6
ABSTRACT
This research proposes the use of bibliometric analysis to map the citation patterns in
the field. For that all papers published in the Enanpad proceedings, as well as the paper
published in the four major academic publications in business (RAC, RAE, RAP e RAUSP)
during 1997-2002 were analyzed. The lack of a deep analysis of the reference used was the
motivator of this research. The frequency of publication, the most contributive authors, the
institutions that generated the majority of the papers, the most cited authors, papers and fonts
of publications were accessed. All these factors when understood contribute to the fulfilling of
some important aspects of the national academic research.
KEY WORDS: Bibliometrics, references, impact analysis, academic production.
7
SUMÁRIO
1 Introdução
8
2 Revisão Teórica
2.1 Ensino e Pesquisa em Administração no Brasil
10
2.1.1 Antecedentes 10
2.2 Pesquisa Acadêmica em Administração no Brasil 16
3 Análise Bibliométrica
22
3.1 Origens do uso de citações para análise de publicações
23
3.2 O que indicam as citações na pesquisa científica
24
3.2.1 Estudos e aplicações práticas 25
3.3 Metodologias propostas pela bibliometria
26
3.4 Perigos da análise de citações
27
4 Fator de Impacto 31
5 A Pesquisa
33
5.1 Objetivos da pesquisa
33
5.2 Metodologia
33
6 Resultados
6.1 Característica dos artigos estudados
36
6.1.1 Produtividade em Administração
36
6.2 Características da literatura citada I: freqüência, forma e idade das citações
43
Frequência das citações
43
Forma das citações
44
Idade das citações
45
6.3 Características da literatura citada II: principais autores e fontes
Autores mais citados
46
Títulos mais citados
47
Fontes de Pesquisa mais utilizadas
48
6.4 Características da literatura citada III: impacto dos periódicos nacionais
49
7 Conclusão
50
8 Referências Bibliográfias
52
8
1 INTRODUÇÃO
Esta dissertação é um estudo bibliométrico descritivo que toma como base a
publicação acadêmica em Administração no Brasil entre os anos de 1997 e 2002. O problema
de pesquisa abordado é a falta de uma análise aprofundada da base teórica/ metodológica –
representada pelas referências teóricas – utilizada na pesquisa nacional em Administração.
Os últimos anos da pesquisa acadêmica, no Brasil, foram marcados por uma
série de balanços retrospectivos que visavam analisar a qualidade da produção
nacional publicada. Esses balanços iniciaram-se com a pesquisa de MACHADO-DA-
SILVA, CUNHA e AMBONI (1990) sobre a publicação em Estudos Organizacionais
no período de 1985 a 1989. Esse estudo influenciou os demais no sentido de balizar os
elementos a serem considerados em meta-análises futuras: quantidade e qualidade da
produção, metodologia, paradigmas e fontes bibliográficas utilizadas.
Seja na área de estudos organizacionais, seja nas demais áreas, os problemas
apontados por tais trabalhos parecem ser recorrentes ao longo do tempo: a qualidade
da pesquisa, a base metodológica frágil, a falta de consistência teórica / paradigmática,
o nível de influência estrangeira, a concentração de autoria, tanto no nível individual
quanto institucional, entre outros.
Todos esses estudos foram, e são, importantes mapeamentos da produção acadêmica
nacional em Administração, no entanto (i) deixam de analisar o campo como um todo,
isto é, não contemplam todas as áreas de publicação em administração de uma única
vez e (ii) não analisam as raízes da produção, ou seja, deixam de analisar
profundamente as referências bibliográficas que representam as influências e a base da
pesquisa nacional.
A análise de referências bibliográficas – bibliométrica – é altamente
reconhecida e utilizada em outros países para melhor compreender a trajetória do
conhecimento em uma ou mais áreas quais foram/são os autores mais influentes, os
veículos com mais impacto, as linhas de pensamento predominantes, as instituições
mais proeminentes em cada área entre outros (GARFIELD, 1955, 1998, 2000;
LEYDESDORFF, 1998; KOSTOFF, 1998)
9
A partir desse cenário, os próximos capítulos contextualizarão a Pesquisa em
Administração no Brasil, apresentarão um novo olhar sobre essa mesma produção baseado na
bibliometria e fará um levantamento das principais características bibliométricas da área de
Administração como um todo durante o período de 1997-2002.
10
2 REVISÃO TEÓRICA
2.1 ENSINO E PESQUISA EM ADMINISTRAÇÃO NO BRASIL
2.1.1. ANTECEDENTES
O primeiro passo para contextualizar a pesquisa em administração no Brasil é
compreender a origem e o desenvolvimento do ensino em Administração no país. Para isso
nas próximas páginas serão descritos o surgimento e a expansão dos cursos superiores no país,
como o curso de administração se inseriu nesse contexto e qual é o papel da pesquisa em
administração nesse movimento.
O Ensino Superior no Brasil
Não há como separar o estudo do ensino superior no Brasil do estudo das políticas
públicas sobre o tema implantadas no país. No início, a vinda da Coroa ao Brasil, trouxe o
sistema educacional baseado na construção de instituições que fornecessem burocratas para o
Estado e profissionais liberais, numa tentativa de manter o poder do Estado e da burguesia
industrial nascente no país (ARANHA, 1990). Já a Primeira República traz consigo as
organizações privadas norte-americanas; esse período é marcado pela expansão de escolas
superiores não-dependentes do Estado. Mas é no Governo de Getúlio Vargas que o tema da
educação adquire um caráter de importância, a criação do Ministério dos Negócios da
Educação e Saúde Pública em 1930, e do Conselho Nacional de Educação em 1931, marcam a
intervenção estatal no ensino em todos os níveis, intervenção essa que se manteria nos
governos de Juscelino Kubitschek e da ditadura militar ( MOTTA, 1983).
A expansão do capitalismo industrial nesses períodos torna “mais gritante a
valorização da planificação, da técnica, da necessidade de profissionais especializados”
(COVRE, 1991, p.68) para atender as grandes empresas, fossem elas estatais ou privadas, que
surgiram no período. Assim, a expansão da educação superior é marcada por um modelo de
ensino que privilegia o fazer, a técnica.
As políticas progressistas e desenvolvimentistas, e a necessidade crescente de
profissionais especializados para atender tanto a máquina estatal quanto as grandes empresas
internacionais que se fixavam no país, tornam o diploma universitário uma possibilidade de
11
ascensão social para a classe média, assim emergem as faculdades privadas como grandes
negócios lucrativos.
O período pós-ditadura não altera significativamente essa estrutura de ensino
privilegiando ainda as predominância das instituições privadas de educação superior, como é
possível observar nos dados do Censo da Educação Superior 2001 – tabela 1 (INEP, 2001).
Tabela 1. A distribuição dos cursos superiores no Brasil
Instituições
de Ensino
Superior
Número
de
Docentes
Número de
Cursos de
Graduação
Vagas
Oferecidas
Candidatos
Inscritos
Ingressos Concluintes
Pública 183 90.950 4.401 256.498 2.224.125 244.621 116.641
Privada 1.208 128.997 7.754 1.151.994 2.036.136 792.069 235.664
Total 1.391 219.947 12.155 1.408.492 4.260.261 1.036.690 352.305
Fonte: Sinopse do Censo da Educação Superior 2001. MEC/INEP/DAES
É importante ressaltar, no entanto, que o crescimento do número de cursos superiores
a partir da década de 70 é também acompanhado por uma preocupação com a qualidade dos
cursos ministrados pelas diversas instituições. Preocupação esta que acaba, após diversas
tentativas fracassadas, com a proposta de avaliação do ensino superior pelo Exame Nacional
de Cursos (ENC). De acordo com o Relatório Síntese do ENC 2002, esse sistema de avaliação
“tem contribuído para desencadear significativas reformulações nas IES e em seus respectivos
cursos de graduação, tanto em termos de sua estrutura como da qualidade da formação que
oferecem” (INEP, 2002, cap.1).
É nesse contexto surgem e expandem-se os cursos de graduação em administração. A
importância e relevância da área para o desenvolvimento nacional, tanto do ensino quanto das
organizações públicas e privadas podem ser evidenciadas facilmente, porém a preocupação
acadêmica com a qualidade do ensino na graduação em administração é ainda pouco relevante
frente à importância da área, conforme descrito na seção a seguir.
O Ensino de Administração no Brasil
O modelo econômico implantado desde o início da República, privilegia o
desenvolvimento baseado no capital internacional, principalmente norte-americano. A política
agrária em que se baseava a economia até a década de 30 não requeria mão-de-obra
especializada, e as incursões industriais ou comerciais eram quase todas baseadas na figura do
dono da empresa, capitalista que se encarregava de todo o controle interno e das decisões e
12
“lembrava em muito o empresário norte-americano de antes de 1850” (STORK, 1983, p.60).
Era assim desnecessária a presença de um administrador profissional, que era tido como
exceção naquele momento.
As políticas progressistas e desenvolvimentistas dos governos seguintes, Getúlio
Vargas e Juscelino Kubitscheck, privilegiavam a vinda de grandes empresas de capital
estrangeiro, no primeiro caso indústrias de bens de capital e no segundo indústrias de bens de
consumo, para as quais era necessário formar profissionais capacitados, até então inexistentes
ou escassos no país ( MOTTA, 1983).
Como iniciativa do governo é fundado então em 1931, o IDORT – Instituto de
Organização Racional do Trabalho – que tinha por objetivo disseminar os pensadores da
Administração Científica e seus métodos visando melhorar o desempenho gerencial dos
profissionais atuantes no país (NICOLINI, 2003). No entanto, é somente em 1944, com a
missão fornecer mão-de-obra técnica especializada para a Administração Pública e para essas
empresas que se instalariam no Brasil que é criada a Fundação Getulio Vargas. Esta daria
origem em 1952 à EBAP – Escola Brasileira de Administração Pública – e em 1954 à EAESP
– Escola de Administração de Empresas de São Paulo –, que cria um ano mais tarde o
primeiro curso de Administração de Empresas baseado nos moldes das business schools
americanas. Essa iniciativa é seguida pela USP, que institui em 1946 o Instituto de
Administração e, em 1963, o curso de graduação em Administração.
Assim, como salienta Storck, a profissão de administrador é “introduzida no país às
avessas” (1983, p. 62), uma vez que há uma antecipação da criação dos cursos de formação ao
mercado de trabalho.
Neste ponto torna-se fundamental discutir a questão do ensino de administração nos
Estados Unidos, uma vez que, apesar deste ter surgido de forma contrária ao modo
apresentado no Brasil, ou seja, por uma demanda do mercado de trabalho, constituiu-se da
base para a formação dos cursos nacionais, fazendo da Administração “a mais americana de
todas as nossas disciplinas” (STORCK, 1983, p.58).
É exatamente o fato da administração no Brasil ter surgido de forma contrária à
desenvolvida nos EUA que permite compreender de forma melhor como se deu o processo
americano de ensino de administração e de que forma isso afetou diretamente a construção do
modelo de ensino brasileiro.
Assim, a administração surge no Brasil para atender às necessidades das empresas
norte-americanas que viriam, incentivadas pelos governos, instalar suas filiais no país. Essas
filiais demandavam administradores profissionais uma vez que não era possível para os
13
empresários controlarem diretamente todas as operações da empresa, dados os problemas de
tempo e distância. Nos EUA esse processo havia ocorrido cem anos antes. Com as
Revoluções Industriais e a expansão da indústria americana por toda extensão do território,
havia se tornado impossível para o capitalista gerenciar todas as atividades da empresa, era
preciso, portanto, capacitar as pessoas para o gerenciamento dessas atividades nos diversos
locais, cria-se então a figura do administrador profissional e das business schools.
A partir de sua criação, os cursos de graduação em administração têm se mostrado um
excelente negócio para as escolas, de modo que o crescimento do número de cursos
oferecidos e alunos formados é espantoso. Pfeffer e Fong (2002) afirmam que nos EUA já são
1.292 cursos oferecidos, no total 92% das universidades americanas oferecem programas de
graduação em administração e este tem se mostrado a “vaca leiteira” da grande maioria, já
que os retornos são altos e o investimento inicial é relativamente pequeno se comparado aos
cursos de medicina e odontologia, por exemplo.
No Brasil, os números não são diferentes, segundo dados do último ENC (INEP,
2003) o número de formandos em administração é menor apenas que o número de formandos
em Pedagogia, tendo crescido, porém, 4% em relação ao ano anterior. A quantidade de cursos
de administração no ano de 2002 também mostra um crescimento de 83% em relação a
quantidade inicial em 1996 (tabelas 2 e 3 abaixo), revelando a importância da área para a
formação superior nacional.
Área 2002 Área 1996 1997 1998 1999 2000 2001 2002
Pedagogia 67.062 Administração 335 354 391 431 451 498 614
Administração 63.543 Direito 179 196 212 229 257 274 398
Direito 63.046 Engenharia Civil 102 106 110 112 118 125 128
Engenharia Elétrica 31.669 Engenharia Química - 44 47 48 50 51 51
Ciências Sociais 24.656 Medicina Veterinária - 37 39 43 50 59 76
Total geral de formandos 396.847 Odontologia - 85 86 87 93 104 113
Engenharia Elétrica - - 81 84 87 92 96
Jornalismo - - 84 92 97 113 131
Letras - - 369 382 406 432 472
Matemática - - 291 305 322 358 358
Outros - - - 338 957 1.595 2.594
Total 616 822 1.710 2.151 2.888 3.701 5.031
Tabela 2. Número de Formandos
inscritos no ENC em 2002 - As cinco
áreas que mais formam alunos
Tabela 3. Número de cursos participantes do ENC - 10 áreas com maior
nº de cursos
Fonte: INEP, 2203
14
Diversos autores, como Motta (1983), Storck (1983) e mais recentemente Nicolini
(2001) e Lopes (2002), já ressaltaram a fragmentação do ensino em que se baseou a criação
dos currículos das disciplinas ministradas na área, reflexo da cultura americana da época em
que foram criadas, que se baseava na divisão do trabalho, na formação de especialistas em
determinadas funções, na burocracia, na técnica e na “crença da administração geral como o
local de coordenação de conhecimentos parcelados, em consonância com a divisão industrial
do trabalho” (MOTTA, 1983).
Porém poucos trabalhos ressaltam o fato de que poucos anos após os cursos brasileiros
terem sido criados com base nos americanos, estes sofreram uma série de críticas intensas,
principalmente após a publicação, em 1959, dos trabalhos de Gordon e Howell, conhecido
como “relatório Gordon”; e Pierson et al. que avaliaram o ensino da graduação em
administração nos EUA. Os autores concluíram, de modo geral, que o sistema “sofria de falta
de definição, propostas confusas e falta de adequação às necessidades dos alunos e das
empresas” (CALKINS, 1961, p.3). Ainda citam que há falta da criação e do ensino de uma
base de conhecimento sólida, e que o processo educacional não é eficiente nem rigoroso no
desenvolvimento de habilidades intelectuais necessárias para a vida dos profissionais. A
ênfase em técnicas quantitativas ou no ensino extremamente especializado e que perde a
atualidade e, portanto, a capacidade de gerar resultados ao longo dos anos é também citada
como um fator prejudicial às escolas.
Essas críticas perduram até hoje e em todos os níveis do ensino de administração, uma
vez que os cursos de extensão, ou pós-graduação em muitas das vezes têm origem nos cursos
de graduação. Exemplo de que essas críticas continuam atuais, e que, portanto não houve
mudanças significativas no campo são os artigos publicados de Pfeffer e Fong na Academy of
Management Learning and Education (2002); os autores fazem uma análise do “produto” das
escolas de administração e concluem que os gastos com MBA por parte dos alunos não são
recompensados nem na forma de salários mais altos e nem no sucesso nos negócios quando
comparados a seus pares que não freqüentaram o curso.
Dessa maneira, entrega-se um ensino padronizado, para um grande número de alunos,
dissociado de atividades de pesquisa, mas que confere o certificado de conclusão de um curso
superior. Com isso, a pesquisa em Administração fica assim relegada durante muitos anos a
segundo plano.
Porém nos últimos anos esse jogo vem sendo alterado. A busca pela melhor qualidade
no ensino mostrou às Universidades a necessidade de ter entre o quadro de docentes um grupo
15
dedicado não só a reproduzir o conhecimento gerado em outros países, mas sim a geração de
conhecimento próprio. Com isso as universidades criam seus centros de estudo e núcleos de
pesquisa. O reconhecimento dessa necessidade pelo órgão regulador do governo reforça ainda
mais essa necessidade e assim a pesquisa acadêmica torna-se a grande vedete nos centros de
ensino de qualidade.
Da mesma forma ocorrida com o ensino levantada por Bresler, a pressão por
publicação cria, a “mcdonaldização” da pesquisa acadêmica em administração, em que o que
se torna mais importante é publicar, mesmo que para nunca ser lido.
Essa massificação da produção de artigos, leva também à uma grande explosão do
número de periódicos e congressos acadêmicos na área. Porém da mesma forma que
proliferação do número de escolas de administração, o aumento dos periódicos publicados não
foi acompanhado pela melhoria da qualidade daquilo que era produzido nacionalmente.
Surge assim a necessidade de se criar uma espécie de “índice de qualidade” dos
periódicos e congressos nacionais e internacionais, trata-se do Qualis. O índice Qualis é
publicado pela Capes anualmente e traz uma lista de periódicos e congressos agrupando-os
em A, B e C de acordo com o local da publicação.
O objetivo do Qualis é reconhecer o esforço feito pelos autores para publicar em
periódicos com maior circulação/ exposição, melhor adequação às normas de publicação,
maior estabilidade no campo (publicação ininterrupta e regular), melhores pareceristas,
autores de origens diversas entre outros. Assim separa-se o joio do trigo.
Esse ranqueamento traz consigo alguns benefícios tanto para pesquisadores como para
instituições de fomento. No primeiro caso, torna-se mais fácil reconhecer aqueles periódicos
nos quais os esforços para a publicação serão mais recompensados, permitindo assim ao
pesquisador o foco naqueles que efetivamente trazem retorno em termos de debate científico.
Já no segundo caso, a possibilidade de fornecer subsídios para aqueles pesquisadores que
obtiverem seus artigos aceitos em Congressos Internacionais do tipo A, ou de financiar
pesquisas de docentes que tiveram artigos aceitos em periódicos com maior exposição
permitem às instituições uma melhor alocação de seus recursos.
Internacionalmente esse tipo de ranking é feito há mais de 50 anos, mas o principal
indicador da qualidade de um determinado periódico, não é a sua circulação mas sim a
quantidade de citações que os textos publicados por ele recebem. Assim, as referências
bibliográficas recebidas tornaram-se o melhor indicador da “performance” de um artigo e
conseqüentemente do periódico em que este foi publicado, como veremos detalhadamente na
próxima seção.
16
2.2 PESQUISA ACADÊMICA EM ADMINISTRAÇÃO NO BRASIL
Os últimos anos da pesquisa acadêmica, no Brasil, foram marcados por uma série de
balanços retrospectivos que visavam analisar a qualidade da produção nacional publicada.
Esses balanços iniciaram-se com a pesquisa de Machado-da-Silva, Cunha e Amboni (1990)
sobre a publicação em Estudos Organizacionais no período de 1985 a 1989, estudo esse que
influenciou os demais no sentido de balizar os elementos a serem considerados em meta-
análises futuras: quantidade e qualidade da produção, metodologia, paradigmas e fontes
bibliográficas utilizadas.
Ainda na área de Estudos Organizacionais, Bertero e Keinert (1994) debruçaram-se
sobre os artigos publicados na RAE de 1961 a 1993, seguidos por Vergara e Carvalho Jr
(1995) que, diferentemente dos trabalhos anteriores inauguraram na área de Administração a
análise de referências bibliográficas por meio do levantamento dos países de origem dos
autores citados. Esses trabalhos seminais trouxeram à tona preocupações que levaram as
demais áreas a realizarem balanços de sua produção; os resultados foram os trabalhos de
Vieira (1998, 1999, 2000, 2003); Perin et al (2000) e Botelho e Macera (2001) na área de
marketing; Bignetti e Paiva (1997, 2002) e Bertero et al (2003) na área de estratégia; Arkader
(2003) em produção; Hoppen et al (1998) em Tecnologia de Informação, Leal et al (2003)
em finanças, e Caldas, Tonelli e Lacombe (2002) e Tonelli et al (2003) na área de Recursos
Humanos (Quadro 1).
Seja na área de estudos organizacionais, seja nas demais áreas, os problemas
apontados por tais trabalhos parecem ser recorrentes ao longo do tempo: a qualidade da
pesquisa, a base metodológica frágil, a falta de consistência teórica / paradigmática, o nível de
influência estrangeira, a concentração de autoria, tanto no nível individual quanto
institucional, entre outros.
Todos esses estudos são, importantes mapeamentos da produção acadêmica nacional
em Administração, no entanto (i) deixam de analisar o campo como um todo, isto é, não
contemplam todas as áreas de publicação em administração de uma única vez e (ii) não
analisam as raízes da produção, ou seja, deixam de analisar profundamente as referências
bibliográficas que representam as influências e a base da pesquisa nacional.
17
Quadro 1. Meta-análises recentes na área de Administração no Brasil.
Á rea de Pesquisa Pesquisas Realiz adas
Machado-da-Silva, Cunha e
Amboni (1990)
Bertero e Keinert (1994)
Vergara e Carvalho Jr. (1995)
Vergara e Carvalho Jr. (1998)
Vergara e Pinto (2000)
Bertero, Caldas e Wood Jr.
(1998a, 1998b)
Vieira (1998, 1999, 2000, 2003)
Perin et al (2000)
Botelho e Macera (2001)
Finanças
Leal et al (2003)
Administração
Pública
Arkader (2003)
Caldas, Tonelli e Lacombe
(2002)
Tonelli et al (2003)
Caldas, Tinoco e Chu (2003)
Bignetti e Paiva (1997, 2002)
Bertero, Vasconcelos e Binder
(2003)
Tecnologia da
Informação
Hoppen et al (1998)
Estudos
Organizacionais
Marketing
Recursos Huma nos
Estraté gia
Em Organizações BERTERO e KEINERT (1994) contabilizam os autores mais
citados no período de 1961 a 1993 e fazem uma análise da evolução do número de citações
realizadas no período. VERGARA, no entanto, em 3 pesquisas com diferentes co-autores
(1995, 1998, 2000) atém-se apenas às referências bibliográficas buscando o país de origem
dos autores citados. Trata-se de uma primeira manifestação de interesse por citações na área.
Outras áreas em administração, como Estratégia, Finanças e Recursos Humanos,
apresentaram algumas manifestações recentes e mais explícitas por esse tipo de análise nos
trabalhos de BIGNETTI e PAIVA (2002), LEAL (2003) e CALDAS et al (2003).
Os problemas apontados pelos balanços – que utilizavam ou não análises
bibliométricas - não são poucos. O quadro 2 retoma esses problemas identificando as
pesquisas que os originaram e divulgaram, e oferece elementos de análise bibliométrica que
podem ajudar na sua compreensão.
A qualidade parece ser o problema mais citado nas meta-análises anteriores, talvez
pela sua abrangência e/ ou pelo fato de se tratar do reflexo de todos os outros problemas
apontados. Nesse caso, a análise de citações pode fornecer pistas interessantes sobre a raiz do
problema. Todos os métodos propostos pela análise de citações – descritos adiante – podem
ser utilizados no diagnóstico: (i) a análise de citações e o agrupamento bibliográfico podem
18
ser utilizados para se realizar um levantamento das principais obras citadas na área, dos
autores mais referenciados/ reconhecidos, dos livros/ periódicos mais utilizados entre outros,
esses aspectos são úteis para o diagnóstico por exemplo, de influências sofridas pelos autores
do campo, da concentração de citações em determinado autor, deixando-se de lado outros
aspectos, pela falta de citação a determinado periódico etc; (ii) já a co-word analysis é útil na
identificação de temas mais abordados, de eventuais modas temáticas, na co-ocorrência de
termos que possam vir a denotar falta de originalidade e/ ou endogenia entre outros; (iii) a
análise de co-citações é uma forma bastante forte de se analisar o padrão de citações de um
pesquisador (ou vários) em relação a outras variáveis, como por exemplo país de autoria, esse
tipo de metodologia em geral requer um complemento aos dados apresentados nas referências
bibliográficas, como a instituição ou o país de origem dos autores citados, porém é uma
metodologia muito rica para avaliação de problemas do tipo concentração de citações em
determinada área ou instituição.
Uma outra questão presente nos textos é a defasagem qualitativa e quantitativa dos
artigos nacionais se comparados aos índices americanos e europeus. De modo a analisar esses
fatores é possível avaliar, por exemplo, a idade média dos textos citados, a origem do texto –
livro, revista, congresso – o tempo de difusão de pesquisas no campo (tempo de impacto) e a
co-ocorrência de palavras-chave em artigos nacionais e estrangeiros com suas respectivas
datas. Essa metodologia, ajudaria assim a verificar se realmente essa defasagem é
significativa, em caso afirmativo, se ela vem em função do tempo de difusão das pesquisas,
ou seja, se falta acesso imediato a pesquisas internacionais e por isso não é possível identificar
prontamente quais são as preocupações mundiais na área, ou se, mesmo tendo acesso, opta-se
por utilizar material consolidado – alta idade média das citações – apenas reproduzindo no
âmbito nacional pesquisas anteriores realizadas em outros países.
Em sintonia com o fator inicial está a crítica referente ao crescimento quantitativo em
detrimento do crescimento qualitativo. Aparentemente apenas um lado da crítica apresentada
por MACHADO-DA-SILVA, CUNHA e AMBONI (1990) foi levado em consideração: o
quantitativo. Trabalhos posteriores advogam a ausência de qualidade mencionada no primeiro
fator, mesmo com o aumento quantitativo observado. Há muito se sabe que quantidade não é
qualidade, mas o aumento qualitativo deveria ao menos aumentar as chances de produção de
bons textos. Para que isso seja verificado, se faz necessária a criação de um Index brasileiro,
de modo a se avaliar o impacto da pesquisa no próprio Brasil, o acompanhamento constante
da qualidade das pesquisas deve, como ocorrido anteriormente em outros países, aumentar a
preocupação com qualidade, uma vez que os pesquisadores passarão preocupar-se mais com a
19
continuidade de seus trabalhos por outros pesquisadores, isto é, com a influência de seus
trabalhos no campo.
Outro aspecto muito criticado nos balanços sobre a pesquisa em Estudos
Organizacionais é a falta de originalidade da pesquisa nacional, segundo os defensores dessa
idéia a pesquisa nacional seria apenas uma reprodução de idéias produzidas no exterior.
Certamente não é a análise bibliométrica que resolverá esse problema, porém o estudo dos
referenciais teóricos utilizados pode ajudar a entender se houve, por exemplo, algum
incremento teórico, cruzamento metodológico utilizado que possa ser caracterizado como
original. A análise bibliométrica permite assim analisar a co-ocorrência de diversas
influências, a mudança de paradigma para analisar determinado assunto, a utilização de
metodologias diferentes, verificando mesmo que de forma marginal se há ou não contribuição
à pesquisa na área.
Um outro fator abordado é a ausência de aplicabilidade prática da produção
acadêmica, os autores afirmam que produzimos apenas para nós mesmos. Nesse ponto a
análise bibliométrica pode ser um bom indicador se aplicada em veículos de divulgação em
massa, como jornais, revistas não-acadêmicas, informes etc. Pode-se analisar a quantidade de
citações feitas nesse tipo de veículos às pesquisas acadêmicas buscando um indicador do
impacto dessa pesquisa na prática organizacional e compará-lo aos índices de utilização de
artigos não-acadêmicos em trabalhos acadêmicos, a idéia aqui seria fazer uma análise de
“impacto cruzado” para verificar elementos como “push” e “pull”, isto é, para verificar quem
puxa quem na pesquisa nacional, é a mídia que é influenciada pela academia ou a academia
que é influenciada pela mídia, se é que existe algum tipo de influência desse tipo.
A baixa diversidade de autoria tem sido também colocada como um dos fatores
negativos da pesquisa nacional uma vez que sugere fortemente a possibilidade de ocorrência
de entropia no campo. Para avaliar esse fator o método ideal é o agrupamento bibliográfico,
analisando a renovação do referencial teórico pelos pesquisadores ao longo do tempo, as
influências sofridas no campo e o impacto da pesquisa desses pesquisadores, além do uso de
auto-citações.
Outro ponto bastante questionado é a fraqueza metodológica dos artigos. CARRIERI
e LUZ (1998) sugerem a verificação da coerência entre o paradigma utilizado e a metodologia
aplicada. Essa análise pode ser feita pela análise de co-ocorrência de textos metodológicos e
teóricos de modo a ver quais são as combinações mais freqüentes e quais são os textos de
metodologia mais utilizados. Aqui, ao contrário do que advoga um dos críticos da análise de
20
citações, a citações a fontes metodológicas é essencial para compreender eventuais fraquezas
da pesquisa.
A baixa variedade epistemológica é também outro fator de preocupação, a
bibliometria pode ajudar a compreender esse problema por meio da análise de clusters
citacionais, isto é, voltando-se à origem dos textos citados. Os pesquisadores podem analisar
as referências utilizadas no próprio texto, em seguida as referências utilizadas por esses textos
e assim por diante até encontrar pontos comuns entre todos os textos e verificar as influências
sofridas durante o percurso das pesquisas. Isso é uma importante forma de se encontrar a raiz
de determinado pensamento. É também possível um levantamento das coleções das
bibliotecas das instituições que mais produzem na área, essa análise possibilitaria a
verificação das razões da escolha de determinado paradigma, esta poderia ser baseada por
exemplo, no acesso limitado a textos com visões diferentes das mais comuns.
Por fim, mas não limitado a isso, outro fator em questionamento é a colaboração entre
pesquisadores nacionais algumas pesquisas indicam que esta é bastante baixa, se não
inexistente. Haveria uma tendência a se valorizar mais o estrangeiro do que o nacional. É
possível verificar essa afirmação por meio da análise de co-citações entre autores de
diferentes instituições nacionais versus citações a autores estrangeiros, ou ainda avaliar a
ocorrência de autoria interinstitucional versus autoria individual ou com colegas da mesma
instituição. Esse índice, quando analisado em conjunto com o índice de impacto das pesquisas
poderia ser um indicador da relevância de pesquisas realizadas individualmente – no nível
pessoal ou institucional – versus pesquisas realizadas com a colaboração de diversas fontes.
Os diversos levantamentos feitos anteriormente devem assim ser complementados
com uma análise aprofundada das referências bibliográficas utilizadas em pesquisas
publicadas nos principais veículos acadêmicos nacionais de modo a identificar as raízes dos
problemas e contribuir no sentido de trazer a produção acadêmica nacional para o contexto
mundial. A falta desse tipo de análise no Brasil contribui ainda mais para o atraso da pesquisa
nacional em relação à pesquisa mundial.
21
Quadro 2. Problemas apontados, pesquisadores e metodologias sugeridas pela bibliometria para o
diagnóstico desses problemas
Problemas
Pesquisas que evidenciaram ou
sugeriram o problema
Estratégias Metodológicas de análise propostas pela
bibliometria
Análise de citações e agrupamento bibliográfico:
Levantamento de referencial teórico utilizado - autores,
artigo, livros etc mais citados.
Co-word analysis
: análise da co-ocorrência de palavras-
chave, expressões, termos.
Análise de co-citação
: levantamento do padrão de
comportamento dos autores, instituições, grupos de
pesquisa.
Análise de citações e agrupamento bibliográfico:
Levantamento da idade média dos artigos citados
Análise de citações e agrupamento bibliográfico:
Levantamento do tempo de difusão de pesquisas no
campo - tempo de impacto.
Co-word analysis
: análise da co-ocorrência de palavras-
chave, expressões, termos no tempo em comparação à
utilização das mesmas palavras em pesquisas em outros
países.
Crescimento em
quantidade em
detrimento da
qualidade
Machado-da-Silva, Cunha e Amboni
(1990), Bertero, Caldas e Wood Jr.
(1998a, 1998b)
Avaliação de Impacto:
criação de um Index nacional
Avaliação de Impacto:
análise do impacto dos
periódicos nacionais em revistas estrangeiras da área.
Agrupamento bibliográfico e análise de co-citações:
levantamento das citações à pesquisa nacional feita no
exterior e formação de clusters de co-citação
Falta de originalidade
-
consumo, repetição e
divulgação de idéias
produzidas no exterior,
especialmente na
América do Norte
Bertero e Keinert (1994), Vergara e
Carvalho Jr. (1995), Vergara e Pinto
(2000), Bertero, Caldas e Wood Jr
(1998)
Análise de citações e agrupamento bibliográfico:
Levantamento de referencial teórico utilizado - autores,
artigo, livros etc mais citados, país de autoria, densidade
de autoria ao longo do texto.
Produção
predominantemente
acadêmica
e de
reduzida aplicabilidade
prática
Bertero e Keinert (1994), Martins
(1996)
Análise de citações e agrupamento bibliográfico:
Análise do imapcto das pesquisas acadêmicas em
veículos de informação: citação em jornais, revistas,
informes especializados na área.
Baixa diversidade de
origem de autoria
Vieira (1998, 1999, 2000, 2003),
Leal et al (2003), Caldas, Tonelli e
Lacombe (2002), Tonelli et al (2003)
Análise de agrupamento bibliográfico:
Análise do
número de autores por artigo, origem de autoria, nomes
dos autores mais prolíficos, etc.
Fraqueza
metodológica
Bertero, Caldas e Wood Jr (1998a,
1998b), Carrieri e Luz (1998),
Caldas, Tonelli e Lacombe (2002),
Arkader (2003), Tonelli et al (2003)
Análise de co-citação
: levantamento das co-citações
referentes a textos que fornecem metodologia, análise de
co-citação de textos metodológicos e demais textos etc
Baixa diversidade
epistemológica
Machado-da-Silva, Cunha e Amboni
(1990); Bertero, Caldas e Wood Jr
(1998a, 1998b); Caldas, Tonelli e
Lacombe (2002); Tonelli et al (2003)
Análise de co-citação
: levantamento de obras mais
citadas, levantamento das raízes de determinado campo
de estudo, análise da coleção das bibliotecas das
instituições de origem dos autores
Ausência de diálogo
entre os pesquisadores
nacionais -
descontinuidade,
desvalorização, falta de
colaboração
Machado-da-Silva, Cunha e Amboni
(1990); Bertero e Keinert (1994);
Bertero, Caldas e Wood Jr (1998a,
1998b); Vieira (1998, 1999, 2000,
2003); Arkader (2003); Fischer
(1997); Vergara e Carvalho Jr.
(1995). Vergara e Pinto
(2000);Caldas, Tinoco e Chu (2003)
Análise de co-citação
: levantamento do padrão de
comportamento dos autores, instituições, grupos de
pesquisa quanto às citações, análise de auto-citações,
citações à autores da própria instituição, padrões de co-
citação etc.
Baixa significância
da
pesquisa nacional fora do
Brasil
Machado-da-Silva, Cunha e Amboni
(1990)
Machado-da-Silva, Cunha e Amboni
(1990); Bertero e Keinert (1994);
Bertero, Caldas e Wood Jr (1998a,
1998b), Vieira (1998, 1999, 2000,
2003), Caldas, Tonelli e Lacombe
(2002), Tonelli et al (2003).
Qualidade
Defasagem (qualitativa
e quantitatica)
na
produção acadêmica
nacional em relação à
Europa e aos EUA
Machado-da-Silva, Cunha e Amboni
(1990), Vergara e Carvalho Jr.
(1995), Vergara e Pinto (2000)
22
3 ANÁLISE BIBLIOMÉTRICA
Existem muitas maneiras de se entender um campo de estudo. Uma delas é analisar as
publicações produzidas pela sua comunidade. Uma publicação acadêmica é “expressão do
estado de um autor ou grupo de autores num momento particular” (Price, 1970, p. 6). Nesse
aspecto, a literatura produzida constitui-se de uma “foto” do conhecimento e das atividades do
campo, tendo sido reconhecida como o principal método de comunicação das novas
descobertas. Assim, uma análise da literatura produzida nos permite compreender um campo
de estudo, revelando seus padrões de autoria, publicação e uso do conhecimento produzido
anteriormente. Esse estudo propõe-se a uma análise quantitativa da literatura em
administração no Brasil de modo a identificar e analisar a base acadêmica do campo de
Administração no Brasil.
O método de análise quantitativa da literatura foi chamado inicialmente de “statistical
bibliography” (HULME, 1923) e mais tarde passou a chamar-se bibliometria (PRITCHARD,
1969). Pritchard definiu a bibliometria como "the application of mathematics and statistical
methods to books and other media of communication" (p. 349). Os objetos de estudo mais
comuns da bibliometria descritos na literatura são: autores, citações (referências bibliográficas
feitas por um determinado artigo/ grupo de artigos), formatos de publicação – de aqui em
diante chamados tipos de publicação – língua em que os artigos foram publicados, temas
principais, idades e local de publicação. A análise bibliométrica ou bibliometria tem sido
usada para: (i) delinear a “the topography of current scientific literature” (PRINCE, 1965,
p.515); (ii) “"to shed light on the processes of written communication and of the nature and
course of development of a discipline (in so far as this is displayed through written
communication)" (PRITCHARD, 1969, p. 348); (iii) "to document and explain the regularity
of communication phenomena" (KENT, 1987, p. 156); (iv)"to study the growth and
distribution of the scientific literature" (LIEVROW, 1990, p. 60); e (v)"to demonstrate
historical movements, to determine the national or universal research use of books and
journals, and to ascertain in many local situations the general use of books and journals"
(RAISIG, 1962, p. 450).
Alguns autores tanto no âmbito nacional quanto no âmbito internacional perceberam
que a combinação entre estudos quantitativos da bibliografia impressa e outros métodos
qualitativos podem prover uma rica caracterização dos processos de comunicação, integração
e uma visão ampla do desenvolvimento histórico do campo (Borgman, 1990, Saracevic e Perk
1973).
23
3.1 ORIGENS DO USO DA ANÁLISE DE CITAÇÕES
Corroborando com críticas feitas em trabalhos anteriores, a academia brasileira,
especialmente na área de administração, está novamente atrasada em relação ao resto do
mundo quando o assunto é análise de citações. Essa metodologia de pesquisa, apesar de
novidade no país, está presente desde 1873 na história das ciências. O primeiro índice,
batizado de Shepard’s Citations foi criado nos EUA para ser uma base de dados de processos
judiciais de forma que se pudesse formar jurisprudência, tratava-se de um índice de anais de
processos jurídicos e as interpretações dadas pelos juristas a determinadas situações.
Sucederam essa iniciativa, projetos semelhantes em diversas áreas.
Os primeiros índices foram criados com base em palavras-chave e estavam sujeitos à
subjetividade tanto por parte de quem inseria as informações no banco de dados quanto por
quem consultava determinada palavra-chave, além do fato de que uma – ou algumas – palavra
representa apenas superficialmente o real objeto de determinada pesquisa. Assim como as
regras criadas pelas ciências naturais para determinar por exemplo o nome de uma planta,
fazia-se necessário encontrar uma forma de comunicar a toda comunidade acadêmica a
mesma informação, contemplando a multidisciplinaridade e os temas secundários abordados
nos textos. Esse novo índice poderia então diminuir o lacuna de subjetividade criado pelos
anteriores. Acreditava-se que um índice baseado nas referências dos autores, ou seja, na
bibliografia citada, seria capaz de realizar essa tarefa, abrindo as portas para tantas
interpretações quantas fossem possíveis a respeito das idéias, conceitos e assuntos tratados
por determinados autores, áreas, grupos de pessoas etc.
Assim, na metade da década de 1950, Eugene Garfield sugeriu a criação de um
sistema de citações que “avaliasse a relevância de um trabalho e seu impacto na literatura e no
pensamento do período”(GARFIELD, 1955, p. 108); foi criado então o primeiro índice de
citações em genética - Genetics Citation Index - e estabeleceu-se o Science Citation Index.
Alguns anos depois, em 1973, foi a vez da área de Ciências Sociais ganhar o seu Index, o
Social Science citation index.
Os Índices de Citações foram imediatamente aceitos pois na época havia nos EUA
uma grande pressão por parte do governo para que as universidades gerassem conhecimento e
publicassem em veículos de informação de modo a comunicar suas descobertas à comunidade
científica. Porém a disseminação de conhecimento não se dava de forma rápida e muitas vezes
a mesma pesquisa acabava sendo feita em universidades diferentes, consumindo recursos
inutilmente e/ou ignorando o conhecimento gerado anteriormente a respeito do mesmo
24
assunto – Unintentional Duplication of Research (Martyn, 1964) . Nesse sentido, os “Citation
Index” foram criados com o objetivo de difundir o conhecimento adquirido de forma rápida e
eficaz.
Com a difusão dos computadores e da Internet, a função dos índices como sistemas de
busca foi cada vez mais dando lugar a outros propósitos de análise, como por exemplo:
impacto de uma publicação na área, método de julgamento da superioridade de alguns
pesquisadores em relação a outros, entre outros (COLE e COLE, 1972).
3.2 O QUE INDICAM AS CITAÇÕES NA PESQUISA CIENTÍFICA
A criação do index foi assim apenas o primeiro passo para a criação de uma ciência
baseada na análise de citações, a bibliometria. A principal idéia por trás da análise de citações
está na própria função das citações, mais do que apenas mostrar em que conceitos o autor se
baseou, a referência a outros trabalhos fornece um quadro de trabalhos relevantes para o
campo estudado e determina a fronteira de estudos daquele assunto, são com isso uma
representação dos conceitos e idéias discutidos no texto. Essas associações são um
reconhecimento formal de “débito intelectual” com os autores que trataram do tema
anteriormente (MERTON, 1983). VERGARA e CARVALHO JR (1995), defendem em seu
artigo que mais do que suporte à argumentação, as referências bibliográficas utilizadas por um
autor são representação de suas “preocupações, preferências, suposições e metodologias” (p.
170).
Além disso, o volume de pesquisa realizada atualmente é muito superior àquele que
um único indivíduo pode apreender, seja intelectualmente ou temporalmente (GARVEY,
1979). Assim os textos científicos devem tornar-se cada vez mais objetivos, assim as citações
funcionariam como uma referência condensada das pesquisas realizadas anteriormente,
poupando o esforço dos cientistas da área de buscar algo novo naquele trabalho.
Um outro papel das referências bibliográficas é fornecer um quadro de influências
intelectuais sofridas por um pesquisador ao realizar sua pesquisa, como sugerem VERGARA
e CARVALHO JR. (1995), esse quadro permitiria analisar a linha de pensamento e o
paradigma utilizado na construção do raciocínio apenas pela observação dos trabalhos,
autores e veículos mais citados na pesquisa.
Outra preocupação recorrente nas pesquisas atuais e citadas como problemas da área
de Estudos Organizacionais é o impacto de determinada pesquisa e o valor gerado por ela,
25
uma das maneiras de se medir isso é por meio do número de referências que esta recebeu,
permitindo assim que se verifique o fluxo documentado e a evolução de uma determinada
pesquisa ao longo do tempo e pode servir, portanto, como fonte para se avaliar/ medir o
impacto de uma pesquisa em seu campo ou até mesmo daquele considerado impacto indireto.
De acordo com KOSTOFF (1998) existe ainda um outro aspecto, menos positivo, a ser
considerado quando da análise de citações, trata-se da citação com propósitos pessoais. Neste
caso existem algumas facetas a serem consideradas: as citações podem servir como
engrandecimento pessoal, satisfação do ego, ou outros fatores desconhecidos no caso das
auto-citações; podem também desenvolver papel político, aqui encontramos por exemplo
citações aos editores dos periódicos e/ ou congressos para os quais o artigo foi submetido ou
aos possíveis revisores do artigo; e ainda, pelo fato de terem impacto no prestígio, e em
alguns casos na remuneração, de determinadas instituições e/ ou departamentos as citações
podem ocorrer apenas para aumentar o volume de referências recebidas por um determinado
grupo, são formados assim os “citation clubs” (KOSOFF, 1998, p. 30) em que cada membro
cita o outro com regularidade.
3.2.1. Estudos e Aplicações práticas
A análise bibliométrica é no Brasil uma área bastante recente mas que vem recebendo
atenção cada vez maior dos órgãos reguladores que parecem encontrar hoje os mesmos
problemas encontrados nos EUA há décadas: como estabelecer critérios de financiamento de
pesquisa com recursos cada vez mais escassos e demanda cada vez maior?
Em algumas áreas, como na Física por exemplo a Capes já se utiliza do critério de
impacto para remunerar os pesquisadores, porém baseando-se em indexes internacionais.
Estudos nessa área começam, assim a receber importância nacional. Quando daremos
importância à essa questão na área de Organizações?
No mundo são diversos os exemplos de estudos de citações nas mais diversas áreas,
como por exemplo na Física, na Química, na Botânica, na Economia e menos freqüentemente
na área de Administração (STREHL e SANTOS, 2002; BIGNETTI e PAIVA, 2002).
26
3.3 METODOLOGIAS PROPOSTAS PELA BIBLIOMETRIA
São muitas as aplicações e os sub-campos da análise de citações, porém, segundo
WORMELL (1998), há na área das Ciências da Informação um “caos terminológico” que não
permite distinguir de forma clara os conceitos individuais de seus sub-campos de análise –
bibliometria, informetria, cienciometria e tecnometria – assim, não é a pretensão de fazer
nesta pesquisa a diferenciação desses diversos sub-campos e a partir deste ponto o termo
bibliometria será adotado, como o mais genérico dentre eles, para designar a metodologia
utilizada.
A bibliometria inclui (mas não está limitada a) análise das publicações e padrões de
transferência em determinado campo do conhecimento. É aplicável no desenvolvimento e na
medição das relações de deslocamento da informação e do conhecimento tanto em ambientes
tradicionais (publicações impressas) quanto em ambientes eletrônicos.
A bibliometria é portanto usada para mapear a estrutura do conhecimento, e também
como uma ferramenta primária para a análise do comportamento dos cientistas /pesquisadores
em sua decisão de citações, por exemplo. Em pesquisas aplicadas, a bibliometria pode ser
usada para (1) a construção de significados; (2) desenvolvimento taxonômico e ontológico;
(3) para o estabelecimento de relações de causa-efeito; (4) estabelecimento dos fluxos de
informação entre as diversas áreas; entre outros. São cinco os tipos de metodologias utilizadas
pela bibliometria (WORMELL, 1998; VANTI, 2002):
Análise de citações: trata-se da metodologia mais comumente utilizada que estabelece
as relações entre: autores e /ou seus trabalhos, periódicos acadêmicos, campos de estudo,
países, etc.;
• .Análise de co-citação – estabelece a similaridade de objetos entre dois artigos;
• Agrupamento bibliográfico – estabelece uma ligação entre artigos que citam os
mesmos trabalhos;
• Co-word analysis- analisa a co-ocorrência de palavras-chave; e
• Webometria – estuda a relação entre os sites da Internet.
27
Quadro 3. Comparação das aplicações das metodologias bibliométricas
Metodologia
Análise de
citações
Análise de co-
citação
Agrupamento
bibliográfico
Co-word
analysis
Webometria
Objeto de
Estudo
Referências
bibliográficas em
livros, artigos etc.
No mínimo dois
artigos, extende-se
a disciplinas,
assuntos, áreas,
campos etc.
Referências
bibliográficas de
mais de um artigo
Palavras-chave,
expressões,
termos
Sites da web
(Url, domínios,
links) e sites de
busca
Variáveis
Número de citações,
número de autores
citantes, autores
mais produtivos,
instituições mais
produtivas, autores
mais citados,
livros/artigos/
periódicos mais
citados etc
Número de citações
a pares - mesmo
grupo de pesquisa,
instituição, etc - ou
a um grupo
determinado de
autores
Segue as
mesmas variáveis
da análise de
citações, porém
buscando
entender o padrão
de
comportamento
de um grupo de
autores
Co-ocorrência de
palavras-chave/
expressões/
termos em
diversos artigos
Número de
páginas/ links
por site
Métodos
Ranking, frequência,
distribuição
Ranking, frequência,
distribuição
Ranking,
frequência,
distribuição,
análise de
conjunto,
Modelos
booleanos,
modelos
probabilísticos,
linguagem de
processamento,
tesaurus
Fator de
impacto da web,
Densidade dos
links,
"estratégias de
busca"
Objetivos
Medir impacto,
alocar recursos:
tempo, pessoas,
dinheiro etc.
Compreender o
padrão de
comportamento de
um grupo
determinado de
autores de uma
área, país, periódico
em relação a outro
grupo de autores,
áreas, países
Compreender o
padrão de
comportamento
de um grupo
determinado de
autores de uma
área, país,
periódico etc.
Identificar a
estrutura de
relação entre os
diversos textos
acerca de
determinada área,
assunto ou
campo de
pesquisa
Determinar a
eficiência na
propagação do
conhecimento,
avaliar o
sucesso de
determinados
sites na rede etc
Pela natureza e objetivos da pesquisa, no presente trabalho serão utilizadas a análise
de citações, a análise de co-citação e o agrupamento bibliográfico.
3.4 PERIGOS DA ANÁLISE DE CITAÇÕES
É curioso observar que sempre que se toca no assunto análise de referências
bibliográficas, pesquisadores não familiarizados com a bibliometria em geral questionam a
relevância desse tipo de pesquisa. Apesar da breve revisão feita anteriormente, alguns
questionamentos podem ainda ocorrer. O primeiro e mais comum deles é referente à
abrangência das citações em relação ao conhecimento do autor. Críticos à análise
28
bibliométrica afirmam que nem todas as influências intelectuais sofridas pelos autores para a
criação de um determinado trabalho são representadas pelas referências bibliográficas
(MACROBERTS, 1996). Aqui é importante lembrar que o mapeamento das citações por si só
não pode ser tomado como um índice de qualidade ou relevância de um determinado artigo,
esse método apenas indica quais são as pesquisas e autores que mais foram utilizados no
desenvolvimento do raciocínio do trabalho, outras contribuições podem ser feitas pelo
trabalho analisado, e provavelmente foram, mas isso só poderá ser visto posteriormente (i)
pelo impacto que este terá no campo de estudos após sua publicação, ou seja, se este tiver
influência no desenvolvimento de novos trabalhos incremental àquela oferecida pelos
trabalhos referenciados ou (ii) por um levantamento qualitativo realizado por especialistas na
área de publicação da pesquisa( GARFIELD, 1993).
Outra crítica comum refere-se à contribuição de cada citação para a pesquisa como
um todo; apenas algumas do total das citações seriam realmente centrais no desenvolvimento
do texto e portanto seu impacto é maior do que o impacto das outras citações (KOSOFF,
1998). Novamente não há como discordar desse fato, metodologias atuais de análise
bibliométrica buscam identificar quantas vezes determinada referência foi utilizada no texto
fornecendo a cada referência um fator de contribuição (fração do número de citações total no
texto) atenuando com isso este problema.
Um terceiro fator bastante levantado por aqueles que se deparam com a bibliometria é
o fato da densidade das citações diminuir ao longo do tempo. LEDERBERG (1972), por
exemplo, afirma que alguns trabalhos tornam-se tão conhecidos e básicos que deixam de ser
citados depois de um certo tempo, nesse caso, entendemos que o trabalho já deve ter sido tão
citado anteriormente que qualquer citação incremental terá muito pouco efeito marginal na
análise do seu impacto, assim uma nova citação torna-se não-representativa e portanto
desnecessária ou pouco relevante.
Outros fatores altamente criticados da bibliometria referem-se ao mau uso de citações
por vários autores; elas poderiam ser feitas apenas para aparentar erudição ou para promover
o autor e/ ou a instituição, no caso de auto-citações e citações à colegas da mesma instituição.
Segundo GARFIELD (1979), não há necessidade de se preocupar com essa prática na análise
de citações. Teoricamente as auto-citações são uma forma de manipular as taxas de citação,
por outro lado, estudos mostram que pelo menos 10% de todas as citações são auto-citações.
Há uma tendência portanto de se construir algo em cima do próprio trabalho ou de colegas,
porém o excesso dessa prática pode representar um perigoso estreitamento de especialidades.
Assim, GARFIELD não apresenta na análise das citações, dado o ambiente acadêmico
29
americano, preocupação com a inflação do número de auto-citações ou de citações ao próprio
“citation club”, uma vez que isso seria facilmente observado e inibido pelos processos de
revisão dos principais periódicos e congressos, que por zelarem pela qualidade do trabalho
científico que publicam, não tomariam esse tipo de prática como cientificamente aceita. No
Brasil ainda não é possível fazer esse tipo de afirmação. A ausência de estudos aprofundados
acerca do padrão de citações dos autores nacionais não permite afirmar que exista consciência
por parte de autores, avaliadores e/ou editores de que esse deva ser um fator a ser levado em
conta quando da construção/ análise de suas pesquisas.
Outra crítica bastante comum refere-se ao fator inovação: um trabalho pode ir muito
além do conhecimento da área e por isso nunca ser citado, segundo GARFIELD (1979) essa
crítica pode ser chamada de “Síndrome de Mendel”, uma vez que na maior parte das vezes em
que é feita lembra da descoberta de Mendel que permaneceu sem citação durante um longo
período. A análise de citações certamente não poderá reconhecer como impactante uma
pesquisa que a comunidade científica não reconhece, pois é sempre bom lembrar que esse tipo
de análise não leva em consideração aspectos qualitativos das pesquisas, e portanto não tem o
poder de prever se determinado trabalho será ou não relevante no futuro, ele reflete nada mais
do que os interesses da comunidade científica, para ir além disso, seria necessário questionar a
capacidade dessa comunidade de apreender o significado de descobertas e /ou análises
inovadoras. Porém essa questão é irrelevante para a análise do universo intelectual no qual
uma determinada comunidade se baseia.
Uma das críticas mais contundentes à análise bibliométrica diz respeito à citação
como forma de crítica, poderia haver muitas críticas a um determinado trabalho, que portanto
o citariam como um trabalho ruim, mas que com esse tipo de metodologia seria considerado
um trabalho relevante (CROOM, 1970). Pesquisas (CARTER, 1974; MEADOWS, 1974)
indicam que um artigo ruim, ou duvidoso, não é capaz de gerar um grande impacto na área e
portanto ser razoavelmente citado. Assim, se muitos autores se dão ao trabalho de responder a
determinado artigo, criticando sua qualidade, e citando-o assim muitas vezes, é porque de
alguma forma ele teve impacto na área. A esse respeito MEADOWS afirma:
“Surprisingly enough, despite its acceptance of the need for organized
skepticism, the scientific community does not normally go out of its way to
refute incorrect results. If incorrect results stand in the way of the further
development of a subject, or if they contradict work in which someone else has
a vested interest, then it may become necessary to launch a frontal attack.
30
Otherwise, it generally takes less time and energy to bypass erroneous
material, and simply allow it to fade into obscurity” (1974, p. 45).
Além disso, não se pode considerar todas as críticas como citações negativas, uma vez
que estas têm tantas chances de estarem incorretas quanto a idéia original.
Outra crítica é à natureza do trabalho citado. Citações a trabalhos que desenvolvem e/
ou apresentam metodologias deveriam ter uma atenção especial, uma vez que estes devem ter
mais citações do que aqueles que desenvolvem teorias, e teorias seriam mais importantes que
métodos. GARFIELD (1979) afirma que há dois pontos questionáveis nesse tipo de crítica, o
primeiro é que não há nada que indique que o desenvolvimento de teorias seja mais
importante que o desenvolvimento de metodologias, e o segundo é que isso varia de acordo
com o campo do conhecimento, aqueles extremamente voltados para procedimentos
metodológicos, como física por exemplo, devem citar com mais freqüência artigos com
descrição de metodologia, e aqueles menos voltados para essa prática devem citar menos esse
tipo de trabalho e mais trabalhos com desenvolvimento de teoria.
Nesse estudo, reconhece-se a validade desses questionamentos e o fato de que a
utilização da bibliometria tem suas limitações como qualquer outra metodologia de pesquisa,
seja ela qualitativa ou quantitativa. No entanto acredita-se que a metodologia (a) ajuda a
resolver questões que outros métodos não alcançam; e (b) não se propõe a substituir análises
mais qualitativas e de conteúdo, mas a complementá-las, e eventualmente facilitá-las ao
mapear o cenário completo, indicando em que aspectos a análise pode ser aprofundada
abrindo, assim, caminho para análises qualitativas mais aprofundadas.
31
4 FATOR DE IMPACTO
O fator de impacto (FI) de um periódico está ligado à probabilidade de um artigo
publicado por aquele periódico ser citado. Trata-se de uma das ferramentas quantitativas
criadas pelo Institute of Scientific Information (ISI), publicadas anualmente pelo Journal of
Citation Report (JCR) que fornece rankeamento, avaliação, categorização e comparação de
periódicos. O impacto anual de um periódico é calculado pela divisão do número de citações
que um periódico recebe no ano pela quantidade de artigos publicados pelo mesmo periódico
nos dois anos anteriores (ISI, 2001). Ou seja, Fator de Impacto é um número que responde à
pergunta: Em média quantas vezes um artigo publicado no periódico X é citado? Tomemos
como exemplo o Academy of Management Journal (AMJ), de acordo com o JCR o AMJ foi
periódico com maior fator de impacto em 2003, isto é, em média um artigo publicado no AMJ
é citado mais do que um artigo publicado em outro journal da mesma área.
O FI é, assim, o resultado quociente da divisão do o número de artigos publicados pelo
periódico num determinado período pelo numero de citações feitas aquele periódico na base
de artigos analisadas. No caso do exemplo anterior, em 2003, de acordo com o JCR, um artigo
publicado no AMJ nos anos de 2001 e 2002 foi citado em outros artigos em média 3,343
vezes. É importante ressaltar que para esse cálculo o ISI considera as referências
bibliográficas dos artigos publicados em quaisquer um dos 1500 periódicos de sua base de
dados independentemente da área de concentração do periódico. Hoje não existe no Brasil
nada semelhante a essa base de dados que nos permita uma análise dessa grandeza.
Citações em 2003 a artigos publicados em:
2002 136
Número de artigos publicados em:
2002 70
2001 342 2001 73
Total 478 Total 143
Cálculo do Fator de Impacto
Citações em 2003 a artigos de 2002 e 2001
478 = 3,343
Número de artigos publicados em 2002 e 2001
143
Quadro 4. Cálculo do fator de impacto – exemplo
Fonte: ISI, 2003.
O fato de que um periódico com maior FI apresenta melhor qualidade já se tornou
extremamente aceito pela comunidade acadêmica internacional, isso pode ser observado em
estudos como os de McKibbon, Wilczynski e Haynes (2004) que mostram uma alta
correlação entre o FI e indicadores de qualidade em periódicos focados na área da saúde.
32
Como resultado dessa ampla aceitação, o Fator de Impacto tem cada vez mais sido
incorporado no curricula de pesquisadores internacionais. Na Espanha, por exemplo,
publicar em um dos top-FI periódicos tem implicações na carreira e na obtenção de verbas
para pesquisa (CAMI, SUÑÉN e MÉNDEZ, 2003). O fator de impacto é assim um dos
indicadores bibliométricos mais importantes e o mais utilizado para se mensurar a repercussão
da atividade científica dos pesquisadores de uma comunidade.
A pressão por publicação - nos países em que a utilização do FI está enraizada-
significa que quando os pesquisadores precisam escolher o periódico no qual vão publicar
seus estudos, eles olham para o FI e buscam publicar naqueles que apresentam o maior FI
possível. Isso significa que os periódicos que estão entre os top-FI são aqueles que atraem os
pesquisadores de maior prestígio na área pois é a publicação mais prestigiada pelos leitores.
Ou seja, um periódico com um alto FI é aquele mais lido e também aquele que atrai os
melhores artigos em função da sua abrangência. No entanto a lista de periódicos com essas
qualidades é bastante limitada (MCKIBBON, WILCZYNSKI E HAYNES, 2004; Weiner et
al 1981 )
Não há consenso quanto a qual o espaço temporal a ser considerado em avaliações do
fator de impacto. Se por um lado avaliações que não levem em conta o fator temporal podem
vir a favorecer publicações de assuntos de interesses recentes, mas não necessariamente
duradouros, por outro publicações consolidadas e com FI estável podem estar sendo sub-
avaliadas (SEGLEN, 1997).
Assim, somando-se à qualidade do periódico, a escolha do periódico ao qual submeter
um artigo deve também embasar-se na tendência e no histórico dos seus FIs ao longo do
tempo. Um dos objetivos dessa pesquisa é levantar o fator de impacto dos principais
periódicos nacionais, fornecendo aos pesquisadores do campo um novo critério de
embasamento das suas decisões de publicação.
33
5 A PESQUISA
5.1 OBJETIVOS DA PESQUISA
O objetivo desse estudo é realizar uma análise aprofundada da base teórica/
metodológica – representada pelas referências bibliográficas – utilizada na pesquisa nacional
em Administração. Para isso serão analisados 2 grupos de artigos: (i) os publicados nos 4
principais periódicos nacionais – RAC, RAE, RAP e RAUSP e os artigos publicados nos
anais do ENANPAD, principal congresso de administração do país, entre os anos de 1997 e
2002, (ii) aqueles citados pelo primeiro grupo de artigos durante o mesmo período. Com isso
surgem dois grupos diferentes de perguntas a serem respondidas.
1. Perguntas para os artigos citantes
• Quem são os autores que mais publicaram no período?
• Qual é a instituição de origem desses autores?
• Qual é a instituição que teve mais artigos publicados no período?
• Existe concentração de autoria na pesquisa acadêmica nacional?
2. Perguntas para os artigos citados/ referenciados
• Qual é a freqüência das citações por artigo?
• Quais são as formas de referência utilizadas? Isto é, qual é a porcentagem de
citações a artigos de periódicos, livros, websites etc.
• Qual é a idade das referências utilizadas?
• Quem são os autores mais citados?
• Quais são os periódicos mais citados?
Além de responder a essas perguntas o presente estudo pretende também mostra o
fator de impacto dos periódicos analisados.
Assim a proposta dessa análise bibliométrica é (1) gerar conhecimento sobre o
desenvolvimento da pesquisa acadêmica em administração e (2) determinar os padrões de
referência utilizados pelos pesquisadores nacionais. Esse estudo é apenas um primeiro passo
no sentido de compreender melhor a estrutura e a história do campo no que diz respeito à base
sobre a qual a pesquisa é construída no país.
5.2 METODOLOGIA
34
A análise de citações tem sido extensivamente desenvolvida como um método de
indexar a pesquisa publicada, como resultado uma série de ferramentas para disseminação e
resgate do conhecimento tornaram-se disponíveis e possibilitam uma abordagem única e útil
da pesquisa produzida (Garfield, 1955, 1964; Martyn, 1965). Pesquisadores e editores ao
citarem um determinado autor estabelecem novas relações conceituais entre o trabalho
corrente e o passado (citado); a indexação das citações permite identificar essas relações e
relacionar qualquer publicação passada ao seu desenvolvimento recente, e portanto um
método que permite medir as inter-relações – documentadas – de uma determinada área das
ciências.
Nesta pesquisa a bibliometria será utilizada para mapear e analisar os padrões de
citação na área de Administração com base nos artigos publicados no principal congresso de
Administração nacional, o ENANPAD e nos principais periódicos nacionais na área –
Revista de Administração Contemporânea (RAC); Revista de Administração de Empresas
(RAE), Revista de Administração Pública (RAP), e Revista de Administração (RAUSP),
entre os anos de 1997 e 2002. Esse período foi escolhido pela disponibilidade de informações,
trata-se do período a partir do qual os Anais passaram a ser publicados em meio eletrônico.
Dada a extensão da pesquisa e a ausência de um banco de dados nacional com as informações
necessárias, a disponibilização dos dados em meio eletrônico é crucial para o levantamento
apurado e completo dos dados.
O primeiro passo na realização da pesquisa foi a criação de duas bases de dados
(secundários) inter-relacionadas: (i) artigos citantes, isto é, artigos publicados nos veículos e
(ii) artigos citados. No primeiro banco de dados, para cada um dos artigos publicados na área
entre 1997 e 2002, foram levantadas as seguintes informações: área de
publicação/especialização do texto, autores do artigo e instituições declaradas de autoria. A
partir desse primeiro levantamento, foi então criado um segundo banco de dados, inter-
relacionado ao primeiro - com as referências bibliográficas feitas em cada artigo. Aqui foram
consideradas as seguintes informações: autores citados, título da obra, tipo de obra (livro,
artigo ou outros), veículo de publicação (no caso de periódico) e ano da referência.
O segundo passo foi o cruzamento e a consolidação dessas informações da seguinte
forma:
Contagem de citações – foram agrupadas as vezes em que cada autor é citado na
amostra.
Obras mais influentes - da mesma forma feita para a contagem de autores, foi feito
um levantamento das obras mais citadas no período. As diferentes edições de um mesmo
35
livro, por exemplo: traduções, diferentes anos de publicação etc serão consideradas como
mesma obra, seguindo os padrões internacionais de citation indexes.
Veículos mais influentes – serão contados os veículos nacionais e estrangeiros que
mais tem impacto em cada área do conhecimento e no geral e o tempo necessário para que
uma pesquisa seja citada no Brasil.
O terceiro passo da pesquisa foi o cruzamento e análise dos dados, procurando atender
a cada um dos objetivos específicos do estudo.
Algumas considerações
No mundo a análise de citações, impacto, autoria etc é realizada praticamente apenas
em periódicos, no entanto a escolha da análise das referências publicadas no ENANPAD se
deu em função do papel exercido pelo Encontro no cenário da pesquisa nacional. Atualmente
o ENANPAD representa a grande maioria da publicação acadêmica nacional em
Administração dada da sua disponibilidade quase que irrestrita de espaço de publicação. Em
função dessa particularidade este estudo propôs-se a compreender o padrão de publicação e
citação também nessa importante fonte da pesquisa nacional.
36
6 RESULTADOS
6.1 CARACTERÍSTICAS DOS ARTIGOS ESTUDADOS
6.1.1. PRODUTIVIDADE EM ADMINISTRAÇÃO (1997-2002)
Os resultados (Tabela 6.1) tornam evidente o aumento da produção acadêmica ao
longo dos anos. Esse aumento ocorre, no entanto, graças ao crescimento do Enanpad e não à
ampliação de espaço editorial nos periódicos acadêmicos, que mantém média anual de
publicação bastante constante ao longo dos 6 anos. Como mencionado anteriormente, o
aumento do espaço editorial tem ocorrido em função da pressão por publicação sofrida pelos
pesquisadores, no entanto esse aumento não se deu nos periódicos considerados A pela
Qualis, mas sim pelo aumento do número de publicações. Essas outras publicações não foram
objeto de estudo desse trabalho em função principalmente de dois fatores: (i) a falta de
regularidade de publicação e distribuição e (ii) a falta de histórico desses periódicos, o que
nos permitiria uma análise muito pontual da pesquisa e não uma análise temporal como
aquela a que este estudo se propõe.
Assim, observamos pelo levantamento, Os anais do Enanpad representam, assim, 70%
de toda a produção no período. É interessante observar que em 1997 o Encontro representava
62% do total da produção, enquanto que em 2002 já chegava a 79%.
Tabela 6.1. Artigos publicados ano a ano
1997 1998 1999 2000 2001 2002 TOTAL
n % n % N % n % n % n % n %
ENANPAD
241 62% 250 63% 270 66% 364 68% 426 71% 555 79% 2106 70%
REVISTAS
145 38% 149 37% 142 34% 169 32% 173 29% 145 21% 923 30%
RAC 22 6% 25 6% 23 6% 26 5% 41 7% 32 5% 169 6%
RAE 36 9% 35 9% 37 9% 42 8% 39 7% 36 5% 225 7%
RAP 49 13% 52 13% 49 12% 61 11% 52 9% 42 6% 305 10%
RAUSP 38 10% 37 9% 33 8% 40 8% 41 7% 35 5% 224 7%
TOTAL
ANUAL 386 13% 399 13% 412 14% 533 18% 599 20% 700 23% 3029 100%
37
Gráfico 6.1. Artigos publicados ano a ano por meio de publicação
0
100
200
300
400
500
600
700
800
1997 1998 1999 2000 2001 2002
Artigos (N)
ENANPAD REVISTAS TOTAL ANUAL
Em relação à autoria, foram levantados 2919 diferentes autores, provenientes de 314
instituições distintas. O total de publicações por um determinado autor foi, além de somado de
forma simples, ponderado de acordo com o número de autores por cada artigo. Dessa forma se
um texto foi escrito por 2 pessoas distintas cada um recebeu 0,5 publicações. Essa
metodologia segue o padrão sugerido por artigos anteriores (TONELLI et al, 2002).
Observamos na Tabela 6.2 que o autor mais prolífico do período foi Miguel Caldas, com
um total de 15,53 artigos publicados no período, seguido por Sylvia Vergara e Alberto Luiz
Albertin, com 13,50 e 12 publicações respectivamente.
Como é possível observar no Gráfico 6.2 o Enanpad responde por parcela significativa
da produção acadêmica dos autores, assim faz-se necessária uma análise separada da
publicação apenas nos periódicos. O ranking é alterado de autores mais prolíficos é alterado
quando consideramos apenas as publicações em periódicos. Nesse caso Sylvia Vergara
assume a liderança do ranking com 9,5 artigos publicados, especialmente na RAP, seguida
por Débora Zouain (7,5) e José Carlos Barbieri (7,25) (Tabela 6.3).
Essa análise (Tabela 6.3) demonstra que excluindo-se as publicações realizadas nos
Enanpads todos os autores alteram suas posições no quadro de produção e, dos 30 mais
prolíficos - considerando-se as publicações no referido congresso - apenas 15 (50%) mantém-
se entre os 30 primeiros em produção acadêmica nos periódicos.
Essa alteração ocorre em função principalmente de 2 fatores: (i) o espaço editorial nos
periódicos e mais escasso e com isso as exigências para publicação são maiores do que
aquelas impostas pelo Enanpad, (ii) a RAP é um periódico bimestral, diferentemente dos
demais que são trimestrais, assim aqueles autores que privilegiam essa publicação encontram
mais espaço para suas pesquisas do que aqueles que escolhem os demais periódicos.
38
Tabela 1. Autores mais prolíficos – Total
PERIÓDICOS RAC RAE RAP RAUSP ENANPAD TOTAL
AUTOR
N POND N POND N POND N POND N POND N POND N POND
MIGUEL PINTO CALDAS 10,00 6,83 2,00 0,83 8,00 6,00 15,00 9,00 25,00 15,83
SYLVIA CONSTANT VERGARA 16,00 9,50 3,00 2,00 2,00 1,00 9,00 5,50 2,00 1,00 8,00 4,00 24,00 13,50
ALBERTO LUIZ ALBERTIN 7,00 6,00 1,00 1,00 6,00 5,00 8,00 6,00 15,00 12,00
THOMAZ WOOD JR 8,00 4,83 2,00 0,83 6,00 4,00 12,00 6,50 20,00 11,33
CLOVIS L. MACHADO-DA-SILVA 5,00 2,50 3,00 1,50 2,00 1,00 16,00 7,42 21,00 9,92
HENRIQUE MELLO R DE FREITAS 9,00 4,42 3,00 1,33 2,00 1,00 4,00 2,08 14,00 5,45 23,00 9,87
JOSÉ CARLOS BARBIERI 8,00 7,25 2,00 2,00 5,00 5,00 1,00 0,25 5,00 2,25 13,00 9,50
ANDRÉ TORRES URDAN 4,00 3,00 1,00 0,50 2,00 1,50 1,00 1,00 11,00 6,33 15,00 9,33
DEBORAH MORAES ZOUAIN 8,00 7,50 8,00 7,50 3,00 1,50 11,00 9,00
JORGE FERREIRA DA SILVA 4,00 1,67 4,00 1,67 15,00 7,00 19,00 8,67
ANTONIO VÍRGILIO BITTENCOURT BASTOS 5,00 3,33 1,00 0,33 1,00 0,50 3,00 2,50 9,00 5,17 14,00 8,50
ALKETA PECI 2,00 1,50 2,00 1,50 8,00 7,00 10,00 8,50
TÂNIA MARIA DIEDERICHS FISCHER 6,00 3,58 1,00 1,00 5,00 2,58 10,00 4,75 16,00 8,33
JAIRO EDUARDO BORGES-ANDRADE 8,00 3,17 4,00 1,67 1,00 0,50 1,00 0,33 2,00 0,67 10,00 4,75 18,00 7,92
IVAN ANTONIO PINHEIRO 3,00 2,50 1,00 1,00 2,00 1,50 8,00 4,83 11,00 7,33
RICARDO PEREIRA CÂMARA LEAL 8,00 3,58 3,00 1,33 1,00 0,50 4,00 1,75 7,00 3,75 15,00 7,33
TOMAS DE AQUINO GUIMARÃES 5,00 2,50 1,00 0,50 3,00 1,67 1,00 0,33 11,00 4,78 16,00 7,28
NEWTON C. A. DA COSTA JR. 7,00 3,25 2,00 1,00 1,00 0,50 4,00 1,75 10,00 4,00 17,00 7,25
MARCELO MILANO FALCÃO VIEIRA 7,00 3,37 2,00 1,20 2,00 0,67 2,00 1,00 1,00 0,50 9,00 3,67 16,00 7,03
MAURÍCIO SERVA 5,00 4,50 1,00 1,00 4,00 3,50 3,00 2,50 8,00 7,00
NEUSA ROLITA CAVEDON 9,00 7,00 9,00 7,00
FRANCISCO LIMA CRUZ TEIXEIRA 2,00 1,00 1,00 0,50 1,00 0,50 10,00 5,83 12,00 6,83
NORBERTO HOPPEN 1,00 1,00 1,00 1,00 13,00 5,61 14,00 6,61
JOÃO LUIZ BECKER 2,00 0,83 1,00 0,50 1,00 0,33 14,00 5,70 16,00 6,53
PAULO SERGIO CERETTA 5,00 2,50 2,00 1,00 1,00 0,50 2,00 1,00 7,00 4,00 12,00 6,50
EDUARDO HENRIQUE DINIZ 4,00 4,00 2,00 2,00 2,00 2,00 4,00 2,33 8,00 6,33
PEDRO LINCOLN CARNEIRO LEÃO MATTOS 3,00 3,00 3,00 3,00 5,00 3,33 8,00 6,33
MARIA JOSE TONELLI 2,00 1,50 1,00 0,50 1,00 1,00 8,00 4,83 10,00 6,33
FREDERICO A. DE CARVALHO 2,00 1,00 2,00 1,00 9,00 5,17 11,00 6,17
MOEMA MIRANDA DE SIQUEIRA 6,00 5,25 1,00 1,00 4,00 3,25 1,00 1,00 2,00 0,83 8,00 6,08
TOTAL 30 MAIS PROLÍFICOS 162,0 104,87 46,0 27,20 42,0 29,17 48,0 34,67 26,0 13,83 273,0 145,29 435,0 250,2
TOTAL TODOS AUTORES 1524 923 320 169 313 225 496 305 395 224 4033 2106 5557 3029
PARTICIPAÇÃO DOS 30+ 11% 11% 14% 16% 13% 13% 10% 11% 7% 6% 7% 7% 8% 8%
39
Gráfico 6.2 - Participação do tipo de publicação na produção dos 100 autores mais prolíficos
(total de artigos)
ENANPAD
64%
PERIÓDICOS
36%
Podemos observar que aqueles autores que publicam mais na RAP, seja pelo escopo
de sua pesquisa, seja pela escolha pelo periódico em função do maior espaço editorial são
aqueles que mais sobem posições no caso da classificação pelo número de artigos publicados
em periódicos. Com isso, evidencia-se ainda mais a importância da escolha do periódico no
momento da submissão de um artigo para publicação.
Em relação às instituições – declaradas – a qual pertenciam os autores no momento da
autoria dos textos, foram levantadas 314 instituições diferentes. Da mesma forma feita no
caso do levantamento de autoria, aqui as instituições também foram ponderadas de acordo
com o número de autores. No entanto fez-se necessária uma etapa intermediária, uma vez que
um autor pode declarar pertencer a mais de uma instituição. Assim, se um texto tivesse sido
escrito por 2 autores distintos e cada um mencionasse 2 instituições nos seus créditos
teríamos:
Autor 1 – 0,5 obras Instituição A – 0,25
Instituição B – 0,25
Autor 2 – 0,5 obras Instituição C – 0,25
Instituição D – 0,25
40
Tabela 6.3. Autores mais prolíficos - Periódicos
N POND N POND N POND N POND N POND N POND N POND
SYLVIA CONSTANT VERGARA 16,00 9,50 3,00 2,00 2,00 1,00 9,00 5,50 2,00 1,00 8,00 4,00 24,00 13,50
DEBORAH MORAES ZOUAIN 8,00 7,50 8,00 7,50 3,00 1,50 11,00 9,00
JOSÉ CARLOS BARBIERI 8,00 7,25 2,00 2,00 5,00 5,00 1,00 0,25 5,00 2,25 13,00 9,50
MIGUEL PINTO CALDAS 10,00 6,83 2,00 0,83 8,00 6,00 15,00 9,00 25,00 15,83
ALBERTO LUIZ ALBERTIN 7,00 6,00 1,00 1,00 6,00 5,00 8,00 6,00 15,00 12,00
SERGIO PROENÇA LEITÃO 10,00 5,50 1,00 0,50 9,00 5,00 10,00 5,50
MOEMA MIRANDA DE SIQUEIRA 6,00 5,25 1,00 1,00 4,00 3,25 1,00 1,00 2,00 0,83 8,00 6,08
VALDEREZ FERREIRA FRAGA 5,00 5,00 5,00 5,00 1,00 0,50 6,00 5,50
HERMANO ROBERTO THIRY-CHERQUES 5,00 5,00 5,00 5,00 5,00 5,00
THOMAZ WOOD JR 8,00 4,83 2,00 0,83 6,00 4,00 12,00 6,50 20,00 11,33
MAURÍCIO SERVA 5,00 4,50 1,00 1,00 4,00 3,50 3,00 2,50 8,00 7,00
HENRIQUE MELLO RODRIGUES DE FREITAS 9,00 4,42 3,00 1,33 2,00 1,00 4,00 2,08 14,00 5,45 23,00 9,87
EDUARDO HENRIQUE DINIZ 4,00 4,00 2,00 2,00 2,00 2,00 4,00 2,33 8,00 6,33
ALVARO TAMAYO 4,00 4,00 1,00 1,00 3,00 3,00 5,00 2,00 9,00 6,00
MARIA ESTER DE FREITAS 4,00 4,00 4,00 4,00 2,00 2,00 6,00 6,00
FRANCISCO JOSÉ ESPÓSITO ARANHA FILHO 4,00 4,00 4,00 4,00 3,00 1,33 7,00 5,33
FERNANDO GUILHERME TENÓRIO 4,00 4,00 4,00 4,00 2,00 0,60 6,00 4,60
BERNADO KLIKSBERG 4,00 4,00 4,00 4,00 4,00 4,00
JOSÉ ERNESTO LIMA GONÇALVES 4,00 4,00 4,00 4,00 4,00 4,00
MARTA FERREIRA SANTOS FARAH 4,00 4,00 1,00 1,00 2,00 2,00 1,00 1,00 4,00 4,00
TÂNIA MARIA DIEDERICHS FISCHER 6,00 3,58 1,00 1,00 5,00 2,58 10,00 4,75 16,00 8,33
RICARDO PEREIRA CÂMARA LEAL 8,00 3,58 3,00 1,33 1,00 0,50 4,00 1,75 7,00 3,75 15,00 7,33
PEDRO JAIME JÚNIOR 4,00 3,50 2,00 2,00 2,00 1,50 3,00 2,50 7,00 6,00
RUBENS FAMA 7,00 3,50 1,00 0,50 6,00 3,00 4,00 1,83 11,00 5,33
ARMÉNIO REGO 4,00 3,50 1,00 1,00 1,00 1,00 1,00 0,50 1,00 1,00 2,00 1,00 6,00 4,50
LUIZ CARLOS DE OLIVEIRA CECILIO 4,00 3,50 1,00 1,00 3,00 2,50 4,00 3,50
ROSE MARIE INOJOSA 4,00 3,50 4,00 3,50 4,00 3,50
MARCELO MILANO FALCÃO VIEIRA 7,00 3,37 2,00 1,20 2,00 0,67 2,00 1,00 1,00 0,50 9,00 3,67 16,00 7,03
ANTONIO VÍRGILIO BITTENCOURT BASTOS 5,00 3,33 1,00 0,33 1,00 0,50 3,00 2,50 9,00 5,17 14,00 8,50
MARIA TEREZA LEME FLEURY 6,00 3,33 2,00 1,00 1,00 1,00 3,00 1,33 4,00 2,50 10,00 5,83
TOTAL 30 MAIS PROLÍFICOS 184,0 138,28 26,0 16,37 50,0 41,17 78,0 62,33 30,0 18,42 135,0 71,97 319,0 210,3
TOTAL TODOS AUTORES 1524 923 320 169 313 225 496 305 395 224 4033 2106 5557 3029
PARTICIPAÇÃO DOS 30+ NO TOTAL 12% 15% 8% 10% 16% 18% 16% 20% 8% 8% 3% 3% 6% 7%
AUTOR
PERIÓDICOS RAC RAE RAP RAUSP ENANPAD TOTAL
41
Tabela 6.4. Instituições mais prolíficas
TOTAL ENANPAD PERIÓDICOS
INSTITUIÇÃO
SEM
PONDERAÇÃ
O
POND PELO N
DE
INSTITUIÇOES
POND PELO N
DE AUTORES
SEM
PONDERAÇÃO
POND PELO N
DE
INSTITUIÇOES
POND PELO N
DE AUTORES
SEM
PONDERAÇÃO
POND PELO N
DE
INSTITUIÇOES
POND PELO N
DE AUTORES
FGV/EAESP
444,00 439,00 299,71 253,00 248,50 155,63 191,00 190,50 144,08
UFRGS
624,00 598,67 296,23 532,00 507,17 256,68 92,00 91,50 39,55
USP
466,00 451,50 241,92 274,00 261,17 136,17 192,00 190,33 105,75
UFMG
345,00 332,83 165,46 300,00 287,83 141,24 45,00 45,00 24,22
UFBA
280,00 279,50 161,55 227,00 226,50 131,80 53,00 53,00 29,75
UFRJ
316,00 312,50 154,78 248,00 245,50 115,87 68,00 67,00 38,92
FGV/EBAPE
232,00 228,00 153,97 127,00 126,50 74,55 105,00 101,50 79,42
UFPR
201,00 198,00 102,58 169,00 166,00 85,75 32,00 32,00 16,83
UFPE
215,00 205,50 96,93 191,00 181,50 83,52 24,00 24,00 13,42
UFSC
190,00 181,00 95,54 140,00 131,00 69,38 50,00 50,00 26,17
PUC/Rio
202,00 196,00 94,17 143,00 139,00 65,08 59,00 57,00 29,08
UnB
158,00 156,50 76,62 117,00 116,00 54,87 41,00 40,50 21,75
UNISINOS
92,00 84,33 45,49 84,00 76,33 41,08 8,00 8,00 4,42
UFRN
77,00 74,67 37,80 62,00 60,17 27,80 15,00 14,50 10,00
UFLA
81,00 80,50 37,23 69,00 68,50 32,57 12,00 12,00 4,67
MACKENZIE
75,00 72,17 32,38 65,00 62,83 27,88 10,00 9,33 4,50
UNICAMP
45,00 43,33 28,25 18,00 18,00 11,33 27,00 25,33 16,92
PUC/SP
46,00 40,50 27,38 40,00 36,17 23,04 6,00 4,33 4,33
PUC/RS
53,00 45,33 27,23 48,00 40,33 23,64 5,00 5,00 3,58
PUC/Minas
39,00 35,33 25,42 30,00 26,33 19,42 9,00 9,00 6,00
PUC/PR
41,00 38,50 21,17 37,00 34,50 19,17 4,00 4,00 2,00
IBMEC
37,00 36,50 19,58 28,00 28,00 13,58 9,00 8,50 6,00
UNIFOR
30,00 30,00 18,50 30,00 30,00 18,50 - - -
UEM
41,00 38,50 17,83 36,00 33,50 16,08 5,00 5,00 1,75
UFSCar
38,00 38,00 17,67 15,00 15,00 6,17 23,00 23,00 11,50
FIOCRUZ
34,00 34,00 16,87 5,00 5,00 2,37 29,00 29,00 14,50
UMINHO
30,00 30,00 16,67 20,00 20,00 10,17 10,00 10,00 6,50
UFPB
31,00 31,00 16,50 30,00 30,00 15,50 1,00 1,00 1,00
UEL/UEM
35,00 35,00 16,00 35,00 35,00 16,00 - - -
UFSM
39,00 37,50 16,00 35,00 33,50 14,00 4,00 4,00 2,00
42
O resultado nos mostra que no total a FGV-EAESP é a instituição mais prolífica com
299,71 publicações seguida pela UFRGS (296,23) e pela USP (241,92), porém diferentemente
do que acontece com o ranking de autoria, a primeira posição não é alterada quando
consideramos as publicações apenas em periódicos. Assim, a FGV-EAESP é também a
instituição com maior número de publicações em periódicos (144,08), seguida agora pela USP
(105,75) e pela FGV-EBAPE (79,42). Esses números não são surpreendentes se consideramos
que são essas três as instituições patrocinadoras de três dos quatro principais periódicos
nacionais, o que nos leva a uma outra análise, qual é a instituição mais prolífica por
periódico?
A tabela 6.5 nos mostra que apenas a RAC apresenta uma distribuição homogênea da
instituição de origem de seus autores, enquanto que, no período, os demais periódicos
publicaram uma quantidade bastante superior de artigos de autores da própria casa. Uma das
explicações para tal fato pode ser a preferência dos próprios autores em submeterem artigos
para o periódico da sua própria instituição, o que torna maior a disponibilidade de artigos da
casa para publicação. Outra explicação pode ser o privilégio dado pelos editores aos autores
da própria casa, o que é bastante perigoso já que dificulta a “oxigenação” e a divulgação de
novas formas de conhecimento. Assim, os editores desses periódicos têm o desafio de buscar
constantemente autores que tragam “novos ares” aos seus periódicos, enriquecendo assim o
debate acadêmico nacional.
Tabela 6.5. As 5 instituições mais prolíficas por periódico
PERIÓDICO INSTITUIÇÃO
SEM
PONDERAÇÃO
POND PELO N
DE
INSTITUIÇOES
POND PELO
N DE
AUTORES
UFRGS
48,00 48,00 17,97
UFRJ
29,00 29,00 15,17
FGV/EAESP
22,00 21,50 13,33
RAC
USP
25,00 25,00 12,33
FGV/EAESP
143,00 143,00 112,83
EMPRESAS
14,00 14,00 11,00
USP
11,00 11,00 6,67
RAE
UNIVERSITY OF WISCONSIN
14,00 14,00 6,33
FGV/EBAPE
96,00 93,00 73,67
USP
24,00 23,50 16,58
UFBA
32,00 32,00 16,25
RAP
UFRJ
24,00 23,00 15,50
USP
132,00 130,83 70,17
EMPRESAS
20,00 20,00 12,92
UFRGS
24,00 23,50 12,67
RAUSP
UFSC
19,00 19,00 9,50
43
10,00
12,00
14,00
16,00
18,00
20,00
22,00
24,00
26,00
1997 1998 1999 2000 2001 2002
Média de citações por artigo
6.2 CARACTERISTICAS DA LITERATURA CITADA I: freqüência, forma e
idade das citações
A partir dessa seção analisaremos as referências bibliográficas dos artigos publicados nos
periódicos estudados no período de 1997-2002.
Freqüência das citações
A freqüência das citações representa o número de referências bibliográficas utilizadas por
um determinado documento. O número de referências em trabalhos acadêmicos em geral
aumenta de acordo com a maturidade do campo de estudo (Parker et al., 1967).
Foram levantadas 64.284 referências bibliográficas no total. Essas referências estão
distribuídas ao longo dos anos conforme a tabela 6.6.
Tabela 6.6 Freqüência de citações por ano
Gráfico 6.3. Média de citações por artigo
Podemos observar que o número de citações não só cresce ao longo do tempo( gráfico
6.3), como cresce em maior proporção do que o número de artigos, com isso a média de
citações cresce ano após ano. Esse crescimento pode ter ocorrido por alguns fatores: (i) a
maior valorização dada as referências bibliográficas que passam agora a serem mais utilizadas
nos artigos; (ii) a elevação da exigência dos revisores para a aprovação de um artigo para
publicação, o que gera a necessidade de um embasamento mais sólido, (iii) o aumento do
volume de conhecimento gerado pela academia que leva à necessidade de se referenciar mais
pessoas quando fala-se de determinado assunto, ou ainda (iv) o aumento da facilidade de
acesso aos meios de publicação que permitem aumentar a base de conhecimento construído a
ser pesquisada.
ANO
Nº
referências
Média
de
citações
por
artigo
Nº de
artigos
1997 6.703 18,02 386
1998 8.130 20,85 399
1999 8.676 21,48 412
2000 11.235 21,69 533
2001 13.136 22,38 599
2002 16.404 24,26 700
Total
64.284 21,21 3029
44
Forma das citações
A forma, ou o formato das citações revela o tipo de meio de comunicação escolhido pelos autores do campo para comunicarem os seus
trabalhos.
Podemos observar que a forma predominante de fontes citadas são os livros, independentemente do critério escolhido eles são a fonte
mais utilizada pelos pesquisadores que publicam no país. Os periódicos aparecem em segundo lugar na preferência dos autores.
Livros podem sim – e certamente são - ser um bom veículo de disseminação de conhecimento. No entanto, a falta de um crivo acadêmico
pode colocar em dúvida a qualidade das fontes que estão sendo pesquisadas. Assim, tem-se aqui um ótimo tema para próximos estudos: que
seja feito um aprofundamento dessa análise, levantando que tipos de livros são usados e se são eles realmente o meio de comunicação mais
adequado para se construir teoria no país.
O uso predominantemente de livros pode ser explicado em parte pela dificuldade de acesso a periódicos em locais afastados dos grandes
centros de pesquisa, mas certamente essa não é a única explicação encontrada.
Tabela 6.7 Formato das citações
Total
Ano
Enanpad Periódicos Total Ano Enanpad Periódicos Total Ano Enanpad Periódicos Total Ano Enanpad Periódicos Total Ano Enanpad Periódicos Total Ano Enanpad Periódicos Total Enanpad Periódicos
LIVRO 3.336 2.102 1.234 3.695 2.468 1.227 4.267 2.788 1.479 5.553 4.056 1.497 5.974 4.344 1.630 7.437 5.647 1.790 30.262 21.405 8.857
PERIÓDICO 1.832 1.186 646 2.412 1.704 708 2.373 1.751 622 3.099 2.284 815 3.898 2.830 1.068 4.846 3.929 917 18.460 13.684 4.776
ARTIGO DE LIVRO 582 269 313 739 452 287 838 535 303 1.116 773 343 1.391 1.001 390 1.614 1.219 395 6.280 4.249 2.031
CONGRESSO 233 184 49 474 320 154 329 286 43 397 305 92 579 459 120 799 692 107 2.811 2.246 565
OUTROS 309 194 115 379 254 125 381 254 127 379 254 125 404 301 103 519 425 94 2.371 1.682 689
TESES/ DISSERTAÇÃO 217 121 96 224 141 83 217 148 69 326 201 125 454 348 106 528 440 88 1.966 1.399 567
WEBSITE 21 18 3 33 32 1 84 71 13 158 119 39 187 159 28 318 295 23 801 694 107
PERIÓDICOS OUTROS 85 61 24 59 43 16 80 56 24 81 53 28 85 72 13 95 88 7 485 373 112
WORKING PAPER 11 5 6 44 35 9 32 21 11 58 36 22 74 62 12 106 91 15 325 250 75
RELATÓRIO DE PESQUISA 37 29 8 23 19 4 31 23 8 35 19 16 38 28 10 53 47 6 217 165 52
APUD 14 11 3 32 30 2 24 22 2 15 13 2 28 18 10 47 43 4 160 137 23
CONGRESSO OUTROS 23 17 6 9 5 4 14 13 1 14 9 5 18 13 5 28 24 4 106 81 25
NÃO PUBLICADO 3 3 7 7 6 3 3 4 3 1 6 5 1 14 14 40 35 5
Total 6.703 4.200 2.503 8.130 5.510 2.620 8.676 5.971 2.705 11.235 8.125 3.110 13.136 9.640 3.496 16.404 12.954 3.450 64.284 46.400 17.884
19991997 1998
Tipo
Total geral200220012000
45
Idade das citações
A idade das referências é também um indicador importante da estrutura de um campo
de estudos. Ela revela em que extensão os autores desse campo buscam informações do
passado para embasar os seus textos.
Tabela 6.8. Idade dos periódicos citados
N%N%N%N%N%N %N%
50+ 26 0% 30 0% 61 1% 58 1% 83 1% 109 1% 367 1%
entre 30-49 230 3% 234 3% 301 3% 390 3% 497 4% 664 4% 2.316 4%
entre 20-29 463 7% 573 7% 628 7% 919 8% 1.045 8% 1.238 8% 4.866 8%
entre 10-19 1.379 21% 1.602 20% 1.768 20% 2.311 21% 2.668 20% 3.311 20% 13.039 20%
entre 5-9 1.702 25% 2.153 26% 2.420 28% 3.306 29% 3.995 30% 4.914 30% 18.490 29%
4 588 9% 764 9% 785 9% 1.024 9% 1.178 9% 1.388 8% 5.727 9%
3 691 10% 820 10% 896 10% 1.049 9% 1.175 9% 1.586 10% 6.217 10%
2 767 11% 947 12% 869 10% 1.020 9% 1.281 10% 1.731 11% 6.615 10%
1 648 10% 773 10% 704 8% 854 8% 926 7% 1.173 7% 5.078 8%
0 133 2% 168 2% 189 2% 214 2% 192 1% 178 1% 1.074 2%
sem data 76 1% 66 1% 55 1% 90 1% 96 1% 112 1% 495 1%
Tota
l
6.703 100% 8.130 100% 8.676 100% 11.235 100% 13.136 100% 16.404 100% 64.284 100%
Idade
2001 2002 Total1997 1998 1999 2000
Podemos observar na tabela 6.8 que, no Brasil, os autores buscam textos que tem, em
sua grande maioria até 20 anos de “idade”. Se levarmos em consideração que em 2002
(último ano analisado) o ENANPAD completava sua 21ª edição, então parece bem razoável
que a grande maioria das referências hoje sejam feitas a textos com essa idade.
No entanto quando observamos a composição percentual ao longo dos anos, existe um
ligeiro aumento da citação a referências com idade até 10 anos, o que pode ser um indicativo
de que o campo busca cada vez mais produções recentes.
Gráfico 6.4 Participação de cada faixa etária no total
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1997 1998 1999 2000 2001 2002
50+ entre 30-49 entre 20-29 entre 10-19 entre 5-9 4 3 2 1 0 sem data
46
6.3 CARACTERISTICAS DA LITERATURA CITADA II: principais autores e
fontes
Um levantamento dos autores mais citados no campo de administração no país no
período estudado nos mostra que dos 30 autores mais citados, apenas 9 são de origem
nacional. O autor mais citado no campo é Michael Porter, com 567 referências. Com isso
podemos dizer que das 64.284 referências feitas, 0,88% delas tinha como um dos autores
Michael Porter.
O Brasil aparece como segundo autor mais citado em função da recomendação da
ABNT de se publicar leis, decretos etc sob a autoria do país.
Destaque a Maria Tereza Fleury, que aparece como a autora nacional mais
referenciada entre os anos de 1997-2002.
Tabela 6.9 Autores mais citados
AUTOR N citações
PORTER, MICHAEL E 597
BRASIL 476
MINTZBERG, HENRY 446
MORGAN, GARETH 266
KOTLER, PHILIP 262
FLEURY, MARIA TEREZA LEME 223
HAMEL, GARY 223
PRAHALAD, C K 216
WOOD JR, THOMAZ 211
DRUCKER, PETER FERDINAND 189
KAPLAN, ROBERT S 182
PARASURAMAN, A 180
ZEITHAML, VALERIE A 178
YIN, ROBERT K 177
BERRY, LEONARD L 171
CALDAS, MIGUEL PINTO 147
SENGE, PETER M 145
WILLIAMSON, OLIVER E 144
SCHEIN, EDGAR H 144
WEBER, MAX 143
BRESSER-PEREIRA, LUIZ CARLOS 143
BASTOS, ANTONIO VÍRGILIO BITTENCOURT 139
RAMOS, ALBERTO GUERREIRO 138
ANSOFF, IGOR H 137
MOTTA, FERNANDO CLAUDIO PRESTES 137
OLIVER, RICHARD L 132
SIMON, HERBERT ALEXANDER 125
MACHADO-DA-SILVA, CLOVIS L 125
ANDERSON, ROLPH E 121
TATHAM, RONALD L 119
47
Tabela 6.10 Títulos mais citados em Administração
Títulos mais citados Primeiro autor
N
citações
Tipo
COMPETITIVE STRATEGY: TECHNIQUES FOR ANALYZING INDUSTRIES AND COMPETITORS PORTER, MICHAEL E 177 LIVRO
IMAGES OF ORGANIZATION MORGAN, GARETH 174 LIVRO
CASE STUDY RESEARCH: DESIGN AND METHODS YIN, ROBERT K 166 LIVRO
COMPETITIVE ADVANTAGE: CREATING AND SUSTAINING COMPETITIVE PERFORMANCE PORTER, MICHAEL E 135 LIVRO
MULTIVARIATE DATA ANALYSIS HAIR JR, JOSEPH F 111 LIVRO
THE FIFTH DISCIPLINE: THE ART AND PRACTICE OF THE LEARNING ORGANIZATION SENGE, PETER M 110 LIVRO
ADMINISTRAÇÃO DE MARKETING: ANÁLISE, PLANEJAMENTO, IMPLEMENTAÇÃO E CONTROLE KOTLER, PHILIP 90 LIVRO
MARKETING RESEARCH: AN APPLIED ORIENTATION MALHOTRA, NARESH K 76 LIVRO
COMPETING FOR THE FUTURE HAMEL, GARY 73 LIVRO
PESQUISAS DE MARKETING: METODOLOGIA, PLANEJAMENTO, EXECUÇÃO E ANÁLISE MATTAR, FAUZE NAJIB 71 LIVRO
ADMINISTRATIVE BEHAVIOR: A STUDY OF DECISION-MAKING PROCESSES IN ADMINISTRATIVE
ORGANIZATIONS
SIMON, HERBERT ALEXANDER 65 LIVRO
CONSTITUIÇÃO DA REPÚBLICA FEDERATIVA DO BRASIL BRASIL 65 LIVRO
ECONOMY AND SOCIETY: AN OUTLINE OF INTERPRETIVE SOCIOLOGY WEBER, MAX 64 LIVRO
INTRODUÇÃO À PESQUISA EM CIÊNCIAS SOCIAIS: A PESQUISA QUALITATIVA EM EDUCAÇÃO TRIVIÑOS, AUGUSTO 62 LIVRO
L'ANALYSE DE CONTENU BARDIN, LAURENCE 61 LIVRO
THE KNOWLEDGE-CREATING COMPANY: HOW JAPANESE COMPANIES CREATE THE DYNAMICS OF
INNOVATION NONAKA, IKUJIRO 60 LIVRO
CONSUMER BEHAVIOR ENGEL, JAMES F 58 LIVRO
RESEARCH METHODS IN SOCIAL RELATIONS SELLTIZ, CLAIRE 57 LIVRO
GESTÃO CONTEMPORÂNEA: A CIÊNCIA E A ARTE DE SER DIRIGENTE MOTTA, PAULO ROBERTO 56 LIVRO
THE CORE COMPETENCE OF THE CORPORATION PRAHALAD, C K 56 PERIÓDICO
O PODER DAS ORGANIZAÇÕES: A DOMINAÇÃO DAS MULTINACIONAIS SOBRE OS INDIVÍDUOS PAGÈS, MAX 55 LIVRO
ORGANIZATIONAL CULTURE AND LEADERSHIP SCHEIN, EDGAR H 54 LIVRO
APRENDIZAGEM E INOVAÇÃO ORGANIZACIONAL: AS EXPERIÊNCIAS DO JAPÃO, CORÉIA E BRASIL FLEURY, AFONSO 51 LIVRO
REINVENTING GOVERNMENT: HOW THE ENTREPENEURIAL SPIRIT IS TRANMSFORMING THE PUBLIC SECTOR OSBORNE, DAVID 50 LIVRO
ESTUDO DA COMPETITIVIDADE DA INDÚSTRIA BRASILEIRA COUTINHO, LUCIANO GALVÃO 46 LIVRO
PROJETOS E RELATÓRIOS DE PESQUISA EM ADMINISTRAÇÃO VERGARA, SYLVIA CONSTANT 46 LIVRO
MARKETING RESEARCH: METHODOLOGICAL FOUNDATIONS CHURCHILL JR, GILBERT A 44 LIVRO
MÉTODOS E TÉCNICAS EM PESQUISA SOCIAL GIL, ANTONIO CARLOS 44 LIVRO
STRATEGY AND STRUCTURE: CHAPTERS IN THE HISTORY OF THE INDUSTRIAL ENTERPRISES CHANDLER JR, ALFRED 44 LIVRO
THE MACHINE THAT CHANGED THE WORLD WOMACK, JAMES P 44 LIVRO
48
Como era de se esperar a partir do resultado de autores mais citados, o texto mais
citado é de autoria de Michael Porter entitulado “COMPETITIVE STRATEGY:
TECHNIQUES FOR ANALYZING INDUSTRIES AND COMPETITORS” com 177
referências (tabela 6.10). Também não surpreende o fato de que, com exceção de 1 texto
publicado na Harvard Business Review, todos os demais são livros, já que trata-se do
meio mais escolhido pelos pesquisadores.
Dos livros nacionais chama a atenção de que a grande parte deles trata de metodologia
de pesquisa. Esse é mundialmente o tipo de livro mais citado uma vez que fornece
embasamento para quaisquer assuntos a serem pesquisados.
Além dos livros, os autores nacionais usam como fonte congressos e periódicos.
Desses, os mais citados podem ser encontrados na tabela 6.11. Destaque ao Enanpad
como a fonte mais procurada com 1697 referências.
Tabela 6.11- As 30 fontes de pesquisa mais utilizadas
Publicado em
N
Citações
ENANPAD 1697
HARVARD BUSINESS REVIEW 1145
JOURNAL OF MARKETING 879
RAE – REVISTA DE ADMINISTRAÇÃO DE EMPRESAS 865
STRATEGIC MANAGEMENT JOURNAL 626
ACADEMY OF MANAGEMENT REVIEW 592
RAP – REVISTA DE ADMINISTRAÇÃO PÚBLICA 575
RAUSP - REVISTA DE ADMINISTRAÇÃO 528
ADMINISTRATIVE SCIENCE QUARTERLY 511
JOURNAL OF FINANCE 478
JOURNAL OF MARKETING RESEARCH 405
JOURNAL OF CONSUMER RESEARCH 341
SLOAN MANAGEMENT REVIEW 326
GAZETA MERCANTIL 293
JOURNAL OF MANAGEMENT STUDIES 283
JOURNAL OF APPLIED PSYCHOLOGY 274
ACADEMY OF MANAGEMENT JOURNAL 270
ORGANIZATION STUDIES 252
CALIFORNIA MANAGEMENT REVIEW 248
JOURNAL OF FINANCIAL ECONOMICS 233
MANAGEMENT SCIENCE 225
FOLHA DE SÃO PAULO 220
JOURNAL OF RETAILING 205
JOURNAL OF THE ACADEMY OF MARKETING SCIENCE 171
HUMAN RELATIONS 156
MIS QUARTERLY 153
JOURNAL OF INTERNATIONAL BUSINESS STUDIES 142
EUROPEAN JOURNAL OF MARKETING 123
RESEARCH POLICY 120
ORGANIZATION SCIENCE 117
49
6.4 CARACTERISTICAS DA LITERATURA CITADA III: impacto dos
periódicos nacionais
Como mencionado anteriormente, o impacto anual de um periódico é calculado pela
divisão do número de citações que um periódico recebe no ano pela quantidade de artigos
publicados pelo mesmo periódico nos dois anos anteriores. Como no período estudado não é
possível conhecer o número de artigos publicados em 1996 e 1997, o cálculo do fator de
impacto só é possível a partir de 1997. A RAC não foi citada de maneira significativa de
modo que não foi possível calcular o seu impacto. Com isso temos como resultado (tabela
6.12) a RAE como o periódico que apresenta maior impacto de suas publicações ao longo do
tempo e que demonstra uma tendência de crescimento (gráfico 6.5).
Tabela 6.12 Fator de Impacto
Impacto RAE RAP RAUSP Enanpad
1997 0 0 0 0
1998 0 0 0 0
1999 0,282 0,208 0,040 0,210
2000 0,375 0,465 0,157 0,177
2001 0,316 0,182 0,178 0,243
2002 0,457 0,221 0,210 0,299
Gráfico 6.5 Evolução do Fator de Impacto
0,000
0,050
0,100
0,150
0,200
0,250
0,300
0,350
0,400
0,450
0,500
1999 2000 2001 2002
RAE RAP RAUSP Enanpad
50
7 CONCLUSÃO
O presente estudo tinha como propósito estabelecer o início de um novo olhar sobre a
pesquisa nacional. Para isso utilizou-se da bibliometria (análise de citações), um método de
pesquisa pouco explorado pelo campo.
A análise de citações vem sendo extensivamente desenvolvida como um método de
indexar a pesquisa publicada, como resultado uma série de ferramentas para disseminação e
resgate do conhecimento tornaram-se disponíveis e possibilitam uma abordagem única e útil
da pesquisa produzida (GARFIELD, 1955, 1964; MARTYN, 1965). Pesquisadores e editores
ao citarem um determinado autor estabelecem novas relações conceituais entre o trabalho
corrente e o passado (citado); a indexação das citações permite identificar essas relações e
relacionar qualquer publicação passada ao seu desenvolvimento recente, e portanto um
método que permite medir as inter-relações – documentadas – de uma determinada área das
ciências.
O estudo nos mostrou que O Enanpad corresponde a praticamente 70% da produção do
período, sendo hoje a fonte de publicação com mais espaço editorial disponível.
O número de artigos publicados vem crescendo ano a ano em função do aumento do
número de artigos aprovados para o Encontro, no entanto permanece estável o número de
publicações nos periódicos analisados.
Os autores mais prolíficos do campo são Miguel Caldas, Sylvia Vergara, Alberto Albertin
e Thomaz Wood quanto o critério de avaliação é o total ponderado de artigos publicados. Já
quando usamos o critério de maior número de publicações em periódicos o quadro se altera,
trazendo como autora mais prolífica Sylvia Vergara seguida por Deborah Zouain.
A instituição com maior número de publicações é a FGV-EAESP, seguida da USP quando
o critério é publicação em periódicos, isso se deve ao fato dessas instituições possuírem seus
próprios veículos de publicação. É necessário que os editores avaliem com cuidado esse fato e
busquem autores de outros programas para oxigenar a sua produção.
A média de citações por artigo tem aumentado ano a ano o que pode ser um sinal de
maturidade da área. Pesquisas com um horizonte temporal mais extenso se fazem necessárias
para avaliar essa hipótese.
O formato preferido pelos autores nacionais são os livros, estes representam praticamente
12% do total de citações. Livros podem ser uma ótima forma de disseminação de
conhecimento, mas não passam por avaliação de seu conteúdo por pares, o que pode levar a
um questionamento de sua qualidade.
51
A idade mais freqüente das citações está entre 5 e 9 anos. A grande concentração está em
publicações com até 20 anos, mostrando que os pesquisadores nacionais tem ido buscar a raiz
de suas pesquisas num período semelhante ao da existência do Enanpad, o congresso mais
antigo da área.
Quanto aos autores citados, destacam-se os estrangeiros liderados por Michael Porter.
A autora nacional com maior número de citações recebidas é Maria Tereza Fleury.
O texto mais citado é o “COMPETITIVE STRATEGY: TECHNIQUES FOR
ANALYZING INDUSTRIES AND COMPETITORS” de autoria de Michael Porter. Dos
textos nacionais destacam-se a Constituição e os textos de metodologia.
A fonte mais citada de pesquisa é o Enanpad, mostrando a força do encontro na
pesquisa nacional.
O periódico que apresenta maior impacto atualmente no país é RAE, com índices de 0,46.
O que significa que publicar na revista oferece ao autor maior chance de ser citado
posteriormente.
Com isso o presente estudo buscou levantar alguns pontos da produção nacional até então
pouco explorados, não se pretende aqui esgotar o assunto mas sim iniciar um debate que pode
ser bastante proveitoso no âmbito da pesquisa nacional.
52
REFERÊNCIAS BIBLIOGRÁFICAS
ARKADER, R. A pesquisa científica em gerência de operações no Brasil. Revista de
Administração de Empresas, v. 43, n. 1, p. 70-79, 2003.
AZZONI, Carlos R. “Clássicos” da literatura econômica brasileira: trabalhos e autores
mais citados nas nossas revistas acadêmicas. Economia Aplicada, v. 2, n. 4, p. 771-780,
1998.
AZZONI, C. R. Desempenho das revistas e dos departamentos de economia brasileiros
segundo publicações e citações recebidas no Brasil. Economia Aplicada, 4(4):786, 2000.
BERTERO, Carlos O.; KEINERT, Tânia M.M. A evolução da análise organizacional no
Brasil (1961-93). Revista de Administração de Empresas, v. 34, n. 3, p. 81-90, 1994.
BIGNETTI, L. P. e PAIVA, E.L. Estudo das citações de autores de estratégia na
produção acadêmica brasileira. In: ENANPAD, 21º, 1997, Produção Industrial e
Serviços.
BIGNETTI, L; PAIVA, E. Ora (direis) ouvir estrelas! Estudo das citações de autores de
estratégia na produção acadêmica brasileira. Revista de administração contemporânea,
Rio de Janeiro, v. 6, n. 1, p. 85-104, jan./abr. 2002.
BOTELHO, Delane, MACERA, Andrea. Análise metateórica de teses e dissertações da
área de marketing apresentadas na FGV-EAESP (1974-1999). In: ENANPAD, 25º,
2001, Campinas. Anais... Campinas: Anpad, 2001. Marketing.
CALDAS, M.; TONELLI, M.; LACOMBE, B. Espelho, espelho meu: Meta-estudo da
Produção científica em Recursos Humanos nos ENANPADs da década de 90. In:
ENANPAD, 26º, 2002, Salvador. Anais... Salvador: Anpad, 2002
CALDAS, Miguel P., TINOCO, Tatiana, CHU, Rebeca A. Análise bibliométrica dos
artigos de RH publicados no ENANPAD na década de 1990 – Um mapeamento a partir
das citações dos heróis, endogenias e jactâncias que fizeram a história recente da
produção científica na área. In: Encontro Anual da Associação Nacional dos Programas
de Pós-Graduação em Administração, 27, (2003), Atibaia, SP. Resumo dos Trabalhos
ENANPAD 2003. Rio de Janeiro: ANPAD, 2003.
CAMÍ J; SUÑÉN, E; MÉNDEZ, R. Caracterización bibliométrica de Grupos de
Investigación Biomédica en España.
[http://www.isciii.es/paginas/fis/mapa/index.htm]IMIM-UPF-ISCIII 2003.
CHANDY, P. R. ; WILLIAMS, T.G. The impact of Journals and authors on
International Business Research : A citation analysis of JIBS articles. Journal of
International Business Studies.v. 25 n.4, p. 715-728. 1994.
53
COLE, J.R. E COLE, S. Social Stratification in Science. Chicago: U of Chicago Press,
1973.
CROOM, D.L. Danger in the use of citation analysis. Nature, n. 227, 1970.
FISCHER, T. A formação do administrador brasileiro na década de 90: crise,
oportunidade e inovações nas propostas de ensino. RAP. v. 27, n. 4, p. 11-20. out/dez
1993
FUJIGAKI, Y. The Citation System, Scientometrics 43, 77-85. 1988.
GARFIELD, E. Citation Indexing: Its theory and application in Science. Technology and
Humanities. New York. Willey, 1979.
GARFIELD, E., "Citation Indexes for Science," Science, 122, 108. 1955.
Garfield, E., "Science Citation Index—A New Dimension in Indexing," Science, 144,
649 (1964).
GARVEY, N. D. Communication: the essence of Science. Oxford: Pergamon, 1979.
HOPPEN, N., AUDY, J.L.N., ZANELA, A.C., CANDOTTI, C.T., SANTOS, A M.,
SCHEID, R. PERIN, M.G., MECCA, M.S. e PETRINI, M. Sistemas de Informação no
Brasil: uma análise dos artigos científicos dos anos 90. In: ENANPAD, 22º, 1998, Foz
do Iguaçu. Anais... Foz do Iguaçu: Anpad, 1998.
KOSTOFF, Ronald N. The Use and Misuse of Citation Analysis in Research Evaluation,
Scientometrics 43, 27-43. 1998.
LEAL, R.; OLIVEIRA, J.; SOLURI, A. Perfil da Pesquisa em Finanças no Brasil.
Revista de Administração de Empresas, v. 43, n. 1, p. 91-104, 2003.
LEYDESDORFF, Loet. Theories of Citation? Scientometrics v.43, p. 5-25. 1998
MACHADO DA SILVA, Clóvis L., CUNHA, Vera C., AMBONI, Nério. Organizações:
o estado da arte da produção acadêmica no Brasil. In: ENANPAD, 14º, 1990,
Florianópolis..
MARTYN, J., "An Examination of Citation Indexes," Aslib Proceedings, 17(6), 1965.
MCKIBBON, K.A; WILCZYNSKI, N.L;, HAYNES, R.B. What do evidence-based
secondary journals tell us about the publication of clinically important articles in primary
healthcare journals? BMC Med 2(1):33. 2004
54
PERIN, Marcelo G., SAMPAIO, Cláudio H., FROEMMING, Lurdes M. S., LUCE,
Fernando B. A pesquisa survey em artigos de marketing nos Enanpads da década de 90.
In: ENANPAD, 24o, 2000, Florianópolis. Anais... Florianópolis: Anpad, 2000.
QUINTELLA, R. Encontro nacional da Anpad x Meeting of AOM: Lições,
questionamentos e especulações. Revista de Administração de Empresas. V. 43, n.3, p.
107-115. 2003.
SEGLEN, P. O.Why the impact factor of journals should not be used for evaluating research.
BMJ 1997.
TONELLI, M.; CALDAS, M.; LACOMBE, B;TINOCO, T. Produção Acadêmica em
Recursos Humanos no Brasil: 1991-2000. RAE, v. 43, n. 1, p. 105-122, 2003.
VANTI, N. Da bibliometria à webometria: uma exploração conceitual dos mecanismos
utilizados para medir o registro da Informação e a difusão do conhecimento. Ciência da
Informação., Brasília, v. 31, n. 2, p. 152-162, maio/ago. 2002
VERGARA, S., PINTO, M. C. S. “Nacionalidade das referências teóricas em análise
organizacional: um estudo das nacionalidades dos autores referenciados na literatura
brasileira.” In: ENANPAD, 1º, 2000, Curitiba. Anais...Curitiba, 2000.
VERGARA, Sylvia C., CARVALHO JR., Dourival de S. Nacionalidade dos autores
referenciados na literatura brasileira sobre organizações. In: ENANPAD, 19º, 1995, João
Pessoa. Anais... Rio de Janeiro : Anpad, 1995. Vol. 6. Organizações. p. 169-88.
VERGARA, Sylvia Constant. & CARVALHO JR., Dourival de Souza. Refletindo sobre
as possíveis conseqüências da análise organizacional apoiada em referências
estrangeiras. RAP. Rio de Janeiro: Fundação Getúlio Vargas. v. 30, n.6, 1996
VIEIRA, F. G. Narciso sem espelho: A publicação brasileira de marketing. Revista de
Administração de Empresas, v. 43, n. 1, p. 81-90, 2003.
VIEIRA, Francisco G. D. Ações empresariais e prioridades de pesquisa em marketing:
tendências no Brasil e no mundo segundo a percepção dos acadêmicos brasileiros. In:
ENANPAD, 23º, 1999, Foz do Iguaçu. Anais... Foz do Iguaçu: Anpad, 1999. Marketing.
VIEIRA, Francisco G. D. Panorama acadêmico-científico e temáticas de estudos de
marketing no Brasil. In: ENANPAD, 24º, 2000, Florianópolis. Anais... RJ : Anpad,
2000. Marketing.
WORMELL, I. Informetria: explorando bases de dados como instrumentos de análise.
Ciência da Informação, Brasília, v.27, n. 2, p. 210-216, maio/ago. 1998.
WEINER, J.M; SHIRLEY, S; GILMAN, N.J, STOWE, S.M; WOLF, R.M. Access to data
and the information explosion: oral contraceptives and risk of cancer. Contraception 1981,
24(3):301-13.
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
