Download PDF
ads:
UNIVERSIDADE DE TAUBATÉ
Luciano Pereira de Souza
ANÁLISE CRÍTICA DO PROCESSO DE
AUDITORIA DE SISTEMA DE GESTÃO DA
QUALIDADE NO SETOR AEROESPACIAL
TAUBATÉ – SP
2010
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
Luciano Pereira de Souza
ANÁLISE CRÍTICA DO PROCESSO DE
AUDITORIA DE SISTEMA DE GESTÃO DA
QUALIDADE NO SETOR AEROESPACIAL
Dissertação apresentada para obtenção do
título de Mestre pelo curso de Mestrado
Profissional de Engenharia Mecânica do
Departamento de Engenharia Mecânica da
Universidade de Taubaté.
Área de concentração: Produção
Orientador: Prof. Dr. Antonio Faria Neto
Co-orientador: Prof. Dr. Jorge Muniz Jr.
TAUBATÉ – SP
2010
ads:
LUCIANO PEREIRA DE SOUZA
ANÁLISE CRÍTICA DO PROCESSO DE AUDITORIA DE SISTEMA DE GESTÃO
DA QUALIDADE NO SETOR AEROESPACIAL
Dissertação apresentada para obtenção do
título de Mestre pelo curso de Mestrado
Profissional de Engenharia Mecânica do
Departamento de Engenharia Mecânica da
Universidade de Taubaté.
Área de concentração: Produção
Data: _________________
Resultado: _____________
BANCA EXAMINADORA
Prof. Dr. Antonio Faria Neto UNITAU
Assinatura:____________________________
Prof. Dr. Jorge Muniz Jr. UNESP
Assinatura:____________________________
Prof. Dr. Carlos Alberto Chaves UNITAU
Assinatura:____________________________
Prof. Dr. Sergio Rebello Ferreira DCTA
Assinatura:____________________________
À minha esposa, Celia, pelo amor, companheirismo e paciência.
Às minhas filhas, Yasmin e Alice, pela alegria que me proporcionam.
Aos meus pais, Roberto e Leila, pelo exemplo e incentivo ao longo de toda a vida.
AGRADECIMENTOS
Aos meus orientadores, Prof. Dr. Antonio Faria Neto e Prof. Dr. Jorge Muniz
Jr., pelas orientações e conselhos necessários para a conclusão deste trabalho.
Aos membros da banca, Prof. Dr. Carlos Alberto Chaves e Prof. Dr. Sergio
Rebello Ferreira, pelas colaborações para o aperfeiçoamento desta dissertação.
Aos professores da UNITAU pelos ensinamentos que possibilitaram a
realização deste trabalho.
Aos auditores da qualidade que participaram do questionário utilizado nesta
pesquisa.
Aos meus colegas de trabalho pelo apoio e sugestões para o desenvolvimento
deste trabalho.
Ao Instituto de Fomento e Coordenação Industrial (IFI) por permitir a
realização deste trabalho.
À Agencia Espacial Brasileira (AEB) pelo apoio financeiro.
À todos aqueles que de forma direta e indireta tiveram uma contribuição em
algum momento desta longa jornada.
“Pensa como pensam os sábios, mas fala como falam as pessoas simples”
Aristóteles
RESUMO
A auditoria de sistema de gestão da qualidade vem sendo uma ferramenta
amplamente utilizada pelas organizações para melhorar o desempenho e aumentar
a sustentabilidade de seu negócio. Ao mesmo tempo, a auditoria vem sendo
bastante questionada quanto a sua capacidade em atingir os seus objetivos. Diante
deste cenário, esta dissertação analisa o processo de auditoria de certificação de
sistema de gestão da qualidade, de modo a contribuir com a identificação de
oportunidades de melhoria neste processo, delimitando o escopo da pesquisa ao
setor aeroespacial. Inicialmente são identificados os principais fatores que afetam
este processo de auditoria. Tais fatores constituem a base para o desenvolvimento
do questionário que foi aplicado aos auditores da qualidade deste setor para avaliar
a percepção deles quanto à importância dos fatores para o sucesso de uma
auditoria e como estes fatores vêm sendo aplicados, na prática. A pesquisa foi
realizada entre o final de 2009 e início de 2010. Os resultados obtidos mostram a
existência de discrepâncias consideráveis entre o nível de importância e o nível de
aplicação destes fatores. Desta forma, esta dissertação permitiu identificar os fatores
que afetam o processo de auditoria de certificação de sistemas de gestão da
qualidade no setor aeroespacial, e avaliar a importância destes fatores e como eles
estão sendo aplicados, além de, principalmente, identificar aqueles fatores que
possuem maior potencial de melhoria.
Palavras-chave: Sistema de Gestão da Qualidade. Certificação. Auditoria. Setor
Aeroespacial. Análise Crítica.
ABSTRACT
The quality management system audit has been a tool widely used by
organizations to improve performance and increase the sustainability of your
business. At the same time, the audit has been widely questioned as to its ability to
achieve its goals. In this scenario, this dissertation analyzes the quality management
system certification audit process in order to contribute to identify the opportunities
for improvement in this process, limiting the search scope to the aerospace sector.
Initially, it was identified the main factors that affect this audit process. These factors
constitute the basis for the development of the questionnaire was applied to the
aerospace quality auditors to assess their perception of the factors importance for
audit effectiveness and how these factors have been applied in practice. The gotten
results had shown considerable discrepancies between the factor importance level
and the factor application level. Thus, this dissertation identified the factors that affect
the quality management system certification process in the aerospace industry, and
evaluate the importance of these factors and how they are being applied, and,
especially, to identify those factors that have greatest potential for improvement.
Keywords: Quality Management Systems. Certification. Audit. Aerospace Sector.
Rewiew.
LISTA DE FIGURAS
Figura 1: Evolução da norma ISO 9001..................................................................
22
Figura 2: Estrutura da NBR ISO 9001:2008........................................................... 24
Figura 3: Modelo de sistema de gestão da qualidade baseado em processo........ 26
Figura 4: Estrutura da NBR 15100..........................................................................
28
Figura 5: Modelo brasileiro de certificação/acreditação aeroespacial.................... 30
Figura 6: Estrutura organizacional do IAQG........................................................... 33
Figura 7: Ciclo de certificação.................................................................................
35
Figura 8: Etapas de um processo básico de certificação....................................... 36
Figura 9: Atividades típicas de auditoria................................................................. 42
Figura 10: Visão geral das atividades de auditoria conduzida no local.................. 47
Figura 11: Etapas da pesquisa............................................................................... 60
Figura 12: Classificação da pesquisa..................................................................... 62
Figura 13: Método para determinação dos fatores que afetam a auditoria de
SGQ........................................................................................................................ 63
Figura 14: Atividades para a elaboração do questionário fechado.........................
68
Figura 15: Variação dos valores médios encontrados para o nível de
importância............................................................................................................. 74
Figura 16 : Valores médios para o nível de importância dos fatores......................
76
Figura 17 : Valores médios para o nível de aplicação dos fatores......................... 78
Figura 18 : Valores médios de gap encontrados....................................................
81
LISTA DE QUADROS
Quadro 1: Número de certificados ISO 9001 emitidos no Brasil e no mundo........ 21
Quadro 2: Exemplo parcial de plano de auditoria...................................................
46
Quadro 3: Exemplo de níveis de competência para auditores da qualidade que
conduzem auditorias de certificação ou semelhantes............................................ 56
Quadro 4: Requisitos específicos para o auditor NBR 15100................................ 57
Quadro 5: Escala de Likert utilizada na pesquisa...................................................
71
LISTA DE TABELAS
Tabela 1: Perfil da amostra de auditores................................................................ 64
Tabela 2: Quantidade de auditores de SGQ do setor aeroespacial no Brasil........ 70
Tabela 3: Amostra utilizada na pesquisa................................................................ 70
Tabela 4: Valores médios encontrados para cada fator......................................... 73
Tabela 5: Valores médios para o nível de importância dos fatores........................ 76
Tabela 6: Valores médios para o nível de aplicação dos fatores........................... 79
Tabela 7: Valores médios de gap encontrados......................................................
82
SUMÁRIO
1 INTRODUÇÃO.......................................................................................................14
1.1 OBJETIVOS DA PESQUISA ...........................................................................15
1.2 DELIMITAÇÃO DA PESQUISA .......................................................................16
1.3 JUSTIFICATIVA DA PESQUISA .....................................................................16
1.4 ESTRUTURA DO TRABALHO ........................................................................17
2 REVISÃO BIBLIOGRÁFICA..................................................................................18
2.1 SISTEMA DE GESTÃO DA QUALIDADE........................................................18
2.1.1 A FAMÍLIA ISO 9000.................................................................................19
2.1.2 CERTIFICAÇÕES ISO 9000 PELO MUNDO............................................21
2.1.3 A NORMA ISO 9001 .................................................................................22
2.1.3.1 Estrutura da ISO 9001 ........................................................................24
2.1.3.2 Abordagem de processo.....................................................................26
2.1.4 A NORMA NBR 15100..............................................................................27
2.2 CERTIFICAÇÃO DE SISTEMA DE GESTÃO DA QUALIDADE ......................28
2.2.1 CADEIA DE CERTIFICAÇÃO/ACREDITAÇÃO AEROESPACIAL............29
2.2.1.1 IAQG...................................................................................................31
2.2.1.1.1 Online aerospace supplier information system (OASIS) ............... 34
2.2.2 CICLO DE CERTIFICAÇÃO......................................................................35
2.2.3 ETAPAS DE UM PROCESSO DE CERTIFICAÇÃO.................................35
2.3 AUDITORIA .....................................................................................................38
2.3.1 TIPOS DE AUDITORIA.............................................................................39
2.3.2 PRINCÍPIOS DA AUDITORIA...................................................................41
2.3.3 ATIVIDADES DA AUDITORIA DE CERTIFICAÇÃO DE SGQ..................42
2.3.3.1 Início da auditoria ...............................................................................42
2.3.3.2 Análise crítica de documentos do SGQ..............................................44
2.3.3.3 Preparação das atividades de auditoria no local ................................45
2.3.3.4 Condução das atividades de auditoria no local...................................47
2.3.3.5 Elaboração do relatório de auditoria...................................................53
2.3.3.6 Conclusão da auditoria .......................................................................53
2.4 A COMPETÊNCIA DO AUDITOR....................................................................53
2.4.1
A COMPETÊNCIA DO AUDITOR DE SGQ DO SETOR AEROESPACIAL
........56
3 PROCEDIMENTO METODOLÓGICO ...................................................................60
3.1 DESCRIÇÃO DAS ETAPAS DA PESQUISA...................................................60
3.2 CARACTERIZAÇÃO DO MÉTODO UTILIZADO .............................................61
3.3 DETERMINAÇÃO DOS FATORES QUE AFETAM A AUDITORIA .................63
3.4 A CONSTRUÇÃO DO QUESTIONÁRIO FECHADO.......................................67
3.5 POPULAÇÃO E AMOSTRA DA PESQUISA ...................................................69
4 ANÁLISE DOS DADOS.........................................................................................71
4.1 ANÁLISE DO NÍVEL DE IMPORTÂNCIA DOS FATORES..............................74
4.2 ANÁLISE DO NÍVEL DE APLICAÇÃO DOS FATORES..................................78
4.3 ANÁLISE DAS DISCREPÂNCIAS (GAP) ........................................................80
5 CONSIDERAÇÕES FINAIS...................................................................................85
5.1 CONCLUSÕES................................................................................................85
5.2 TRABALHOS FUTUROS.................................................................................86
REFERÊNCIAS.........................................................................................................88
APÊNDICE A ............................................................................................................95
APÊNDICE B ..........................................................................................................105
14
1 INTRODUÇÃO
A realidade do mercado mundial, caracterizada pela globalização, pela
concorrência acirrada, por crises financeiras e por constantes mudanças de
cenários, vem ameaçando significativamente a sobrevivência das organizações.
Diante disto, as direções das organizações precisam desenvolver sistemas de
gestão, seja de qualidade, ambiental, ou outros, que lhes permitam a manutenção
de uma posição sustentável no mercado. Para Campos (1992), o que realmente
garante a sobrevivência das organizações em longo prazo é a garantia de sua
competitividade, que tem como fatores chaves os conceitos de qualidade e
produtividade.
Sendo assim, diversas soluções podem ser identificadas, como a
implementação e certificação de normas de sistemas de gestão, utilização de
ferramentas da qualidade, aplicação de métodos de gestão, entre outros.
A implementação e a certificação de sistema de gestão da qualidade, SGQ,
tornou-se um diferencial para as organizações que procuram obter vantagens
competitivas e expandir seus negócios, pois contribuem para o aumento da
satisfação do cliente e da percepção de melhoria dos produtos (UJIHARA, 2007).
Com isso, a busca por certificações em conformidade com a ISO 9001 e com
as normas específicas de setores industriais vem crescendo ao longo dos anos. Ao
final de dezembro de 2008, quase um milhão (982 832 exatamente) de certificados
ISO 9001 tinham sido emitidos em 176 países e economias em todo o mundo
(INTERNATIONAL ORGANIZATION FOR STANDARDZATION, 2010).
A auditoria de SGQ é uma etapa fundamental do processo de certificação. Ela
é usada para monitorar e avaliar a eficácia do sistema, identificar oportunidades de
melhorias e diminuir, assim, os riscos associados à sobrevivência das organizações.
Poksinska et al. (2006) mostram em seu estudo que a auditoria de certificação pode
ser uma ferramenta para garantir a eficácia e a melhoria contínua do SGQ. No
entanto, estes mesmos autores citam que muitas organizações ainda não
reconhecem as oportunidades de melhorias que as auditorias externas podem
fornecer.
Apesar do processo de auditoria, quando bem realizado, trazer benefícios
para a gestão de uma organização, tanto em nível operacional quanto estratégico, a
palavra “auditoria” nunca esteve acompanhada de uma conotação amplamente
15
positiva, e este processo vem sofrendo sérias críticas (BECKMERHANGEN et al.,
2004).
Para Kaziliûnas (2008), a principal razão para conduzir auditorias é obter
entradas efetivas para decisões gerenciais, mas a vasta maioria dos auditores
apenas produz dados para conceder um certificado, para melhorar documentação
ou reforçar conformidade, e existem diversas abordagens geralmente utilizadas para
conduzir auditorias internas e externas de sistemas de gestão, mas nem todas elas
são eficazes, e muitos auditores necessitam de habilidades interpessoais genuínas
ou experiência para envolver-se eficientemente tanto com grupo de diretores quanto
com trabalhadores no chão-de-fábrica.
Auditoria da qualidade não garante a qualidade dos serviços. No entanto, ela
é um processo para controlar e melhorar a qualidade. Medidas para promover
melhorias são baseadas em fatos provenientes da auditoria da qualidade. rias
organizações procuram saber como melhorar as auditorias da qualidade,
freqüentemente ineficientes e demoradas, e como descobrir o valor que ela agrega.
O fato é que não precisamos de mais auditorias, mas precisamos melhorar sua
eficácia (PISKAR, 2006).
Se por um lado a auditoria vem sendo utilizada para trazer benefício, por outro
existem muitas críticas a este processo e Piskar (2006) afirma que é preciso
melhorar o valor agregado da auditoria.
Desta forma, ao mesmo tempo em que a auditoria vem mostrando a sua
importância para o aumento da competitividade das organizações, também fica
evidente a existência de problemas e a necessidade de melhorias deste processo.
Afinal, quais são os fatores que afetam o processo da auditoria? Onde estão os
principais problemas, ou as maiores oportunidades de melhorias deste processo, e
como estes fatores estão sendo aplicados, na prática, ao se realizar a auditoria?
Esta é a problemática tratada nesta pesquisa.
1.1 OBJETIVOS DA PESQUISA
Esta pesquisa tem como objetivo geral analisar o processo de auditoria de
certificação de sistema de gestão da qualidade no setor aeroespacial brasileiro, de
modo a identificar oportunidades de melhoria neste processo, por meio da
perspectiva dos auditores da qualidade da cadeia aeroespacial brasileira.
16
O atendimento do objetivo geral envolve o seu desdobramento e
detalhamento em três objetivos específicos:
Identificar os principais fatores que afetam o processo de auditoria de
sistema de gestão da qualidade no setor aeroespacial;
Verificar a percepção dos auditores da qualidade do setor aeroespacial
quanto aos níveis de importância e de aplicação dos fatores que afetam o
processo de auditoria de sistema de gestão da qualidade deste setor; e
Analisar a relação existente entre a percepção dos auditores quanto ao
nível de importância dos fatores e quanto ao nível de aplicação destes
fatores na prática.
Para atingir os objetivos propostos, a pesquisa consiste em realizar um
levantamento, por meio de questionário fechado, junto aos auditores de SGQ do
setor aeroespacial, de modo a obter a percepção destes em relação aos principais
fatores que influenciam o processo de auditoria.
1.2 DELIMITAÇÃO DA PESQUISA
A auditoria pode ser classificada de diversas formas, como auditoria da
qualidade ou financeira ou ambiental, auditoria de produto ou de processo ou de
sistema, auditoria interna ou de certificação, entre outras formas de classificação.
Este trabalho é delineado para analisar a auditoria de certificação de sistema
de gestão da qualidade no setor aeroespacial brasileiro. Os auditores que
participaram da pesquisa são auditores em atividade no Brasil, e que realizam
auditorias com base na norma de SGQ do setor aeroespacial (NBR 15100 ou AS
9100), e que atendem aos requisitos de qualificação determinados pelo Instituto
Nacional de Metrologia, Normalização e Qualidade Industrial INMETRO e pelo
International Aerospace Quality Group – IAQG.
1.3 JUSTIFICATIVA DA PESQUISA
Embora os estudos vêem mostrando a importância da auditoria de SGQ como
uma ferramenta para a gestão das organizações, também identificam diversos
problemas com relação à este processo. A identificação e análise dos principais
fatores que afetam a auditoria de certificação de sistema de gestão da qualidade no
setor aeroespacial é uma oportunidade de se identificar quais são e onde se
17
encontram os problemas relacionados com a auditoria da qualidade neste setor.
A identificação dos problemas relacionados ao processo de auditoria pode ser
entendida como a identificação de oportunidades de melhorias neste processo.
Sendo assim, tanto os organismos de certificação quanto os próprios auditores da
qualidade podem, direcionar seus esforços no sentido de atuar nestes problemas e,
com isso, melhorar os resultados de uma auditoria.
Indiretamente, toda a cadeia de certificação aeroespacial pode se beneficiar
com a melhoria no processo de auditoria de certificação, iniciando pelo organismo
de acreditação, por meio de estabelecimento de requisitos que atuem sobre os
problemas da auditoria. As organizações certificadas também se beneficiam, pois
podem melhorar a eficácia de seu sistema de gestão e aumentar o reconhecimento
de seu cliente, tornando-se mais competitiva. Até mesmo os clientes finais se
beneficiam das melhorias do processo de auditoria de certificação de SGQ, pois
poderão estar mais satisfeitos com os produtos e serviços adquiridos.
1.4 ESTRUTURA DO TRABALHO
Este trabalho está estruturado em cinco capítulos, que são descritos a seguir.
O capítulo 2 consiste na apresentação dos conceitos relacionados com o
assunto da pesquisa - auditoria de sistema de gestão da qualidade.
O capítulo 3 apresenta o procedimento metodológico. Neste capítulo são
apresentados detalhes da pesquisa, como informações sobre a população e a
amostra selecionada, sobre como o instrumento de pesquisa foi projetado e aplicado
para a coleta de dados.
No capítulo 4, são apresentados como os dados colhidos por meio do
questionário fechado foram tabulados e, em seguida, analisados.
E, no capítulo 5, são apresentadas as conclusões e considerações finais,
inclusive sugestões para futuros trabalhos com foco em auditorias de sistema de
gestão da qualidade.
18
2 REVISÃO BIBLIOGRÁFICA
Este capítulo apresenta os conceitos relacionados com o processo de
certificação de sistema de gestão da qualidade (SGQ), destacando as
características do setor aeroespacial.
Inicialmente são abordados os conceitos sobre SGQ, com ênfase na norma
ISO 9001, que vem sendo amplamente adotada como padrão para um SGQ, e na
norma específica do setor aeroespacial, a NBR 15100/AS 9100.
Também são apresentados os conceitos sobre certificação de SGQ, suas
características e o seu funcionamento ao longo de cadeia de certificação/acreditação
no setor aeroespacial.
Em seguida, são apresentados os conceitos sobre auditoria, aprofundando
nas diversas etapas e atividades que envolvem este processo no setor aeroespacial.
Por último, são apresentadas as competências necessárias àqueles que
conduzem a auditoria dentro deste setor – o auditor da qualidade aeroespacial.
Esta revisão bibliográfica foi especialmente importante para a identificação
dos principais fatores que afetam o processo de auditoria de SGQ.
2.1 SISTEMA DE GESTÃO DA QUALIDADE
O sistema de gestão da qualidade, SGQ, é a parte do sistema de gestão da
organização focado em alcançar os objetivos da qualidade, sendo, portanto, um
complemento aos outros sistemas de gestão da organização, como o financeiro,
ambiental, de saúde e segurança ocupacional, entre outros.
Para a NBR ISO 9000 (2005), o SGQ pode ser entendido como um conjunto
de atividades (ou elementos) que se inter-relacionam para dirigir e controlar uma
organização com relação à qualidade.
Ou ainda, conforme Maranhão (2005), o SGQ pode ser considerado um
conjunto de recursos e regras implementado com o objetivo de orientar cada parte
da empresa a executar a sua tarefa de forma correta e no devido tempo, em
harmonia com as outras, estando todas direcionadas para o atingimento do objetivo
comum da empresa: ser competitiva no mercado.
O fundamento dos sistemas de gestão da qualidade é que os
objetivos sejam definidos; abordagens para o alcance daqueles
objetivos sejam documentadas; a satisfação dos interessados com o
19
alcance dos resultados seja medida; e ações sejam tomadas para
melhorar continuamente. Essa é a lógica à qual é difícil se opor.
(O´HANLON, 2006, pg. 8)
2.1.1 A FAMÍLIA ISO 9000
Com o objetivo de auxiliar as organizações a implementar e manter sistemas
de gestão da qualidade eficazes, a International Organization for Stardardization,
ISO, desenvolveu, em 1987, um conjunto de normas, conhecido como a família ISO
9000”. As normas que compõem esta família são (NBR ISO 9000, 2005):
ISO 9000 apresenta os fundamentos do SGQ, assim como especifica a
terminologia para um SGQ. Encontra-se na versão 2005.
ISO 9001 especifica requisitos para um SGQ. Encontra-se na versão
2008.
ISO 9004 fornece orientações considerando tanto a eficácia quanto a
eficiência de um SGQ. O objetivo desta norma é fornecer informações
úteis para melhoria de desempenho das organizações. Encontra-se na
versão 2000, mas em processo de revisão.
ISO 19011 – fornece orientação sobre o processo de auditoria de sistemas
de gestão da qualidade e sistema de gestão ambiental. Encontra-se na
versão 2002.
Juntas, estas normas formam um conjunto coerente de normas sobre SGQ
facilitando a compreensão mútua no comércio nacional e internacional (NBR ISO
9000, 2005).
No Brasil, estas normas são publicadas, em português, pela Associação
Brasileira de Normas Técnicas, ABNT, e são conhecidas como NBR ISO 9000; NBR
ISO 9001; NBR ISO 9004; e NBR ISO 19011, onde NBR significa norma brasileira.
Segundo Tummala e Tang (1996), o objetivo inicial da série ISO 9000 foi
construir confiança entre fornecedores e fabricantes em transações entre empresas
e no mercado internacional. Estas normas têm como base o conceito de que as
características mínimas de sistemas da qualidade devem ser padronizadas, o que
pode gerar benefícios para as organizações assim como seus fornecedores pois
cada um deles conhece os requisitos a serem atendidos.
20
A família ISO 9000 não é um pacote padronizado que pode ser aplicado da
mesma forma em toda organização. As normas apenas determinam elementos
essenciais para um sistema da qualidade, sem recomendações de como aplicar tais
requisitos (Tsiotras e Gotzamani, 1996).
A família ISO 9000 constitui o padrão mais famoso e mais utilizado para
sistemas da qualidade, tornado-se um idioma internacional dentro da garantia de
qualidade (GUSTAFSSON et al., 2001).
O uso de todas as normas da família ISO 9000 de forma integrada gera maior
valor. É recomendado que se use a ISO 9000 para se tornar familiar com os
conceitos básicos e com a linguagem utilizada antes de adotar a ISO 9001 para se
alcançar o primeiro nível de desempenho. As práticas descritas na ISO 9004 podem
ser implementadas para que o sistema de gestão da qualidade seja mais eficiente e
eficaz em alcançar os objetivos da organização (INTERNATIONAL ORGANIZATION
FOR STANDARDZATION, 2009b).
A NBR ISO 9000 (2005) apresenta oito princípios da gestão da qualidade, que
formam a base das normas de SGQ da família ISO 9000. Estes princípios são:
a) Foco no cliente
Organizações dependem de seus clientes e, portanto, é
recomendável que atendam às necessidades atuais e futuras do
cliente, os seus requisitos e procurem exceder as suas expectativas.
b) Liderança
Líderes estabelecem a unidade de propósito e o rumo da
organização. Convém que eles criem e mantenham um ambiente
interno, no qual as pessoas possam estar totalmente envolvidas no
propósito de atingir os objetivos da organização.
c) Envolvimento de pessoas
Pessoas de todos os níveis são a essência de uma organização, e
seu total envolvimento possibilita que as suas habilidades sejam
usadas para o benefício da organização.
d) Abordagem de processo
Um resultado desejado é alcançado mais eficientemente quando as
atividades e os recursos relacionados são gerenciados como um
processo.
e) Abordagem sistêmica para a gestão
21
Identificar, entender e gerenciar os processos inter-relacionados
como um sistema contribui para a eficácia e eficiência da
organização no sentido desta atingir os seus objetivos.
f) Melhoria contínua
Convém que a melhoria contínua do desempenho global da
organização seja seu objetivo permanente.
g) Abordagem factual para tomada de decisão
Decisões eficazes são baseadas na análise de dados e informações.
h) Benefícios mútuos nas relações com os fornecedores
Uma organização e seus fornecedores são interdependentes, e uma
relação de benefícios mútuos aumenta a capacidade de ambos em
agregar valor.
2.1.2 CERTIFICAÇÕES ISO 9000 PELO MUNDO
Dentre as normas da família ISO 9000, apenas a ISO 9001 estabelece
requisitos para o SGQ, contra os quais o sistema pode ser certificado. No entanto, a
certificação em si não é um requisito.
Toda a organização, independente do tamanho e do produto fornecido, pode
implementar a norma ISO 9001 para obter benefícios internos ou externos,
independente de se buscar a certificação. No entanto, muitas organizações decidem
pela certificação por que percebem que uma confirmação independente de
conformidade agrega valor (INTERNATIONAL ORGANIZATION FOR
STANDARDZATION, 2010).
De acordo com a International Organization for Standardzation (2010), até o
final de 2008, mais de 980.000 certificados ISO 9001 tinham sido emitidos em 176
países e economias, em todo o mundo. Isto inclui certificados ISO 9001:2000 e ISO
9001:2008. No Brasil, foram emitidos mais de 14.000 certificados ISO 9001 até este
mesmo período. O quadro 1 apresenta o número de certificados ISO 9001 emitidos
no mundo e no Brasil, no período de dezembro de 2004 a dezembro de 2008.
Dez. 2004 Dez. 2005 Dez. 2006 Dez. 2007 Dez. 2008
Mundo
660.132 773.867 896.929 951.486 982.832
Brasil
6.120 8.533 9.014 15.384 14.539
Quadro 1: Número de certificados ISO 9001 emitidos no Brasil e no mundo
Fonte: International Organization for Standardzation (2010)
22
2.1.3 A NORMA ISO 9001
A norma ISO 9001, desde sua criação em 1987, já foi revisada em três
oportunidades com o objetivo de adequá-las às novas realidades e implementar
melhorias necessárias. A primeira revisão ocorreu em 1994 e inclui pequenas
alterações, enquanto que a segunda revisão, em 2000, foi bastante significativa,
incluindo alterações na estrutura e a introdução de novos conceitos. A terceira
revisão ocorreu em 2008, e as alterações foram bastante superficiais, não havendo
mudanças quanto aos requisitos, estrutura ou conceitos. A figura 1 apresenta a
evolução da norma ISO 9001, desde a sua criação.
Figura 1: Evolução da norma ISO 9001
A primeira revisão da ISO 9001, em 1994, objetivou a resolução de pequenos
desentendimentos e corrigiu falhas conceituais simples, sem profundas alterações
de formato ou de conceitos.
No entanto, a ISO 9001, versão de 1994, possuía algumas limitações.
Segundo Mott (2009), esta versão não exigia que as organizações determinassem
objetivos ou adotassem ações visando à melhoria da qualidade, nem exigia que se
demonstrassem quaisquer resultados nesse sentido, e a versão de 1994 era
fundamentada em um modelo de manufatura e incluía requisitos específicos para
projetos, de produção e gestão de fornecedores. A versão 2000 exige a implantação
de sistemas de qualidade e, também, a melhoria contínua dos processos de
trabalho.
Publicação da ISO 9001
1ª Revisão da ISO 9001
2ª Revisão da ISO 9001
3ª Revisão da ISO 9001
1987
1994
2000
2008
23
Na percepção de Maranhão (2005), até a versão de 1994, a norma foi
elaborada sob o ponto de vista do cliente que, diante de sua desconfiança em
relação aos fornecedores, exigia uma grande quantidade de comprovações e, dessa
forma, tornava o cumprimento da norma um processo altamente burocrático.
Já, a versão 2000 contempla mudanças significativas, de natureza realmente
estrutural e não apenas superficiais (MARANHÃO, 2005). O autor considera que
houve uma mudança no “espírito” da norma.
A versão 2000 da ISO é muito mais progressiva e contém, por exemplo,
requisitos como foco no cliente e melhoria contínua (GUSTAFSON et al., 2001).
Para Branchini (2002), a versão 2000 consiste em uma quebra de paradigma
considerando-se as suas versões anteriores. Partiu-se de uma abordagem voltada
para o controle, gestão das reclamações dos clientes e burocracia para uma revisão
baseada na gestão por processos, que considera a satisfação dos clientes na busca
da melhoria contínua. A versão 2000 evolui de garantia da qualidade para gestão da
qualidade.
Isto pode ser verificado por meio dos títulos de cada versão. Enquanto a
versão 1994 tem como título “Sistemas da qualidade Modelo para a garantia da
qualidade em projeto, desenvolvimento, produção, instalação e serviço“, a versão
2000 tem o seguinte título: “Sistemas de gestão da qualidade – Requisitos”.
Segundo estudo realizado por Wiele et al. (2004), a versão 2000 da ISO 9001 é
visto como uma melhoria em relação à versão de 1994, e existem muitos gestores,
na Holanda, que reportaram um sentimento muito positivo sobre esta nova versão.
Estes autores concluem que a ISO 9001:2000 alcançou muitos de seus objetivos.
Com relação à última revisão da ISO 9001, realizada em 2008, não houve a
introdução de novos requisitos. Apenas foram introduzidos esclarecimentos sobre os
requisitos existentes, com base nos oito anos de experiência em implementação
desta norma (revisão 2000) em todo o mundo com aproximadamente um milhão de
certificados emitidos em 176 países até o momento da revisão. Também, foram
introduzidas mudanças para melhorar a consistência com a ISO 14001:2004
(INTERNATIONAL ORGANIZATION FOR STANDARDIZATION, 2009a). Como a
ISO 9001:2008 não introduziu novos requisitos, a certificação com esta nova versão
não representa um “up grade” em termos qualitativos.
24
2.1.3.1 Estrutura da ISO 9001
A estrutura da NBR ISO 9001, versão 2008, foi mantida em relação à versão
de 2000, onde os requisitos para um SGQ são definidos em cinco seções, conforme
apresentado na figura 2.
Figura 2: Estrutura da NBR ISO 9001:2008
Juntas, as cinco seções da ISO 9001 definem o que as organizações devem
fazer para fornecer consistentemente produtos que satisfaçam os requisitos do
cliente e os requisitos regulamentares e estatutários, além de melhorar
continuamente os seus sistemas de gestão da qualidade (INTERNATIONAL
ORGANIZATION FOR STANDARDZATION, 2009a).
Seção 4 – Sistema de gestão da qualidade
Esta seção pode ser dividida em duas partes. Primeiramente são
determinados os requisitos gerais para um SGQ, e, numa segunda parte são
determinados os requisitos para documentação, estabelecendo quais os
documentos necessários para um SGQ e como estes documentos devem ser
controlados. Registros o um tipo especial de documento e possuem um controle
específico.
Seção 5 – Responsabilidade da direção
Esta seção estabelece requisitos espeficos para a alta direção da
organização, que, segundo a NBR ISO 9000 (2005), é entendida como “pessoa ou
grupo de pessoas que dirigem e controlam a organização no mais alto nível”. Os
requisitos especificados para a alta direção incluem, entre outros, demonstração de
comprometimento com o sistema, determinação da política e dos objetivos da
qualidade, alocação dos recursos necessários e realização de análise periódica do
SGQ, para garantir a sua adequação, pertinência e eficácia.
NBR ISO
9001:2008
4
Sistema de Gestão
da Qualidade
5
Responsabilidade
da Direção
6
Gestão de
Recursos
7
Realização do
Produto
8
Medição, Análise e
Melhoria
25
Seção 6 – Gestão de recursos
Nesta seção são definidos os requisitos para a gestão dos recursos
necessários para a implementação e manutenção do SGQ. Incluem recursos
humanos, infra-estrutura e ambiente de trabalho.
Seção 7 – Realização do produto
Esta seção estabelece requisitos específicos para a realização do produto.
Desta forma, esta seção possui uma característica peculiar, pois dependendo do tipo
de produto que a organização fornece, algum requisito desta seção pode não ser
aplicado.
Um exemplo típico é quando uma organização fornece um produto que foi
projetado e desenvolvido pelo cliente. Neste caso, os requisitos para projeto e
desenvolvimento não são aplicáveis a esta organização. Quando isso acontece, este
requisito pode ser excluído, ou seja, a organização não precisa fornecer evidências
de atendimento à estes requisitos.
Quando algum requisito for excluído, deve-se justificar detalhadamente, no
manual da qualidade, o motivo da exclusão.
Seção 8 – Medição, análise e melhoria
Nesta seção são estabelecidos requisitos para a medição e monitoramento
que devem ser realizados em todo o SGQ, incluindo os processos e produtos. Além
disso, é preciso monitorar a satisfação dos clientes. Esta seção também estabelece
que a organização deve melhorar continuamente a eficácia do sistema de gestão da
qualidade, e, para tanto, deve-se utilizar:
a política da qualidade,
os objetivos da qualidade,
os resultados de auditorias,
a análise de dados,
as ações corretivas e preventivas, e
a análise crítica pela direção.
26
2.1.3.2 Abordagem de processo
Uma modificação importante realizada na revisão da NBR ISO 9001, de 2000,
e posteriormente mantida na revisão de 2008, foi a introdução da abordagem de
processo para o desenvolvimento, implementação e manutenção do SGQ.
Processo é “o conjunto de atividades inter-relacionadas ou interativas que
transformam entradas em saídas” (NBR ISO 9000, 2005).
Segundo a NBR ISO 9001 (2008), a aplicação de um sistema de processos
em uma organização, junto com a identificação, interações desses processos e sua
gestão, pode ser considerada como “abordagem de processo”.
A figura 3 apresenta o modelo de um sistema de gestão da qualidade baseado
em processo (NBR ISO 9001, 2008).
Figura 3: Modelo de sistema de gestão da qualidade baseado em processo
Fonte: NBR ISO 9001 (2008)
Este modelo abrange todos os requisitos definidos nas cinco seções (seções 4
a 8) da NBR ISO 9001 (2008), mas não apresenta os processos em detalhe.
27
Uma vantagem da abordagem de processo é a visão sistêmica que ela
permite ter de uma organização, contemplando os processos individualmente e o
fluxo e a interligação entre todos os processos dentro do sistema.
Entender a organização como um conjunto de processos que se interagem
para alcançar um objetivo comum é fundamental para um SGQ. Identificar quais são
os processos, como eles se interagem, medi-los, monitorá-los e melhorá-los
continuamente são conceitos sicos para os requisitos da ISO 9001, versão 2000,
ou versão 2008.
2.1.4 A NORMA NBR 15100
O International Aerospace Quality Group (IAQG) é o responsável pela
determinação dos requisitos de SGQ para a indústria aeroespacial. As normas que
estabelecem tais requisitos foram publicadas em todo o mundo por organismos
responsáveis por desenvolvimento de normas e possuem diferentes nomenclaturas
dependendo das diferentes sistemáticas de numeração adotadas pelas autoridades
de publicação.
Por exemplo, nos Estados Unidos a norma foi publicada pelo Society of
Automotive Engineers (SAE) como AS 9100. Na Europa, foi publicada pela
Association of European Aircraft and Components Manufacturers (AECMA) como EN
9100, e no Japão, esta norma foi publicada pela Society of Japanese Aerospace
Companies (SJAC) como JIS 9100. Na maioria dos casos, a norma manteve o
número “9100” nas várias versões internacionais. Atualmente existem diversas
versões regionais e nacionais publicadas desta norma.
No Brasil, esta norma foi publicada, em português, pela Associação Brasileira
de Normas Técnicas (ABNT), como NBR 15100, e usou como referencia o texto da
SAE, conforme autorização (NBR 15100, 2004).
A NBR 15100 é fundamentada na NBR ISO 9001. A norma de SGQ do setor
aeroespacial inclui todos os requisitos da NBR ISO 9001, “palavra por palavra”, e
adiciona os requisitos específicos deste setor. Na figura 4, é possível visualizar a
estrutura da NBR 15100 (2004).
28
Figura 4: Estrutura da NBR 15100
Os requisitos adicionais são identificados ao longo da NBR 15100 (2004) em
negrito e itálico.
Em janeiro de 2007, mais de 3.600 certificados haviam sido emitidos em todo
o mundo, com base nas normas que estabelecem requisitos de SGQ para a
indústria aeroespacial. (JOHNSON, 2007).
2.2 CERTIFICAÇÃO DE SISTEMA DE GESTÃO DA QUALIDADE
A certificação de sistema de gestão é “um meio de garantir que a organização
implementou um sistema para a gestão dos aspectos pertinentes de suas atividades,
alinhados com sua política” (NBR ISO/IEC 17021, 2007, p. v). Este conceito
considera um sistema de gestão da qualidade ou um sistema de gestão ambiental
ou outro sistema de gestão.
A certificação de sistemas de gestão pode ser definida como uma atestação,
por terceira parte, de que o atendimento aos requisitos especificados para sistemas
de gestão foi demonstrado (NBR ISO/IEC 17000, 2005).
Para Terziovski et al. (2002), existe uma grande busca pela certificação ISO
9000 nos últimos anos, pois esta certificação vem sendo usada como um passaporte
para a realização de negócios no mercado globalizado e como um caminho para a
melhoria contínua.
Terziovski et al. (2003,) citam que os diversos estudos sobre certificações ISO
9000 mostraram que o valor primário desta certificação para o negócio foi abrir
portas para mercados que estavam previamente fechadas.
A ISO 9001 é uma das mais importantes normas de gestão, e as organizações
certificadas com base nesta norma possuem uma vantagem competitiva e crescem
mais rápido. Além disso, a certificação deve ser considerada como uma forma de
comunicar credibilidade aos clientes (TERLAAK; KING, 2006).
Segundo pesquisa realizada sobre a influência da certificação ISO 9001 no
ambiente, por Miranda et al. (2006), o processo de certificação ISO 9001 favoreceu
a inclusão de indicadores de desempenho que auxiliam nas tomadas de decisões e
REQUISITOS
NBR 15100
REQUISITOS
NBR ISO 9001
REQUISITOS
AEROESPACIAIS
=
+
29
no planejamento de ações corretivas, além de permitir um maior controle de
documentos.
Para Lee (1998), os benefícios derivados da certificação incluem aumento da
eficiência, redução de desperdício, melhor espírito de time, melhorias nas vendas
pela atração de novos clientes, menos conflitos interpessoais e diminuição de
reclamações de clientes.
Segundo estudos da Lloyds Register Quality Assurance (1994 apud RAHMAN,
2001, p.36) para determinar porque as organizações obtêm certificação e qual o
efeito desta certificação para os seus negócios, obteve-se como uma das principais
conclusões que “como um fino vinho, os benefícios da certificação ISO 9000
melhoram com a idade”.
No entanto, a certificação ISO 9000 isolada não resulta automaticamente em
melhoria de desempenho das organizações. Segundo Singels et al. (2001), apenas
quando uma organização é internamente motivada para a melhoria de seus
processos, a certificação irá resultar em melhoria de desempenho. Mas, a maioria
das organizações ainda busca a certificação motivada por pressões externas, o que
resulta em resultados minimizados.
Wiele et al. (2004) também citam que as pesquisas sugerem que as
organizações apenas buscam o certificado ISO 9000 sob pressão. Esta pressão
pode vir de clientes, exigências governamentais ou da matriz. Ainda, segundo estes
autores, a possível causa das organizações relutarem em buscar a certificação por
iniciativa própria pode ser o ceticismo quanto às contribuições das normas e
certificações para a melhoria do desempenho econômico do negócio.
Considerando que os efeitos positivos da certificação são maiores quando
existe uma motivação interna pela certificação, como forma de melhoria no
desempenho dos processos, o comprometimento da alta direção da organização
com a implementação e manutenção do SGQ tem papel fundamental como forma de
liderar esta motivação interna.
2.2.1 CADEIA DE CERTIFICAÇÃO/ACREDITAÇÃO AEROESPACIAL
Dentre as atividades de certificação, destacam-se as auditorias de certificação
de SGQ, realizada por um organismo de terceira parte, denominado organismo de
certificação de sistemas de gestão (NBR ISO/IEC 17021, 2007).
30
Com o objetivo de conferir credibilidade ao processo de certificação, e de
garantir que estes organismos são competentes ao realizar as atividades de
certificação, existe a atuação dos organismos de acreditação, que, com a devida
imparcialidade, avaliam a competência destes organismos de certificação.
Acreditação é “atestação de terceira parte relacionada a um organismo de
avaliação da conformidade, comunicando a demonstração formal da sua
competência para realizar tarefas específicas de avaliação da conformidade” (NBR
ISO/IEC 17000, 2005, p. 5). Para Costa (2006), a acreditação pode ser entendida
como o reconhecimento formal, por um organismo de acreditação, de que um
organismo de certificação atende a requisitos previamente definidos e demonstra
competência para realizar suas atividades com confiança.
A NBR ISO/IEC 17021(2007) estabelece os requisitos para organismos de
certificação de sistemas de gestão.
A figura 5 apresenta a cadeia de certificação/acreditação aplicada ao setor
aeroespacial no Brasil.
Figura 5: Modelo brasileiro de certificação/acreditação aeroespacial
Organismos de
certificação
(OCE)
Organismo de
acreditação
(INMETRO)
Organizações
aeroespacias
IAQG
Reconhecimento internacional
Acreditação
(NBR ISO/IEC 17021)
Certificação
(NBR 15100)
31
Conforme apresentado na figura 5, o IAQG, o INMETRO (Instituto Nacional de
Metrologia, Normalização e Qualidade Industrial), os organismos de certificação e as
organizações aeroespaciais o as partes envolvidas nesta cadeia de
certificação/acreditação aeroespacial.
No Brasil, compete ao Instituto Nacional de Metrologia, Normalização e
Qualidade Industrial INMETRO, por meio da Coordenação Geral de Acreditação -
CGCRE, atuar como organismo de acreditação de organismos de certificação de
sistemas de gestão da qualidade (INMETRO, 2010a).
Além disso, a CGCRE/INMETRO é signatária do acordo multilateral com o
International Accreditation Fórum IAF, para acreditação de organismos de
certificação de sistemas de gestão da qualidade desde 1999, e é reconhecida pelo
International Aerospace Quality Group - IAQG para acreditação de organismos de
certificação de sistemas de gestão da qualidade aeroespacial desde 2002. Estes
acordos de reconhecimento mútuo entre organismos de acreditação são ferramentas
facilitadoras do comércio e uma base cnica para os acordos de comércio exterior
entre governos (INMETRO, 2009).
Os organismos de certificação de sistemas de gestão da qualidade NBR
15100, ou aeroespacial, são denominados OCE. Estes organismos conduzem e
concedem o certificado de conformidade com base na norma NBR 15100
(INMETRO, 2009).
Os critérios adotados para a acreditação destes organismos são estabelecidos
na NBR ISO/IEC 17021 (2007) e suas interpretações pelo IAF e IACC, além da NIT-
DICOR-060 Critérios Adicionais para a Acreditação de Organismos de Certificação
de SGQ NBR 15100 (INMETRO, 2009).
No Brasil, existem quatro OCE ativos (INMETRO, 2009):
OCE 0001: IFI – Instituto de Fomento e Coordenação Industrial,
OCE 0002: FCAV – Fundação Carlos Alberto Vanzolini,
OCE 0004: BRTÜV Avaliações da Qualidade Ltda, e
ABS – Quality Evaluations Inc..
2.2.1.1 IAQG
A indústria aeroespacial estabeleceu, em dezembro de 1998, o International
Aerospace Quality Group, ou IAQG, com o objetivo de melhorar significativamente a
32
qualidade e reduzir custos ao longo da cadeia de valor (NBR 15100, 2004).
Este grupo é formado por mais de 60 membros, incluindo as maiores
empresas aeroespaciais do mundo, distribuídos em três setores (INTERNATIONAL
AEROSPACE QUALITY GROUP, 2010):
Americas Aerospace Quality Group (AAQG),
European Aerospace Quality Group (EAQG), e
Asia and Pacific Aerospace Quality Group (APAQG)
A figura 6 apresenta a estrutura organizacional do IAQG e contempla os
membros deste grupo.
33
Figura 6: Estrutura organizacional do IAQG
Fonte: Adaptado de INTERNATIONAL AEROSPACE QUALITY GROUP (2010)
IAQG
Conselho
IAQG
Assembléia
Geral
AAQG
19 membros
EAQG
35 membros
APAQG
11 membros
Advanced Electronics
Company (AEC)
Airbus
Airbus Military
Alenia Aerospazio
Aeronautics Division
AgustaWestland
Avio
BAE Systems
Dassault Aviation
EADS ASTRIUM
EADS Defence & Security
ELBIT Systems
Eurocopter
Fokker Aerospace
GE Aviation Systems
HEGAN
Hispano-Suiza
Israel Aerospace Industries
(IAI)
Liebherr-Aerospace
MBDA
Meggitt
Messier-Dowty
MTU Aero Engines
PFW
RAFAEL
Rolls-Royce
Saab
SAFRAN
SAGEM
SNECMA
Sonaca
SUKHOI
THALES Avionics
Turbomeca
Volvo Aero
ZODIAC
AIDC (Aerospace
Industrial Development
Corp.)
AVIC I
AVIC II
Fuji Heavy Industries, Ltd.
Hawker de Havilland
IHI Co. Ltd.
Indonesian Aerospace
KAI (Korea Aerospace
Industries)
Korean Air
Kawasaki Heavy
Industries, Ltd.
MHI
ATK
Ball Aerospace
Boeing
Bombardier Aerospace
Embraer
GE Aerospace
Goodrich Corporation
Gulfstream
Honeywell Engines and
Systems
Lockheed Martin
Corporation
Northrop Grumman
Parker Aerospace
Raytheon
Rockwell Collins
Rolls-Royce
Spirit Aerosystems
Textron
UTC (United
Technologies
Corporation)
Vought Aircraft
34
O Conselho do IAQG é composto por 26 representantes provenientes dos três
setores. Dez representantes das Américas, dez da Europa e seis da Ásia-Pacífico.
Este Conselho tem responsabilidade por (INTERNATIONAL AEROSPACE QUALITY
GROUP, 2010):
agir sempre nos melhores interesses das companhias membros do IAQG
como um todo ao invés de um setor ou companhia específicos,
definir a direção, proposta e objetivos do IAQG,
garantir que os requisitos do IAQG são implementados,
garantir que as iniciativas propostas são desenvolvidas e submetidas para
a aprovação do Conselho para se alcançar os objetivos do IAQG,
analisar criticamente e aprovar ou rejeitar as iniciativas propostas pelo
Grupo Estratégico de Trabalho e garantir que os recursos estão
disponíveis para permitir a implementação com sucesso, e
garantir comunicação efetiva para e com a Assembléia Geral, Associações
Comerciais, Autoridades Nacionais e Governos.
Todas as decisões do conselho devem ser tomadas por consenso. Quando
isso não for possível, 17 dos 26 membros do conselho devem estar a favor da
proposta para que ela passe (INTERNATIONAL AEROSPACE QUALITY GROUP,
2010).
A Assembléia Geral é o rum de comunicação para a comunidade
aeroespacial de todo o mundo. O Conselho determina quando as reuniões da
Assembléia Geral irão ocorrer, e apresentam os objetivos, prioridades e iniciativas
do IAQG, de modo que possam ser discutidas por todos (INTERNATIONAL
AEROSPACE QUALITY GROUP, 2010).
Vale lembrar que a NBR 15100 é tecnicamente equivalente à AS 9100. Na
prática, é a tradução para o português da norma americana, realizada pela
Associação Brasileira de Normas Técnicas (ABNT).
2.2.1.1.1 Online aerospace supplier information system (OASIS)
OASIS é o banco de dados da IAQG, disponível na internet, e que
disponibiliza informações sobre associações dos setores aeroespaciais, organismos
de acreditação reconhecidos, organismos de certificação acreditados, qualificação
35
de auditores aeroespaciais, fornecedores certificados, além de informações sobre as
auditorias de certificação (INMETRO, 2010b).
Parte deste banco de dados é disponível para todas as pessoas que se
interessam, mediante o cadastro do usuário com algumas informações básicas. No
entanto, dependendo da informação, somente os membros do IAQG têm acesso.
Muitas destas informações inseridas no OASIS, como aquelas provenientes
das auditorias de certificação, são úteis para o monitoramento do sistema de gestão
da qualidade no setor aeroespacial e para identificar tendências e apontar assuntos
que necessitam ser tratados em subseqüentes revisões das normas do setor
(ROBERTS, 2007).
2.2.2 CICLO DE CERTIFICAÇÃO
A certificação SGQ de uma organização consiste em um processo cíclico,
conforme a NBR ISO/IEC 17021 (2007), e inclui uma auditoria inicial, auditorias de
supervisão no primeiro e no segundo ano, e uma auditoria de recertificação antes do
vencimento do certificado, que tem validade de três anos. Este ciclo de certificação
tem início com a decisão de certificação ou de recertificação, e pode ser visualizado
na figura 7.
Figura 7: Ciclo de certificação
Fonte: Adaptado de Cunha (2009)
2.2.3 ETAPAS DE UM PROCESSO DE CERTIFICAÇÃO
As etapas de um processo sico de certificação de SGQ, conforme a NBR
ISO/IEC 17021 (2007), norma que fornece requisitos para organismos de
certificação de sistemas de gestão, são apresentadas na figura 8, e incluem desde a
0
ANO
1 2 3
Decisão de
Certificação ou
de Recertificação
Auditoria de
Supervisão
(primeira)
Auditoria de
Supervisão
(segunda)
Auditoria de
Recertificação
36
solicitação de certificação até as atividades de supervisão, passando pela realização
das auditorias para a certificação e emissão do certificado.
Figura 8: Etapas de um processo básico de certificação
Fonte: Adaptado de NBR ISO/IEC 17021 (2007)
Maiores detalhes sobre cada uma das etapas do processo de certificação são
apresentados nas seções subseqüentes.
Solicitação
As atividades de certificação de SGQ têm início com a solicitação, por parte
da organização pretendente, ao organismo de certificação. Um representante
autorizado da organização fornece as informações necessárias para o organismo
Solicitação
Análise da solicitação
Auditoria inicial de certificação
(
fase 1)
Conclusões da auditoria inicial
de certificação
Decisão sobre a certificação
Auditoria inicial de certificação
(fase 2)
Certificar ?
Emissão do certificado
Atividades de supervisão
S
N
37
certificador. Isto é feito geralmente por meio de um contato inicial e do
preenchimento de um formulário de solicitação de certificação (INSTITUTO DE
FOMENTO E COORDENAÇÃO INDUSTRIAL, 2009)
Análise da solicitação
O organismo de certificação analisa criticamente as informações recebidas
pela organização solicitante, de modo a verificar se estas informações são
suficientes e adequadas para o planejamento das atividades de certificação.
Auditoria fase 1
De um modo geral, a auditoria fase 1 é realizada para avaliar itens como
adequação da documentação do SGQ, planejamento e realização de auditorias
internas e análises críticas pela direção, localização, aspectos-chave do SGQ, entre
outras informações importantes para a preparação e o planejamento da auditoria
fase 2. Recomenda-se que, pelo menos, parte desta auditoria seja realizada nas
instalações da organização auditada (NBR ISO/IEC 17021, 2007).
Auditoria fase 2
A auditoria fase 2 é realizada nas instalações da organização auditada e
avalia a implementação do SGQ, cobrindo todos os requisitos da norma aplicável de
SGQ.
Conclusões da auditoria inicial de certificação
As conclusões da auditoria inicial de certificação são a saída do processo de
auditoria, e consideram todas as constatações da auditoria. As conclusões são
registradas no relatório final e incluem a recomendação de concessão ou não da
certificação.
Decisão sobre a certificação
A decisão sobre a certificação ou não da organização leva em consideração
as constatações e conclusões da auditoria e quaisquer outras informações
pertinentes, e é tomada por pessoas que não participaram da auditoria de
certificação. Essa decisão é tomada em uma reunião de comissão (ou comitê) de
certificação. Caso a decisão seja contrária a certificação, a organização precisa
38
entrar em contato para solicitar novamente a certificação (INSTITUTO DE
FOMENTO E COORDENAÇÃO INDUSTRIAL, 2009).
Emissão do certificado
Após a decisão pela certificação, o certificado de conformidade de SGQ é
emitido pelo organismo de certificação, normalmente com prazo de validade de 3
anos.
Atividades de supervisão
Com o objetivo de se manter a certificação com base na demonstração de que
a organização continua a satisfazer os requisitos da norma de sistema de gestão
aplicável, são realizadas atividades de supervisão, que incluem as auditorias
periódicas de supervisão realizadas nas dependências da organização certificada e
são realizadas, normalmente, uma vez ao ano, no mínimo.
2.3 AUDITORIA
Considerada como uma das mais importantes ferramentas para avaliar a
eficácia do sistema da qualidade em alcançar os objetivos da qualidade da
organização, a auditoria é usada para identificar pontos fracos e desacordos com as
normas (MILLS, 1994). Para Feigenbaum (1991), a auditoria também avalia a
eficácia do sistema da qualidade e determina o grau no qual os objetivos do sistema
são alcançados.
Diversas definições são encontradas para auditoria. No entanto, uma definição
que vem se destacando em função do crescente número de certificações com base
na ISO 9001 em todo o mundo é encontrada na NBR ISO 19011 (2002), norma que
fornece orientação sobre auditorias de sistemas de gestão da qualidade e de gestão
ambiental, a qual estabelece que auditoria é “um processo sistemático,
documentado e independente para obter evidências de auditoria e avaliá-las
objetivamente para determinar a extensão na qual os critérios da auditoria são
atendidos” (NBR ISO 19011, 2002, p. 2).
Para melhorar o entendimento desta definição, é interessante citar que
evidências de auditoria correspondem às informações coletadas ao longo da
auditoria, como registros, apresentação de fatos ou outras informações pertinentes,
39
enquanto que critério de auditoria é o conjunto de requisitos, procedimentos ou
políticas usado como referência contra a qual as evidências de auditoria serão
comparadas (NBR ISO 19011, 2002).
Pela definição acima, a auditoria pode ser entendida como um conjunto
sistematizado de atividades que se desenvolvem, de forma independente, com o
objetivo de avaliar o nível de conformidade com requisitos previamente
estabelecidos.
A palavra “auditoria” não é o termo preferido de Ishikawa (1985) ao se
relacionar à uma avaliação da gestão da qualidade, pois denota um poder
autoritário, uma conotação negativa, no sentido de buscar deficiências, podendo até
mesmo denotar sentimento de carência de confiança. Este autor prefere o termo
“diagnóstico”, pois visa ao desenvolvimento, através da cooperação de todos os
participantes, em busca de soluções apropriadas e satisfatórias.
Para Campos (1992), as auditorias devem sempre ajudar as pessoas,
cooperando com elas para se alcançar melhores condições para todos. A natureza
do homem é boa, ele precisa de orientação e ajuda. Desta forma, os auditores
devem ter algo a contribuir para com os auditados. Uma auditoria realizada por
pessoas sem experiência e por meio do uso de listas de verificação e perguntas pré-
formuladas é mais uma inspeção do que uma auditoria.
2.3.1 TIPOS DE AUDITORIA
A auditoria pode ser classificada em três tipos, considerando a natureza do
auditor (O´HANLON, 2006):
Auditoria de primeira parte, ou auditoria interna - os membros de uma
organização auditam sua própria organização;
Auditoria de segunda parte - um cliente audita um fornecedor em algum
ponto na cadeia de suprimento (isto é, seu cliente auditando você ou você
auditando seu fornecedor); e
Auditoria de terceira parte - essa auditoria é feita geralmente com
finalidade de certificação por representantes de organizações
independentes.
Tanto a auditoria de segunda parte como a de terceira parte são consideradas
auditorias externas.
40
Auditorias internas e externas possuem diferentes forças, que se combinam
para aumentar a eficácia das auditorias. Por exemplo, auditores internos gastam a
maior parte ou todo o seu tempo trabalhando na mesma companhia; como
resultado, eles possuem um melhor entendimento da cultura e do funcionamento da
companhia. Isto permite aos auditores internos ver coisas que os auditores externos
não m durante suas visitas. Por outro lado, em função dos auditores externos
trabalharem com múltiplos clientes, eles estão expostos a uma variedade de
assuntos de negócios. Desta forma, os auditores externos podem descobrir e
resolver questões que auditores internos não trataram antes (WOOD, 2004 apud
PISKAR, 2006).
Outra forma de se classificar a auditoria, proposta por Arter (2003), leva em
consideração o escopo a ser auditado:
Auditoria de produto o escopo deste tipo de auditoria é o produto, que,
conforme a NBR ISO 9000 (2005), é definido como a saída de um
processo e pode ser tangível (um novo carro, por exemplo) ou intangível
(um serviço). Sendo assim, a auditoria de produto é bastante similar a uma
inspeção, onde o serviço ou o produto é avaliado quanto às características
requeridas.
Auditoria de processo o escopo deste tipo de auditoria é um simples
processo, como estamparia, pintura ou tratamento térmico. Conforme a
NBR ISO 9000 (2005, p. 10), um processo é “o conjunto de atividades
inter-relacionadas ou interativas que transformam entradas em saídas”.
Desta forma, a auditoria de processo avalia um processo para verificar se
as entradas, as atividades e as saídas deste processo estão de acordo
com requisitos definidos. Com a publicação da ISO 9001, versão 2000,
houve um aumento de interesse na abordagem de processo, o que levou,
naturalmente, ao aumento de atenção à auditoria de processo (ARTER,
2003).
Auditoria de sistema – a auditoria de sistema avalia os diversos processos
que compõem um determinado sistema, assim como a inter-relação entre
eles. A saída de um processo torna-se a entrada de outro processo. Os
sistemas de gestão são exemplos deste tipo de auditoria, e podem ser
classificados como sistemas de gestão da qualidade, sistemas de gestão
ambiental, sistemas de saúde e segurança ocupacional, e sistemas de
41
gestão financeira. A auditoria de sistema está em um nível maior do que
as auditorias de processo e produto (ARTER, 2003).
2.3.2 PRINCÍPIOS DA AUDITORIA
A norma NBR ISO 19011 (2002) identifica os cinco princípios da auditoria, os
quais fazem da auditoria uma ferramenta eficaz e confiável, e que fornece
informações sobre as quais uma organização pode agir para melhorar seu
desempenho. Ainda segundo esta norma, a aderência a estes princípios é um pré-
requisito para se fornecer conclusões de auditoria que são relevantes e suficientes,
e para permitir que auditores, mesmo trabalhando independentemente entre si,
cheguem a conclusões semelhantes em circunstâncias semelhantes. Os três
primeiros princípios a seguir estão relacionados a auditores, enquanto que os dois
seguintes estão relacionados à auditoria. Estes princípios são:
1. Conduta ética: o fundamento do profissionalismo
Confiança, integridade, confidencialidade e discrição são
essenciais para auditar” (NBR ISO 19011, 2002, p.4).
2. Apresentação justa: a obrigação de reportar com veracidade e exatidão
Constatações de auditoria, conclusões de auditoria e relatórios de
auditoria refletem verdadeiramente e com precisão as atividades de
auditoria. Obstáculos significantes encontrados durante a auditoria e
opiniões divergentes não resolvidas entre a equipe de auditoria e o
auditado são relatados (NBR ISO 19011, 2002, p.4).
3. Devido cuidado profissional: a aplicação de diligência e julgamento na
auditoria
Auditores pratiquem o cuidado necessário considerando a
importância da tarefa que eles executam e a confiança colocada
neles pelos clientes de auditoria e outras partes interessadas. Ter a
competência necessária é um fator importante (NBR ISO 19011,
2002, p.4).
4. Independência: a base para a imparcialidade da auditoria e objetividade nas
conclusões da auditoria
Auditores são independentes da atividade a ser auditada e são livres
de tendência e conflito de interesse. Auditores mantêm um estado de
mente aberta ao longo do processo de auditoria para assegurar que
as constatações e conclusões de auditoria serão baseadas somente
nas evidências de auditoria (NBR ISO 19011, 2002, p.4).
5. Abordagem baseada em evidência: o método racional para alcançar
conclusões de auditoria confiáveis e reproduzíveis em um processo sistemático
de auditoria
42
Evidência de auditoria é verificável. É baseada em amostras de
informações disponíveis, uma vez que uma auditoria é realizada
durante um período de tempo finito e com recursos finitos. O uso
apropriado de amostragem está intimamente ligado com a confiança
que se pode ser colocada nas conclusões de auditoria (NBR ISO
19011, 2002, p.4).
A contínua análise crítica destes princípios mantêm os auditores no caminho
certo e ajuda a garantir a eficácia das auditorias (RUSSEL, 2007).
2.3.3 ATIVIDADES DA AUDITORIA DE CERTIFICAÇÃO DE SGQ
Considerando que o organismo de certificação já tenha recebido e analisado a
solicitação para a certificação do SGQ de uma organização, a próxima etapa é a
realização das atividades de auditoria. As atividades típicas de uma auditoria podem
ser visualizadas na figura 9, sendo que cada uma delas será detalhada a seguir.
Figura 9: Atividades típicas de auditoria
Fonte: Adaptado de NBR ISO 19011 (2002)
2.3.3.1 Início da auditoria
O início de uma auditoria é caracterizado pela realização de um conjunto de
ações, que são apresentadas e discutidas a seguir.
Início da auditoria
Análise crítica de documentos do SGQ
Preparação das atividades de auditoria no local
Condução das atividades de auditoria no local
Elaboração do relatório de auditoria
Conclusão da auditoria
43
Seleção da equipe de auditoria
A auditoria pode ser realizada por uma pessoa (neste caso necessariamente o
auditor-líder) ou por uma equipe de auditores, dependendo da complexidade e do
escopo de auditoria (HUTCHINS, 1994).
O auditor-líder é o principal responsável pelo processo de auditoria. Isso inclui,
entre outras atividades, planejamento e preparação, condução da reunião de
abertura e de encerramento, coordenação da equipe de auditoria, decisões quanto à
classificação das não-conformidades, elaboração do relatório e garantia de que haja
um acompanhamento para o encerramento da auditoria (O’HANLON, 2006).
Para a seleção da equipe de auditoria deve-se considerar o conjunto de
competências necessárias para se garantir que os objetivos da auditoria sejam
atingidos. Caso o conjunto de competência da equipe de auditoria não inclua toda a
competência necessária, pode-se incluir um especialista, que deve atuar sob a
orientação do auditor. Além disso, pode-se incluir na equipe um auditor em
treinamento, mas não convém que ele atue sem direção e orientação de um auditor
(NBR ISO 19011, 2002; O’HANLON, 2006).
O cliente da auditoria e o auditado podem rejeitar a participação de um
membro da equipe, desde que justificado com motivos razoáveis, como, por
exemplo, falta de ética ou conflito de interesse (como um auditor que foi
colaborador da empresa ou prestou serviços relacionados com o SGQ da empresa)
(NBR ISO 19011, 2002; O’HANLON, 2006).
Definição dos objetivos, do escopo e do critério de auditoria
Segundo a NBR ISO 19011 (2002):
Os objetivos da auditoria definem o que é para ser realizado
pela auditoria e podem incluir o seguinte:
a) determinação da extensão da conformidade do sistema de gestão
do auditado, ou partes dele, com o critério de auditoria;
b) avaliação da capacidade do sistema de gestão para assegurar a
concordância com requisitos estatutários, regulamentares e
contratuais;
c) avaliação da eficácia do sistema de gestão em atingir seus
objetivos especificados;
44
d) identificação de áreas do sistema de gestão para potencial
melhoria.
Conforme a NBR ISO 19011 (2002), o critério de auditoria consiste no
conjunto de políticas, procedimentos, normas, leis e regulamentos, requisitos de
sistema de gestão da qualidade, requisitos contratuais ou código de conduta do
setor industrial ou do negócio, que deverão são usados como uma referência contra
a qual a conformidade é determinada.
Contato inicial com o auditado
O propósito do contato inicial é
a) estabelecer canais de comunicação com o representante do
auditado,
b) confirmar a autoridade para conduzir a auditoria,
c) fornecer informações sobre a duração proposta para a auditoria e
a composição da equipe da auditoria,
d) pedir acesso a documentos pertinentes, inclusive registros,
e) definir as regras de segurança aplicáveis ao local,
f) fazer arranjos para a auditoria, e
g) concordar com a participação de observadores e a necessidade
de guias para a equipe da auditoria
(NBR ISO 19011, 2002).
No contato inicial, normalmente são trocadas informações sicas a respeito
do processo de auditoria e das necessidades da equipe de auditoria, como local
para realização das reuniões de abertura e de encerramento, assim como os
participantes destas reuniões, acesso a telefone, internet, computador, impressora,
configuração de turnos, informações sobre segurança, localização do site e envio de
documentação, entre outros.
2.3.3.2 Análise crítica de documentos do SGQ
A análise crítica de documentos do SGQ da organização tem como objetivo
avaliar a conformidade destes documentos, e fornecer informações necessárias para
um entendimento suficiente do SGQ da organização por parte da equipe de
auditoria, de modo a possibilitar uma adequada preparação para o planejamento e
realização da auditoria na organização.
45
Segundo a NBR ISO 19011 (2002), a análise crítica da documentação é
realizada antes do início das atividades na organização. No entanto, em algumas
ocasiões, esta análise pode ser adiada ao início das atividades no local, desde
que não afete a eficácia da auditoria. Esta análise pode, também, ser realizada por
meio de uma visita preliminar à organização para se obter uma adequada visão
geral das informações do SGQ. É importante que a decisão quanto a forma de se
conduzir esta análise crítica leve em consideração o tamanho, natureza e
complexidade do SGQ da organização, além dos objetivos e escopo da auditoria.
A documentação normalmente analisada nesta atividade inclui o manual da
qualidade e os procedimentos exigidos para o SGQ, podendo ser analisados outros
documentos conforme se julgar necessários, como relatórios de auditorias
anteriores, política da qualidade, objetivos da qualidade, etc.
Na literatura, esta análise crítica de documentos pode ser parte de auditorias
conhecidas com diferentes formas: auditoria fase 1 (NBR ISO/IEC 17021, 2007),
auditoria de adequação ou auditoria de gabinete (O’HANLON, 2006), visita
preliminar (NBR ISO 19011, 2002) ou visita de pré-auditoria (O’HANLON, 2006).
2.3.3.3 Preparação das atividades de auditoria no local
Preparação do plano de auditoria
Conforme a NBR ISO 19011 (2002, p. 3), plano de auditoria consiste na
“descrição das atividades e arranjos para uma auditoria”. É conveniente que o
auditor-líder seja o responsável pela elaboração do plano, que inclui informações
suficientemente detalhadas sobre a auditoria, como objetivo, critério e escopo, assim
como data, local, duração e seqüência das atividades no local, de modo a facilitar a
programação e coordenação das atividades de auditoria.
Um exemplo parcial de plano de auditoria é apresentado quadro 2. Pode-se
verificar que neste exemplo têm-se informações sobre quem será entrevistado e por
qual auditor, além de se saber quando esta entrevista irá acontecer e qual o assunto
será abordado. Este modelo parcial de plano de auditoria é repetido para todos os
dias da auditoria.
46
Auditoria do dia 1 ao dia 3
9h 10h 11h 12h 13h 14h 15h 16h
Auditor
líder
Abertura e
visita às
instalações
Responsabilidade
da direção
T. Chadwick
Almoço Recursos
Mel
Shaw
Treinamento
Bill Dick
Análise
Crítica
Auditor
1
Abertura e
visita às
instalações
Controle de
Documentos
Peter Talbot
Registros
Peter
Talbot
Almoço Realização do produto
John Wadham/
Julian Benton
Análise
Crítica
Auditor
2
Abertura e
visita às
instalações
Auditoria
interna
Mike
Howard
Foco no cliente
Steve Gregg
Almoço Aquisição
Bob Clarke
Análise
Crítica
Quadro 2: Exemplo parcial de plano de auditoria
Fonte: Adaptado de Hanlon, 2006
O plano de auditoria normalmente é apresentado ao auditado e ao cliente da
auditoria antes das atividades no local, de modo que permita uma adequada análise
e aprovação. Uma eventual revisão pode ser realizada para garantir que todos
estejam de acordo.
Preparação de documentos de trabalho
Em função do objetivo, critério, escopo e do plano da auditoria, os auditores
preparam os documentos necessários para a realização da auditoria. Estes
documentos, entre outros, podem incluir, quando necessário:
listas de verificação (NBR ISO 19011, 2002),
planos de amostragem de auditoria (NBR ISO 19011, 2002),
formulários para registros de informações, tais como não-conformidades,
observações, comentários e conclusões da auditoria
normas de SGQ aplicáveis, e
documentos com requisitos do cliente ou requisitos regulamentares e
estatutários.
47
A lista de verificação, ou check list, ou ainda questionário, pode servir como
auxílio à memória assegurando profundidade e continuidade, no entanto deve-se
tomar cuidado para que seu uso não prejudique a originalidade (O´HANLON, 2006).
2.3.3.4 Condução das atividades de auditoria no local
As atividades de auditoria nas dependências da organização normalmente se
iniciam com a realização da reunião de abertura, e incluem a coleta, a verificação e
a análise de informações pertinentes, até o atingimento das conclusões da auditoria.
Por fim, tem-se a realização da reunião de encerramento.
A figura 10 apresenta uma visão geral das atividades de auditoria conduzidas
no local.
Figura 10: Visão geral das atividades de auditoria conduzida no local
Fonte: Adaptado de NBR ISO 19011 (2002)
Cada atividade identificada na figura anterior é discutida nas seções
seguintes.
Reunião de abertura
Coleta e verificação de informações
Evidências da auditoria
Constatações da auditoria
Análise crítica
Avaliação contra o critério
da auditoria
Reunião de encerramento
Conclusões da auditoria
48
Reunião de abertura
O início das atividades de auditoria nas dependências da organização é
caracterizado formalmente pela realização da reunião de abertura. O propósito da
reunião de abertura, segundo a NBR ISO 19011 (2002), é confirmar o plano de
auditoria, fornecer um pequeno resumo de como as atividades de auditoria serão
empreendidas, confirmar canais de comunicação, e fornecer oportunidade para o
auditado fazer perguntas.
Normalmente esta reunião é presidida pelo auditor-líder, na presença da alta
direção da organização, ou parte dela, e dos responsáveis pelos processos que
serão auditados, entre outros interessados.
A NBR ISO 19011 (2002) recomenda que na reunião de abertura os seguintes
pontos sejam considerados, se apropriado:
a) apresentação dos participantes, incluindo um resumo de suas
funções;
b) confirmação dos objetivos, escopo e critério da auditoria;
c) confirmação da programação da auditoria e outros arranjos
pertinentes com o auditado, como data e duração da reunião de
encerramento, qualquer reunião intermediária entre a equipe da
auditoria e a direção do auditado, e qualquer mudança de
última hora;
d) métodos e procedimentos a serem usados para realizar a
auditoria, incluindo um alerta ao auditado que a evidência de
auditoria será somente uma amostra das informações disponíveis e
que, dessa forma, há um elemento de incerteza ao se
auditar;
e) confirmação dos canais formais de comunicação entre a equipe da
auditoria e o auditado;
f) confirmação do idioma a ser usado durante a auditoria;
g) confirmação que o auditado será mantido informado do progresso
da auditoria, durante a auditoria ;
h) confirmação de que os recursos e instalações necessários à
equipe da auditoria estão disponíveis;
i) confirmação de assuntos relativos à confidencialidade:
j) confirmação de procedimentos pertinentes de segurança no
trabalho, emergência e segurança para a equipe da auditoria;
49
k) confirmação da disponibilidade, funções e identidades de
quaisquer guias;
l) método de relatar, incluindo qualquer classificação de não-
conformidades;
m) informações sobre condições nas quais a auditoria pode se
encerrada, e
n) informações sobre qualquer sistema de apelação referente a
realização ou conclusão da auditora.
Para O´Hanlon (2006), a maioria das reuniões de abertura é realizada sem
maiores problemas, mas eventualmente as coisas podem não dar certo. Como fruto
da experiência do autor é apresenta uma lista de eventuais problemas ao se
conduzir uma reunião de abertura:
a reunião começa com atraso;
pessoas-chave da auditoria não comparecem;
todas as pessoas da empresa comparecem;
você recebe um pedido para que não examine uma determinada área que
a companhia sabe que é problemática;
você recebe uma solicitação para que mude o escopo da auditoria;
você é informado que não é bem-vindo;
alguém tenta subornar você;
alguém sofre um ataque cardíaco durante a reunião;
o sistema da qualidade foi completamente reescrito;
a companhia enfrenta uma série de disputa funcional;
numerosas interrupções ocorrem;
a equipe gerencial está fazendo uma grande algazarra quando a equipe
de auditoria entra na sala;
a companhia quer transformar a auditoria de dois dias em um dia,
porque a fábrica estará fechada no dia seguinte;
os credores foram convocados;
a companhia faz objeção a um dos membros da equipe de auditoria,
50
Uma análise da lista acima reforça a importância da experiência do auditor ao
conduzir uma auditoria, principalmente nos momentos em que o andamento da
auditoria se desvia de sua normalidade.
Coleta e verificação de informações
Ao longo da realização de uma auditoria, os auditores buscam continuamente
evidências de conformidades com o critério de auditoria, por meio da coleta e
verificação das informações disponíveis.
Esta coleta de informações é uma atividade de amostragem, o que atribui um
elemento de ao processo de auditoria. Assim, uma amostragem apropriada está
diretamente relacionada com o nível de confiança das conclusões de auditoria.
Estas informações o coletadas por meio de entrevistas com a pessoas da
organização, de análises de documentos (incluindo registros) e, até mesmo, pela
observação da realização das atividades “in loco”.
Segundo a NBR ISO 19011 (2002), ao realizar as entrevistas, o auditor deve
considerar o seguinte.
a) convém que as entrevistas sejam realizadas com pessoas de
níveis e funções apropriadas e que executem atividades ou tarefas
dentro do escopo da auditoria;
b) convém que as entrevistas sejam conduzidas durante o horário
normal de trabalho e, onde possível, no local normal de trabalho da
pessoa sendo entrevistada;
c) convém que todo o possível seja feito para colocar a pessoa
sendo entrevistada à vontade, antes e durante a entrevista;
d) convém que as razões da entrevista e de qualquer anotação feita
sejam explicadas;
e) entrevistas podem ser iniciadas pedindo para as pessoas que
descrevam seu trabalho;
f) convém que perguntas que influenciam as respostas (isto é,
perguntas direcionadas) sejam evitadas;
g) convém que os resultados da entrevista sejam resumidos e
analisados criticamente com a pessoa entrevistada;
h) convém que se agradeça às pessoas entrevistadas pela sua
participação e cooperação.
51
Gerando constatações da auditoria
Ao avaliar as evidências coletadas na auditoria, em comparação ao critério
definido para a auditoria (exemplo: ISO 9001:2008), são geradas as constatações da
auditoria, que podem ser:
conformidade com o critério da auditoria,
não-conformidade com o critério da auditoria, ou ainda,
oportunidade de melhoria.
Segundo a NBR ISO 9000 (2005), não-conformidade significa “não
atendimento a um requisito”.
É importante que a equipe de auditoria se reúna, entre seus membros e com o
auditado, em fases apropriadas ao longo da auditoria para analisar criticamente as
constatações da auditoria, e identificar eventuais divergências quanto às evidências
e às constatações identificadas.
Conclusões da auditoria
As conclusões da auditoria são o resultado da auditoria.
Para se chegar às conclusões, a equipe analisa criticamente as constatações
da auditoria, ou seja, conformidades, não-conformidades e oportunidades de
melhoria, de modo a determinar se os objetivos da auditoria foram alcançados, ou
não. Portanto, as conclusões da auditoria dependem fundamentalmente dos
objetivos e das constatações da auditoria.
As conclusões da auditoria podem ser:
recomendação, ou não, para a certificação;
necessidade de realização de uma auditoria de acompanhamento, para
avaliar o tratamento dado às não-conformidades registradas na auditoria;
eficácia da implementação, manutenção e melhoria do SGQ;
eficácia de um processo em particular do SGQ.
É importante que a equipe de auditoria se reúna e cheguem a um acordo
quanto às conclusões da auditoria antes da realização da reunião de encerramento.
Comunicação durante a auditoria
52
Em função do escopo, complexidade e duração da auditoria, faz-se
necessário que se estabeleça formas de comunicação (periódica), ao longo da
auditoria, entre os auditores e entre a equipe de auditoria e o auditado, ou o cliente
da auditoria.
A comunicação entre os auditores tem o objetivo de “trocar informações,
avaliar o progresso da auditoria, e redistribuir o trabalho entre os membros da
equipe de auditoria conforme necessário” (NBR ISO 19011, 2002, p. 13).
A comunicação entre a equipe de auditoria e o auditado, ou o cliente, tem o
objetivo de informar sobre o andamento da auditoria, de modo a evitar surpresas na
reunião de encerramento, ou próximo dela. Estas informações podem incluir
potenciais não-conformidades, (principalmente quando as evidências sugerem um
risco significativo associado), problemas para se cumprir o plano de auditoria ou o
objetivo de auditoria. Enfim, é importante que toda e qualquer informação que
interfira significativamente no andamento e no sucesso da auditoria seja informado
ao auditado, de forma que sejam tomadas as ações apropriadas. Estas ações
podem incluir “a reconfirmação ou a modificação do plano de auditoria, mudanças
nos objetivos ou no escopo da auditoria, ou no encerramento da auditoria” (NBR ISO
19011, 2002, p. 13).
Funções e responsabilidades de guias e observadores
“Guias e observadores podem acompanhar a equipe de auditoria, mas não
são parte dela. Convém que eles não influenciem ou interfiram na realização da
auditoria” (NBR ISO 19011, 2002, p. 14).
Guias são pessoas designadas pelo auditado para acompanhar os auditores
ao longo da condução da auditoria no local, prestando ajuda à equipe de auditoria. É
conveniente que os guias tenham conhecimento dos produtos, processo, pessoas e
lay out da organização. Normalmente os guias são auditores internos, que
aproveitam a oportunidade como aprendizado.
As responsabilidades dos guias podem incluir (NBR ISO 19011, 2002, p.14):
a) estabelecer contatos e programas para entrevistas;
b) organizar visitas para partes específicas do local ou da
organização;
c) assegurar que regras relativas à segurança no local e
procedimentos de segurança sejam conhecidos e respeitados pelos
53
membros da equipe da auditoria;
d) testemunhar a auditoria em nome do auditado;
e) fornecer esclarecimento ou ajuda na coleta de informações.
Reunião de encerramento
A atividade final da auditoria conduzida nas dependências da organização é a
realização da reunião de encerramento.
Normalmente, esta reunião é formal e conta com a participação da equipe de
auditoria, da alta direção da organização, ou parte dela, e das pessoas envolvidas
com os processos que foram auditados, entre outros interessados. O líder da equipe
de auditoria é quem preside a reunião de encerramento.
Segundo a NBR ISO 19011 (2002), os objetivos da reunião de encerramento
são apresentar as constatações e as conclusões da auditoria de forma que sejam
compreendidas e reconhecidas pelo auditado, e negociar prazos para a
implementação das ações corretivas, quando necessário.
2.3.3.5 Elaboração do relatório de auditoria
Dentro do prazo acordado, o auditor-líder elabora, aprova e distribui o relatório
de auditoria, que deve fornecer informações completas, precisas, concisas e claras
da auditoria.
2.3.3.6 Conclusão da auditoria
A auditoria é concluída quando todas as atividades planejadas, no plano de
auditoria, forem realizadas e o relatório de auditoria for elaborado e distribuído.
2.4 A COMPETÊNCIA DO AUDITOR
As competências daqueles que conduzem a auditoria são de fundamental
importância para o sucesso de uma auditoria. Segundo Ishikawa (1985), “o auditor
pode possuir uma pilha de fórmulas e checklists, mas sem o conhecimento baseado
em experiência, ele não conduzirá bem a sua função”. Para O’Hanlon (2006), muitos
auditores se tornaram mecanicistas em sua abordagem. Eles decoraram os
requisitos das normas ISO e têm feito os mesmos tipos de perguntas aos mesmos
tipos de pessoas e obtido os mesmos tipos de respostas por mais tempo do que se
54
pode recordar.
A necessidade de mudança de paradigma na abordagem dos auditores ao
realizar as atividades de auditoria, saindo da tradicional abordagem de simples
conformidades com um determinado critério em busca de uma abordagem focada na
melhoria dos resultados do negócio, vem trazendo maiores dificuldades para
aqueles que conduzem a auditoria. Os desafios para se agregar valor estão cada
vez maiores. A versão 2000 da ISO 9001 também contribuiu bastante para isso ao
introduzir a abordagem de processo. O aumento na implementação de sistemas de
gestão integrados também é um fator contribuinte.
É, portanto, razoável acreditar que um auditor da qualidade deveria ser capaz
de responder questões sobre técnicas de gestão como Balanced Scorecards e Seis
Sigma. Alguns auditores de sistema de gestão da qualidade, mas não todos, estão
aptos para tanto (KAZILIÛNAS, 2008).
A NBR ISO 19011 (2002) fornece orientação sobre a competência de
auditores de sistemas de gestão da qualidade e ambiental. Esta competência está
baseada na demonstração de atributos pessoais, e capacidade para aplicar
conhecimento e habilidades adquiridos através de educação, experiência
profissional, treinamento em auditoria e experiência em auditoria. Segundo esta
norma, a competência necessária para um auditor de sistema de gestão da
qualidade está fundamentada em:
atributos pessoais;
conhecimento e habilidades genéricas;
conhecimento e habilidades específicas em qualidade;
educação;
experiência profissional;
treinamento em auditoria; e
experiência em auditoria;
De modo a permitir que os auditores atuem de acordo com os princípios de
auditoria, é preciso que ele possua os seguintes atributos pessoais (NBR ISO
19011, 2002, p. 18 e 19):
a) ético, isto é, justo, verdadeiro, sincero, honesto e discreto;
b) mente aberta, isto é, disposto a considerar idéias ou pontos de
vista alternativos;
55
c) diplomático, isto é, com tato para lidar com pessoas;
d) observador, isto é, ativamente atento à circunvizinhança e às
atividades físicas;
e) perceptivo, isto é, instintivamente atento e capaz de entender
situações;
f) versátil, isto é, se ajuste prontamente a diferentes situações;
g) tenaz, isto é, persistente, focado em alcançar objetivos;
h) decisivo, isto é, chegue a conclusões oportunas baseado em
razões lógicas e análise; e
i) autoconfiante, isto é, atue e funcione independentemente,
enquanto interage de forma eficaz com outros.
O quadro 3 apresenta níveis de educação, experiência profissional,
treinamento em auditoria e experiência em auditoria, considerados apropriados para
auditores de sistema de gestão da qualidade que conduzem auditorias de
certificação ou semelhantes.
56
Parâmetro Auditor Líder de equipe da auditoria
Educação Educação em nível médio (ver
nota 1)
O mesmo solicitado para
auditor
Experiência profissional
total
5 anos (ver nota 2) O mesmo solicitado para
auditor
Experiência profissional
nos campos de gestão da
qualidade ou ambiental
No mínimo 2 anos do total de
5 anos
O mesmo solicitado para
auditor
Treinamento em auditoria 40 h de treinamento em
auditoria
O mesmo solicitado para
auditor
Experiência em auditoria Quatro auditorias completas
em um total de no mínimo 20
dias de experiência em
auditoria como um auditor em
treinamento sob a orientação
de um auditor competente
como um líder de equipe de
auditoria (ver nota 3)
Convém que as auditorias
sejam completadas dentro dos
três últimos anos sucessivos
Três auditorias completas em
um total de no mínimo 15
dias de experiência em
auditoria atuando na função
de um líder de equipe de
auditoria sob a direção e
orientação de um auditor
competente como um líder de
equipe de auditoria (ver nota
3)
Convém que as auditorias
sejam completadas dentro
dos dois últimos anos
sucessivos
NOTA 1 Educação em nível médio é a parte do sistema educacional nacional que vem
posterior ao ensino fundamental e é concluída antes do ingresso em universidade ou
instituição educacional semelhante.
NOTA 2 – O número de anos de experiência profissional pode ser reduzido em um ano se a
pessoa tiver completado a educação pós-secundária apropriada.
NOTA 3 - Uma auditoria completa é uma auditora que cobre todos os passos descritos em
6.3 a 6.6. Convém que a experiência global em auditoria inclua toda a norma de sistema de
gestão.
Quadro 3: Exemplo de níveis de competência para auditores da qualidade que conduzem
auditorias de certificação ou semelhantes
Fonte: Adaptado de NBR ISO 19011 (2002)
2.4.1 A COMPETÊNCIA DO AUDITOR DE SGQ DO SETOR AEROESPACIAL
Para atuar em auditorias de certificação, um auditor de SGQ no setor
aeroespacial, além de atender aos requisitos determinados pela NBR ISO 19011
(2002), deve atender a uma série de outros requisitos estabelecidos pelo INMETRO,
por meio de suas normas internas, para que possua o reconhecimento de sua
qualificação pelo IAQG.
A competência de auditores de SGQ do setor aeroespacial é alcançada por
meio de uma combinação de treinamento em auditoria, treinamento específico na
57
indústria, experiência de trabalho aeroespacial e experiência em auditorias
(INMETRO, 2010c).
Os auditores de SGQ do setor aeroespacial que atuam em auditorias de
certificação são divididos em dois grupos, conforme a sua qualificação:
Auditores NBR 15100 com experiência aeroespacial, chamado de AEA
(Aerospace Experienced Auditor), e
Auditores NBR 15100.
O primeiro grupo, auditores AEA, é composto por auditores com competência
para atuar como líderes de equipe de auditoria, ou auditor-líder, do setor
aeroespacial, enquanto o segundo grupo, auditores NBR 15100, é composto por
auditores do setor aeroespacial, mas que ainda não possuem as competências
necessárias para atuar como líderes de equipe de auditoria.
O quadro 4 apresenta o conjunto de requisitos específicos para o auditor NBR
15100, segundo a (INMETRO, 2010c).
Parâmetro Auditor NBR 15100
Experiência em
auditorias
O auditor NBR 15100 deve ter participado em, pelo menos, 4 (quatro)
auditorias completas, por um mínimo de 20 (vinte) dias, cobrindo todos
os elementos da NBR ISO 9001 ou NBR 15100 (equivalente à AS 9100)
no espaço dos últimos 3 (três) anos. Os auditores devem ter a habilidade
de cobrir todos os elementos da NBR ISO 9001, como determinado pelo
gestor de programas de auditorias do organismo candidato à acreditação
ou equivalente. Somente podem ser consideradas as auditorias de
segunda e terceira parte.
Treinamento O auditor deve ser treinado em um curso padrão aprovado de formação
de auditores líderes de SGQ NBR 15100. Como alternativa, o auditor
deve atender com sucesso a um curso aprovado de requisitos da norma
NBR 15100. O participante somente pode assistir a esse curso de
requisitos se tiver concluído com sucesso um curso de auditor der de
SGQ (NBR ISO 9001).
Este treinamento pode ser executado pelo organismo de certificação ou
ser obtido independentemente. Quanto ao organismo de certificação, o
programa de treinamento é analisado criticamente e aprovado pela
Cgcre/Inmetro, como parte do processo de acreditação. O programa de
treinamento na NBR 15100 do organismo de certificação tamm deve
estar em conformidade com as diretrizes da NIT-DICOR-061.
Os cursos de treinamento necessários para a certificação de auditores
devem ser aprovados pelo RMC (Registration Management Committee).
Nota: os organismos de acreditação não são responsáveis pela aprovação dos cursos de
treinamento.
Quadro 4: Requisitos específicos para o auditor NBR 15100
Fonte: INMETRO (2010c)
58
Já, para a qualificação como auditor com experiência no setor aeroespacial
(AEA), além dos requisitos estabelecidos anteriormente para o auditor NBR 15100, é
necessário que o auditor atenda a um conjunto complexo de requisitos, que podem
ser sintetizados conforme segue (INMETRO, 2010c):
Experiência profissional mínima de 4 (quatro) anos, em tempo integral, no setor
aeroespacial, nos 10 (dez) últimos anos,
ou
Se um auditor possuir uma certificação vigente de um organismo de certificação
de auditores NBR 15100 acreditado pela Cgcre/Inmetro e aceito pelo IAQG, para
os três primeiros anos, os requisitos para auditor AEA devem ser satisfeitos com
a adição do treinamento requerido nas normas NBR 15100/ AS 9100/ AS 9101.
ou
Os auditores NBR 15100 com, pelo menos, 2 (dois) anos de experiência
profissional no setor aeroespacial
devem realizar um curso específico para o
setor aeroespacial em relação à NBR 15100 e serem aprovados.
e
Pelo menos, 2 (duas) auditorias completas na NBR 15100/AS 9100 no setor
aeroespacial testemunhadas por um auditor AEA ou pelo INMETRO, onde o
auditor candidato deve receber recomendação positiva e documentada para sua
qualificação em ambas as auditorias.
Segundo o INMETRO (2010c), para se manter a qualificação, os auditores
aeroespaciais, tanto NBR 15100 quanto AEA, devem participar em, no mínimo, 4
(quatro) auditorias de sistemas de gestão da qualidade NBR 15100 nos últimos 3
(três) anos, além de participar em cursos de reciclagem que incluam análise crítica
das alterações das normas do setor aeroespacial, todos de auditoria e requisitos
59
da ISO 9001 com carga horária de, no mínimo, 15 (quinze) horas em cada período
de 3 (três) anos.
60
3 PROCEDIMENTO METODOLÓGICO
Neste capítulo são apresentadas as informações sobre o procedimento
metodológico utilizado nesta pesquisa. Inicialmente, é realizada uma descrição das
etapas da pesquisa e da classificação do método empregado para se atingir os
objetivos do trabalho. Em seguida, é apresentada a forma como o instrumento de
pesquisa questionário fechado – foi elaborado e aplicado aos auditores de sistema
de gestão da qualidade do setor aeroespacial brasileiro para a coleta de dados,
finalizando com a apresentação da amostra utilizada na pesquisa.
3.1 DESCRIÇÃO DAS ETAPAS DA PESQUISA
Esta seção apresenta uma descrição geral das etapas da pesquisa utilizadas
para a obtenção dos objetivos propostos, sendo que os detalhamentos destas
etapas serão realizados nas seções seguintes.
As diversas etapas do desenvolvimento desta pesquisa podem ser
visualizadas na Figura 11.
Figura 11: Etapas da pesquisa
Pesquisa Bibliográfica
Determinação dos Fatores
Construção do Instrumento de Pesquisa
Aplica
ção do Instrumento de Pesquisa
Tabulação e Análise de Dados
Conclusões
Pesquisa Exploratória
61
Primeiramente foi realizada uma pesquisa bibliográfica para ampliação da
base conceitual sobre o tema e o problema da pesquisa, sendo dada ênfase na
identificação dos fatores que afetam o processo de auditoria de SGQ no setor
aeroespacial.
A pesquisa bibliográfica foi, também, significativamente importante para
fornecer elementos necessários para a classificação do método utilizado nesta
pesquisa, o qual está detalhado na Seção 3.2.
Concomitantemente ao levantamento teórico dos fatores, optou-se pela
realização de uma pesquisa exploratória com os auditores do setor aeroespacial, por
meio da aplicação de um questionário aberto. O objetivo desta pesquisa exploratória
é confrontar os fatores levantados na pesquisa teórica com aqueles apontados pelos
auditores. Assim, evita-se considerar somente o resultado bibliográfico, fazendo com
que a determinação dos fatores que afetam o processo de auditoria de SGQ no
setor aeroespacial seja mais consistente. A determinação dos fatores que afetam o
processo de auditoria é detalhada na Seção 3.3.
Com a determinação dos fatores, foi possível a construção do questionário
fechado, instrumento da pesquisa. A Seção 3.4 detalha a elaboração deste
questionário.
A Seção 3.5 aborda a amostra utilizada na aplicação do questionário fechado.
A tabulação e análise dos dados, bem como as conclusões da pesquisa serão
abordadas nos capítulos seguintes.
3.2 CARACTERIZAÇÃO DO MÉTODO UTILIZADO
Segundo Silva e Menezes (2005), existem várias formas de se classificar as
pesquisas, no entanto os tipos de pesquisas utilizados nas diversas classificações
não são estanques, e uma mesma pesquisa pode estar enquadrada em várias
classificações ao mesmo tempo, desde que atenda aos requisitos de cada tipo.
A classificação adotada para esta pesquisa é orientada por Silva e Menezes
(2005) e por Gil (1991), e leva em consideração a natureza da pesquisa, a forma de
abordagem do problema, os objetivos da pesquisa, e os procedimentos técnicos
adotados.
A figura 12 apresenta a classificação sintetizada dessa pesquisa.
62
Natureza
Pesquisa
Básica
Pesquisa
Aplicada
Abordagem
Pesquisa
Quantitativa
Pesquisa
Qualitativa
Objetivo
Pesquisa
Exploratória
Pesquisa
Descritiva
Pesquisa
Explicativa
Pesquisa
Bibliográfica
Pesquisa
Documental
Pesquisa
Experimental
Levantamento
Procedimentos
técnicos
Estudo de
Caso
Pesquisa
Expost-Facto
Pesquisa-Ação
Pesquisa
Participante
Figura 12: Classificação da Pesquisa
Fonte: Adaptado de Silva e Menezes (2005)
Do ponto de vista da natureza, esta pesquisa é classificada como aplicada,
pois tem o objetivo de gerar conhecimentos para aplicação prática e direcionados
para a solução de um problema específico (SILVA; MENEZES, 2005).
Segundo Silva e Menezes (2005), a pesquisa quantitativa significa traduzir em
números opiniões e informações para classificá-las e analisá-las, e requer o uso de
recursos e de cnicas estatísticas (percentagem, média, etc.). a pesquisa
qualitativa, segundo estes mesmos autores, considera que existe um vínculo
indissociável entre o mundo objetivo e a subjetividade do sujeito que não se pode
traduzir em números, e que os pesquisadores tendem a analisar os dados
indutivamente. Assim, considerando a forma de abordagem do problema, esta
pesquisa é classificada, em primeiro lugar, como qualitativa, pois num primeiro
momento são identificados os fatores que afetam o processo de auditoria, e estes
fatores são classificados segundo uma escala de importância e aplicação, não se
quantificando. Ela traz os aspectos quantitativos no momento em que se determina o
gap entre a importância destes fatores e sua aplicação na prática.
Considerando o objetivo, esta pesquisa é classificada como exploratória, pois
busca aprimorar os conhecimentos existentes sobre o processo de auditoria.
Segundo Gil (1991), este tipo de pesquisa tem como objetivo proporcionar maior
familiaridade com o problema, visando torná-lo mais explícito ou construir hipóteses.
Uma vez que esta pesquisa foi “desenvolvida a partir de material elaborado,
constituído principalmente de livros e artigos científicos”, e também de material
63
disponibilizado na internet (GIL, 1991, p. 48), ela é classificada como pesquisa
bibliográfica do ponto de vista dos procedimentos técnicos.
Ainda sob o ponto de vista dos procedimentos técnicos, esta pesquisa
também é classificada como levantamento, pois é caracterizada “pela interrogação
direta das pessoas cujo comportamento se deseja conhecer” (GIL, 1991, p.56), onde
solicita-se informações à uma quantidade significativa de pessoas sobre o problema
em estudo, para mediante pesquisas quantitativas, obter-se as conclusões
pertinentes.
3.3 DETERMINAÇÃO DOS FATORES QUE AFETAM A AUDITORIA
A determinação dos fatores que afetam o processo de auditoria de SGQ no
setor aeroespacial é a etapa fundamental, e um pré-requisito, para a construção do
questionário fechado, instrumento desta pesquisa. Para se chegar a determinação
desses fatores utilizou-se tanto a pesquisa bibliográfica, quanto à realização de uma
pesquisa exploratória, por meio da aplicação de um questionário aberto aos
auditores da qualidade do setor aeroespacial, conforme é ilustrado na Figura 13.
Figura 13: Método para determinação dos fatores que afetam a auditoria de SGQ
O questionário aberto solicitou a seguinte informação aos auditores:
“Identifique quais fatores, em sua opinião, mais contribuem para o sucesso de uma
auditoria de sistema de gestão da qualidade. Classifique estes fatores (do mais
importante para o menos importante) e faça comentários que justifiquem sua
resposta”.
O questionário foi enviado por correio eletrônico (e-mail) para uma amostra
constituída por seis auditores de SGQ, em atividade, do setor aeroespacial,
Pesquisa Bibliográfica
Determinação dos Fatores
Pesquisa Exploratória
+
64
reconhecidos pelo IAQG (International Aerospace Quality Group), e, portanto, com
as competências necessárias para a realização da função. Todos os auditores
responderam ao questionário. A Tabela 1 identifica o perfil dos auditores envolvidos
nesta pesquisa exploratória.
Tabela 1 – Perfil da amostra de auditores
Auditor 1 2 3 4 5 6
Experiência profissional
6 anos 12 anos 32 anos 26 anos 10 anos 17 anos
Experiência em auditorias
6 anos 3,5 anos 20 anos 22 anos 3,5 anos 3 anos
Qualificação do auditor
AEA
NBR 15100
AEA AEA
NBR 15100 NBR 15100
Três dos seis auditores são qualificados como AEA e outros três, como
auditores NBR 15100. Considerando que existem 12 auditores AEA e 14 auditores
NBR 15100 no Brasil, a amostra desta pesquisa exploratória é de 23,1% dos
auditores, sendo 25,0% para os auditores AEA, e 21,4% para os auditores NBR
15100. A experiência profissional destes auditores varia entre 6 e 32 anos, e a
experiência em realização de auditorias varia entre 3 e 22 anos.
Assim, com a realização da pesquisa exploratória com os auditores
juntamente com a realização da pesquisa bibliográfica, chegou-se a identificação de
22 fatores que afetam o processo de auditoria.
A seguir, todos estes fatores são apresentados com a sua respectiva
descrição:
Fator 1 - Seleção da equipe de auditoria: para a seleção da equipe de auditoria
deve-se levar em consideração a competência (global da equipe) necessária para se
alcançar os objetivos da auditoria, inclusive a necessidade da inclusão de
especialista, quando necessário.
Fator 2 - Análise prévia do SGQ da organização: análise crítica da documentação
relacionada com o SGQ da organização, antes do início das atividades de auditoria,
para se adquirir uma adequada visão geral. Deve-se levar em consideração o
tamanho, a natureza e a complexidade da organização.
Fator 3 – Confecção do plano de auditoria: o plano de auditoria inclui informações
como: objetivo, critério e escopo da auditoria, assim como data, local, duração e
seqüência das atividades de auditoria no local.
Fator 4 Relação auditor-dia: É o tempo utilizado na auditoria, calculado como o
produto entre o número de auditores envolvidos na realização da auditoria e o
65
número de dias utilizados na auditoria: de auditores X de dias. Depende da
complexidade do SGQ e da criticidade dos itens sob análise, etc.
Fator 5 Comunicação durante a auditoria: capacidade de se comunicar com
eficácia por meio de habilidades lingüísticas e escritas, ao realizar a auditoria, com
os diversos níveis hierárquicos da organização auditada.
Fator 6 Amostragem: amostragem das informações disponíveis utilizada para
coleta de evidências ao realizar a auditoria. Atentar ao elemento de incerteza ao se
auditar. O uso apropriado de amostragem está intimamente relacionado com a
confiança que pode ser colocada nas conclusões da auditoria.
Fator 7 Abordagem de coleta de evidências: abordagem utilizada para coletar
evidências durante a auditoria, tais como entrevistas, observações e análise crítica
de documentos.
Fator 8 Uso do check list: utilização de formulário que relaciona as questões a
serem verificadas na realização da auditoria. Seu uso é obrigatório nas auditorias de
terceira parte no setor aeroespacial.
Fator 9 – Abordagem de processo: abordagem utilizada para a realização da
auditoria, onde o foco são os processos (identificação, interação e sua gestão para
produzir o resultado planejado) da organização e não os requisitos da norma (como
ISO 9001 ou NBR 15100).
Fator 10 Apresentação das constatações e conclusões da auditoria:
capacidade do líder da equipe de auditoria de apresentar as constatações e
conclusões da auditoria de tal maneira que elas sejam compreendidas e
reconhecidas pelo auditado. Preparar, completar e apresentar o relatório de
auditoria. E avaliar os fatores que possam afetar a confiabilidade das constatações e
conclusões da auditoria.
Fator 11 Acompanhamento das ações corretivas: forma de acompanhamento
de ações (ações corretivas) necessárias para o tratamento das eventuais não-
conformidades registradas na auditoria, onde devem ser verificadas a completeza e
a eficácia da ação corretiva.
Fator 12 Gerenciamento de conflitos: capacidade de prevenir e solucionar
conflitos tanto dentro da equipe de auditoria, quanto entre a equipe e o auditado.
Fator 13 Avaliação do processo de auditoria por parte do auditado:
sistemática utilizada para obter as informações relativas à percepção do auditado
sobre o processo de auditoria.
66
Fator 14 Avaliação do processo de auditoria por parte do Organismo de
Acreditação: sistemática de avaliação do processo de auditoria realizada pelo
Organismo de Acreditação.
Fator 15 Melhoria do processo de auditoria: conjunto de ações e decisões para
a melhoria contínua do processo de auditoria.
Fator 16 Conhecimento dos requisitos da norma NBR 15100:2004:
conhecimento do conjunto de requisitos da norma NBR 15100:2004, principal critério
de auditoria do setor aeroespacial, usado como uma referência contra a qual a
evidência da auditoria é comparada.
Fator 17 Conhecimento dos princípios, procedimentos e técnicas de
auditoria: conhecimento do conjunto de diretrizes e requisitos para a realização de
auditorias, provenientes da NBR ISO 19011 e dos Organismos de Certificação e de
Acreditação.
Fator 18 Conhecimento das características específicas do setor:
conhecimento dos processos, produtos, requisitos e práticas específicos do setor
aeroespacial.
Fator 19 Conhecimento das técnicas relacionadas com qualidade:
conhecimento de terminologia, princípios e ferramentas da qualidade, como FMEA,
LEAN MANUFACTURINING, 5S, SEIS SIGMA, Método de solução de problemas,
entre outros.
Fator 20 Atributos pessoais do auditor: ética, diplomacia, capacidade de
observação, capacidade de percepção, versatilidade, tenacidade, e autoconfiança.
Fator 21 Comprometimento da alta direção: comprometimento das pessoas do
mais alto nível hierárquico da empresa auditada com a implementação e a
manutenção do sistema de gestão da qualidade.
Fator 22 Proatividade do auditado: Postura proativa do auditado diante das
atividades da auditoria.
Estes fatores podem ser agrupados da seguinte forma:
Atividades de auditoria
o Planejamento da auditoria (Fator 1 ao Fator 4)
o Realização da auditoria (Fator 5 ao Fator 12)
o Verificação da auditoria (Fator 13 e Fator 14)
o Melhoria da auditoria (Fator 15)
67
Competência do auditor
o Conhecimento (Fator 16 ao Fator 19)
o Atributos pessoais (Fator 20)
Características do auditado
o Comprometimento da alta direção (Fator 21)
o Proatividade do auditado (Fator 22)
Assim, com a determinação destes fatores tem-se a base do instrumento
desta pesquisa.
Estes fatores são identificados como fatores que influenciam, de forma
significativa, a auditoria de SGQ no setor aeroespacial, e, portanto, espera-se que
tais fatores possuam uma importância relativamente alta. A validação destes fatores
como influentes no processo de auditoria será realizada com a aplicação do
questionário fechado, onde serão coletados dados sobre a percepção dos auditores
quanto à importância destes fatores.
3.4 A CONSTRUÇÃO DO QUESTIONÁRIO FECHADO
Após a conclusão da etapa de determinação dos fatores que afetam o
processo de auditoria de SGQ no setor aeroespacial, apresentada na seção anterior,
torna-se possível a construção do questionário fechado, instrumento desta pesquisa,
a ser respondido por uma amostra de auditores de SGQ do setor aeroespacial, de
modo a obter a percepção destes auditores quanto aos fatores que afetam o
processo de auditoria de SGQ do setor.
Para Yarenko et al. (1986, p. 186 apud GUNTHER, 2003, p. 1), “um
questionário é um conjunto de perguntas sobre um determinado tópico que não testa
a habilidade do respondente, mas mede sua opinião, seus interesses, aspectos de
personalidade e informação biográfica”.
As atividades para a elaboração do questionário fechado o ilustradas na
Figura 14.
A primeira atividade foi o desenvolvimento do modelo inicial do questionário,
levando-se em consideração que “a elaboração de um questionário consiste
basicamente em traduzir os objetivos específicos da pesquisa em itens bem
redigidos” (GIL, 1991, p. 91). O desenvolvimento deste modelo inicial foi influenciado
68
pelos questionários utilizados por Terziovski et al. (2003), em estudo realizado na
Austrália sobre os efeitos da certificação ISO 9000 no desempenho dos negócios.
Figura 14: Atividades para a elaboração do questionário fechado
Assim que o modelo inicial do questionário foi desenvolvido, um pré-teste foi
realizado com dois auditores NBR 15100 para uma avaliação quanto à adequação,
clareza e compreensão deste questionário.
O pré-teste é uma etapa importante para a validação do instrumento e para
prevenção de graves problemas na aplicação do questionário, conforme Gil (1991),
Forza (2002) e Hill e Hill (1998).
Considerando as colocações realizadas pelos dois auditores NBR 15100 na
aplicação do pré-teste, o modelo inicial foi revisado e o questionário foi concluído.
O modelo do questionário, já concluído, aplicado aos auditores encontra-se no
Apêndice A. Ele abrange os 22 fatores identificados, sendo que para cada fator são
realizadas duas perguntas, totalizando 44 questões. A primeira pergunta, para um
dado fator, tem o objetivo de obter a percepção do auditor quanto à importância do
fator para o sucesso de uma auditoria, e a segunda busca obter a percepção do
auditor a respeito de como o fator está sendo aplicado, na prática, ao se conduzir o
processo de auditoria de SGQ no setor aeroespacial.
A estrutura pode ser verificada abaixo:
Determinação dos Fatores
Desenvolvimento do Modelo Inicial
do Questionário Fechado
Conclusão do Questionário Fechado
Realização do Pré-teste
Revisão do Modelo Inicial
do Qu
estionário Fechado
69
Nome do auditor
Introdução
Seção 1 – Atividade de auditoria
Seção 2 – Competência do auditor
Seção 3 – Características do auditado
Seção 4 – Dados do auditor
O questionário inicia-se com a identificação do respondente, onde é solicitado
apenas o nome do auditor, deixando seus dados gerais para o final do questionário.
Em seguida tem-se a introdução, que busca estimular a cooperação do respondente
por meio da exposição do objetivo da pesquisa e da entidade que a está
promovendo, além de instruções claras e objetivas de como o questionário está
estruturado e como as perguntas devem ser respondidas. Na introdução, também é
comentado sobre o caráter confidencial da pesquisa, e a manutenção do anonimato
do respondente. Em seguida o questionário é dividido em quatro seções: Seção 1-
Atividades de auditoria ( PDCA - planejamento, realização, verificação e melhoria da
auditoria); Seção 2 Competência do auditor (conhecimentos e atributos pessoais);
Seção 3 Características do auditado (comprometimento da alta direção e
proatividade do auditado); e, por último, Seção 4 Dados do auditor, onde são
solicitadas informações sobre a qualificação e experiência do auditor.
3.5 POPULAÇÃO E AMOSTRA DA PESQUISA
Os auditores de SGQ do setor aeroespacial que atuam no Brasil são, portanto,
a população desta pesquisa, e são divididos em dois grupos, conforme a
qualificação:
Auditores NBR 15100 com experiência aeroespacial, chamado de AEA, e
Auditores NBR 15100.
Os auditores AEA o registrados no banco de dados do IAQG, disponível na
internet, e correspondem, no total, a 12 auditores que atuam no Brasil
(INTERNATIONAL AEROSPACE QUALITY GROUP, 2009). Os auditores NBR
15100, no entanto, não são registrados neste mesmo banco de dados, sendo
necessária a realização de uma pesquisa junto aos organismos de certificação
70
acreditados em sistema de gestão da qualidade NBR 15100 – OCE. No Brasil
existem quatro OCE e o levantamento junto a estes organismos identificou a
existência de 14 auditores NBR 15100. Sendo assim, a população desta pesquisa é
composta por 26 auditores de SGQ do setor aeroespacial no Brasil, onde 46,1%
deles são auditores AEA e 53,9% são auditores NBR15100. A Tabela 2 apresenta a
quantidade de auditores de SGQ do setor aeroespacial no Brasil.
Tabela 2 – Quantidade de auditores de SGQ do setor aeroespacial no Brasil
Qualificação do auditor Quantidade Porcentagem
Auditor NBR 15100 com experiência, ou AEA 12 46,1%
Auditor NBR 15100 14 53,9%
Total de auditores 26 100,0%
A pesquisa obteve 13 questionários respondidos (7 auditores AEA e 6
auditores NBR 15100). Portanto, considerando-se a quantidade de questionários
respondidos em relação à quantidade total de auditores, tem-se que a amostra desta
pesquisa foi de 50,0%. A Tabela 3 apresenta os cálculos para a determinação da
amostra da pesquisa, incluindo a amostra por tipo de auditor (AEA e NBR 15100).
Tabela 3 – Amostra utilizada na pesquisa
Auditor AEA Auditor NBR 15100 Total
Quantidade de auditores
12 14
26
Questionários respondidos
7 6
13
Amostra
58,3 % 42,9 %
50,0 %
O fato desta pesquisa coletar informações com os auditores de SGQ do setor
aeroespacial pode ser considerado um ponto positivo, pois estes auditores estão
diretamente envolvidos com o processo de auditoria e realizam este trabalho
diversas vezes ao longo do ano, enquanto que as pessoas das organizações
auditadas participam de auditorias de certificação de SGQ numa escala bem menor.
71
4 ANÁLISE DOS DADOS
Este capítulo apresenta o resultado da pesquisa de campo realizada com a
coleta de dados por meio da aplicação do questionário fechado aos auditores de
sistema de gestão da qualidade, SGQ, do setor aeroespacial.
Conforme apresentado na seção 3.4, que apresenta a construção do
questionário fechado, para cada fator que afeta o processo de auditoria de SGQ no
setor aeroespacial foram elaboradas duas questões. Estas questões buscam avaliar
a percepção dos auditores entrevistados quanto ao nível de importância e quanto ao
nível de aplicação, respectivamente, de cada fator.
Assim, o processo de análise dos dados envolve, seqüencialmente, as
atividades de codificação das respostas, tabulação dos dados e cálculo das médias
dos valores atribuídos às respostas dos auditores. A partir daí, a análise é dividida
em três partes:
Análise do nível de importância dos fatores,
Análise do nível de aplicação dos fatores, e
Análise das discrepâncias (gap) entre os níveis de importância e de
aplicação.
A codificação das respostas consiste em atribuir valores numéricos às
respostas dos auditores. Para cada questão utilizou-se a escala de Likert de cinco
categorias para que os auditores avaliassem o grau de importância e o grau de
aplicação de cada fator. A escala varia de forma decrescente conforme o quadro 5,
onde, para o nível de importância, utilizou-se uma escala que varia desde sem
importância (1) até extremamente importante (5). Já, para o nível de aplicação de
cada fator, a variação vai de nada eficaz (1) até extremamente eficaz (5), ou de
nenhuma atenção (1) até muitíssima atenção, ou ainda de muito baixo (1) até muito
alto (5), dependendo da maneira como a questão foi elaborada.
Valor
Nível de Importância Nível de Aplicação
5
Extremamente importante
Extremamente eficaz
Muitíssima atenção
Muito alto
4
Muito importante Muito eficaz Muita atenção Alto
3
Importante Eficaz Atenção Médio
2
Pouco importante Pouco eficaz Pouca atenção Baixo
1
Sem importância Nada eficaz Nenhuma atenção Muito baixo
Quadro 5: Escala de Likert utilizada na pesquisa
72
Com a codificação das respostas dadas pelos auditores, foi possível a
tabulação dos dados, a qual é apresentada no Apêndice B, e que é utilizada, na
etapa seguinte, para calcular a média dos valores para cada resposta.
Desta forma, é possível, para cada fator, calcular o valor médio do nível de
importância e o valor médio do nível de aplicação do fator, assim como também é
possível calcular a discrepância existente entre estes valores médios, ou seja, o gap
existente entre a importância do fator e como este fator está sendo aplicado na
prática, segundo a percepção dos auditores que participaram da entrevista. Os
resultados destes cálculos estão apresentados na tabela 4.
73
Tabela 4 – Valores médios encontrados para cada fator
Fatores
Nível de
Importância
Nível de
Aplicação
GAP
Fator 1 Seleção da equipe de auditoria 4,69 2,69 2,00
Fator 2 Análise prévia do SGQ da organização 4,08 2,38 1,69
Fator 3 Confecção do plano de auditoria 4,15 2,69 1,46
Fator 4 Relação auditor-dia 3,46 3,77 -0,31
Fator 5 Comunicação durante a auditoria 4,77 3,08 1,69
Fator 6 Amostragem 4,15 3,23 0,92
Fator 7 Abordagem de coleta de evidências 4,46 3,31 1,15
Fator 8 Uso de check list 3,15 2,85 0,31
Fator 9 Abordagem de processo 4,31 2,85 1,46
Fator 10
Apresentação das constatações e conclusões
da auditoria
4,23 3,38 0,85
Fator 11
Acompanhamento das ações corretivas 4,38 2,92 1,46
Fator 12
Gerenciamento de conflitos 4,62 3,08 1,54
Fator 13
Avaliação do processo de auditoria por parte
do auditado
3,85 2,69 1,15
Fator 14
Avaliação do processo de auditoria por parte
do Organismo de Acreditação
4,00 2,38 1,62
Fator 15
Melhoria do processo de auditoria 4,62 2,77 1,85
Fator 16
Conhecimento dos requisitos da norma NBR
15100:2004
4,92 3,85 1,08
Fator 17
Conhecimento dos princípios, procedimentos
e técnicas de auditoria
4,46 3,31 1,15
Fator 18
Conhecimento das características específicas
do setor
4,54 3,62 0,92
Fator 19
Conhecimento das técnicas relacionadas com
qualidade
3,85 3,00 0,85
Fator 20
Atributos pessoais do auditor 4,46 3,62 0,85
Fator 21
Comprometimento da alta direção 4,77 2,85 1,92
Fator 22
Proatividade do auditado 4,00 3,00 1,00
As informações da tabela 4 (valores médios para o nível de importância e para
o nível de aplicação dos fatores, assim como o gap existente entre eles) são
analisadas em detalhes nas etapas subseqüentes.
74
4.1 ANÁLISE DO NÍVEL DE IMPORTÂNCIA DOS FATORES
Esta seção analisa as médias dos valores encontrados como respostas para
as questões relacionadas com o nível de importância de cada fator, e identifica os
fatores que se destacam como mais importantes para o sucesso da auditoria, ou
seja, identifica os fatores críticos de sucesso, FCS, para uma auditoria de SGQ no
setor aeroespacial.
A análise dos valores (médios) encontrados para o nível de importância dos
fatores mostra uma variação entre 3,15 (menor valor médio encontrado) e 4,92
(maior valor dio encontrado), dentro da escala de 1 a 5. A figura 15 mostra esta
variação, considerando a escala de Likert de cinco pontos utilizada nesta pesquisa.
Figura 15: Variação dos valores médios encontrados para o nível de importância
Isto significa que todos os fatores analisados estão entre “importante” ou
“extremamente importante”, ou, de outra forma, que nenhum fator foi classificado
como “Nenhuma importância” ou “Pouco importante”.
Este resultado é positivo, visto que os fatores identificados nas etapas
preliminares desta pesquisa são justamente fatores que “deveriam” afetar, com
maior ou menor intensidade, o processo de auditoria. Por isso, não se esperava a
classificação de algum destes fatores como sem importância ou com pouca
importância. Assim, os resultados encontrados o úteis para validar o processo de
determinação dos fatores que afetam a auditoria de SGQ, etapa esta realizada na
(Nenhuma importância)
1
(Pouco importante)
2
(Importante)
3
(Muito importante)
4
(Extremamente importante)
5
3,1
5
4,92
Variação dos valores médios
encontrados para o nível de
importância dos fatores.
75
fase preliminar de elaboração do questionário fechado, instrumento desta pesquisa
(Seção 3.3).
Dentre os fatores que afetam o processo de auditoria de SGQ no setor
aeroespacial identificados nesta pesquisa (22 fatores no total), alguns deles foram
destacados como mais importantes pelos auditores. Estes fatores o identificados
como fatores críticos de sucesso, ou FCS, para a auditoria.
Para se identificar quais são estes fatores mais importantes utilizou-se o
conceito do Princípio de Pareto, que, segundo Juran (2004, pg 464), “é o fenômeno
pelo qual em qualquer população que contribui para um efeito comum, um número
relativamente pequeno de contribuintes responde pelo grosso do efeito”.
Em 1897, Vilfredo Pareto apresentou um estudo sobre distribuição de renda,
onde mostrou que a maior parte da riqueza pertencia a um pequeno grupo de
pessoas. Mais recentemente Juran adaptou os conceitos de Pareto e chegou a
conclusão de que as melhorias mais significativas podem ser obtidas se nos
concentrarmos nos “poucos problemas vitais” e, depois, nas “poucas causas vitais”
desses problemas (ROTONDARO, 2006). Segundo Meirelles (2001), o princípio de
Pareto foi utilizado, então, para criar o método de Análise de Pareto, por meio do
qual “é possível demonstrar que a maioria dos problemas decorre de um número
muito pequeno de causas vitais. É a chamada regra 80-20: 80% dos problemas são
causados apenas por 20% de causas”.
Sendo assim, o conceito do Princípio de Pareto se mostra adequado para a
análise dos principais fatores que afetam o processo de auditoria, os FCS. Como
foram identificados 22 fatores no total, tem-se que 20% destes fatores correspondem
a um número de 5 fatores (4,4 arredondado para cima).
Tanto a figura 16 quanto a tabela 5 apresentam os fatores organizados em
ordem decrescente quanto ao nível de importância segundo a perspectiva dos
auditores, sendo que a figura facilita a visualização enquanto a tabela auxilia na
identificação dos fatores.
Conforme a figura 16 ou a tabela 5, é possível identificar os fatores mais
importantes, na perspectiva dos auditores que participaram da pesquisa. Estes
fatores são denominados fatores críticos de sucesso (FCS) da auditoria. Note que,
como houve um empate entre o Fator 12 e o Fator 15 na quinta posição, foram,
portanto, destacados 6 fatores críticos para o sucesso da auditoria (considerando o
conceito do Princípio de Pareto), que serão discutidos a seguir.
76
Nível de importância dos fatores
4,77 4,77
4,69
4,62 4,62
4,46 4,46 4,46
4,38
4,31
4,23
4,15 4,15
4,08
4,00 4,00
3,85 3,85
3,46
3,15
4,92
4,54
3
4
5
Fator 16
Fat
o
r
5
F
a
to
r
2
1
Fat
or
1
Fat
o
r
1
2
Fator 15
Fat
o
r
1
8
Fator 7
Fat
o
r
1
7
Fat
o
r
2
0
Fato
r
1
1
Fat
o
r
9
F
a
to
r
1
0
Fat
or
3
Fator 6
Fator 2
Fat
o
r
1
4
F
a
to
r
2
2
Fat
o
r
1
3
Fat
o
r
1
9
Fator 4
Fat
o
r
8
Figura 16: Valores médios para o nível de importância dos fatores
Tabela 5 – Valores médios para o nível de importância dos fatores
Fatores
Nível de
Importância
Fator 16 Conhecimento dos requisitos da norma NBR 15100:2004
4,92
Fator 5 Comunicação durante a auditoria
4,77
Fator 21 Comprometimento da alta direção
4,77
Fator 1 Seleção da equipe de auditoria
4,69
Fator 12 Gerenciamento de conflitos
4,62
Fator 15 Melhoria do processo de auditoria
4,62
Fator 18 Conhecimento das características específicas do setor
4,54
Fator 7 Abordagem de coleta de evidências
4,46
Fator 17
Conhecimento dos princípios, procedimentos e técnicas de
auditoria
4,46
10º
Fator 20 Atributos pessoais do auditor
4,46
11º
Fator 11 Acompanhamento das ações corretivas
4,38
12º
Fator 9 Abordagem de processo
4,31
13º
Fator 10 Apresentação das constatações e conclusões da auditoria
4,23
14º
Fator 3 Confecção do plano de auditoria
4,15
15º
Fator 6 Amostragem
4,15
16º
Fator 2 Análise prévia do SGQ da organização
4,08
17º
Fator 14
Avaliação do processo de auditoria por parte do Organismo
de Acreditação
4,00
18º
Fator 22 Proatividade do auditado
4,00
19º
Fator 13 Avaliação do processo de auditoria por parte do auditado
3,85
20º
Fator 19 Conhecimento das técnicas relacionadas com qualidade
3,85
21º
Fator 4 Relação auditor-dia
3,46
22º
Fator 8 Uso de check list
3,15
O fator identificado na pesquisa com o maior nível de importância é o Fator 16
- Conhecimento dos requisitos da norma NBR 15100:2004. Isto significa que o
conhecimento, por parte do auditor, dos requisitos determinados na norma utilizada
77
como referência na auditoria de certificação é o principal fator para o sucesso de
uma auditoria, na visão dos auditores de SGQ do setor aeroespacial.
Na segunda posição, empataram o Fator 5 - Comunicação durante a auditoria
e o Fator 21 - Comprometimento da alta direção. Segundo a pesquisa, a capacidade
do auditor de se comunicar com eficácia com os diversos níveis hierárquicos da
organização é um fator extremamente importante para o sucesso da auditoria. E
esta capacidade de comunicação do auditor é o importante, segundo os auditores
que participaram da pesquisa, quanto o comprometimento das pessoas do mais alto
nível da organização com a implementação e manutenção do SGQ. Este resultado é
interessante, pois mostra que o sucesso de uma auditoria não depende apenas do
auditor, e que o auditado (a alta direção) também influencia significativamente este
processo.
O quarto fator em nível de importância é o Fator 1 - Seleção da equipe de
auditoria. Este fator está diretamente ligado ao planejamento da auditoria.
Selecionar os auditores com determinadas competências para realizar uma
determinada auditoria é um fator decisivo para o sucesso da auditoria, segundo a
pesquisa.
Na quinta posição entre os FCS, empataram o Fator 12 Gerenciamento de
conflitos e o Fator 15 – Melhoria do processo de auditoria. Isto significa que a
capacidade do auditor de prevenir e solucionar conflitos ao longo da auditoria é um
fator crítico de sucesso para a auditoria, assim como as ações e decisões tomadas
para se melhorar continuamente o processo de auditoria.
A análise ainda mostra que três dos seis fatores, ou 50% dos fatores,
identificados como FCS (Fator 16 Conhecimento dos requisitos da norma NBR
15100:2004, Fator 5 – Comunicação durante a auditoria e Fator 12 – Gerenciamento
de conflitos) estão relacionados com a competência do auditor, ressaltando a
importância da competência do auditor para o sucesso da auditoria.
Assim, a análise do nível de importância dos fatores que afetam o processo de
auditoria foi útil para validar os fatores levantados, preliminarmente, nesta pesquisa,
assim como para destacar aqueles fatores mais importantes para o sucesso de uma
auditoria (FCS). Além disso, vale ressaltar a importância da competência dos
auditores entre os FCS.
78
Maiores análises a respeito dos FCS de uma auditoria serão realizadas nas
etapas subseqüentes, juntamente com a análise dos valores atribuídos para o nível
de aplicação, e dos valores de gap encontrados.
4.2 ANÁLISE DO NÍVEL DE APLICAÇÃO DOS FATORES
Esta seção analisa as médias dos valores encontrados para o nível de
aplicação do fator, ou seja, analisa como os fatores que afetam o processo de
auditoria de SGQ no setor aeroespacial estão sendo aplicados, na prática, segundo
a perspectiva dos auditores de SGQ deste setor. A identificação do nível de
aplicação é especialmente importante para se chegar aos gaps entre a importância e
a aplicação do fator, que serão analisados na seção seguinte.
Para a realização desta análise do nível de aplicação dos fatores, fez-se uso,
também, dos dados sobre a importância dos fatores utilizados na seção anterior.
A análise dos valores (médios) encontrados para o nível de aplicação dos
fatores mostra que estes valores variam entre 2,38 (menor valor encontrado) e 3,85
(maior valor encontrado). Se for comparada com a variação encontrada para o nível
de importância (3,15 a 4,92), pode-se inferir a existência de uma considerável
discrepância (ou gap) entre a importância atribuída aos fatores e a forma como estes
fatores estão sendo aplicados, na prática.
A figura 17 e a tabela 6 apresentam, em ordem decrescente, os valores
médios encontrados para o nível de aplicação dos fatores. A figura facilita a
visualização, enquanto a tabela destaca a identificação dos fatores.
Nível de aplicação dos fatores
3,85
3,77
3,62 3,62
3,38
3,31 3,31
3,23
3,08 3,08
3,00 3,00
2,92
2,85 2,85 2,85
2,77
2,69 2,69 2,69
2,38 2,38
2
3
4
F
a
tor 16
F
at
o
r
4
F
at
or
18
F
at
or
20
F
a
tor 10
F
at
o
r
7
F
at
or
17
Fato
r
6
Fato
r
5
Fator 12
Fato
r
19
F
at
or
22
F
at
or
11
F
at
o
r
8
F
at
o
r
9
F
at
or
21
F
at
or
15
F
at
o
r
1
F
at
o
r
3
F
at
or
13
Fato
r
2
Fator 14
Figura 17: Valores médios para o nível de aplicação dos fatores
79
Tabela 6 – Valores médios para o nível de aplicação dos fatores
Fatores
Nível de
Aplicação
Fator 16 Conhecimento dos requisitos da norma NBR 15100:2004
3,85
Fator 4 Relação auditor-dia
3,77
Fator 18 Conhecimento das características específicas do setor
3,62
Fator 20 Atributos pessoais do auditor
3,62
Fator 10
Apresentação das constatações e conclusões da
auditoria
3,38
Fator 7 Abordagem de coleta de evidências
3,31
Fator 17
Conhecimento dos princípios, procedimentos e técnicas de
auditoria
3,31
Fator 6 Amostragem
3,23
Fator 5 Comunicação durante a auditoria
3,08
10º
Fator 12 Gerenciamento de conflitos
3,08
11º
Fator 19 Conhecimento das técnicas relacionadas com qualidade
3,00
12º
Fator 22 Proatividade do auditado
3,00
13º
Fator 11 Acompanhamento das ações corretivas
2,92
14º
Fator 8 Uso de check list
2,85
15º
Fator 9 Abordagem de processo
2,85
16º
Fator 21 Comprometimento da alta direção
2,85
17º
Fator 15 Melhoria do processo de auditoria
2,77
18º
Fator 1 Seleção da equipe de auditoria
2,69
19º
Fator 3 Confecção do plano de auditoria
2,69
20º
Fator 13 Avaliação do processo de auditoria por parte do auditado
2,69
21º
Fator 2 Análise prévia do SGQ da organização
2,38
22º
Fator 14
Avaliação do processo de auditoria por parte do Organismo
de Acreditação
2,38
De forma similar ao procedimento adotado na seção anterior, ou seja,
utilizando-se o conceito do Princípio de Pareto, torna-se possível identificar os cinco
fatores que se destacaram por sua aplicação.
O fator com maior valor atribuído para o nível de aplicação é o Fator 16 -
Conhecimento dos requisitos da norma NBR 15100:2004, fator este que também foi
identificado, na seção anterior, como um FCS o fator mais importante para o
sucesso de uma auditoria). Este resultado é positivo, pois o fator identificado como
mais importante para o sucesso da auditoria, também é o fator que vem sendo mais
bem aplicado, na percepção dos auditores.
O segundo fator com maior valor atribuído para o nível de aplicação é o Fator
4 - Relação auditor-dia, o que indica que, na percepção dos auditores entrevistados,
a relação quantidade de auditor e tempo utilizados na realização das auditorias vem
sendo bem aplicada. Embora este fator tenha se destacado como o segundo maior
80
valor para o nível de aplicação, ele também se destaca como um dos fatores com
mais baixo nível de importância (segundo fator menos importante) para o sucesso
da auditoria.
Na terceira posição empataram dois fatores: o Fator 18 Conhecimento das
características específicas do setor e o Fator 20 Atributos pessoais do auditor. Na
percepção dos participantes da pesquisa, os auditores possuem um alto nível de
conhecimento de processos, produtos, requisitos e práticas específicos do setor
aeroespacial. Da mesma forma, os participantes da pesquisa percebem que é dada
muita atenção para os atributos pessoais necessários ao auditor, como ética,
diplomacia, capacidade de percepção, versatilidade, tenacidade e auto-confiança.
O quinto fator com maior valor médio associado é o Fator 10 Apresentação
das constatações e conclusões da auditoria. Isto significa que as constatações e
conclusões vêm sendo apresentadas, na reunião de encerramento, de forma que
sejam compreendidas e reconhecidas pelo auditado.
Esta análise também permite destacar que entre os cinco fatores que se
destacaram pela boa aplicação, apenas um deles, ou 20% deles (o Fator 16
Conhecimento dos requisitos da norma NBR 15100:2004), é um FCS, ou de outra
forma, que 80% dos fatores que se destacam pela sua aplicação não são fatores
críticos de sucesso para a auditoria.
Desta forma, a análise do nível de aplicação dos fatores mostrou como os
fatores que afetam o processo de auditoria estão sendo aplicados, na prática, de
acordo com a perspectiva dos auditores, destacando que a maioria dos fatores que
mais bem aplicados não são fatores críticos de sucesso.
A análise do nível de aplicação mostra-se, de certa forma, limitada, pois foca
na aplicação do fator isoladamente, não estabelecendo comparação com o nível de
importância do fator. No entanto, esta etapa é especialmente necessária para a
análise de gaps apresentada na seção seguinte, que é mais completa, pois
considera a relação existente entre o nível de importância e o nível de aplicação do
fator.
4.3 ANÁLISE DAS DISCREPÂNCIAS (GAP)
Esta seção busca analisar as discrepâncias (ou gaps) existentes entre os
valores médios encontrados para o nível de importância e para o nível de aplicação
81
de cada fator. Esta análise permite identificar quais os fatores que possuem as
maiores discrepâncias (gaps), ou seja, onde se encontram as maiores oportunidades
de melhoria para o processo de auditoria de SGQ no setor aeroespacial, na
perspectiva dos auditores entrevistados.
Esta análise de gap é bastante relevante, pois considera tanto a importância
do fator quanto a sua aplicação, na prática. O sucesso de uma auditoria está
relacionado com uma boa aplicação destes fatores, principalmente daqueles fatores
considerados críticos (FCS). Desta forma, o sucesso de uma auditoria será maior à
medida que os fatores críticos são mais bem aplicados. Uma boa aplicação de um
fator que não é tão crítico para o sucesso da auditoria não garante a maximização
dos resultados positivos da auditoria. Assim, esta análise de gap é particularmente
importante, pois permite identificar como os fatores, principalmente os FCS, vêm
sendo aplicados, levando-se em consideração o nível de importância do fator.
A figura 18 e a tabela 7 apresentam, em ordem decrescente, os valores
médios encontrados para os gaps identificados entre o nível de importância e o nível
de aplicação dos fatores. A figura facilita a visualização, enquanto a tabela destaca a
identificação dos fatores.
Gaps encontrados
2,00
1,92
1,85
1,69 1,69
1,62
1,54
1,46 1,46 1,46
1,15 1,15 1,15
1,08
1,00
0,92 0,92
0,85 0,85 0,85
0,31
-0,31
-0,5
0,0
0,5
1,0
1,5
2,0
F
a
tor 1
Fator 21
Fator 15
F
at
o
r
2
F
at
o
r
5
Fator
1
4
Fat
o
r
1
2
Fat
o
r
3
Fat
o
r 9
F
a
t
or 11
Fator 7
Fator 13
Fator 17
Fator 16
Fator 22
F
at
o
r
6
Fator
1
8
F
a
t
o
r
10
F
a
t
o
r
19
F
a
t
or 20
Fat
o
r 8
Fator 4
Figura 18: Valores médios de gap encontrados
82
Tabela 7 – Valores médios de gap encontrados
Fatores
GAP
Fator 1
Seleção da equipe de auditoria 2,00
Fator 21
Comprometimento da alta direção 1,92
Fator 15
Melhoria do processo de auditoria 1,85
Fator 2
Análise prévia do SGQ da organização 1,69
Fator 5
Comunicação durante a auditoria 1,69
Fator 14
Avaliação do processo de auditoria por parte do
Organismo de Acreditação
1,62
Fator 12
Gerenciamento de conflitos 1,54
Fator 3
Confecção do plano de auditoria 1,46
Fator 9
Abordagem de processo 1,46
10º
Fator 11
Acompanhamento das ações corretivas 1,46
11º
Fator 7
Abordagem de coleta de evidências 1,15
12º
Fator 13
Avaliação do processo de auditoria por parte do auditado 1,15
13º
Fator 17
Conhecimento dos princípios, procedimentos e técnicas
de auditoria
1,15
14º
Fator 16
Conhecimento dos requisitos da norma NBR 15100:2004 1,08
15º
Fator 22
Proatividade do auditado 1,00
16º
Fator 6
Amostragem 0,92
17º
Fator 18
Conhecimento das características específicas do setor 0,92
18º
Fator 10
Apresentação das constatações e conclusões da
auditoria
0,85
19º
Fator 19
Conhecimento das técnicas relacionadas com qualidade 0,85
20º
Fator 20
Atributos pessoais do auditor 0,85
21º
Fator 8
Uso de check list 0,31
22º
Fator 4
Relação auditor-dia -0,31
A análise dos gaps encontrados, nesta pesquisa, entre a importância do fator
e como este fator vem sendo aplicado na prática, mostra que o maior gap é 2,00 e o
menor gap é 0,31 (negativo). Um gap negativo significa que o fator obteve uma
média para o nível de aplicação maior que a média para o nível de importância.
Por meio da figura 17 ou da tabela 7 é possível identificar quais os fatores que
obtiveram maiores gaps. Para tanto, manteve-se o procedimento utilizado nas duas
seções anteriores para a análise dos dados, ou seja, utilizou-se o conceito do
Princípio de Pareto para a identificação dos maiores gaps.
O Fator 1 Seleção da equipe de auditoria é o fator com o maior gap na
pesquisa. Além disso, os resultados da pesquisa mostram que este fator é um FCS
e se destaca entre os cinco fatores com pior pontuação quanto ao nível de
aplicação. Desta a forma, a seleção da equipe de auditoria é o fator com maior
potencial de melhoria no processo de auditoria, conforme a perspectiva dos
auditores entrevistados. Este resultado indica que deve ser dada maior atenção, por
83
parte daqueles que realizam o planejamento da auditoria, quanto às competências
necessárias para os auditores selecionados para a realização da auditoria.
O segundo fator com maior potencial de melhoria identificado na pesquisa é o
Fator 21 Comprometimento da alta direção. Este fator também é um FCS o
segundo fator mais importante para o sucesso da auditoria), e encontra-se entre os
sete fatores com pior pontuação quanto ao nível de aplicação. Este resultado mostra
que, na percepção dos auditores, o comprometimento da alta direção das
organizações com a implementação e a manutenção do SGQ precisa melhorar
bastante para que a realização da auditoria alcance seus melhores resultados.
O Fator 15 Melhoria do processo de auditoria é o terceiro fator com maior
gap. Além disso, ele também é um FCS e está entre os seis fatores com pior
pontuação para a aplicação. Este fator corresponde às ações e decisões tomadas
para melhorar continuamente o processo de auditoria, e pode ser entendido como
parte da última etapa do ciclo PDCA (Plan-Do-Check-Action). Um maior
aprofundamento neste assunto mostra que estas ações e decisões para melhorar a
auditoria dependem fundamentalmente de medições, monitoramentos e avaliações
realizadas sobre o processo de auditoria, e, desta forma existem dois outros fatores,
identificados na pesquisa, que estão diretamente relacionados com este fator: o
Fator 13 Avaliação do processo de auditoria por parte do auditado e o Fator 14
Avaliação do processo de auditoria por parte do Organismo de Acreditação. Estes
dois fatores influenciam significativamente a melhoria da auditoria, pois fornecem as
informações necessárias para tais ações e decisões de melhoria. A análise do nível
de aplicação destes dois fatores (Fator 13 e Fator 14), conforme figura 4.2 e tabela 2
apresentadas na seção anterior, mostra que estes fatores estão entre os fatores com
as piores pontuações (terceiro pior e pior, respectivamente). Desta forma, a análise
do Fator 15 Melhoria do processo de auditoria mostra que é preciso estabelecer
uma sistemática mais eficaz para a melhoria contínua do processo de auditoria, e
que deve ser considerado tanto o Fator 13 como o Fator 14.
Dois fatores ficaram empatados na quarta posição. O Fator 2 Análise prévia
do SGQ da organização e o Fator 5 – Comunicação durante a auditoria.
O Fator 2 Análise prévia do SGQ da organização, embora não tenha se
destacado como um FCS, é o segundo fator com o pior resultado para a aplicação,
mostrando que existe, na perspectiva dos auditores, um potencial significativo de
melhoria na fase de planejamento, momento em que os auditores analisam
84
criticamente a documentação do SGQ da organização com o objetivo de adquirir
uma visão adequada dos produtos e processos desta organização.
O Fator 5 – Comunicação durante a auditoria também é um FCS, e sua
colocação entre os fatores com maiores gaps nesta pesquisa indica um grande
potencial de melhoria na capacidade de comunicação dos auditores ao conduzirem
as auditorias.
Apenas o Fator 4 - Relação auditor-dia obteve um gap negativo, o que
significa que é o único fator onde o valor encontrado para o nível de aplicação é
maior do que o valor encontrado para o nível de importância. Os resultados mostram
que este fator tem o nível de importância bastante baixo o segundo valor mais
baixo para o nível de importância), enquanto que seu nível de aplicação é o segundo
mais alto. Considerando que este fator está relacionado com o tempo e a quantidade
de auditores (basicamente é o produto do tempo pelo número de auditores)
utilizados na auditoria, este resultado sugere que a relação auditor-dia utilizada nas
auditorias vem sendo maior do que aquela exigida para as auditorias de certificação.
A análise também permitiu identificar que, entre os fatores destacados com
maiores gaps, ou maiores oportunidades de melhorias, 80% destes, também se
destacaram como FCS. Apenas um fator (o Fator 2 - Análise prévia do SGQ da
organização) o está entre os fatores identificados como mais importantes (FCS).
Este resultado é de significativa importância para esta pesquisa, pois demonstra que
estes fatores devem ser tratados de forma diferenciada para se alcançar o sucesso
da auditoria, pois além de serem os que mais afetam a auditoria, na prática estes
fatores possuem um grande potencial de melhoria.
Desta forma, a análise dos gaps (discrepâncias) entre a importância dada ao
fator e a forma como o fator está sendo aplicado, na prática, permitiu destacar os
fatores com maiores oportunidades para melhorias dentro do processo de auditoria,
e que a maioria destes fatores (com maiores gaps) são justamente FCS.
85
5 CONSIDERAÇÕES FINAIS
Este capítulo apresenta como este trabalho alcançou tanto o objetivo geral
quanto os objetivos específicos propostos, por meio da síntese dos resultados
obtidos com a análise dos dados, e destaca as contribuições advindas desta
pesquisa. Por fim, são realizados comentários sobre oportunidades de trabalhos
futuros sobre o assunto.
5.1 CONCLUSÕES
Este estudo indica, por meio da pesquisa bibliográfica, que a auditoria de
certificação de SGQ é uma importante ferramenta para a competitividade das
empresas, e que ao mesmo tempo em que a quantidade desta auditoria vem
crescendo em todo o mundo, as críticas com relação à sua eficácia também estão
aumentando. Este trabalho identificou oportunidades importantes de melhoria do
processo de auditoria de SGQ no setor aeroespacial.
Inicialmente foram identificados os principais fatores que afetam o processo
de auditoria de SGQ no setor aeroespacial, por meio da pesquisa bibliográfica
juntamente com a pesquisa exploratória. Estes fatores, num total de 22, são
apresentados no capítulo 3 (seção 3.3). Assim, o objetivo específico de se identificar
tais fatores foi alcançado.
Além de se identificar quais são os principais fatores que afetam o processo
de auditoria, este estudo verificou a percepção dos auditores de SGQ do setor
aeroespacial sobre a importância destes fatores e como estes fatores estão sendo
aplicados, na prática. Com isso, a pesquisa identificou (entre os 22 fatores) quais
são os fatores críticos de sucesso da auditoria (FCS), ou seja, os fatores mais
importantes para o sucesso da auditoria, e como os fatores estão sendo aplicados
na prática. Desta forma, o objetivo específico de verificar a percepção dos auditores
quanto à importância e aplicação dos fatores foi alcançado, e esta verificação foi
apresentada no capítulo 4.
A percepção dos auditores de SGQ do setor aeroespacial mostrou que
existem consideráveis discrepâncias (gaps) entre a importância dada ao fator e a
aplicação do fator, na prática. É justamente onde estão os maiores gaps que se
encontram as maiores oportunidades de melhoria no processo de auditoria. Assim, o
objetivo específico de analisar a relação existente entre a percepção dos auditores
86
quanto ao nível de importância e de aplicação dos fatores foi alcançado, e esta
análise foi apresentada no capítulo 4.
Um dos resultados mais importantes da pesquisa é que a maioria dos fatores
identificados com os maiores gaps, ou seja, a maioria dos fatores com maiores
oportunidades de melhoria, também são fatores críticos de sucesso (FCS). Isso
alavanca significativamente os resultados, pois prioriza aqueles fatores que devem
ser trabalhados com maior atenção para se buscar a melhoria do processo de
auditoria no setor aeroespacial.
O fato de se buscar a percepção dos auditores da qualidade do setor
aeroespacial é um ponto positivo da pesquisa, pois eles estão diretamente
envolvidos no processo e são os maiores especialistas no assunto, visto que a
quantidade de auditoria que o auditor participa ao longo do ano é significativamente
maior do que as outras partes envolvidas na auditoria, como a organização auditada
ou o cliente da auditoria.
Portanto, o objetivo geral desta dissertação de mestrado foi atingido uma vez
que o processo de auditoria de SGQ no setor aeroespacial brasileiro foi analisado e
oportunidades de melhoria deste processo foram identificadas.
Ao analisar o processo de auditoria de certificação de SGQ, por meio do
desdobramento deste processo em diversos fatores importantes, esta pesquisa
contribui significativamente para o desenvolvimento teórico deste assunto,
principalmente porque a pesquisa bibliográfica relacionada ao processo de auditoria
mostrou uma carência de estudos cienficos que aprofundem este assunto,
principalmente no Brasil. Na prática, os resultados desta pesquisa também podem
contribuir na capacitação dos auditores de SGQ, e para orientarem os gestores em
suas decisões relacionadas ao processo de auditoria de SGQ.
5.2 TRABALHOS FUTUROS
Apesar dos auditores serem os maiores familiarizados com o processo de
auditoria de SGQ, sua visão pode ser considerada parcial, ou seja, não é a visão de
todas as partes envolvidas na auditoria. A percepção do auditor é a visão de quem
fornece as atividades de auditoria. Sendo assim, uma sugestão para futuros
trabalhos sobre o assunto é buscar a percepção de outras partes envolvidas na
auditoria, como a alta direção ou os gerentes da qualidade das organizações
87
auditadas, e comparar as diferentes percepções das partes envolvidas no processo
de auditoria, de modo a identificar eventuais discrepâncias entre as percepções
pesquisadas.
Outra sugestão para futuras pesquisas sobre o assunto é o aprofundamento
naqueles fatores considerados como fatores críticos de sucesso (FCS) para a
auditoria de SGQ ou naqueles que se destacaram nesta pesquisa com maior
potencial de melhoria.
Além disso, os procedimentos metodológicos utilizados neste trabalho podem
ser replicados em outros setores da indústria, como por exemplo, o setor
automotivo.
88
REFERÊNCIAS
ASSOCIAÇÃO BRASILEIRA DE NORMAS CNICAS. NBR ISO 19011: diretrizes
para auditorias de sistema de gestão da qualidade e/ou ambiental. Rio de Janeiro,
2002.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO 9000: sistemas de
gestão da qualidade: fundamentos e vocabulários. Rio de Janeiro, 2005.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO 9001: sistemas de
gestão da qualidade: requisitos. Rio de Janeiro, 2008.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO 9004: sistemas de
gestão da qualidade: diretrizes para melhoria de desempenho. Rio de Janeiro, 2000.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO/IEC 17000:
avaliação de conformidade: vocabulário e princípios gerais. Rio de Janeiro, 2005.
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO/IEC 17021:
avaliação de conformidade: requisitos para organismos que fornecem auditoria e
certificação de sistemas de gestão. Rio de Janeiro, 2007.
ASSOCIAÇÃO BRASILEIRA DE NORMAS CNICAS. NBR 15100: Sistema de
qualidade: aeroespacial: modelo para garantia da qualidade em projeto,
desenvolvimento, produção, instalação e serviços associados. Rio de Janeiro, 2004.
ARTER, D. R. Quality Audits for Improved Performance. 3. ed. Milwaukee, WI:
ASQ Quality Press, 2003. 133p.
BECKMERHAGEN, I. A.; BERG, H. P.; KARAPETROVIC, S. V; WILLBORN W. O.
On the Effectiveness of Quality Management System Audits. The TQM Magazine, v.
16, n. 1, p. 14-25, 2004.
89
BRANCHINI, O. J. A ISO 9000:2000 sem mistérios ou segredos. São Paulo: Revista
Banas Qualidade. n. 17, ano XI, p. 18-21, fev. 2002.
CAMPOS, V. F. TQC: Controle da qualidade total (no estilo japonês). 6. ed. Belo
Horizonte: Fundação Cristiano Ottoni, Escola de Engenharia da UFMG, 1992, 229p.
COSTA, A. F. Processo de acreditação de organismos de certificação utilizado
pelo INMETRO: um estudo comparativo com as organizações congêneres de
diversos países. 2006. 92 f. Dissertação (Mestrado em Sistemas de Gestão) –
Universidade Federal Fluminense, Niterói, 2006.
CUNHA, L. O. Proposta de um método para aplicação da manufatura enxuta
como suporte ao sistema de gestão da qualidade: aplicação na indústria
aeronáutica. Dissertação (Mestrado em Engenharia Aeronáutica e Mecânica)
Instituto Tecnológico de Aeronáutica, São José dos Campos, 2009.
DEARING, J. ISO 9001: Could it better? Quality Progress. v. 40, n. 2, p. 23-27,
2007.
FEIGENBAUM, A. V. Total quality control. 3. ed. McGraw-Hill, Inc, 1991, 863p.
FORZA, C. Survey Research in Operations Management: a Process based
Perspective. International Journal of Operations & Production Management, v.
22, n. 2, p. 152-194, 2002.
GIL, A.C. Como elaborar projetos de pesquisa. 3. ed. São Paulo: Atlas, 1991.
GODOY, A. S. Introdução à Pesquisa Qualitativa e suas Possibilidades. Revista
de Administração de Empresas, v. 35, n. 2, p. 57-63, 1995.
GÜNTHER, H. Como Elaborar um Questionário (Série: Planejamento de Pesquisa
nas Ciências Sociais, N. 01). Brasília, DF: UnB, Laboratório de Psicologia Ambiental,
2003.
90
GUSTAFSSON, R.; KLEFSJÖ, B.; BERGGREN, E.; GRANFORSWELLEMETS, U.
Experiences from implementing ISO 9000 in small enterprises a study of Swedish
organizations. The TQM Magazine, v. 13, n. 4, p. 232-246, 2001.
HILL, M. M.; HILL, A. A construção de um questionário. Lisboa: Dinâmia, 1998.
Disponível em: <http://dinamia.iscte.pt/images/stories/documents/wp11-1998.pdf>.
Acesso em: 05 out. 2009.
HUTCHINS, G. ISO 9001: um guia completo para o registro, as diretrizes da
auditoria e a certificação bem-sucedida. Trad.: Ana Terzi Giova; Revisão Técnica:
Caramuru J. Tiede. São Paulo: Makron Brooks, 1994. 280 p.
ISHIKAWA, K. What is Total Quality Control? The Japanese Way. Prentice-Hall,
Inc.,Englewood Cliffs, N.J., 1985, 215p.
INSTITUTO DE FOMENTO E COORDENAÇÃO INDUSTRIAL. Disponível em:
<http://www.ifi.cta.br>. Acesso em: 15 out. 2009.
INSTITUTO NACIONAL DE METROLOGIA, NORMALIZAÇÃO E QUALIDADE
INDUSTRIAL. Disponível em: <http://www.inmetro.gov.br>. Acesso em: 15 out.
2009.
INMETRO. DOQ-CGCRE-012: orientações para a acreditação de organismos de
certificação, rev. 01. Disponível em:
<http://www.inmetro.gov.br/Sidoq/Arquivos/CGCRE/DOC/DOC-CGCRE-12_01.pdf>.
Acesso em: 12 jan. 2010a.
INMETRO. NIT-DICOR-060: critérios adicionais para acreditação de organismos de
certificação de sistema de gestão da qualidade NBR 15100, rev. 05. Disponível em:
<http://www.inmetro.gov.br/Sidoq/Arquivos/DICOR/NIT/NIT-DICOR-60_05.pdf>.
Acesso em: 12 jan. 2010b.
INMETRO. NIT-DICOR-062: requisitos para qualificação de auditores de sistema de
gestão da qualidade NBR 15100, rev. 06. Disponível em:
91
<http://www.inmetro.gov.br/Sidoq/Arquivos/DICOR/NIT/NIT-DICOR-60_06.pdf>.
Acesso em: 12 jan. 2010c.
INTERNATIONAL ACCREDITATION FORUM. Auditing continual improvement,
2003. Disponível em: <http://www.accreditationforum.com> Acesso em: 25 mar.
2008.
INTERNATIONAL AEROSPACE QUALITY GROUP. Disponível em:
<http://www.iaqg.sae.org/iaqg>. Acesso em: 22 dez. 2009.
INTERNATIONAL AEROSPACE QUALITY GROUP. Disponível em:
<http://www.iaqg.sae.org/iaqg>. Acesso em: 10 jan. 2010.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO and IAF
announce schedule for implementation of accredited certification to ISO
9001:2008. Disponível em: <http://www.iso.org>. Acesso em: 08 nov. 2009a.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. Selection and use
of the ISO 9000 family of standards. Disponível em: <http://www.iso.org>. Acesso
em: 08 nov. 2009b.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. The ISO survey
2008. Disponível em: <http://www.iso.org>. Acesso em: 08 fev. 2010.
JOHNSON, W. E. AS9100: On Course and Gaining Altitude. Quality digest, v. 27, n.
2, p. 43-48, 2007.
JURAN, J. M. A qualidade desde o projeto: novos passos para o planejamento
da qualidade em produtos e serviços. Trad.: Nivaldo Montingelli Jr. São Paulo:
Pioneira Thonsom Learning, 2004.
KAZILIÛNAS, A. Problems of auditing using quality management systems for
sustainable development of organizations. Technological and Economic
Development of Economy, v. 14, n. 1, p. 64-75, 2008.
92
KARAPETROVIC, S.; WILLBORN, W. Quality Assurance and Effectiveness of Audit
Systems. International Journal of Quality & Reliability Management, v.17, n.6, p.
679-703, 2000.
LEE, T. Y. The development of ISO 9000 certification and the future of quality
management: A survey of certified firms in Hong Kong. International Journal of
Quality & Reliability Management, v.15, n.2, p.162-177, 1998.
MARANHÃO, M. ISO série 9000 (versão 2000) – manual de iImplementação. Rio
de Janeiro: Qualitymark, 2005.
MATTAR, F. N. Pesquisa de marketing: metodologia, planejamento. 5. ed. São
Paulo: Atlas, 1999.
MEIRELES, M. Ferramentas administrativas para identificar, observar, e
analisar problemas: organizações com foco no cliente. São Paulo: Arte & Ciência,
2001. 144p.
MILLS, C. A. A auditoria da qualidade: uma ferramenta para avaliação constante e
sistemática da manutenção da qualidade. São Paulo: Makron Books, 1994.
MIRANDA, A. R. A.; GOMES, M. A. N.; GOMES, F. C.; SANTOS, R. V. M. A
influência da certificação ISO 9001 no ambiente, sob a perspectiva dos clientes
internos e externos. ENEGEP, XXVI. 2006, Fortaleza. Anais ...
MOTT, J. D. ISO-9000: além da certificação. Disponível em:
<http://www.philipcrosby.com.br/pca/artigos/Alem.html>. Acesso em: 11 out. 2009.
O’HANLON, T. Auditoria da qualidade: com base na ISO 9001:2000: conformidade
agregando valor. Trad.: Gilberto Ferreira de Sampaio. São Paulo: Saraiva, 2006.
202p.
PISKAR, F. Quality audits and their value added. Int. J. Services and Standards, v.
93
2, n. 1, p. 69-83, 2006.
POKSINSKA, B; DAHLGAARD, J. J.; JORGEN, A.; EKLUND, E. From compliance to
value-added auditing experiences from Swedish ISO 9001:2000 certified
organizations. Total Quality Management & Business Excellence, v. 17, n.7, p.
879-892, 2006.
RAHMAN S. A comparative study of TQM practice and organizational performance of
SMEs with and without ISO 9000 certification. International Journal of Quality &
Reliability Management, v.18, n.1, p.35-49, 2001.
ROBERTS, M. C. AS9100: Aerospace standards embrace an unlimited future.
Quality digest, v. 27, n. 2, p. 49-53, 2007.
ROTONDARO, R. G. Seis Sigma: estratégia gerencial para a melhoria de
processos, produtos e serviços. São Paulo: Atlas, 2006, 375p.
RUSSELL, J. P. Know and follow ISO 19011’s auditing principles. Quality
Progress, v. 40, n.2, p. 29-34, 2007.
SINGELS J.; RUËL G.; WATER H. ISO 9000 series - Certification and performance.
International Journal of Quality & Reliability Management, v.18, n.1, pp. 62-75,
2001.
SILVA, E. L.; MENEZES, E. M. Metodologia de pesquisa e elaboração de
dissertação. Florianópolis: UFSC, 2005.
TERLAACK, A.; KING, A. A. The effect of certification with ISO 9001 quality
management standard: a signaling approach. Jornal of Economic Behavior &
Organization, v. 60, n. 1, p.579-602, 2006.
TERZIOVSKI, M.; POWER, D.; SOHAL, A.S. From conformance to performance and
continuous improvement using the ISO 9000 quality system standard. International
Journal of Business Performance Management, v. 4, n. 1, p.1-23, 2002.
94
TERZIOVSKI, M.; POWER, D.; SOHAL, A.S. The longitudinal effects of the ISO 9001
certification process on business performance. European Jornal of Operational
Research, v. 4, n. 1, p.580-595, 2003.
TSIOTRAS, G.; GOTZAMANI, K. ISO 9000 as an entry key to TQM: the case of the
Greek industry. International Journal of Quality & Reliability Management, v.13,
n.4, p. 64-76, 1996.
TUMMALA, V.M.R.;TANG, C.L. Strategic quality management, Malcolm Baldrige and
European Quality Awards and ISO 9000 certification: core concepts and comparative
analysis. International Journal of Quality & Reliability Management, v.13, n.4, pp.
8-38, 1996.
UJIHARA, H. M. Sistema de gestão da qualidade: uma análise de resultados s-
certificação. 2007. 152 f. Dissertação (Mestrado em Engenharia Mecânica) -
Universidade de Taubaté, Taubaté, 2007.
WIELE, T.V.; IWAARDEN, J V.; WILLIAMS, R.; DALE, B. Perceptions about the ISO
9000 (2000) quality system standard revision and its value: the Dutch experience.
International Journal of Quality & Reability Management, v. 22, n2, p.101-119,
2004.
95
APÊNDICE A
Nome do auditor
:
Introdução
A pesquisa a seguir faz parte de um trabalho acadêmico da Universidade de Taubaté - UNITAU, e tem por objetivo avaliar os
fatores que afetam o processo de auditoria de certificação de sistemas de gestão da qualidade no setor aeroespacial (segundo a
visão do auditor da qualidade).
Cada fator apresentado é seguido de uma breve descrição, visando um maior esclarecimento do fator, quando aplicável. Em
seguida existem duas questões a serem respondidas:
a primeira delas, identificada pela letra A, busca avaliar a importância do fator para o sucesso de uma auditoria; e
a segunda questão, identificada pela letra B, busca avaliar a sua percepção a respeito de como este fator está sendo
aplicado, na prática. Note que esta segunda questão busca avaliar como o processo de auditoria está sendo conduzido
em geral no setor aeroespacial, e não uma auto-análise de como você está conduzindo este processo.
É importante ressaltar que a pesquisa limita-se ao processo de auditoria de sistema de gestão da qualidade, de terceira
parte, com base na norma específica do setor aeroespacial - NBR 15100:2004.
O questionário aborda 22 fatores que afetam o processo de auditoria e está dividido em 4 seções:
Seção 1 – Atividades de auditoria;
Seção 2 – Competência do auditor;
Seção 3 – Características do auditado; e
Seção 4 – Dados do auditor.
Este questionário é de natureza confidencial, e será tratado de uma forma global, não sendo sujeito a uma análise
individualizada, o que significa que o anonimato do colaborador é respeitado. Muito obrigado pela sua ajuda.
96
Seção 1 – Atividades de auditoria
1.1 – Planejamento da auditoria
Fator 1 - Seleção da equipe de auditoria: A seleção da equipe de auditoria deve levar em consideração a competência
necessária para se alcançar os objetivos da auditoria, inclusive a necessidade da inclusão de especialistas, quando necessário.
A. Você acha que para a realização de uma auditoria de sucesso a seleção da equipe de auditoria é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à seleção da equipe de auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Fator 2 - Análise prévia do SGQ da organização: Análise crítica da documentação relacionada com o sistema de gestão da
qualidade, SGQ, da organização, antes da auditoria, para se adquirir uma visão adequada de seus processos e produtos.
A. Você acha que para a realização de uma auditoria de sucesso a análise prévia do SGQ da organização é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à realização de uma análise prévia do SGQ da organização, na prática, eu percebo que, é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Fator 3 - Confecção do plano de auditoria: O plano de auditoria inclui informações como objetivo, critério e escopo da auditoria,
assim como data, local, duração e seqüência das atividades de auditoria no local.
A. Você acha que para a realização de uma auditoria de sucesso a confecção do plano de auditoria é um fator:
sem importância pouco importante importante muito importante extremamente importante
97
B. Quanto à confecção do plano de auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Fator 4 - Relação auditor-dia: É calculado como o produto entre o número de auditores envolvidos na realização da auditoria e o
número de dias utilizados na auditoria.
A. Você acha que para a realização de uma auditoria de sucesso a relação auditor-dia é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à relação auditor-dia utilizada nas auditorias, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
1.2 – Realização da auditoria
Fator 5 - Comunicação durante a auditoria: Capacidade de se comunicar com eficácia por intermédio de habilidades lingüísticas
e escritas, ao realizar a auditoria, com os diversos níveis hierárquicos da organização auditada.
A. Você acha que para a realização de uma auditoria de sucesso a comunicação é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à comunicação durante a auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
98
Fator 6 - Amostragem: Uma amostragem apropriada está diretamente relacionada com o índice de confiança das conclusões.
A. Você acha que para a realização de uma auditoria de sucesso a amostragem utilizada ao coletar evidências é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à amostragem normalmente utilizada ao coletar evincias durante a auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Fator 7 - Abordagem de coleta de evidências: Abordagem utilizada para coletar evidências, tais como entrevistas, observações
e analise crítica de documentos, durante a auditoria.
A. Você acha que para a realização de uma auditoria de sucesso a abordagem utilizada para coletar evidências é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à abordagem utilizada para coletar evidências durante a auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Fator 8 - Uso de check list: Lista de verificação dos requisitos a serem auditados
A. Você acha que para a realização de uma auditoria de sucesso o uso do check list durante a auditoria é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto ao uso do check list durante a auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
99
Fator 9 - Abordagem de processo: Abordagem utilizada para a realização da auditoria, onde o foco são os processos da
organização, e não os requisitos da norma (NBR 15100).
A. Você acha que para a realização de uma auditoria de sucesso a aplicação da abordagem de processo é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à aplicação da abordagem de processo durante a auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Fator 10 - Apresentação das constatações e conclusões da auditoria: Forma de apresentar as constatações e conclusões da
auditoria, de modo que elas sejam compreendidas e reconhecidas pelo auditado.
A. Você acha que para a realização de uma auditoria de sucesso a forma como as constatações e conclusões da auditoria são
apresentadas é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à forma de apresentar as constatações e conclusões da auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Fator 11 - Acompanhamento das ações corretivas: Forma de acompanhar as ações necessárias para o tratamento das não-
conformidades registradas na auditoria.
A. Você acha que para a realização de uma auditoria de sucesso o acompanhamento das ações corretivas é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto ao acompanhamento das ações corretivas, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
100
Fator 12 - Gerenciamento de conflitos: Capacidade de prevenir e solucionar conflitos tanto dentro da equipe de auditoria, quanto
entre a equipe e o auditado.
A. Você acha que para a realização de uma auditoria de sucesso o gerenciamento de conflitos é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto ao gerenciamento de conflitos durante a auditoria, na prática, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
1.3 – Verificação da auditoria
Fator 13 - Avaliação do processo de auditoria por parte do auditado: Sistemática utilizada para obter as informações relativas
à percepção do auditado sobre o processo de auditoria.
A. Você acha que a avaliação do processo de auditoria por parte do auditado é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à avaliação do processo de auditoria por parte do auditado, na prática, eu percebo que é:
nada eficaz pouco eficaz eficaz muito eficaz extremamente eficaz
Fator 14 - Avaliação do processo de auditoria por parte do Organismo de Acreditação: Sistemática de avaliação do processo
de auditoria realizada pelo Organismo de Acreditação.
A. Você acha que a avaliação do processo de auditoria por parte do Organismo de Acreditação é um fator:
sem importância pouco importante importante muito importante
extremamente importante
101
B. Quanto à avaliação do processo de auditoria realizada pelo Organismo de Acreditação, na prática, eu percebo que é:
nada eficaz pouco eficaz eficaz muito eficaz extremamente eficaz
1.4 – Melhoria da auditoria
Fator 15 - Melhoria do processo de auditoria: Conjunto de ações e decisões para a melhoria contínua do processo de auditoria.
A. Você acha que tomar ações e decisões que visam a melhoria contínua do processo de auditoria é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Quanto à implementação de ações e decisões necessárias para a melhoria do processo de auditoria, na prática, eu percebo que é
dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Seção 2 – Competência do auditor
2.1 – Conhecimento
Fator 16 - Conhecimento dos requisitos da norma NBR 15100:2004
A. Você acha que o conhecimento dos requisitos estabelecidos na norma NBR 15100:2004 é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Na prática, eu percebo que o conhecimento da norma NBR 15100:2004, por parte dos auditores, é:
muito baixo baixo médio alto muito alto
102
Fator 17 - Conhecimento dos princípios, procedimentos e técnicas de auditoria: Conhecimento do conjunto de diretrizes e
requisitos para a realização de auditorias, provenientes da NBR ISO 19011 e dos Organismos de Certificação e de Acreditação.
A. Você acha que o conhecimento de princípios, procedimentos e técnicas de auditoria por parte do auditor é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Na prática, eu percebo que o conhecimento de princípios, procedimentos e técnicas de auditoria, por parte dos auditores, é:
muito baixo baixo médio alto muito alto
Fator 18 - Conhecimento das características específicas do setor: Conhecimento dos processos, produtos, requisitos e
práticas específicos do setor aeroespacial.
A. Você acha que o conhecimento das características específicas do setor por parte do auditor é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Na prática, eu percebo que o conhecimento das características específicas do setor, por parte dos auditores, é:
muito baixo baixo médio alto muito alto
Fator 19 - Conhecimento das técnicas relacionadas com qualidade: Conhecimento de terminologia, princípios e ferramentas
da qualidade, como FMEA, LEAN MANUFACTURINING, 5S, SEIS SIGMA, Método de solução de problemas, entre outros.
A. Você acha que o conhecimento de técnicas relacionadas com qualidade por parte do auditor é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Na prática, eu percebo que o conhecimento de técnicas relacionadas com qualidade, por parte dos auditores, é:
muito baixo baixo médio alto muito alto
103
2.2 – Atributos pessoais
Fator 20 - Atributos pessoais do auditor: Ética, diplomacia, capacidade de observação, capacidade de percepção, versatilidade,
tenacidade, e autoconfiança.
A. Você acha que o conjunto de atributos pessoais do auditor é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Na prática, com relação aos atributos pessoais dos auditores, eu percebo que é dada:
nenhuma atenção pouca atenção atenção muita atenção muitíssima atenção
Seção 3 – Características do auditado
Fator 21 - Comprometimento da alta direção: Comprometimento das pessoas do mais alto nível hierárquico da empresa
auditada com a implementação e a manutenção do sistema de gestão da qualidade.
A. Você acha que o comprometimento da alta direção com o sistema de gestão da qualidade é um fator:
sem importância pouco importante importante muito importante extremamente importante
B. Na prática, eu percebo que o comprometimento da alta direção com o sistema de gestão da qualidade é:
muito baixo baixo médio alto muito alto
Fator 22 - Proatividade do auditado: Postura proativa do auditado diante das atividades da auditoria.
A. Você acha que a proatividade do auditado em relação às atividades da auditoria é um fator:
sem importância pouco importante importante muito importante extremamente importante
104
B. Na prática, eu percebo que a proatividade do auditado em relação às atividades de auditoria é:
muito baixo baixo médio alto muito alto
Seção 4 – Dados do auditor
Favor informar os dados abaixo.
Tipo de auditor: AA (Aerospace Auditor) AEA (Aerospace Experience Auditor) Auditor Aspirante
Organismo Certificador que atua:
ABS BRTÜV FCAV IFI Outro:
Experiência profissional:
0 a 5 anos de 5 a 10 anos de 10 a 20 anos de 20 a 30 anos acima de 30 anos
Experiência em realização de auditorias:
0 a 5 anos de 5 a 10 anos de 10 a 20 anos de 20 a 30 anos acima de 30 anos
Muito obrigado pela sua ajuda.
105
APÊNDICE B
Tabulação dos dados – projeto.
Auditor 1
Auditor 2
Auditor 3
Auditor 4
Auditor 5
Auditor 6
Auditor 7
Auditor 8
Auditor 9
Auditor 10
Auditor 11
Auditor 12
Auditor 13
Fatores
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Importância
Praticado
Fator 1
5 3 4 3 5 4 5 2 4 2 5 3 5 2 5 2 5 3 5 3 4 3 5 3 4 2
Fator 2
4 3 4 3 4 3 5 2 4 3 4 2 5 2 3 3 4 2 3 2 4 2 5 2 4 2
Fator 3
5 3 3 3 4 3 5 3 3 2 5 2 4 3 4 3 4 3 4 2 4 3 5 3 4 2
Fator 4
4 4 4 4 3 4 3 3 3 3 3 4 3 5 4 3 4 4 4 4 3 3 5 4 2 4
Fator 5
5 4 5 4 5 5 5 2 5 3 5 3 4 3 5 2 5 2 3 2 5 4 5 3 5 3
Fator 6
5 4 4 4 5 4 5 2 3 3 4 3 4 3 4 4 4 3 4 3 4 3 4 3 4 3
Fator 7
5 4 5 4 4 4 5 3 4 2 5 3 5 3 4 3 3 3 4 3 4 4 5 4 5 3
Fator 8
4 3 3 3 4 3 3 3 3 2 2 2 2 2 4 3 3 3 2 2 3 3 5 4 3 4
Fator 9
5 3 3 3 5 4 5 2 4 3 5 3 5 3 5 2 3 2 5 3 4 3 4 3 3 3
Fator 10
4 4 5 4 3 3 5 2 4 3 5 4 4 4 5 4 3 3 4 3 3 3 5 4 5 3
Fator 11
5 2 4 4 4 3 5 3 4 3 4 3 5 2 4 4 3 2 5 2 4 3 5 4 5 3
Fator 12
5 3 5 4 5 5 3 3 4 4 5 2 4 3 5 3 4 2 5 2 5 2 5 4 5 3
Fator 13
4 2 4 3 4 3 5 3 3 4 3 2 3 1 5 4 4 2 3 2 3 3 5 3 4 3
Fator 14
5 2 5 3 5 3 3 2 4 3 4 3 4 2 4 3 3 1 3 2 3 3 5 3 4 1
Fator 15
5 3 4 4 5 3 5 3 4 2 5 3 4 3 5 3 4 1 5 1 4 4 5 3 5 3
Fator 16
5 4 5 4 5 5 5 4 5 4 5 4 5 4 5 3 5 2 5 4 4 4 5 4 5 4
Fator 17
5 2 5 4 5 4 3 3 3 3 4 4 4 4 5 3 5 2 5 2 4 4 5 4 5 4
Fator 18
4 3 5 4 5 5 5 4 3 3 5 4 5 4 5 3 5 3 3 3 4 4 5 4 5 3
Fator 19
4 3 4 4 4 4 5 2 2 2 3 2 3 3 5 3 5 3 3 2 4 4 5 4 3 3
Fator 20
5 3 5 4 5 4 4 4 3 4 4 4 5 4 4 3 5 1 3 4 5 5 5 4 5 3
Fator 21
5 3 5 4 5 4 5 1 5 2 5 3 5 2 5 4 4 3 5 3 4 3 5 3 4 2
Fator 22
5 3 4 4 4 4 3 3 2 2 4 3 4 2 5 3 5 3 4 2 4 3 5 4 3 3
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo