ads:
An
´
alise Bayesiana da Teoria de Resposta
ao Item: uma Abordagem Generalizada
Fl´avio Bambirra Gon¸calves
DME - IM - UFRJ
2006
ads:
Livros Grátis
http://www.livrosgratis.com.br
Milhares de livros grátis para download.
An
´
alise Bayesiana da Teoria de Resposta ao Item:
uma Abordagem Generalizada
Fl´avio Bambirra Gon¸calves
Disserta¸c˜ao submetida ao Corpo Docente do Instituto de Matem´atica - Departamento
de M´etodos Estat´ısticos da Universidade Federal do Rio de Janeiro - UFRJ, como parte
dos requisitos necess´arios `a obten¸c˜ao do grau de Mestre em Estat´ıstica.
Aprovada por:
Prof. Dani Gamerman - Orientador.
Prof. Tufi Machado Soares - Co-orientador.
Prof. Fernando Antˆonio da Silva Moura.
Prof. Dalton Francisco de Andrade.
Rio de Janeiro, RJ - Brasil
2006
ii
ads:
FICHA CATALOGR
´
AFICA
Gon¸calves, Fl´avio Bambirra.
An´alise Bayesiana da Teoria de Resposta ao Item:
uma abordagem generalizada./ Fl´avio Bambirra Gon¸calves.
Rio de Janeiro: UFRJ, IM, DME, 2006.
Disserta¸c˜ao - Universidade Federal do Rio de Janeiro, IM , DME.
1. Teoria de Resposta ao Item. 2. Funcionamento Diferencial do Item.
3. Estat´ıstica Bayesiana. 4. MCMC. (Mestrado-UFRJ/IM/DME)
I. Gamerman, Dani II. Universidade Federal do Rio de Janeiro
III. T´ıtulo.
iii
Aos meus pais e a Aline.
iv
“Our world, our life, our destiny, are dominated by uncertainty; this is
perhaps the only statement we may assert without uncertainty”.
de Finetti
“The key to all knowledge lies in the heart of one elegant little equation:
p(θ|x) =
f(x|θ)p(θ)
f(x)
.”
Autor desconhecido
v
Agradecimentos
Agrade¸co primeiramente a Deus pela d´adiva da vida, por ter me dado sa´ude para
lutar pelos meus sonhos e por me dar sabedoria para fazer as escolhas certas nas horas
decisivas.
Agrade¸co aos meus queridos e amados pais, M´ario e Mar´ılia, pelo apoio incondicional,
por todo carinho e amor. Agrade¸co tamb´em pela educa¸c˜ao que me deram, baseada em
princ´ıpios de respeito, humildade, perseveran¸ca, bondade e f´e.
`
A Aline, grande amor da minha vida, por estar sempre ao meu lado me ajudando em
tudo que preciso, me apoiando nas minhas decis˜oes e me dando alegria de viver.
`
A toda minha fam´ılia: v´o Concei¸c˜ao, tios, primos, sogro e sogra pela torcida. Aos
meus av´os: vˆo Jos´e, vˆo Antˆonio ´e v´o Lica que inf elizmente j´a se foram mas com certeza
est˜ao felizes por mim onde estiverem.
`
A minha falecida cachorrinha Pitinha, pelos mo-
mentos de alegria e descontra¸c˜ao.
Ao Vin´ıcius (Z´e), pela amizade e companheirismo ao longo destes dois anos do
mestrado.
Ao meu orientador Dani, pelo voto de confian¸ca, pelo incentivo e por todo conheci-
mento passado.
Ao meu co-orientador Tufi, pela oportunidade de trabalhar no tema desta disserta¸c˜ao
e pela confian¸ca no meu trabalho.
A todos os professores que j´a passaram pela minha vida escolar e que foram muito
importantes na minha forma¸c˜ao, em especial `a Tia Elza e Tia Vˆania do Miudinhos,
Elilucio (paiz˜ao), Cida, Dona Vera e Marlize no Salesiano e Wantuil.
vi
A todos os meus professores da UFMG, em es pecial a Glaura, Michel, Bernardo e `a
minha orientadora na gradua¸c˜ao, Rosˆangela, que me ajudou a abrir as portas para minha
vida acadˆemica. Agrade¸co tamb´e m a todos os meus professores da UFRJ, em especial `a
Alexandra pelo apoio e amizade.
Ao Elilucio, Dona L´ucia e fam´ılia por todo o apoio e carinho na minha chegada ao
Rio.
Aos meus grandes amigos de BH: Candinho, Leo, Vav´a, Roger, Rodrigo, Viviane,
Thiago, Juninho, Bruno, Jo˜ao Paulo, Carol e Priscila, pela amizade verdadeira.
Aos meus amigos da UFRJ: Valm´aria, Luzia, Guido, Fidel, Vin´ıcius, Fernando,
Marcelo, Adelmo, Marco Aur´elio, Francisco e Joaquim.
E finalmente ao CNPq, pelo apoio financeiro desde a gradua¸c˜ao.
vii
Resumo
A Teoria de Resposta ao Item (TRI) ´e uma teoria psicom´etrica utilizada em todo
o mundo nas ´areas de avalia¸c˜ao educacional e psicologia cognitiva. Na medida em que
cresce a aplica¸c˜ao da teoria, surgem novos fatores e questionamentos de grande im-
portˆancia pr´atica como a considera¸c˜ao do funcionamento diferencial do item (DIF). A
partir da necessidade de generalizar a TRI convencional, incorporando a ela modelos que
se ajustem adequadamente a situa¸c˜oes que n˜ao s˜ao contempladas pelos modelos usuais,
s˜ao propostos dois modelos da TRI que consideram a possibilidade de DIF. Ambos s˜ao
generaliza¸c˜oes do modelo log´ıstico de trˆes parˆametros e se diferem na hip´otese dos itens
com DIF serem conhecidos, ou seja, um deles incorpora a detec¸c˜ao de itens com DIF
em sua estrutura. Apresenta-se uma abordagem Bayesiana baseada em m´etodos MCMC
para se fazer inferˆencia em tais modelos. Posteriormente, tais modelos s˜ao aplicados a
conjuntos de dados simulados para se estudar suas caracter´ısticas e verificar a eficiˆencia
da abordagem Bayesiana proposta na inferˆencia sobre os parˆametros do modelo. Aplica-
se ainda estes modelos a um conjunto de dados reais referentes ao Programa Nova Escola
do governo do Estado do Rio de Janeiro.
Palavras-chave: Teoria de Resposta ao Item, Funcionamento Diferencial do Item, Es-
tat´ıstica Bayesiana, MCMC.
viii
Abstract
The Item Response Theory (IRT) is a psychometric theory world wide used in
education evaluation and cognitive psychology. Along with the increasing of this the-
ory’s application, new issues with great practical importance arise, like considering the
Differential Item Functioning (DIF). Because of the need of IRT generalization by models
that consider these imp ortant issues, two IRT models that consider DIF existence are
proposed. They are both generalizations of the three parameters logistic model and differ
from each other on the hypothesis of knowing which items have DIF, that is : one of them
incorporate DIF detection. It is presented a Bayesian approach based on MCMC meth-
ods for the inference procedure. Later, simulated studies with both models are presented
in order to study their characteristics and the efficiency of the Bayesian methods on the
parameters estimation. Finally, it is also presented an example with real data concerning
an educational program in the state of Rio de Janeiro, Brazil.
Key-words: Item Response Theory, Differential Item Functioning, Bayesian Statistics,
MCMC.
ix
Sum´ario
1 Introdu¸c˜ao 1
1.1 Introdu¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Teoria de Resposta ao Item . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Dados do programa Nova Escola . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 An´alise dos dados reais via TRI . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Funcionamento diferencial do item . . . . . . . . . . . . . . . . . . . . . 13
1.6 Sum´ario da disserta¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 Modelo da TRI para DIF 19
2.1 Introdu¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2 Modelo proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Inferˆencia Bayesiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Aplica¸c˜ao de MCMC em TRI . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4.1 Modelo log´ıstico de trˆes parˆametros . . . . . . . . . . . . . . . . . 27
2.4.2 Modelo de DIF . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5 Apˆendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.1 Express˜oes para o modelo log´ıs tico de trˆes parˆametros . . . . . . . 30
2.5.2 Express˜oes para o modelo de DIF . . . . . . . . . . . . . . . . . . 32
3 Estudos simulados com o modelo de DIF 35
3.1 Introdu¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 An´alises de sensibilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2.1 Itens com DIF × discrimina¸c˜ao . . . . . . . . . . . . . . . . . . . 36
x
3.2.2 Proposta para o parˆametro de acerto casual . . . . . . . . . . . . 39
3.3 DIF na dificuldade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4 DIF na discrimina¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.5 DIF na dificuldade e na discrimina¸c˜ao . . . . . . . . . . . . . . . . . . . . 52
3.6 Apˆendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4 An´alise dos dados reais com o modelo de DIF 60
4.1 Introdu¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2 Escolha dos itens com DIF . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.3 An´alise com uma covari´avel experimental . . . . . . . . . . . . . . . . . . 62
4.4 An´alise com covari´aveis detectadas . . . . . . . . . . . . . . . . . . . . . 65
4.5 Apˆendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5 Modelo com detec¸c˜ao de DIF 70
5.1 Introdu¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2 Modelo proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.3 Inferˆencia Bayesiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.3.1 Especifica¸c˜oes do modelo . . . . . . . . . . . . . . . . . . . . . . . 72
5.3.2 Aspectos computacionais . . . . . . . . . . . . . . . . . . . . . . . 75
5.4 Apˆendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.4.1 Express˜oes para o modelo com detec¸c˜ao de DIF . . . . . . . . . . 77
6 Estudos simulados para o modelo com detec¸c˜ao de DIF 79
6.1 Introdu¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.2 Compara¸c˜ao entre m´etodos de amostragem . . . . . . . . . . . . . . . . . 80
6.3 An´alise de sensibilidade da distribui¸c˜ao a priori de π . . . . . . . . . . . 85
6.3.1 Descartando distribui¸c˜oes a priori beta com parˆametros maiores
que 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.3.2 Justificando a escolha da distribui¸c˜ao de transi¸c˜ao para π . . . . . 87
6.3.3 Compara¸c˜ao de distribui¸c˜oes a priori para π . . . . . . . . . . . . 89
6.4 Estudos simulados com o algoritmo e a distribui¸c˜ao a priori escolhidos . 94
xi
6.5 Apˆendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7 An´alise dos dados reais atrav´es do modelo com detec¸c˜ao de DIF 102
7.1 Introdu¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
7.2 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
7.3 Apˆendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
8 Conclus˜oes e trabalhos futuros 109
Referˆencias Bibliogr´aficas 111
xii
Cap´ıtulo 1
Introdu¸c˜ao
1.1 Introdu¸c˜ao
A Teoria de Resposta ao Item (TRI) ´e uma teoria psicom´etrica utilizada em todo o
mundo nas ´areas de avalia¸c˜ao educ acional e psicologia cognitiva. Como o pr´oprio nome
diz, essa Teoria ´e usada para analisar dados provenientes de respostas a itens presentes
em avalia¸c˜oes, question´arios, entre outros, e tem sido amplamente estudada. Por´em, na
medida em que cresce a aplica¸c˜ao da teoria, surgem novos fatores e ques tionamentos
de grande importˆancia pr´atica, os quais, possivelmente, levariam a resultados de grande
valor cient´ıfico se fossem contemplados pela TRI. Um desses questionamentos consiste em
se incorporar `a TRI o Funcionamento Diferencial do Item (DIF - Differential Item Func-
tioning), que considera a hip´otese de um item, no que diz respeito a suas caracter´ısticas,
comportar-se de maneira diferente entre dois ou mais grupos de indiv´ıduos.
´
E necess´ario, portanto, generalizar a TRI convencional a fim de incorporar a ela
modelos que se ajustem adequadamente a situa¸c˜oes que n˜ao s˜ao contempladas pelos
modelos usuais, como a existˆencia de DIF. Frente a essas quest˜oes, o principal objetivo
desta disserta¸c˜ao ´e fazer um estudo generalizado da Teoria de Resposta ao Item atrav´es de
propostas que permitam a modelagem do funcionamento diferencial do item no contexto
da TRI, usando uma abordagem Bayesiana.
Primeiramente, ser´a proposto um modelo de TRI que considera a existˆencia de DIF
(na discrimina¸c˜ao e na dificuldade), assumindo-se, por´em, a hip´otese de que os itens
1
com DIF s˜ao conhecidos. Ser˜ao feitos estudos de simula¸c˜ao para analisar a eficiˆencia do
modelo e da metodologia utilizada para se fazer a inferˆencia. Al´em disso, aplicar-se- ´a
o mode lo na an´alise de um conjunto de dados reais. Posteriormente, ser´a proposto um
modelo que englobe a detec¸c˜ao de itens com DIF, ou seja, que n˜ao necessite da hip´otese
de se conhecer quais itens possuem funcionamento diferencial. Novamente, ser˜ao feitos
estudos de simula¸c˜ao com tal mo de lo e tamb´em a an´alise do mesmo conjunto de dados
reais.
Na Se¸c˜ao 1.2 apresenta-se uma id´eia geral sobre a Teoria de Resposta ao Item: o que
´e; para que serve; onde ´e usada e os principais modelos existentes. A Se¸c˜ao 1.3 apresenta
e descreve um conjunto de dados reais que ser´a analisado ao longo da disserta¸c˜ao. A
se¸c˜ao 1.4 exibe uma an´alise desses dados via TRI. Na Se¸c˜ao 1.5 introduz-se o conceito
de DIF, bem como sua origem e importˆancia. Um sum´ario da disserta¸c˜ao ´e apresentado
na se¸c˜ao 1.6.
1.2 Teoria de Resposta ao Item
A Teoria de Resposta ao Item surgiu, formalmente, a partir dos trabalhos de Lord
(1952) e Rasch (1960). Atualmente, a TRI representa a teoria psicom´etrica mais ex-
tensivamente utilizada em todo o mundo nas ´areas de avalia¸c˜ao educacional e psicologia
cognitiva, sendo munida de ferramentas estat´ısticas muito utilizadas na produ¸c˜ao de es-
calas nessas ´areas. A teoria tamb´em pode ter outras aplica¸c˜oes, como em outras ´areas
das Ciˆencias Sociais e Humanas e nas engenharias, ´areas de sa´ude, etc., -basta que esteja
em quest˜ao a estima¸c˜ao de alguma vari´avel que n˜ao seja diretamente observ´avel.
A id´eia b´asica da TRI consiste no emprego de modelos, geralmente param´etricos,
nos quais os parˆametros representem caracter´ısticas importantes dos itens, sendo, assim,
interpret´aveis. Nos modelos considerados nesta disserta¸c˜ao, um item ser´a caracterizado
por parˆametros referentes `as seguintes caracter´ısticas: discrimina¸c˜ao, dificuldade e acerto
casual. Outro parˆametro de suma importˆancia nos modelos da TRI ´e a proficiˆencia
do indiv´ıduo, tamb´em conhecida c omo habilidade cognitiva ou somente habilidade. Os
modelos da TRI, ao levar em considera¸c˜ao as caracter´ısticas dos itens na produ¸c˜ao das
2
habilidades, permitem que a proficiˆencia seja medida com maior precis˜ao e que a es-
cala produzida seja interpretada. Outra vantagem da TRI ´e possibilitar o c´alculo da
proficiˆencia de um aluno mesmo que este n˜ao tenha respondido a todos os itens, o que ´e
feito sem a necessidade de tratamento adicional dos dados.
Existem modelos da TRI para diferentes tipos de itens: para itens dicotˆomicos, ou
seja, acerta-se ou n˜ao o item; para itens politˆomicos, em que h´a uma gradua¸c˜ao da
resposta; e modelos para resposta cont´ınua, isto ´e, a resposta pode assumir qualquer
valor em um certo intervalo. Nessa disserta¸c˜ao ser˜ao apresentados apenas modelos para
itens dicotˆomicos.
Um modelo mais simples ´e o modelo de Rasch (1960), que envolve os parˆametros θ e b,
os quais representam a habilidade do indiv´ıduo e a dificuldade do item respectivamente.
O modelo ´e o seguinte:
P (Y
ij
= 1|θ
j
, b
i
) =
1
1 + e
−(θ
j
−b
i
)
, i = 1, . . . , I , j = 1, . . . , J (1.1)
onde Y
ij
´e o indicador de acerto do item i pelo indiv´ıduo j; θ
j
´e a habilidade do indiv´ıduo
j e b
i
representa a dificuldade do item i, considerando-se um conjunto de I itens e J
indiv´ıduos.
Note que este modelo representa um particular mo de lo “log´ıstico”, o que le va `a
identifica¸c˜ao do modelo de Rasch como um modelo log´ıstico de um parˆametro. Pode-
se observar que o modelo n˜ao ´e identific´avel, pois qualquer transforma¸c˜ao do tipo:
θ* = a
1
a
θ − cte
, b
i
* = a
1
a
b
i
− cte
, com a > 0, n˜ao altera a probabilidade re-
presentada pelo modelo. Uma maneira de tornar o modelo identific´avel ´e assumir que
I
i=1
b
i
= cte (tipicamente, cte = 0). Outra forma de fazˆe-lo ´e fixar uma distribui¸c˜ao para
as proficiˆencias. Geralmente adota-se a distribui¸c˜ao normal padronizada como ´e feito
nesta disserta¸c˜ao, definindo desta maneira uma escala para as proficiˆencias.
Outro modelo da TRI ´e o modelo de 2 parˆametros que teve sua forma expl´ıcita,
atualmente conhecida, estabelecida por Lord (1952). Sua forma ´e a seguinte:
3
P (Y
ij
= 1|θ
j
, a
i
, b
i
) =
a
i
(θ
j
−b
i
)
−∞
1
√
2π
e
−
u
2
2
du = Φ(a
i
(θ
j
− b
i
)) (1.2)
onde Y
ij
, θ
j
e b
i
s˜ao os mesmos do modelo (1.1) e a
i
representa a discrimina¸c˜ao do item
i.
Em 1968, Birnbaum (1968) modifica o modelo de Lord (1952) utilizando a fun¸c˜ao de
distribui¸c˜ao log´ıstica em vez da fun¸c˜ao de distribui¸c˜ao normal. A fun¸c˜ao de distribui¸c˜ao
log´ıstica, dada por:
Ψ
L
(z) =
1
1 + e
−z
´e uma boa aproxima¸c˜ao para a fun¸c˜ao de distribui¸c˜ao normal padr˜ao, uma vez que:
|Ψ
L
(1.702z) −Φ(z)| < 0.01. − ∞ < z < ∞
Dessa maneira, a representa¸c˜ao log´ıstica do modelo de dois parˆametros ´e:
P (Y
ij
= 1|θ
j
, a
i
, b
i
) =
1
1 + e
−Da
i
(θ
j
−b
i
)
(1.3)
onde Y
ij
; θ
j
; a
i
e b
i
s˜ao os mesmos do mo delo (1.2) e D ´e um fator de escala, constante
e normalmente igual a 1.7, com o prop´osito de se aproximar a distribui¸c˜ao log´ıstica da
distribui¸c˜ao normal, como explicado acima.
Uma outra maneira de representar este modelo ´e utilizando a fun¸c˜ao logito. Seja
P (Y
ij
= 1|θ
j
, a
i
, b
i
) = π
ij
, define-se a fun¸c˜ao logito como: logito(π
ij
) = ln
π
ij
1 − π
ij
.
Sendo assim, se logito(π
ij
) = ∆
ij
, ent˜ao π
ij
= logito
−1
(∆
ij
) =
1
1 + e
−∆
ij
, ou seja, P(Y
ij
=
1|θ
j
, a
i
, b
i
) = logito
−1
(∆
ij
), onde ∆
ij
= Da
i
(θ
j
− b
i
). A partir daqui, todos os modelos
apresentados seguir˜ao essa nota¸c˜ao.
Observe, pela Figura 1.1, que quando θ = b
i
, a probabilidade de se acertar o item ´e
igual a 0.5, isto ´e, se a habilidade do indiv´ıduo ´e maior que a dificuldade do item, ele tem
mais chance de acertar do que errar o item e vice-versa. Al´em disso, o ponto de maior
inclina¸c˜ao da curva caracter´ıstica ´e quando θ = b
i
e o valor da inclina¸c˜ao nesse ponto ´e
diretamente proporcional a a
i
(0.425a
i
). Em outras palavras, quanto maior for a
i
, maior
4
Figura 1.1: Curva caracter´ıstica do item para o modelo de dois parˆametros com a = 0.5
e b = 0.
ser´a a inclina¸c˜ao m´axima da curva. Isso ´e verificado quando se deriva (1.3) com rela¸c˜ao
a θ e se toma o m´aximo da fun¸c˜ao resultante.
O fato de a inclina¸c˜ao da curva ser diretamente proporcional ao parˆametro a
i
de dis-
crimina¸c˜ao ajuda na interpreta¸c˜ao deste parˆametro: quanto maior for a discrimina¸c˜ao do
item, maior ser´a a inclina¸c˜ao da sua curva caracter´ıstica e, consequentemente, maior ser´a
a diferen¸ca entre as probabilidades de acerto de indiv´ıduos com diferentes proficiˆencias e
vice-versa (para valores da proficiˆencia pr´oximos do ponto θ = b), ou seja, maior ser´a a
capacidade do item de diferenciar (discriminar) os indiv´ıduos.
J´a o parˆametro b
i
de dificuldade influencia na altura da curva: quanto mais alto o
valor de b
i
mais abaixo estar´a a curva caracter´ıstica do item i, ou seja, quanto mais dif´ıcil
o item, menor ´e a probabilidade de um indiv´ıduo, com uma proficiˆencia qualquer, acertar
o item e vice-versa.
Pode-se observar que no modelo (1.3) a probabilidade de acerto tende a zero quando
a proficiˆencia tende a −∞, ou seja: lim
θ→−∞
P (Y
ij
= 1|θ
j
, a
i
, b
i
) = 0. Por´em, quando
um indiv´ıduo n˜ao sabe responder a um item devido a uma baixa proficiˆencia, e xiste a
5
possibilidade de acerto casual, popularmente conhecido como “chute”. Este fato n˜ao ´e
considerado no modelo (1.3), uma vez que s e tem o limite mostrado acima. Lord (1952)
percebeu que, em geral, o percentual de acerto em n´ıveis muito baixos de habilidade
era menor que o inverso do n´umero de alternativas. Especialistas na ´area afirmam j´a
ter observado comportamentos variados com rela¸c˜ao a estes percentuais de acerto. Para
representar adequadamente este fenˆomeno, Birnbaum (1968) propˆos o mo delo log´ıstico de
trˆes parˆametros incluindo um novo parˆametro c
i
para representar a tendˆencia assint´otica
da curva caracter´ıstica do item quando a proficiˆencia tende a −∞. O modelo ´e o seguinte:
P (Y
ij
= 1|θ
j
, a
i
, b
i
, c
i
) = c
i
+ (1 − c
i
)logito
−1
(∆
ij
) (1.4)
onde ∆
ij
= Da
i
(θ
j
− b
i
)
A inclus˜ao do novo parˆametro torna o modelo mais complexo dificultando a estima¸c˜ao
de seus parˆametros. Al´em diss o, a boa estima¸c˜ao do parˆametro c
i
depende da presen¸ca
de indiv´ıduos com proficiˆencias muito baixas.
Figura 1.2: Curva caracter´ıstica do item para o modelo de trˆes parˆametros com a = 0.5,
b = 0 e c = 0.2.
6
Note que, tamb´em neste modelo, o ponto de maior inclina¸c˜ao da curva caracter´ıs tica ´e
quando θ = b
i
. Novamente, o valor da inclina¸c˜ao nesse ponto ´e diretamente proporcional
a a
i
(0.425a
i
(1 − c
i
)) e, quando θ = b
i
, a probabilidade de se acertar o item ´e igual a
(1 + c
1
)/2. Al´em disso, fica claro que lim
θ→−∞
P (Y
ij
= 1|θ
j
, a
i
, b
i
) = c
i
, o que significa que
a probabilidade de se acertar o item i ´e sempre estritamente maior que c
i
.
Defina Y o conjunto de todas as respostas, θ = {θ
1
, . . . , θ
J
} e β = {a, b, c}, com
a = {a
1
, . . . , a
I
}, b = {b
1
, . . . , b
I
} e c = {c
1
, . . . , c
I
}. A figura 1.3 apresenta a estrutura
hier´arquica do modelo log´ıstico de trˆes parˆametros.
Figura 1.3: Estrutura param´etrica do modelo log´ıstico de trˆes parˆametros.
1.3 Dados do programa Nova Escola
O conjunto de dados reais que ser´a utilizado em toda a disserta¸c˜ao ´e do programa
Nova Escola, criado pelo governo do Estado do Rio de Janeiro e lan¸cado no ano 2000,
o qual prop˜oe crit´erios de avalia¸c˜ao de todas as 1854 escolas da rede estadual de ens ino
em cinco itens: presta¸c˜ao de contas; gest˜ao da matr´ıcula; integra¸c˜ao com a comunidade;
desempenho dos alunos (estudantes da 2
a
a 8
a
s´eries do ensino Fundamental e 1
a
a 3
a
s´eries do ensino m´edio em provas de L´ıngua Portuguesa e Matem´atica) e fluxo escolar.
Os objetivos do programa, segundo o governo do Estado, s˜ao: impulsionar a melhoria
na qualidade de ensino e valorizar a escola p´ublica, tornar ainda mais transparente e
eficiente o processo pelo qual as escolas da rede estadual de ensino s˜ao submetidas a fim
7
de atingir um padr˜ao de excelˆencia na educa¸c˜ao p´ublica do Rio de Janeiro e, al´em disso,
pretende modernizar a gest˜ao da rede estadual. A institui¸c˜ao avaliadora do Programa
Nova Escola ´e o Centro de Pol´ıticas P´ublicas e Avalia¸c˜ao da Educa¸c˜ao - CAEd, da
Universidade Federal de Juiz de Fora.
Os dados aqui analisados s˜ao os resultados referentes `a prova de matem´atica do ano de
2005, aplicada aos alunos da 5
a
s´erie do Ensino Fundamental, e foram cedidos pelo CAEd.
O total de alunos avaliados ´e 67283, dos quais 3998 s˜ao da capital do Estado. Por uma
quest˜ao de custo computacional, foi sorteada uma amostra aleat´oria desses alunos para se
fazer a an´alise via TRI. A amostra ´e composta por 2000 alunos da capital e 2000 alunos
do restante do Estado. Essa divis˜ao foi feita pois esses ser˜ao os dois grupos considerados
para an´alise de DIF posteriormente. Acredita-se que tal amostra seja suficiente para uma
boa estima¸c˜ao dos parˆametros de interesse.
Os 56 itens considerados s˜ao divididos em 7 blocos de 8 itens cada e, a partir da´ı,
s˜ao criados diferentes cadernos de prova atrav´es da metodologia de blocos balanceados
incompletos, sendo cada teste formado por 3 blocos, ou seja, 24 itens. Cada aluno
responde um dos tes tes. Os itens s˜ao de m´ultipla escolha com quatro op¸c˜oes, entre as
quais apenas uma est´a correta.
Figura 1.4: Propor¸c˜ao de acerto dos itens em cada um dos grupos.
8
Percebe-se, pela figura 1.4, que os alunos da capital tiveram maior percentual de
acerto para a maioria dos itens. O item que apresentou maior diferen¸ca de percentuais
foi o item 16. O item com maior percentual de acerto para ambos os grupos foi o item
15 e o que apresentou menor percentual de acerto foi o item 33, para a capital, e o item
10, para o interior.
1.4 An´alise dos dados reais via TRI
A metodologia utilizada para se fazer a inferˆencia sobre o modelo ser´a apresentada
nas se ¸c˜oes 2.3 e 2.4 e trata-se de uma abordagem Bayesiana. O modelo utilizado ´e o
modelo log´ıstico de trˆes parˆametros. Para identificabilidade do mesmo, foi fixada uma
distribui¸c˜ao normal padr˜ao para as proficiˆencias.
Ser˜ao apresentadas duas diferentes an´alises dos dados: na primeira ser´a considerada
toda a amostra do conjunto de dados e, posteriormente, uma an´alise separada para a
amostra de cada um dos dois grupos, uma considerando apenas os alunos da capital e
outra apenas os alunos do interior. Na segunda an´alise, as proficiˆencias ser˜ao fixadas nas
estimativas obtidas na primeira an´alise para permitir a compara¸c˜ao entre as estimativas
dos parˆametros dos itens.
Para a an´alise dos dois grupos conjuntamente, apresenta-se a figura 1.5.
Percebe-se pelo gr´afico do parˆametro a, que a maioria dos valores estimados est˜ao
entre 0.6 e 1.4. Espe cialistas dizem que discrimina¸c˜oes abaixo de 1 s˜ao baixas, entre 1 e
1.5 m´edias, entre 1.5 e 2 altas e, acima de 2 muito altas. Os itens 23, 24 e 27 s˜ao os que
tiveram maior discrimina¸c˜ao estimada, mas tamb´em tiveram grande variˆancia a posteri-
ori. Observe que a estimativa do parˆametro de discrimina¸c˜ao do item 38 n˜ao aparece no
gr´afico, pois n˜ao houve convergˆencia do algoritmo para este parˆametro, sinalizando que
este item tem um comportamento bem at´ıpico e n˜ao capturado totalmente pelo modelo.
Pelo gr´afico do parˆametro b, percebe-se que as estimativas dos parˆametros de dificuldade
dos itens tˆem menor variˆancia que as estimativas dos parˆametros de discrimina¸c˜ao. Este
´e um resultado comumente encontrado, uma vez que j´a se sabe de outros estudos que
o parˆametro b ´e mais facilmente estimado que o parˆametro a. Uma evidˆencia disto ´e
9
Figura 1.5: Estimativas pontuais (m´edia a posteriori) dos parˆametros a, b e c, respec-
tivamente, dos 56 itens, com os respectivos intervalos de credibilidade a posteriori de
95%.
10
o fato de o algoritmo ter convergido para o parˆametro b do item 38, apesar do mesmo
n˜ao ter acontecido para o parˆametro a deste item. Al´em disso, o item 38 foi o que teve
maior dificuldade estimada (3.04), confirmando sua complexidade estrutural. Quanto
ao parˆametro c, a maioria dos valores estimados est´a entre 0.1 e 0.2, o que ´e esperado
devido `a pr´opria interpreta¸c˜ao deste parˆametro. Os itens 9 e 38 foram os que tiveram
maiores valores estimados para o parˆametro de acerto casual (> 0.3), outra evidˆencia das
caracter´ısticas citadas sobre o item 38.
Por quest˜ao de custo computacional, n˜ao ´e poss´ıvel guardar as cadeias geradas (isso
´e explicado na se¸c˜ao 2.4) de todas as proficiˆencias, s´o ´e poss´ıvel obter-se a m´edia a
posteriori de todas elas, que ´e adotada como a estima¸c˜ao pontual. Ent˜ao, as cadeias
de duas proficiˆencias s˜ao guardadas e, atrav´es destas, obt´em-se tamb´em uma estima¸c˜ao
intervalar para elas como mostrado na tabela 1.1.
Tabela 1.1: Estimativas pontual (m´edia a posteriori) e intervalar (intervalo de credibili-
dade a posteriori de 95%) para duas das proficiˆencias.
Aluno Estima¸c˜ao pontual Estima¸c˜ao intervalar
347 −1.892 (−2.917 , −0.957)
3166 −1.759 (−2.821 , −0.947)
O aluno 347 pertence `a capital do Estado e o aluno 3166 ao interior do Estado. Note
que ambos tˆem uma proficiˆencia menor que a m´edia geral 0.
Os resultados da segunda an´alise s˜ao apresentados na figura 1.6.
Observe na figura 1.6 que o gr´afico dos parˆametros a
i
foi limitado em 4.4 para fa-
cilitar a visualiza¸c˜ao. O intervalo do item 38, para a capital, n˜ao aparece totalmente
no gr´afico, sendo que sua estimativa pontual ´e 15.95 e o limite superior do intervalo ´e
41.90. Ressalta-se que, em v´arios itens, as estimativas do parˆametros de discrimina¸c˜ao
e dificuldade distam bastante de um grupo para outro sendo que alguns intervalos das
estimativas chegam a ser disjuntos. No caso do parˆametro de acerto casual, tamb´em
notam-se diferen¸cas entre os 2 grupos, sendo que 15 itens tˆem suas estimativas pontuais
distando mais que 0.05.
Esta segunda an´alise serve apenas para mostrar a disparidade entre as estimativas dos
11
Figura 1.6: Estimativas pontuais (m´edia a posteriori) dos parˆametros a, b e c respecti-
vamente dos 56 itens com os respectivos intervalos de credibilidade a posteriori de 95%.
parˆametros dos itens e fornecer forte evidˆencia da existˆencia do funcionamento diferencial
de alguns itens. Os resultados obtidos n˜ao s˜ao ´uteis para fazer inferˆencia, uma vez que,
12
devido ao poss´ıvel DIF, as estimativas das proficiˆencias n˜ao s˜ao confi´aveis, logo, as dos
parˆametros dos itens tamb´em n˜ao s˜ao. Estes s˜ao fortes argumentos para se propor
modelos da TRI que considerem a possibilidade de DIF e sejam capazes de estimar
conjuntamente as proficiˆencias e os parˆametros dos itens em cada grupo.
1.5 Funcionamento diferencial do item
O funcionamento diferencial do item (DIF) consiste em se considerar a hip´otese de
um item se comportar de maneira diferente entre dois ou mais grup os com rela¸c˜ao `as
suas caracter´ısticas, como: discrimina¸c˜ao; dificuldade e, at´e mesmo, acerto casual. Ou
seja, o item i apresenta funcionamento diferencial na dificuldade se b
i
varia de um grupo
para o outro; analogamente na discrimina¸c˜ao e no acerto casual. Desta maneira, alunos
com mesma proficiˆencia e de grupos diferentes podem ter diferentes probabilidades de
acertar um certo item se este apresentar DIF, pois o item pode ter maior ou menor
dificuldade e/ou dis crimina¸c˜ao e/ou probabilidade de acerto casual para os alunos de um
certo grupo com rela¸c˜ao ao outro. Nesta disserta¸c˜ao ser´a considerada a possibilidade de
DIF na discrimina¸c˜ao e/ou dificuldade, uma vez que o DIF com rela¸c˜ao ao acerto casual
n˜ao ´e muito comum.
A preocupa¸c˜ao com o DIF surgiu com o desejo de s e constru´ırem quest˜oes de testes que
n˜ao fossem afetadas por caracter´ısticas ´etnico-culturais dos grupos submetidos aos testes
de avalia¸c˜ao educacional (cf. Cole (1993)). Portanto, ´e muito ligada `as campanhas em
prol da melhoria dos direitos civis dos cidad˜aos comuns nos anos 60 nos Estados Unidos da
Am´erica. Logo, a preocupa¸c˜ao com DIF antecede e at´e extrapola o contexto da TRI, na
qual a ausˆencia de DIF ´e requisito para uma boa equaliza¸c˜ao entre resultados de grupos
diferentes de indiv´ıduos. Ou seja, o fato de n˜ao se considerar o DIF, quando este existe,
pode levar `a obten¸c˜ao de resultados equivocados tanto com rela¸c˜ao aos parˆametros dos
itens, quanto, principalmente, com rela¸c˜ao `as proficiˆencias dos indiv´ıduos. Considere,
por exemplo, um teste usado para um processo de sele¸c˜ao qualquer no qual se deseja
selecionar os α% dos indiv´ıduos de maior proficiˆencia. Se existe DIF em alguns dos itens
do teste entre dois ou mais grupos desses indiv´ıduos, o processo de sele¸c˜ao pode ser
13
gravemente comprometido devido a uma poss´ıvel m´a estima¸c˜ao das proficiˆencias, o que
leva `a sele¸c˜ao de indiv´ıduos que tenham, na verdade, menor proficiˆencia que indiv´ıduos
n˜ao selecionados.
Estudos conduzidos pelo Educacional Testing Service (ETS), nos Estados Unidos,
apontam que o DIF, num contexto de avalia¸c˜ao em larga escala, pode ser causado por
trˆes fatores: a familiaridade com o conte´udo do item, que pode ser associada `a exposi¸c˜ao
ao tema ou a um fator cultural; o interesse pessoal naquele dado conte´udo e a rea¸c˜ao
emocional negativa provocada pelo conte´udo.
A figura 1.7 mostra gr´aficos referentes ao conjunto de dados analisado na se¸c˜ao ante-
rior, e foram feitos utilizando-se as proficiˆencias estimadas pelo modelo log´ıstico de trˆes
parˆametros e o percentual de acerto do item em determinadas faixas de proficiˆencia.
Figura 1.7: Estima¸c˜ao emp´ırica das curvas caracter´ısticas dos itens para dois grupos
distintos: os alunos da capital (rosa) e os alunos das outras cidades do Estado (verde),
(fonte:CAEd).
O gr´afico da esquerda se refere ao item 14 e fornece evidˆencia de que a discrimina¸c˜ao
deste item ´e diferente para cada um dos grupos, uma vez que a curva referente `a capital
tem uma inclina¸c˜ao aparentemente maior que a curva referente `as outras cidades. J´a o
gr´afico da direita evidencia que a dificuldade do item 20 ´e diferente em cada grupo, no
sentido de ser mais f´acil (ou menos dif´ıcil) para os alunos da capital.
O objetivo inicial era identificar itens que eram favor´aveis (ou desfavor´aveis) a um
determinado grupo de alunos em detrimento de outros grupos, com o intuito de evitar
14
quest˜oes “prejudiciais e injustas”. Parece razo´avel ent˜ao que, a princ´ıpio, n˜ao se deseje
encontrar itens com DIF, pois estes estariam privilegiando algum particular grupo de
indiv´ıduos, al´em das implica¸c˜oes t´ecnico-estat´ısticas e quest˜oes morais. Por´em, al´em de
se estar descartando dados (informa¸c˜ao) de grande importˆancia com a elimina¸c˜ao destes
itens, os resultados encontrados para os itens com DIF oferecem uma oportunidade de
estudos extremamente relevantes que possibilitam, entre outras coisas, avaliar diferen¸cas
regionais e s´ocio-culturais de dif´ıcil percep¸c˜ao, al´em de diferen¸cas curriculares e diferen¸cas
de abordagens pedag´ogicas. Portanto, a an´alise de DIF pode ser uma ´util ferramenta
de diagn´ostico do sistema educacional, por exemplo, para detectar conte´udos que s˜ao
abordados com ˆenfases diferentes ou apontar em quais regi˜oes o ensino de alguns temas
precisa ser enfatizado.
Os argumentos acima indicam uma grande necessidade de se ter modelos da TRI que
possibilitem a an´alise de conjuntos de dados que contenham DIF, sem prejudicar a e s-
tima¸c ˜ao das proficiˆencias e de outros parˆametros do modelo. Existem m´etodos cl´assicos
para considerar e identificar DIF, mas todos com alguma grave deficiˆencia. M´etodos
baseados na estat´ıstica de Mantel-Haenszel (cf. Holland & Thayer, 1988) s˜ao usados
para identifica¸c˜ao de DIF somente na dificuldade e n˜ao est˜ao associados a nenhum mo-
delo da TRI, logo, restringem-se `a identifica¸c˜ao do funcionamento diferencial. Dentre os
m´etodos baseados em modelos da TRI, de stacam-se os de medidas de diferen¸cas de ´areas
entre as curvas caracter´ısticas. Para isso, o modelo da TRI ´e aplicado para cada grupo
individualmente, gerando assim uma curva caracter´ıstica estimada para cada grupo. Este
m´etodo apresenta dificuldades, pois fica dif´ıcil identificar o tipo de DIF (se na dificul-
dade, discrimina¸c˜ao ou acerto casual). Para tentar resolver estes problemas, s˜ao feitas
suposi¸c˜oes de mesmo acerto casual para os diferentes grupos ou mesma discrimina¸c˜ao.
Outros m´etodos consistem em testes de compara¸c˜ao dos parˆametros estimados para cada
item e em cada grupo individualmente (Lord, 1980; Thissen, Steinberg & Wainer, 1993).
Entretanto existem v´arias cr´ıticas a este m´etodo, como, por exemplo, ao fato do teste
ser assint´otico e de diferen¸cas significativas serem encontradas quando, na pr´atica, n˜ao
existem diferen¸cas na faixa de varia¸c˜ao de habilidade de mais interesse. Al´em disso,
para compara¸c˜oes entre os parˆametros de dificuldade, deve-se supor que a discrimina¸c˜ao
15
e o parˆametro de acerto casual s˜ao constantes para os grupos e, para se comparar os
parˆametros de discrimina¸c˜ao, ´e necess´aria a suposi¸c˜ao de mesmo parˆametro de acerto
casual para os grupos. Outro m´etodo baseado em modelos da TRI ´e o da regress˜ao
log´ıstica (Swaminathan & Rogers, 1990), que consiste em uma generaliza¸c˜ao do modelo
log´ıstico de dois parˆametros e, al´em de n˜ao considerar a possibilidade de acerto casual,
sup˜oe que as proficiˆencias dos examinados s˜ao perfeitamente conhecidas.
A detec¸c˜ao de itens com DIF ´e uma importante etapa da an´alise de DIF, mas uma
an´alise completa envolve, ainda, outras etapas muito importantes: uma classifica¸c˜ao satis-
fat´oria do DIF encontrado, a identifica¸c˜ao dos fatores associados ao DIF com a respectiva
formula¸c˜ao de hip´oteses com rela¸c˜ao `as causas do DIF e, talvez, uma an´alise confirmat´oria
dessas hip´oteses. Por exemplo, Schimitt, Holland & Dorans (1993), sugerem que estudos
especialmente planejados sejam utilizados para confirmar as hip´oteses formuladas a par-
tir do estudo de fatores associados ao DIF. Nesse contexto, ´e natural construir modelos
de regress˜ao que associam `a magnitude do DIF co-vari´aveis relacionadas aos itens. As
co-vari´aveis representariam os fatores associados ao DIF, de tal forma que os resultados
da an´alise de regress˜ao permitiriam confirmar ou n˜ao as hip´oteses formuladas. Longford,
Holland & Thayer (1993) prop˜oem um modelo de regress˜ao com es trutura hier´arquica
- com parˆametros do modelo variando de acordo com testes administrados com difer-
entes formas, onde a magnitude do DIF ´e explicada a partir de co-vari´aveis associadas
ao item (em particular uma medida da sua dificuldade). Rogers & Swaminathan (2000),
em seu modelo de 2 n´ıveis hier´arquicos, utilizaram caracter´ısticas dos examinandos no
segundo n´ıvel para melhorar o pareamento dos membros do grupo focal com os do grupo
de referˆencia. Swanson et al (2002), propuseram uma extens˜ao do m´etodo da regress˜ao
log´ıstica de Swaminathan & Rogers (1990), impondo uma estrutura hier´arquica em que
caracter´ısticas associadas ao item representadas por co-vari´aveis fossem introduzidas no
segundo n´ıvel do modelo de regress˜ao e, consequentemente, permitindo que hip´oteses
com respeito ao DIF fossem confirmadas ou n˜ao. Novamente, to das as trˆes abordagens
anteriores dependem de que a proficiˆencia ou uma medida de DIF de cada item tenha
sido previamente determinada. Por outro lado, as etapas de detec¸c˜ao e de explica¸c˜ao
atrav´es de fatores associados s˜ao realizadas separadamente.
16
S˜ao estas id´eias que motivam esta disserta¸c˜ao. Deseja-se propor modelos generalizados
da TRI que considerem e identifiquem o DIF e, ao mesmo tempo, sejam eficientes na
estima¸c˜ao das proficiˆencias e dos parˆametros dos itens, al´em de n˜ao necessitarem de
fortes hip´oteses que se afastam da realidade. Assim como May (2006), o modelo proposto
nesta disserta¸c˜ao admite, num primeiro momento, que dado um subconjunto de ˆancoras
(itens que n˜ao possuem DIF) os demais itens podem ter seus parˆametros de dificuldade
e discrimina¸c˜ao variando entre os diferentes grupos de indiv´ıduos. Diferentemente de
May (2006), introduz-se uma estrutura de regress˜ao associada aos parˆametros de DIF do
modelo, de tal forma que a explica¸c˜ao do DIF pode ser analisada simultaneamente com a
estimativa da proficiˆencia. Posteriormente, ´e proposta uma extens˜ao para o caso em que
os itens ˆancoras (e os itens que podem apresentar DIF) s˜ao identificados simultaneamente
com a estima¸c˜ao dos demais parˆametros do modelo.
1.6 Sum´ario da disserta¸c˜ao
No cap´ıtulo 1 foi feita uma introdu¸c˜ao aos conceitos de T RI e DIF e apresentados os
principais objetivos desta disserta¸c˜ao. No cap´ıtulo 2 ´e proposto um modelo da TRI para
modelagem de DIF. Ser´a apresentada toda a estrutura do modelo e o processo (Bayesiano)
para se fazer inferˆencia sobre o mesmo. Algumas das express˜oes matem´aticas envolvidas
no processo de inferˆencia s˜ao mostradas no apˆendice do cap´ıtulo.
No cap´ıtulo 3 s˜ao apresentados estudos de simula¸c˜ao para analisar a sensibilidade do
modelo a alguns fatores e para investigar a eficiˆencia da metodologia adotada para se
fazer inferˆencia no modelo. Incluem-se tamb´em an´alises de convergˆencia do algoritmo
utilizado.
No cap´ıtulo 4 ´e feita uma an´alise dos dados reais apresentados na se¸c˜ao 1.3 atrav´es
do modelo proposto no cap´ıtulo 2.
Prop˜oe-se, no cap´ıtulo 5, um modelo da TRI que incorpore a detec¸c˜ao de DIF (na
discrimina¸c˜ao e na dificuldade), apresentando-se sua estrutura e seu processo de inferˆencia
(tamb´em Bayesiano). Express˜oes matem´aticas envolvidas no processo de inferˆencia s˜ao
apresentadas no apˆendice do cap´ıtulo. Estudos simulados deste modelo s˜ao apresentados
17
no cap´ıtulo 6.
No cap´ıtulo 7, este modelo ´e utilizado para analisar o conjunto de dados reais consi-
derado nesta disserta¸c˜ao.
Conclus˜oes e trabalhos futuros s˜ao apresentados no cap´ıtulo 8.
18
Cap´ıtulo 2
Modelo da TRI para DIF
2.1 Introdu¸c˜ao
Neste cap´ıtulo ´e proposto um modelo da TRI para modelagem de DIF. Neste modelo,
assume-se a hip´otese de que se conhece quais itens possuem funcionamento diferencial. Na
se¸c˜ao 2.2 apresenta-se o modelo proposto com detalhamento da sua estrutura hier´arquica
e da modelagem do DIF. Na se¸c˜ao 2.3 explica-se a metodologia para se fazer inferˆencia no
modelo atrav´es de uma abordagem Bayesiana. A se¸c˜ao 2.4 descreve os m´etodos MCMC
utilizados no processo de inferˆencia do modelo log´ıstico de trˆes parˆametros e do mode lo
de DIF. No apˆendice do cap´ıtulo, apresenta-se as express˜oes matem´aticas utilizadas no
MCMC.
2.2 Modelo proposto
O modelo aqui proposto ´e uma generaliza¸c˜ao do mode lo log´ıstico de trˆes parˆametros
com a inclus˜ao de dois parˆametros para representarem o funcionamento diferencial na
discrimina¸c˜ao e na dificuldade respectivamente. O modelo ´e o seguinte:
P
Y
ij
= 1|θ
j
, a
i
, b
i
, c
i
, d
a
ig
, d
b
ig
= c
i
+ (1 − c
i
)logito
−1
(∆
ij
) (2.1)
onde ∆
ij
= De
−d
a
ig
a
i
(θ
j
− b
i
+ d
b
ig
)
19
para i = 1, . . . , I , j = 1, . . . , J e g = 1, . . . , G, onde I representa o total de itens, J o
total de indiv´ıduos e G o total de grupos.
Os dois parˆametros inclu´ıdos no modelo s˜ao d
a
ig
e d
b
ig
e representam o funcionamento
diferencial na discrimina¸c˜ao e na dificuldade, respectivamente, do item i no grupo g. Os
demais parˆametros s˜ao os mesmos definidos no modelo log´ıstico de trˆes parˆametros. Note
que se esses dois parˆametros forem iguais a zero o modelo se reduz a modelo log´ıstico de
trˆes parˆametros com rela¸c˜ao a item i; se d
a
ig
= 0 (d
b
ig
= 0), o item i n˜ao tem funcionamento
diferencial com rela¸c˜ao `a discrimina¸c˜ao (dificuldade). Na aplica¸c˜ao deste modelo, um dos
grupos ´e definido como grupo de referˆencia, para o qual os parˆametros de DIF s˜ao iguais a
zero para todos os itens, e estima-se os parˆametros de DIF dos grupos restantes, chamados
de grupos focais, para avaliar o funcionamento diferencial do item em cada grupo com
rela¸c˜ao ao grupo de referˆencia.
Para identificabilidade do modelo, ´e fixada uma distribui¸c˜ao normal padr˜ao para as
proficiˆencias do grupo de referˆencia (grupo 1) e sup˜oe-se que as proficiˆencias do grupo g
tˆem distribui¸c˜ao normal com m´edia µ
g
e variˆancia σ
2
g
. Ou seja, θ
j
|λ
g(j)
∼ N(µ
g(j)
, σ
2
g(j)
),
para g = 1, . . . , G, onde g(j) indica o grupo a que pertence o indiv´ıduo j e λ
g
= {µ
g
, σ
2
g
};
al´em disso, λ
1
= {0, 1}. Dessa maneira, pode-se obter importantes resultados com a
estima¸c˜ao dos parˆametros λ
g
.
Em muitas situa¸c˜oes ´e poss´ıvel que se conhe¸cam fatores que possam influenciar no
funcionamento diferencial do item entre os grupos analisados. Para que esse tipo de
informa¸c˜ao possa ser incorporada ao mode lo, os parˆametros de DIF ser˜ao modelados por
uma estrutura de regress˜ao da seguinte forma:
d
h
ig
= γ
h
0g
+
K
h
k=1
γ
h
kg
W
h
(i)k+1
+ η
h
(i)g
(2.2)
se o item i tiver DIF ; para h = a, b ; i = 1, . . . , I e g = 2, . . . , G.
Se o item i n˜ao tem DIF com rela¸c˜ao ao parˆametro h ent˜ao d
h
ig
= 0 para todo g.
Os termos W
h
(i)k+1
formam a matriz regressora W
h
de dimens˜ao L
h
×(K
h
+ 1) referente
ao parˆametro h, s endo L
h
o n´umero de itens para os quais se assume existir DIF no
20
parˆametro h. A primeira coluna da matriz W
h
´e formada por 1’s e a (k + 1) − ´esima
pelos valores da k − ´esima covari´avel, de um total de K
h
, usada para explicar o DIF
no parˆametro h. γ
h
kg
´e o coeficiente da k − ´esima vari´avel usada para explicar o DIF do
parˆametro h no grupo g e η
h
(i)g
´e o erro da regress˜ao, tal que η
h
g
∼ N
J
0, (τ
h
g
)
2
I
L
h
, onde
I
l
´e a matriz identidade de ordem l, ou seja, os d
h
i
’s s˜ao independentes dentro de c ada
grupo. Pode-se tamb´em assumir uma estrutura de correla¸c˜ao entre eles, o que n˜ao ser´a
considerado nesta disserta¸c˜ao.
Esta modelagem dos parˆametros de DIF possibilita incorporar ao modelo covari´aveis
que se julgue serem relevantes para explicar a existˆencia do DIF. A figura 2.1 apresenta
a estrutura hier´arquica do modelo proposto.
Figura 2.1: Estrutura hier´arquica do modelo proposto.
Os elementos exibidos na figura 2.1 s˜ao: Y , β e θ, que s˜ao os mesmos definidos no final
da se¸c˜ao 1.2 e, al´em disso: λ = λ
1
, . . . , λ
G
; d = {d
a
, d
b
}, com d
a
= d
a
11
, . . . , d
a
IG
e an´alogo
para d
b
; γ = {γ
a
, γ
b
}, com γ
a
= γ
a
02
, . . . , γ
a
K
a
G
e an´alogo para γ
b
; τ
2
= {(τ
a
)
2
, (τ
b
)
2
},
com (τ
a
)
2
= (τ
a
2
)
2
, . . . , (τ
a
G
)
2
e an´alogo para (τ
b
)
2
; W = {W
a
, W
b
}. Todos os parˆametros
e hiperparˆametros do modelo ser˜ao estimados atrav´es da metodologia apresentada nas
pr´oximas se¸c˜oes.
21
2.3 Inferˆencia Bayesiana
Nesta se¸c˜ao apresenta-se o processo para se fazer inferˆencia sobre o modelo (2.1),
utilizando-se uma abordagem Bayesiana. Para isso, defina Ψ = {Ψ
1
, Ψ
2
, Ψ
3
}, como
sendo o vetor contendo todos os parˆametros do modelo, onde Ψ
1
= {θ, λ}, Ψ
2
= {a, b, c}
e Ψ
3
= {d, γ, τ
2
}. Tem-se ent˜ao as seguintes especifica¸c˜oes para o modelo:
• Verossimilhan¸ca
A fun¸c˜ao de verossimilhan¸ca obtida a partir do modelo ´e:
l(Ψ; Y ) =
J
j=1
i∈I(j)
p
Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig(j)
, d
b
ig(j)
(2.3)
onde I(j) representa o conjunto de itens respondidos pelo indiv´ıduo j e g(j) o grupo a
que pertence esse indiv´ıduo.
• Distribui¸c˜oes a priori
Como dito anteriormente, a distribui¸c˜ao das proficiˆencias dos indiv´ıduos do grupo de
referˆencia ´e fixada na normal padr˜ao. Assume-se a priori que:
p(Ψ) =
3
i=1
p(Ψ
i
)
Para cada componente de Ψ assume-se as seguintes dis tribui¸c˜oes a priori:
P (Ψ
1
) =
J
j=1
p(θ
j
|µ
g(j)
, σ
2
g(j)
)
G
g=2
p(µ
g
)p(σ
2
g
)
onde:
(θ
j
|µ
g(j)
, σ
2
g(j)
) ∼ N(µ
g(j)
, σ
2
g(j)
) , µ
g
∼ N
m
0
, s
2
0
e σ
2
g
∼ GI (α
0
, β
0
),
∀j = 1, . . . , J e ∀g = 2, . . . , G, onde GI ´e a distribui¸c˜ao Gama I nversa.
p(Ψ
2
) =
I
i=1
p(a
i
)p(b
i
)p(c
i
)
22
onde:
a
i
∼ LN
m
a
i
, s
2
a
i
; b
i
∼ N
m
b
i
, s
2
b
i
e c
i
∼ beta (α
c
i
, β
c
i
) , ∀i = 1, . . . , I,
onde LN ´e a distribui¸c˜ao Log-Normal.
Definindo γ
h
g
= γ
0g
, γ
1g
, . . . , γ
K
h
g
, adota-se a seguinte distribui¸c˜ao a priori para Ψ
3
:
p(Ψ
3
|W ) =
h=a,b
G
g=2
L
h
i=1
p
d
h
ig
|W
h
, γ
h
g
, (τ
h
g
)
2
p(γ
h
g
)p
(τ
h
g
)
2
onde:
d
h
ig
|W
h
, γ
h
g
, (τ
h
g
)
2
∼ N
W
h
i
γ
h
g
, (τ
h
g
)
2
, ∀g = 2, . . . , G, se assume-se que o item i tem
DIF no parˆametro h e P (d
h
ig
= 0) = 1 caso contr´ario.
γ
h
g
∼ N
K
h
+1
m
γ
h
g
, s
2
γ
h
g
I
K
h
+1
e
(τ
h
g
)
2
∼ GI(α
τ
h
g
, β
τ
h
g
),
para h = a, b , ∀i = 1, . . . , I e ∀g = 2, . . . , G.
• Densidade da distribui¸c˜ao a posteriori conjunta
O objetivo do processo de inferˆencia, nesta disserta¸c˜ao, ´e obter a distribui¸c˜ao a poste-
riori conjunta de todos os parˆametros do modelo e, atrav´es dessa, produzir as estimativas
(pontuais e intervalares) de cada um deles. Atrav´es do Teorema de Bayes, obt´em-se a
seguinte densidade da distribui¸c˜ao a posteriori conjunta:
p(Ψ|Y, W) =
p(Y |Ψ, W )p(Ψ|W )
. . .
p(Y |Ψ, W )p(Ψ|W )dΨ
=
p(Y |Ψ)p(Ψ|W )
. . .
p(Y |Ψ)p(Ψ|W )dΨ
(2.4)
onde:
p(Y |Ψ)p(Ψ|W ) = p(Y |Ψ)p(Ψ
1
)p(Ψ
2
)p(Ψ
3
|W )
=
J
j=1
i∈I(j)
p(Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig(j)
, d
b
ig(j)
)
J
j=1
p(θ
j
|λ
g(j)
)
G
g=2
p(µ
g
)p(σ
2
g
)
I
i=1
p(a
i
)p(b
i
)p(c
i
)
h∈{a,b}
G
g=2
I
i=1
p(d
h
ig
|γ
h
g
, τ
h
g
, W
h
) (2.5)
h∈{a,b}
G
g=2
p(γ
h
g
)p
(τ
h
g
)
2
23
Devido `a integral presente no denominador da express˜ao (2.4) fica muito complicado
obter-se a forma anal´ıtica da distribui¸c˜ao a posteriori conjunta de Ψ. Para resolver este
problema ser˜ao utilizados m´etodos de simula¸c˜ao conhecidos como MCMC - Markov Chain
Monte Carlo, que permitem gerar amostras de ssa distribui¸c˜ao conjunta. Uma explica¸c˜ao
detalhada dos m´etodos de MCMC utilizados nesta disserta¸c˜ao ´e apresentada na pr´oxima
se¸c˜ao.
2.4 Aplica¸c˜ao de MCMC em TR I
Nesta se¸c˜ao apresenta-se o m´etodo MCMC usado para gerar as amostras da dis-
tribui¸c˜ao a posteriori conjunta dos parˆametros de modelos da TRI. Primeiramente ´e
apresentado o m´etodo aplicado ao modelo log´ıstico de trˆes parˆametros que gerou os re-
sultados apresentados na se¸c˜ao 1.4, e, posteriormente, a aplica¸c˜ao ao modelo proposto
na se¸c˜ao 2.2.
A id´eia b´asica do MCMC ´e gerar amostras da distribui¸c˜ao de interesse a partir de dis-
tribui¸c˜oes que constituam uma cadeia de Markov. Tais distribui¸c˜oes s˜ao as distribui¸c˜oes
de transi¸c˜ao da cadeia que devem ser adequadamente escolhidas de forma que a cadeia
convirja para uma distribui¸c˜ao estacion´aria que seja a pr´opria distribui¸c˜ao de interesse,
neste caso, a distribui¸c˜ao a posteriori conjunta dos parˆametros do modelo. Dessa forma,
ap´os atingir-se a convergˆencia, as amostras estar˜ao sendo geradas dessa distribui¸c˜ao esta-
cion´aria. O objetivo, ent˜ao, ´e gerar uma amostra grande o suficiente desta distribui¸c˜ao
estacion´aria que aproxime bem a distribui¸c˜ao a posteriori conjunta exata. Para isso,
estipula-se um burn-in que ´e um n´umero de itera¸c˜oes que se julgue serem necess´arias
para a convergˆencia da cadeia, e, a partir da´ı, gera-se uma amostra suficientemente
grande para obter-se uma boa aproxima¸c˜ao da distribui¸c˜ao de interesse.
Um m´etodo de MCMC muito utilizado ´e o Gibbs Sampling, originado do contexto
de processamento de imagem e introduzido no contexto estat´ıstico por Geman e Geman
(1984) com grande contribui¸c˜ao de Gelfand e Smith (1990). O m´etodo consiste em
tomar as distribui¸c˜oes condicionais completas dos parˆametros como as distribui¸c˜oes de
transi¸c ˜ao da cadeia de Markov. Assuma que a distribui¸c˜ao a posteriori conjunta de
24
interesse seja π(θ|Y ), com θ = (θ
1
, . . . , θ
d
)
, onde cada componente de θ pode ser um
escalar, um vetor ou uma matriz. Dessa maneira, as distribui¸c˜oes condicionais completas
s˜ao: π
i
(θ
i
) = π(θ
i
|θ
−i
), i = 1, . . . , d, onde θ
−i
´e o vetor θ sem a i − ´esima componente.
As amostras devem ser geradas da seguinte maneira:
1. Inicialize o contador das itera¸c˜oes da cadeia j = 1 e escolha valores iniciais θ
(0)
=
(θ
(0)
1
), . . . , θ
(0)
d
)
2. Obtenha um novo valor θ
(j)
= (θ
(j)
1
, . . . , θ
(j)
d
)
de θ
(j−1)
atrav´es de gera¸c˜oes sucessi-
vas dos valores:
θ
(j)
1
∼ π(θ
1
|θ
(j−1)
2
, . . . , θ
(j−1)
d
),
θ
(j)
2
∼ π(θ
2
|θ
(j)
1
, θ
(j−1)
3
, . . . , θ
(j−1)
d
),
.
.
.
θ
(j)
d
∼ π(θ
d
|θ
(j)
1
, . . . , θ
(j)
d−1
);
3. Mude o contador de j para j +1 e retorne ao passo 2 at´e que seja gerada o tamanho
de amostra desejado (considerando um burn-in).
Note que ´e uma condi¸c˜ao necess´aria do Gibbs Sampling que as distribui¸c˜oes condi-
cionais completas sej am conhecidas e que se saiba gerar valores dessas, por´em, isso nem
sempre ´e poss´ıvel. Uma solu¸c˜ao para este problema ´e o algoritmo Metropolis-Hastings
(MH), cujo nome se originou dos trabalhos de Metropolis et al. (1953) e Hastings (1970).
Suponha que deseja-se amostrar de uma distribui¸c˜ao de interesse π atrav´es de cadeias
de Markov e defina p(θ, φ) como a distribui¸c˜ao de transi¸c˜ao que leva `a convergˆencia da
cadeia para a distribui¸c˜ao de interesse. O algoritmo MH consiste em gerar os valores de
uma distribui¸c˜ao de transi¸c˜ao arbitr´aria com densidade q(θ, φ) da qual se saiba gerar,
baseado em uma probabilidade α(θ, φ) tal que:
p(θ, φ) = q(θ, φ)α(θ, φ), se θ = φ.
Dessa maneira, q(θ, φ) define uma densidade p(θ, ·) para todo poss´ıvel valor do parˆametro
diferente de θ. Consequentemente, existe uma probabilidade positiva restante da cadeia
permanecer em θ dada por:
25
p(θ, θ) = 1 −
q(θ, φ)α(θ, φ)dφ.
Baseado em id´eias de Hastings (1970), a express˜ao mais citada para a probabilidade
de aceita¸c˜ao ´e:
α(θ, φ) = min
1,
π(φ)q(φ, θ)
π(θ)q(θ, φ)
. (2.6)
Dessa maneira, o algoritmo MH fica o seguinte:
1. Inicialize o contador das itera¸c˜oes da cadeia j = 1 e escolha um valor inicial ar-
bitr´ario θ
(0)
.
2. Mova a cadeia para um novo valor φ gerado da densidade q(θ
(j−1)
, ·).
3. Avalie a probabilidade de aceita¸c˜ao do movimento α(θ
(j−1)
, φ) dada pela express˜ao
(2.6). Se o movimento ´e aceito, θ
(j)
= φ. Se n˜ao ´e aceito, θ
(j)
= θ
(j−1)
e a cadeia
n˜ao se move.
4. Mude o contador de j para j +1 e retorne ao passo 2 at´e que seja gerada o tamanho
de amostra desejado (considerando um burn-in).
No caso dos modelos de TRI propostos nesta disserta¸c˜ao, apenas algumas das dis-
tribui¸c˜oes condicionais completas s˜ao conhecidas. Para resolver este problema, ser´a ado-
tado o m´etodo conhecido como Gibbs Sampling com passos Metropolis proposto por
Muller (1991), onde adota-se o algoritmo do m´etodo Gibbs Sampling por´em, as compo-
nentes que n˜ao podem ser diretamente amostradas das respectivas distribui¸c˜oes condi-
cionais completas π
i
, s˜ao amostradas de π
i
atrav´es de uma sub-cadeia de Metropolis-
Hastings dentro do ciclo amostral de Gibbs. Ou seja, essas componentes s˜ao amostradas
de uma proposta q
i
e aceitas com probabilidade dada pela express˜ao (2.6). Quanto mais
parecidas forem a proposta q
i
e a condicional completa π
i
, mais pr´oxima de 1 ser´a a
probabilidade de aceita¸c˜ao.
A s eguir, apresentam-se as aplica¸c˜oes de MCMC aos modelos da TRI. Os algoritmos
apresentados foram implementados na linguagem Ox.
26
2.4.1 Modelo log´ıstico de trˆes parˆametros
Primeiramente ser´a mostrado a aplica¸c˜ao de MC MC ao modelo log´ıstico de trˆes
parˆametros (1.4) usado para gerar os resultados referentes aos dados do programa Nova
Escola que foram apresentados na se¸c˜ao 1.4. Relembrando o modelo, tem-se:
P (Y
ij
= 1|θ
j
, a
i
, b
i
, c
i
) = c
i
+
(1 − c
i
)
1 + e
−Da
i
(θ
j
−b
i
)
, ∀i = 1, . . . , I e ∀j = 1, . . . , J
Admite-se uma distribui¸c˜ao normal padr˜ao para as proficiˆencias e as distribui¸c˜oes a
priori descritas na se¸c˜ao 2.3 para os parˆametros β = (a, b, c). Os valores iniciais adotados
para esses trˆes parˆametros s˜ao:
a
(0)
i
= 1 , b
(0)
i
= 0 e c
(0)
i
= 0.2 ; ∀i = 1, . . . , I.
Os valores iniciais para as proficiˆencias s˜ao os escores brutos padronizados de cada in-
div´ıduo j dado por:
θ
(0)
j
=
e
j
− ¯e
V ar(e)
onde e
j
=
#(quest˜oes corretas)
#(quest˜oes respondidas)
, ¯e =
J
j=1
e
j
J
e V ar(e) =
J
j=1
(e
j
− ¯e)
2
J − 1
O m´etodo de MCMC utilizado ´e o Metropolis-Hastings, pois nenhuma das distribui¸c˜oes
condicionais completas ´e conhecida. O conjunto Ψ de todos os parˆametros do modelo
s˜ao separados em componentes da seguinte maneira:
({θ
1
}, . . . , {θ
J
}, {a
1
, b
1
, c
1
}, . . . , {a
I
, b
I
, c
I
})
ou seja, os valores dos trˆes parˆametros de cada item s˜ao gerados e aceitos (ou rejeitados),
conjuntamente.
Adota-se as seguintes espec ifica¸c˜oes a priori:
m
a
i
= 0 , s
2
a
i
= 2 , m
a
i
= 0 , s
2
a
i
= 1 , α
c
i
= 5 e β
c
i
= 17 ∀i = 1, . . . , I.
27
A distribui¸c˜ao LN(0, 2) tem m´edia 2.7, moda 0.13, mediana 1 e variˆancia 6.8, fazendo
com que essa distribui¸c˜ao esteja concentrada entre 0 e 3, onde se es pera que estejam os
verdadeiros valores dos parˆametros de discrimina¸c˜ao dos itens. Os mesmos argumentos
justificam o uso das distribui¸c˜oes N(0,1) para os parˆametros de dificuldade, uma vez que
esta distribui¸c˜ao concentra a maioria de sua massa entre −3 e 3, e beta(5, 17) para os
parˆametros de acerto casual, que tem m´edia 0.22 e desvio padr˜ao 0.08, uma vez que
espera-se que o verdadeiro valor deste parˆametro esteja em torno de 0.2 no caso em que
os itens tˆem 5 op¸c˜oes e em torno de 0.25 no caso de 4 op¸c˜oes, que s˜ao os casos mais
comuns.
O algoritmo ´e, ent˜ao, o se guinte:
1. Inicialize o contador das itera¸c˜oes da cadeia k = 1.
2. Gera-se, ∀j = 1, . . . , J, a proficiˆencia θ
(k)
j
de uma densidade q
j
(θ
(k−1)
, θ
(k)
) que ´e
aceita com probabilidade α
j
(θ
(k)
).
3. Gera-se, ∀i = 1, . . . , I, os parˆametros β
(k)
i
de uma densidade q
i
(β
(k−1)
, β
(k)
) que ´e
aceita com probabilidade α
i
(β
(k)
).
4. Muda-se o c ontador de k para k + 1 e retorna-se ao passo 2 at´e que seja gerada o
tamanho de amostra desejado (considerando um burn-in).
No exemplo apresentado na se¸c˜ao 1.4, foram geradas amostras de tamanho 10 mil
descartando-se as primeiras 2 mil para burn-in. As distribui¸c˜oes usadas para gerar as
propostas e as express˜oes das probabilidades de aceita¸c˜ao s˜ao apresentadas no apˆendice
deste cap´ıtulo.
28
a
2
b
2
c
2
θ
347
Figura 2.2: Gr´aficos de algumas cadeias geradas na an´alise dos dois grupos conjuntamente
apresentada na se¸c˜ao 1.4.
2.4.2 Modelo de DIF
Nesta se¸c˜ao, apresenta-se a aplica¸c˜ao de MCMC ao modelo (2.1) proposto para mo-
delagem de DIF. O m´etodo utilizado ser´a o Gibbs Sampling com passos Metropolis e o
conjunto Ψ de todos os parˆametros do modelo s˜ao separados em componentes da seguinte
maneira:
({θ
1
}, . . . , {θ
J
}, {µ
2
}, . . . , {µ
G
}, {σ
2
2
}, . . . , {σ
2
G
}, {a
1
, b
1
, c
1
}, . . . , {a
I
, b
I
, c
I
}, {d
a
12
}, . . . , {d
a
IG
},
{d
b
12
}, . . . , {d
b
IG
}, {γ
a
2
}, . . . , {γ
a
G
}, {γ
b
2
}, . . . , {γ
b
G
}, {τ
a
2
}, . . . , {τ
a
G
}, {τ
b
2
}, . . . , {τ
b
G
})
Os parˆametros cujas condicionais completas s˜ao conhecidas s˜ao:
µ
g
, σ
2
g
, γ
h
g
, τ
h
g
, ∀g = 2, . . . , G , h = a, b
os demais parˆametros s˜ao gerados via passos Metropolis-Hastings. O algoritmo ´e o
seguinte:
1. Inicialize o contador das itera¸c˜oes da cadeia k = 1.
29
2. Gera-se, ∀j = 1, . . . , J, a proficiˆencia θ
(k)
j
de uma densidade q
j
(θ
(k−1)
, θ
(k)
) que ´e
aceita com probabilidade α
j
(θ
(k)
).
3. Gera-se, ∀g = 2, . . . , G, µ
(k)
g
e σ
2
g
(k)
de suas respectivas distribui¸c˜oes condicionais
completas p
g
(µ
(k)
|·) e p
g
(σ
2
(k)
|·).
4. Gera-se, ∀i = 1, . . . , I, o parˆametro β
(k)
i
de uma densidade q
i
(β
(k−1)
, β
(k)
) que ´e
aceita com probabilidade α
i
(β
(k)
).
5. Gera-se, ∀i = 1, . . . , I, ∀g = 2, . . . , G e ∀h = a, b, o parˆametro (d
h
ig
)
(k)
de uma
densidade q
igh
(d
(k−1)
, d
(k)
) que ´e aceita com probabilidade α
igh
(d
(k)
).
6. Gera-se, ∀g = 2, . . . , G e ∀h = a, b, os parˆametros γ
h
g
e τ
2
g
(h)
de suas respectivas
distribui¸c˜oes condicionais completas p
gh
(γ
(k)
|·) e p
gh
(τ
2
(k)
|·).
7. Muda-se o c ontador de k para k + 1 e retorna-se ao passo 2 at´e que seja gerada o
tamanho de amostra desejado (considerando um burn-in).
As distribui¸c˜oes usadas para gerar as propostas, as express˜oes das probabilidades de
aceita¸c ˜ao e as distribui¸c˜oes condicionas completas s˜ao apresentadas no apˆendice deste
cap´ıtulo.
2.5 Apˆendice
Apresenta-se agora todas as express˜oes das distribui¸c˜oes condicionais completas, das
distribui¸c˜oes usadas para gerar as propostas e das probabilidades de aceita¸c˜ao referidas
na se¸c ˜ao anterior. As constantes sintonizadoras das distribui¸c˜oes de transi¸c˜ao foram es-
colhidas atrav´es de um estudo piloto de forma a garantir uma taxa adequada de transi¸c˜ao
da cadeia.
2.5.1 Express˜oes para o modelo log´ıstico de trˆes parˆametros
• Proficiˆencias
30
θ
(k)
∼ N
θ
(k−1)
j
, (0.2)
2
q
j
θ
(k−1)
, θ
(k)
= f
N
θ
(k)
j
; θ
(k−1)
j
, (0.2)
2
α
j
θ
(k)
= min
1,
p
j
θ
(k)
|·
q
j
θ
(k)
, θ
(k−1)
p
j
(θ
(k−1)
|·) q
j
(θ
(k−1)
, θ
(k)
)
onde:
p
j
(θ|·) ∝
i∈I(j)
p (Y
ij
|θ
j
, a
i
, b
i
, c
i
) f
N
(θ
j
; 0, 1)
• Parˆametros dos itens
q
i
β
(k−1)
, β
(k)
= q
a
i
a
(k−1)
, a
(k)
q
b
i
b
(k−1)
, b
(k)
q
c
i
c
(k−1)
, c
(k)
a
(k)
∼ LN
ln(a
(k−1)
i
) − (0.05)
2
/2, (0.05)
2
→ E
a
(k)
= a
(k−1)
i
q
a
i
a
(k−1)
, a
(k)
= f
LN
a
(k)
i
; ln(a
(k−1)
i
) − (0.05)
2
/2, (0.05)
2
b
(k)
∼ N
b
(k−1)
i
, (0.2)
2
q
b
i
b
(k−1)
, b
(k)
= f
N
b
(k)
i
; b
(k−1)
i
, (0.2)
2
c
(k)
∼ U
max(0, c
(k−1)
− 0.05) , min(1, c
(k−1)
+ 0.05)
q
c
i
c
(k−1)
, c
(k)
=
min(1, c
(k−1)
+ 0.05) − max(0, c
(k−1)
− 0.05)
−1
α
i
β
(k)
= min
1,
p
i
β
(k)
|·
q
i
β
(k)
, β
(k−1)
p
i
(β
(k−1)
|·) q
i
(β
(k−1)
, β
(k)
)
onde:
p
i
(β
i
|·) ∝
j∈J(i)
p (Y
ij
|θ
j
, a
i
, b
i
, c
i
) f
LN
a
i
; m
a
i
, s
2
a
i
f
N
b
i
; m
b
i
, s
2
b
i
f
beta
(c
i
; α
c
i
, β
c
i
)
onde J(i) representa o conjunto de indiv´ıduos que responderam o item i.
31
2.5.2 Express˜oes para o modelo de DIF
• Proficiˆencias
θ
(k)
∼ N
θ
(k−1)
j
, (0.2)
2
q
j
θ
(k−1)
, θ
(k)
= f
N
θ
(k)
j
; θ
(k−1)
j
, (0.2)
2
α
j
θ
(k)
= min
1,
p
j
θ
(k)
|·
q
j
θ
(k)
, θ
(k−1)
p
j
(θ
(k−1)
|·) q
j
(θ
(k−1)
, θ
(k)
)
onde:
p
j
(θ|·) ∝
i∈I(j)
p
Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig(j)
, d
b
ig(j)
f
N
θ
j
; µ
g(j)
, σ
2
g(j)
• Parˆametros das distribui¸c˜oes das proficiˆencias
(µ
(k)
g
|·) ∼ N
m
g
, s
2
g
onde:
m
g
=
j∈J(g)
θ
j
s
2
0
+ µ
0
σ
2
g
n
g
s
2
0
+ σ
2
g
, s
2
g
=
σ
2
g
s
2
0
n
g
s
2
0
+ σ
2
g
J(g) representa o conjunto de indiv´ıduos pertencentes ao grupo g.
(σ
(k)
g
|·) ∼ GI
α
0
+
n
g
2
,
j∈J(g)
(θ
j
− µ
g
)
2
+ 2β
0
2
• Parˆametros dos itens
q
i
β
(k−1)
, β
(k)
= q
a
i
a
(k−1)
, a
(k)
q
b
i
b
(k−1)
, b
(k)
q
c
i
c
(k−1)
, c
(k)
a
(k)
∼ LN
ln(a
(k−1)
i
) − (0.05)
2
/2, (0.05)
2
→ E
a
(k)
= a
(k−1)
i
32
q
a
i
a
(k−1)
, a
(k)
= f
LN
a
(k)
i
; ln(a
(k−1)
i
) − (0.05)
2
/2, (0.05)
2
b
(k)
∼ N
b
(k−1)
i
, (0.2)
2
q
b
i
b
(k−1)
, b
(k)
= f
N
b
(k)
i
; b
(k−1)
i
, (0.2)
2
c
(k)
∼ U
max(0, c
(k−1)
− 0.05) , min(1, c
(k−1)
+ 0.05)
q
c
i
c
(k−1)
, c
(k)
=
min(1, c
(k−1)
+ 0.05) − max(0, c
(k−1)
− 0.05)
−1
α
i
β
(k)
= min
1,
p
i
β
(k)
|·
q
i
β
(k)
, β
(k−1)
p
i
(β
(k−1)
|·) q
i
(β
(k−1)
, β
(k)
)
onde:
p
i
(β|·) ∝
j∈J(i)
p
Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig(j)
, d
b
ig(j)
f
LN
a
i
; m
a
i
, s
2
a
i
f
N
b
i
; m
b
i
, s
2
b
i
f
beta
(c
i
; α
c
i
, β
c
i
)
e J(i) representa o conjunto de indiv´ıduos que responderam o item i.
• Parˆametros de DIF
Se o item i n˜ao tem DIF com rela¸c˜ao ao parˆametro h, ent˜ao d
h
ig
= 0, ∀g = 2, . . . , G.
Caso contr´ario:
d
h
ig
(k)
∼ N
(d
h
ig
)
(k−1)
, (0.3)
2
q
igh
d
(k−1)
, d
(k)
= f
N
(d
h
ig
)
(k)
; (d
h
ig
)
(k−1)
, (0.3)
2
α
igh
d
(k)
= min
1,
p
igh
d
(k)
|·
q
i
d
(k)
, d
(k−1)
p
igh
d
(k−1)
i
|·
q
i
(d
(k−1)
, d
(k)
)
onde:
p
igh
(d|·) ∝
j∈J(ig)
p
Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig
, d
b
ig
f
N
d
h
ig
; W
h
(i)·
γ
h
·g
, (τ
h
g
)
2
e J(ig) representa o conjunto de indiv´ıduos do grupo g que responderam o item i.
33
• Parˆametros usados na explica¸c˜ao do DIF
γ
h
g
∼ N
K
h
+1
(H, L)
onde:
L =
(W
h
)
(τ
h
g
2
I
K
h
+1
)
−1
W
h
+ s
2
γ
h
g
I
K
h
+1
−1
e H = L
(W
h
)
(τ
h
g
2
I
K
h
+1
)
−1
d
h
g
+ s
2
γ
h
g
I
K
h
+1
m
γ
h
g
τ
h
g
∼ GI
α
τ
h
g
+
L
h
2
,
1
2
(d
h
g
− W
h
γ
h
g
)
(d
h
g
− W
h
γ
h
g
) + β
τ
h
g
34
Cap´ıtulo 3
Estudos simulados com o modelo de
DIF
3.1 Introdu¸c˜ao
Neste cap´ıtulo apresentam-se an´alises com dados simulados para se verificar carac-
ter´ısticas do modelo (2.1) proposto para modelagem de DIF. Primeiramente, na se¸c˜ao
3.2, ´e feita uma an´alise de sensibilidade do modelo com rela¸c˜ao a algumas especifica¸c˜oes.
Posteriormente, o modelo ´e aplicado a trˆes diferentes conjuntos de dados para se verificar
a eficiˆencia na estima¸c˜ao dos parˆametros incluindo uma an´alise de convergˆencia do algo-
ritmo utilizado. Na se¸c˜ao 3.3 o conjunto de dados apresenta DIF apenas na dificuldade,
na se¸c˜ao 3.4 apenas na discrimina¸c˜ao e na se¸c˜ao 3.5 em ambos. Os gr´aficos de algumas
das cadeias geradas s˜ao apresentados no apˆendice do cap´ıtulo.
Em todas as an´alises, s˜ao gerados dados referentes a dois grupos de 2000 indiv´ıduos
cada que respondem a um conjunto de 50 itens. O algoritmo apresentado na se¸c˜ao 2.4.2
´e aplicado para gera¸c˜ao de uma amostra de tamanho 10 mil para cada parˆametro com
um burn-in de 2 mil, ou seja, a estima¸c˜ao dos parˆametros ´e feita atrav´es de uma amostra
de tamanho 8 mil para cada um deles. Para explica¸c˜ao dos parˆametros de DIF utiliza-se
uma vari´avel bin´aria que simula a presen¸ca ou n˜ao de uma certa caracter´ıstica no item.
Os itens para os quais se assume existir DIF para aplicar o modelo ser˜ao os que realmente
o tem (segundo a gera¸c˜ao dos dados). As distribui¸c˜oes a priori utilizadas s˜ao:
35
µ
2
∼ N(0, 1) e σ
2
2
∼ GI(0.1, 0.1)
a
i
∼ LN(0, 2) ; b
i
∼ N(0, 1) e c
i
∼ beta(5, 17) , ∀i = 1, . . . , 50
γ
h
2
∼ N
2
((0, 0)
, I
2
) e (τ
h
2
)
2
∼ GI(0.1, 0.1) , para h = a, b
Os valores reais dos parˆametros β
i
, utilizados para gerar o conjunto de dados, s˜ao
gerados aleatoriamente. As proficiˆencias do grupo 1 s˜ao geradas de uma distribui¸c˜ao
normal padronizada e as do grupo 2 de uma distribui¸c˜ao N(0.15, 1). Os parˆametros d
h
2i
s˜ao gerados segundo a estrutura de regress˜ao j´a apresentada, dados os seguintes valores:
γ
h
2
= (0.3, 0.3)
e (τ
h
2
)
2
= 0.04 , para h = a, b.
Os valores iniciais adotados para as proficiˆencias s˜ao os escores brutos padronizados
com rela¸c˜ao ao grupo a que pertence o indiv´ıduo. Para os parˆametros µ
2
e σ
2
2
toma-se
a m´edia e a variˆancia dos escores brutos do grupo 2, respectivamente. Para os outros
parˆametros tem-se:
a
(0)
i
= 1 , b
(0)
i
= 0 , c
(0)
i
= 0.2 e d
(0)
i
= 0 , ∀i = 1, . . . , I.
(γ
h
2
)
(0)
= (0, 0)
e (τ
h
2
)
2
(0)
= 1 , para h = a, b.
3.2 An´alises de sensibilidade
Nesta se¸c˜ao, s˜ao f eitas duas an´alises de sensibilidade do modelo. Uma com rela¸c˜ao ao
efeito de se ter mais ou menos itens com DIF com menor ou maior discrimina¸c˜ao e outra
com rela¸c˜ao `a distribui¸c˜ao de transi¸c˜ao do parˆametro de acerto casual. Em ambos os
estudos ser˜ao considerados cen´arios onde apenas a dificuldade apresenta funcionamento
diferencial.
3.2.1 Itens com DIF × discrimina¸c˜ao
Esta an´alise de sensibilidade ´e feita atrav´es da simula¸c˜ao de quatro diferentes cen´arios
combinando itens com baixa ou alta discrimina¸c˜ao e maior ou menor n´umero de itens
com DIF. O objetivo desta an´alise ´e descobrir qual cen´ario ir´a gerar estimativas mais
36
precisas dos parˆametros do modelo, uma vez que ´e necess´ario, para garantir a compara-
bilidade das proficiˆencias estimadas para os alunos dos diferentes grupos, que haja itens
que sejam aplicados em comum aos grupos e que pelo menos parte des ses itens, que de-
vem ser suficientemente informativos (com alta discrimina¸c˜ao), n˜ao deve exibir DIF (cf.
Lord (1980) e Thissen et al. (1993)). Como dito anteriormente, segundo especialistas,
discrimina¸c˜oes abaixo de 1 s˜ao baixas, entre 1 e 1.5 m´edias, entre 1.5 e 2 altas e acima
de 2 muito altas. Baseado nisso, ser˜ao simulados os seguintes cen´arios:
• Cen´ario 1 : a gerado com m´edia 0,5 e itens com DIF escolhidos por Ber(0.2).
• Cen´ario 2 : a gerado com m´edia 0,5 e itens com DIF escolhidos por Ber(0.8).
• Cen´ario 3 : a gerado com m´edia 2 e itens com DIF escolhidos por Ber(0.2).
• Cen´ario 4 : a gerado com m´edia 2 e itens com DIF escolhidos por Ber(0.8).
Os parˆametros a
i
s˜ao gerados de uma distribui¸c˜ao log-normal com as m´edias acima
e variˆancia 0.3. e os itens com DIF s˜ao escolhidos a partir de uma distribui¸c˜ao bernoulli
com parˆametro 0.2 ou 0.8. Nos casos 1 e 3 foram escolhidos 9 itens para terem DIF e
nos casos 2 e 4 foram e scolhidos 44 itens.
Para compara¸c˜ao dos resultados de cada cen´ario ser´a utilizado o erro quadr´atico m´edio
das estimativas dos parˆametros. Para o c´alculo do erro quadr´atico m´edio relativo aos
parˆametros a
i
ser´a desconsiderado o item 17, pois n˜ao houve convergˆencia do algoritmo
para o parˆametro de discrimina¸c˜ao deste item em nenhum dos quatro cen´arios. Isso
ocorreu, possivelmente, porque este item tem uma dificuldade muito baixa (-3.37) e uma
discrimina¸c˜ao relativamente alta nos cen´arios 1 e 2 (1.33) e muita alta nos cen´arios 3 e
4 (2.97), o que ´e muito raro na pr´atica. A n˜ao convergˆencia citada foi verificada atrav´es
do gr´afico da cadeia deste parˆametro em cada um dos cen´arios como mostrado na figura
3.10 no apˆendice deste cap´ıtulo.
Considerando-se o parˆametro a, os cen´arios 1 e 2 tem menor EQM, provavelmente,
porque os valores reais dos parˆametros de discrimina¸c˜ao s˜ao menores nestes casos. Para
a maioria dos demais parˆametros, o cen´ario 4 teve menor EQM, ou seja, estimativas mais
precisas de forma geral. O cen´ario 4 ´e aquele em que se tem itens com discrimina¸c˜ao
37
Tabela 3.1: Erro quadr´atico m´edio para os parˆametros dos itens, parˆametros de DIF
e proficiˆencias; a, b e c representam os conjuntos formados pelos parˆametros de dis-
crimina¸c˜ao, dificuldade e acerto casual, respectivamente, dos 50 itens; d
b
representa o
conjunto dos d
b
i
’s de todos os itens para os quais se assume existir DIF; θ
(1)
representa o
conjunto das proficiˆencias dos indiv´ıduos do grupo 1 e θ
(2)
dos indiv´ıduos do grupo 2.
Parˆametro EQM
Cen´ario 1 Cen´ario 2 Cen´ario 3 Cen´ario 4
a 0.004 0.005 0.026 0.024
b 0.119 0.179 0.006 0.004
c 0.003 0.004 0.001 0.0007
d
b
0.007 0.002 0.012 0.002
θ
(1)
0.222 0.210 0.050 0.050
θ
(2)
0.210 0.199 0.046 0.053
Tabela 3.2: M´edia a posteriori e erro quadr´atico m´edio para alguns parˆametros.
Parˆametro Valor Real Cen´ario 1 Cen´ario 2 Cen´ario 3 Cen´ario 4
µ
2
0.15 0.113 0.091 0.126 0.149
σ
2
1 0.947 1.027 0.974 1.033
EQM 0.002 0.002 0.0006 0.0005
γ
b
02
0.3 0.303 0.334 0.267 0.310
γ
b
12
0.3 0.376 0.219 0.411 0.263
EQM 0.003 0.004 0.006 0.0007
(τ
b
2
)
2
0.04 0.101 0.041 0.096 0.034
EQM 0.003 0.0000 0.003 0.0000
maior e mais itens com DIF. Nota-se que as estimativas do parˆametro (τ
b
2
)
2
s˜ao melhores
nos cen´arios em que se tem um maior n´umero de itens com DIF, o que ´e esperado, uma
vez que se tem mais informa¸c˜ao sobre esse parˆametro nestes cen´arios. Percebe-se que o
aumento da discrimina¸c˜ao dos itens melhora a prec is˜ao das estimativas dos parˆametros
relacionados `a distribui¸c˜ao das proficiˆencias e dos parˆametros de dificuldade e acerto
38
casual, isto pode ser notado ao se comparar o cen´ario 3 ao cen´ario 1 e o cen´ario 4 ao
cen´ario 2. No caso do parˆametro d, melhores estimativas s˜ao obtidas nos casos em que
se tem mais itens com DIF. Para os parˆametros γ
b
2
as estimativas se comportaram de
maneira diferente quanto `a discrimina¸c˜ao dos itens: nos cen´arios 1 e 2, onde se tem itens
menos discriminates, obtiveram-se melhores estimativas no cen´ario 1 onde se tem menos
itens com DIF, j´a nos cen´arios 3 e 4, onde se tem itens mais discriminantes, melhores
estimativas foram obtidas no cen´ario 4, em que se tem mais itens com DIF. Com rela¸c˜ao
`as proficiˆencias, observou-se que estas s˜ao melhor estimadas e, consequentemente, mais
compar´aveis, quando os itens s˜ao mais discriminantes. Por´em, n˜ao existem grandes
diferen¸cas quanto ao n´umero de itens com DIF, uma vez que os EQM s˜ao similares
entre os cen´arios com mesma discrimina¸c˜ao. Concluindo, o fato de se ter itens mais
discriminates produz melhores estimativas para a maioria dos parˆametros, principalmente
as proficiˆencias. Quanto ao n´umero de itens com DIF, a an´alise fornece evidˆencia de que
20% de itens ˆancora ´e suficiente para se produzir boas estimativas, uma vez que n˜ao foram
observadas grandes diferen¸cas entre os resultados de cen´arios com mesma discrimina¸c˜ao
e diferente n´umero de itens ˆancora.
3.2.2 Proposta para o parˆametro de acerto casual
Apresenta-se agora uma an´alise de sensibilidade do modelo com rela¸c˜ao `a distribui¸c˜ao
de transi¸c˜ao do parˆametro de acerto casual. A escolha dos itens com DIF foi feita
atrav´es de uma distribui¸c˜ao Bernoulli com parˆametro 0.4, escolhendo-se assim 19 itens
como tendo funcionamento diferencial. Este estudo foi feito atrav´es da compara¸c˜ao dos
resultados obtidos com o uso de trˆes diferentes distribui¸c˜oes de transi¸c˜ao para o parˆametro
de acerto casual, s˜ao elas:
• Proposta 1 : c
(j)
i
∼ U(max(0, c
(j−1)
i
− 0.05) , min(1, c
(j−1)
i
+ 0.05)).
• Proposta 2 : c
(j)
i
∼ beta(5, 17).
• Proposta 3 : c
(j)
i
∼ U(0, 0.5).
∀i = 1, . . . , 50.
39
Note que a distribui¸c˜ao da proposta 2 ´e a distribui¸c˜ao a priori dos c
i
’s e a proposta
3 restringe o espa¸co param´etrico a posteriori deste parˆametro ao intervalo (0,0.5). A
compara¸c˜ao dos resultados ser´a feita atrav´es do erro quadr´atico m´edio das estimativas e
do tamanho efetivo da amostra (n
eff
) gerada para cada parˆametro. O tamanho efetivo
de amostra de uma cadeia de tamanho n ´e dado por:
n
eff
=
n
1 + 2
∞
k=1
ρ
k
(3.1)
onde ρ
k
´e a autocorrela¸c˜ao de ordem k da cadeia.
Apesar dos valores serem amostrados da distribui¸c˜ao a posteriori conjunta de in-
teresse, ap´os a convergˆencia da cadeia, ele s n˜ao formam uma amostra aleat´oria, pois a
cadeia permanece dependendo dos valores passados, fazendo com que a cadeia gerada
tenha uma estrutura de autocorrela¸c˜ao. O termo do denominador da express˜ao (3.1)
mede qu˜ao afastada a amostra gerada est´a de uma amostra aleat´oria. Dessa maneira,
quanto maior for o tamanho efetivo da amostra, mais pr´oxima de uma amostra aleat´oria
da distribui¸c˜ao a posteriori conjunta estar´a a amostra gerada e mais representativa esta
ser´a (cf. Gamerman e Lopes (2006)). Os resultados obtidos s˜ao apresentados nas tabelas
3.3, 3.4 e 3.5. θ representa o conjunto de todas as 4 mil proficiˆencias.
Tabela 3.3: Erro quadr´atico m´edio para os parˆametros dos itens, parˆametros de DIF e
proficiˆencias.
Parˆametro EQM
Proposta 1 Proposta 2 Proposta 3
a 0.007 0.016 0.007
b 0.016 0.067 0.020
c 0.001 0.004 0.002
d
b
0.005 0.005 0.005
θ 0.085 0.087 0.087
Para os parˆametros a, b e c apresenta-se a m´edia dos n
eff
dos 50 itens, e para o
parˆametro d, a m´edia para os itens que tˆem DIF. Os parˆametros θ
347
e θ
3166
s˜ao as
40
Tabela 3.4: M´edia a posteriori e erro quadr´atico m´edio para alguns parˆametros.
Parˆametro Valor Real Proposta 1 Proposta 2 Proposta 3
µ
2
0.15 0.116 0.103 0.098
σ
2
1 0.985 0.968 0.984
EQM 0.0003 0.0008 0.0007
γ
b
02
0.3 0.252 0.253 0.264
γ
b
12
0.3 0.365 0.359 0.356
EQM 0.003 0.002 0.002
(τ
b
2
)
2
0.04 0.054 0.053 0.054
EQM 0.0002 0.0001 0.0002
Tabela 3.5: Tamanho efetivo de amostra para todos os parˆametros que tiveram as cadeias
guardadas. No caso dos parˆametros a, b, c e d
b
, apresenta-se a m´edia dos tamanhos
efetivos de amostra das cadeias de todos os item.
Parˆametro Tamanho efetivo de Amostra
Proposta 1 Proposta 2 Proposta 3
a 95.8 71.1 65.6
b 121.3 96.7 90.3
c 114.8 127.9 114.4
d
b
326.3 221.8 213.1
θ
347
1064.9 944.0 993.8
θ
3166
726.5 751.03 914.7
µ
2
118.0 136.2 188.2
σ
2
105.2 71.4 117.0
γ
b
02
1507.0 1369.4 1342.7
γ
b
12
1794.1 1433.1 1422.2
(τ
b
2
)
2
1190.6 1062.4 791.8
proficiˆencias que tiveram suas cadeias armazenadas, as demais n˜ao foram armazenadas
por motivo de custo computacional. O indiv´ıduo 347 pertence ao grupo 1 e o 3166 ao
41
grupo 2. Para calcular o tamanho efetivo de amostra ´e preciso truncar o somat´orio
das autocorrela¸c˜oes em alguma ordem, escolheu-se considerar as autocorrela¸c˜oes de at´e
ordem 100.
Nota-se que, de forma geral, o uso da proposta 1 gerou estimativas mais precisas,
possivelmente por ter aproximado melhor a verdadeira distribui¸c˜ao a posteriori conjunta.
Al´em disso, essa proposta s´o n˜ao teve maior tamanho efetivo de amostra para a m´edia
e o desvio das proficiˆencias do grupo focal, para a proficiˆencia do aluno 3166 e para o
parˆametro c. Conclui-se ent˜ao que a primeira distribui¸c˜ao de transi¸c˜ao proposta para o
parˆametro c ´e a mais adequada entre as trˆes propostas para se obter as estimativas dos
parˆametros do modelo.
Nas pr´oximas se¸c˜oes s˜ao analisados conjuntos de dados, usando a prop osta 1 para
o parˆametro de acerto casual, para verificar a eficiˆencia do modelo na estima¸c˜ao dos
parˆametros.
3.3 DIF na dificuldade
Nesta se¸c˜ao analisa-se um conjunto de dados simulados com funcionamento diferencial
apenas na dificuldade. As demais especifica¸c˜oes do conjunto de dados s˜ao as citadas no
in´ıcio deste cap´ıtulo. O objetivo da an´alise ´e verificar a eficiˆencia da metodologia adotada
para se fazer inferˆencia sobre os parˆametros do modelo.
Conclui-se, pela figura 3.1, que a estima¸c˜ao dos parˆametros dos itens foi muita boa,
uma vez que quase todos os intervalos de credibilidade contˆem os verdadeiros valores dos
parˆametros. O algoritmo n˜ao convergiu para o parˆametro de discrimina¸c˜ao do item 17
pelos mesmos motivos apontados na se¸c˜ao 3.2.1. A estima¸c˜ao dos parˆametros de DIF
tamb´em foi muito satisfat´oria, note que todos os intervalos de credibilidade contˆem o
verdadeiro valor do parˆametro.
Nota-se, pelas figuras 3.2 e 3.3 que as proficiˆencias tamb´em foram bem estimadas,
uma vez que, nos gr´aficos da figura 3.2, os pontos est˜ao bem pr´oximos da reta. Observar-
se que a estima¸c˜ao ´e menos precisa para as proficiˆencias menores, cujos valores reais s˜ao
menores que −1. A figura 3.3 mostra que a distribui¸c˜ao das proficiˆencias do grupo 2
42
Discrimina¸c˜ao Dificuldade
Acerto Casual DIF
Figura 3.1: Valor real e estimativas pontual (m´edia a posteriori) e intervalar (intervalo
de credibilidade de 95%) dos parˆametros de discrimina¸c˜ao, dificuldade, acerto casual e
DIF, respectivamente. O ponto representa o valor real do parˆametro e a linha horizontal
dentro do intervalo representa a estima¸c˜ao pontual.
foi tamb´em bem estimada, uma vez que o histograma das proficiˆencias estimadas para
os indiv´ıduos do grup o 2 aproxima-se bastante da curva da densidade da distribui¸c˜ao
normal com m´edia 0.15 e variˆancia 1.
A tab ela 3.6 mostra que os demais parˆametros do modelo foram satisfatoriamente
bem estimados, sendo que todos os intervalos de credibilidade cont´em o valor real dos
parˆametros. Conclui-se ent˜ao que a metodologia adotada para se fazer inferˆencia ´e efi-
ciente para estimar os parˆametros do modelo no caso em que se tem funcionamento
diferencial na dificuldade.
43
Grupo 1 Grupo 2
Figura 3.2: Valor real × valor estimado das proficiˆencias em cada grupo. Quanto mais
pr´oximo da reta estiver o ponto, melhor ´e a estimativa da proficiˆencia.
Figura 3.3: Histograma das proficiˆencias estimadas para os indiv´ıduos do grupo 2 sobre-
posto pela densidade da distribui¸c˜ao normal com m´edia 0.15 e variˆancia 1.
.
44
Tabela 3.6: M´edia a posteriori e intervalo de credibilidade para alguns parˆame tros.
Parˆametro Valor Real Valor estimado Intervalo
θ
347
-0.29 -0.17 (-0.73 , 0.33)
θ
3166
0.56 0.51 (0.03 , 0.98)
µ
2
0.15 0.116 (0.052 , 0.179)
σ
2
1 0.985 (0.939 , 1.036)
γ
b
02
0.3 0.253 (0.089 , 0.412)
γ
b
12
0.3 0.359 (0.135 , 0.580)
(τ
b
2
)
2
0.04 0.054 (0.025 , 0.113)
3.4 DIF na discrimina¸c˜ao
Nesta se¸c˜ao analisam-se trˆes conjuntos de dados simulados com funcionamento diferen-
cial apenas na discrimina¸c˜ao. Em cada um, adota-se valores diferentes para o parˆametro
γ
a
2
, de forma a simular diferentes situa¸c˜oes de DIF. As demais especifica¸c˜oes do conjunto
de dados s˜ao as citadas no in´ıcio deste cap´ıtulo. Novamente, o objetivo da an´alise ´e
verificar a eficiˆencia da metodologia adotada para se fazer inferˆencia s obre os parˆametros
do modelo. Inclui-se tamb´e m nesta se¸c˜ao, uma an´alise de convergˆencia do algoritmo uti-
lizado. Para isso, o modelo s er´a aplicado trˆes vezes a cada conjunto de dados adotando-se
diferentes valores iniciais para todos os parˆametros do modelo em cada uma das vezes.
Para a an´alise de convergˆencia, ser´a utilizada a estat´ıstica de Gelman e Rubin.
A estat´ıstica de Gelman e Rubin foi proposta em Gelman e Rubin (1992) usando
t´ecnicas de an´alise de variˆancia e ´e baseada na id´eia de que as trajet´orias de cadeias com
diferentes valores iniciais deve ser a mesma ap´os a convergˆencia (cf. Gamerman e Lopes
(2006)). Suponha m cadeias paralelas e uma fun¸c˜ao real ψ = t(θ), tem-se m trajet´orias
{ψ
(1)
i
, ψ
(2)
i
, . . . , ψ
(n)
i
}, com i = 1, . . . , m, para ψ. As variˆancias B entre as cadeias e W
dentro das cadeias s˜ao dadas por:
B =
n
m − 1
m
i=1
(
¯
ψ
i
−
¯
ψ)
2
e W =
1
m(n − 1)
m
i=1
n
j=1
(ψ
(j)
i
−
¯
ψ
i
)
2
onde
¯
ψ
i
´e a m´edia das observa¸c˜oes da cadeia i, e
¯
ψ ´e a m´edia dessas m´edias.
45
Sob a hip´otese de convergˆencia, todos esses mn valores s˜ao amostrados da distribui¸c˜ao
a posteriori conjunta e σ
2
ψ
, a variˆancia de ψ, pode ser estimada de maneira consistente
por W, B e a m´edia ponderada:
ˆσ
2
ψ
=
1 −
1
n
W +
1
n
B.
Se as cadeias n˜ao tiverem convergido ainda, ˆσ
2
ψ
vai superestimar σ
2
ψ
e W vai sub-
estimar esta variˆancia. Seguindo esta id´eia, um indicador de convergˆencia pode ser
formado pelo estimador da redu¸c˜ao de es cala potencial dado por:
ˆ
R =
ˆσ
2
ψ
W
. (3.2)
Esta ´e a estat´ıstica de Gelman e Rubin e ´e sempre maior que 1. Como ambos os
estimadores (ˆσ
2
ψ
e W ) convergem para σ
2
ψ
quando n → ∞ pelo teorema erg´ogico e
ˆ
R → 1, a convergˆencia pode ser avaliada pela proximidade de
ˆ
R a 1. Gelman (1996)
sugere aceitar a convergˆencia se
ˆ
R for menor que 1.2.
Tabela 3.7: As trˆes configura¸c˜oes adotadas para os valores iniciais dos parˆametros. eb
representa os escores brutos e ebp os escores brutos padronizados.
Parˆametros
θ µ
2
σ
2
2
a b c d
a
γ
a
2
(τ
a
2
)
2
Configura¸c˜ao 1 ebp m´edia(eb) var(eb) 1 0 0.2 0 (0,0) 1
Configura¸c˜ao 2 0 0 1 0.5 -1 0 -0.5 (1,1) 0.001
Configura¸c˜ao 3 1 1 2 1.5 1 0.4 0.5 (2,2) 2
A primeira configura¸c˜ao ´e a mesma adotada para os estudos simulados apresentados
nas se¸c˜oes anteriores deste cap´ıtulo.
Os trˆes conjuntos de dados gerados se diferenciam no valor escolhido para o parˆametro
γ
a
2
conforme apresentado na tabela 3.8.
No cen´ario 3, a caracter´ıstica varia entre os itens porque a vari´avel explicativa do
DIF ´e bin´aria, ent˜ao, para os itens onde a vari´avel explicativa ´e 1, o parˆametro de DIF
´e gerado de uma N(-0.7,0.04) e ser´a negativo com probabilidade praticamente 1, fazendo
46
Tabela 3.8: Cen´arios simulados.
γ
a
02
γ
a
12
Caracter´ıstica
Cen´ario 1 0.5 0.2 itens menos discriminantes para o grupo focal
Cen´ario 2 -0.5 -0.2 itens mais discriminantes para o grupo focal
Cen´ario 3 0.7 -1.4 varia entre os itens
com que esse item seja mais discriminante para o grupo focal. Se a vari´avel explicativa
´e 0, o parˆametro de DIF ´e gerado de uma N(0.7,0.04) e ser´a positivo com probabilidade
praticamente 1, fazendo com que esse item seja menos discriminante para o grupo f ocal.
Obtiveram-se os mesmos resultados para os trˆes cen´arios com rela¸c˜ao a convergˆencia.
Para todos os parˆametros d
a
i
de DIF, a estat´ıstica de Gelman e Rubin foi superior a 3.5
indicando a n˜ao convergˆencia das cadeias destes parˆametros. Por´em, ao se investigar
essas cadeias, notou-se que, na verdade, todas as trˆes cadeias de cada d
a
i
convergiram,
por´em para “lugares”diferentes. Tais “lugares”s˜ao poss´ıveis modas locais da distribui¸c˜ao
a posteriori conjunta. Isso pode acontecer, quando se utiliza m´etodos MCMC, de acordo
com a escolha dos valores iniciais. Para exemplificar esta situa¸c˜ao, observe a figura
3.4. Suponha que a distribui¸c˜ao a posteriori de interesse seja uma mistura de duas
distribui¸c˜oes normais univariadas com m´edias 0 e 6, variˆancia 1 e pesos 0.3 e 0.7, respec-
tivamente, conforme mostrado no gr´afico. Desta maneira, cadeias originadas de diferentes
valores iniciais, como por exemplo os valores a e b indicados no gr´afico, possivelmente
convergem para uma das duas distribui¸c˜oes normais que formam a mistura. A cadeia
que parte de a convergir´a para uma distribui¸c˜ao similar a Normal(0,1) e a cadeia que
parte de b para uma distribui¸c˜ao similar a uma Normal(6,1).
A convergˆencia das trˆes diferentes cadeias do mesmo parˆametro para “lugares”diferentes
´e verificada ao se observar os gr´aficos dessas cadeias. O comportamento ´e o mesmo para
todos os parˆametros d
a
i
. Note, pela figura 3.5, que a ordena¸c˜ao das cadeias foi a mesma
que a dos valores iniciais do parˆametro, ou seja a cadeia que partiu do menor valor inicial
foi a que convergiu para o menor patamar e assim por diante. Ess e comportamento foi o
mesmo para todos os parˆametros d
a
i
em todos os cen´arios.
Observou-se tamb´em que as cadeias que tiveram os valores iniciais da configura¸c˜ao
47
Figura 3.4: Mistura de duas distribui¸c˜oes normais.
Figura 3.5: Tra jet´oria das trˆes cadeias geradas para o parˆametro d
a
47
no cen´ario 1; o
n´umero da cadeia se refere ao n´umero da configura¸c˜ao usada para os valores iniciais.
1, apresentada na tabela 3.7, convergiram para uma distribui¸c˜ao unimodal cuja m´edia
est´a bem pr´oxima do valor real do parˆametro, ou seja, tais cadeias s˜ao as mais apropri-
adas para estima¸c˜ao dos parˆametros d
a
i
. Desta maneira, a configura¸c˜ao 1 ser´a sempre a
escolhida ao se utilizar o modelo.
48
No caso dos parˆametros a
i
de discrimina¸c˜ao, observou-se, em todos os cen´arios, o
mesmo comportamento que o dos parˆametros d
a
i
para os itens que se assumiu existir
funcionamento diferencial, ou seja, para esses itens, cada cadeia do parˆametro de dis-
crimina¸c˜ao convergiu para uma poss´ıvel moda local seguindo o mesmo padr˜ao de or-
dena¸c˜ao dos parˆametros de DIF. O mesmo aconteceu para o parˆametro γ
a
02
. J´a para o
parˆametro γ
a
12
e os parˆametros de discrimina¸c˜ao dos itens para os quais se assumiu n˜ao
existir DIF, a estat´ıstica de Gelman e Rubin foi menor que 1.01 para todos, indicando
convergˆencia e, al´em disso, a estima¸c˜ao destes parˆametros foi muito boa. Para todos os
demais parˆametros do mo delo, a estat´ıstica de Gelman e Rubin tamb´em foi menor que
1.01 e a estima¸c˜ao dos parˆametros novamente muita boa.
Suspeita-se ent˜ao que o motivo da convergˆencia para poss´ıveis modas locais para os
parˆametros citados tenha sido a escolha do valor inicial para os parˆametros de DIF d
a
i
.
Para verificar esta hip´otese, aplicou-se o modelo aos trˆes cen´arios com a configura¸c˜ao 2
para os valores iniciais dos parˆametros, com excess˜ao dos parˆametros d
a
i
, para os quais
se adotou o valor inicial da configura¸c˜ao 1, ou seja, 0. Isso porque a configura¸c˜ao 1 foi a
que levou `a boa estima¸c˜ao de todos os parˆametros.
Os resultados desta an´alise confirmaram a hip´otese para os trˆes cen´arios, uma vez
que, todas as cadeias com a nova configura¸c˜ao convergiram para a mesma distribui¸c˜ao
que as cadeias da configura¸c˜ao 1 para todos os parˆametros do modelo.
Note, pela figura 3.6, que mesmo partindo ambas as cadeias de 0, a cadeia 4 assume
valores baixos antes da d´ecima itera¸c˜ao mas, volta rapidamente ao mesmo patamar da
cadeia 1. Isso ocorre, devido `as diferentes escolhas para os valores iniciais dos demais
parˆametros.
Conclui-se ent˜ao que boas estimativas para todos os parˆametros do modelo, em todos
os trˆes cen´arios, s˜ao obtidas quando se adota o valor inicial 0 para os parˆametro de DIF.
Uma vez que os resultados obtidos foram muito semelhantes nos trˆes cen´arios simulados.
Apresentar-se-´a agora, nas figuras 3.7 e 3.8 e na tabela 3.9, os resultados obtidos para o
cen´ario 3 quando se considerou a configura¸c˜ao 1 para os valores iniciais dos parˆametros.
Os gr´aficos e tabelas apresentadas mostram que todos os parˆametros do modelo foram
bem estimados, com a maioria dos intervalos de credibilidade contendo o valor real dos
49
Figura 3.6: Gr´afico da esquerda: estimativas dos parˆametros d
a
i
obtida com a configura¸c˜ao
1 × as estimativas obtidas com a configura¸c˜ao modificada para o cen´ario 1; gr´afico da
direita: cadeias geradas em cada uma dessas duas configura¸c˜oes para o parˆametro d
a
15
tamb´em no cen´ario 1, a cadeia 1 se refere `a configura¸c˜ao 1 e a cadeia 4 `a configura¸c˜ao
modificada.
Tabela 3.9: M´edia a posteriori e intervalo de credibilidade para alguns parˆame tros.
Parˆametro Valor Real Valor estimado Intervalo
θ
347
-0.29 -0.15 (-0.63 , 0.28)
θ
3166
0.55 0.60 (0.10 , 1.08)
µ
2
0.15 0.128 (0.069 , 0.186)
σ
2
1 0.985 (0.937 , 1.049)
γ
b
02
0.7 0.659 (0.453 , 0.860)
γ
b
12
-1.4 -1.308 (-1.581 , -1.023)
(τ
b
2
)
2
0.04 0.079 (0.034 , 0.169)
parˆametros dos itens e todos os intervalos de credibilidade dos parˆametros restantes
contendo os verdadeiros valores. Conclui-se ent˜ao que a metodologia adotada para se
fazer inferˆencia ´e eficiente para estimar os parˆametros do modelo no caso em que se
tem funcionamento diferencial da discrimina¸c˜ao. Vale a penar destacar que tal eficiˆencia
50
Discrimina¸c˜ao Dificuldade
Acerto Casual DIF
Figura 3.7: Estimativas dos parˆametros dos itens e do parˆametro de DIF.
Grupo 1 Grupo 2
Figura 3.8: Valor real × valor estimado das proficiˆencias em cada grupo.
51
depende diretamente dos valores iniciais escolhidos para as cadeias.
3.5 DIF na dificuldade e na discrimina¸c˜ao
Nesta se¸c˜ao ´e simulado um cen´ario com funcionamento diferencial na dificuldade e
na discrimina¸c˜ao. Os itens foram escolhidos para ter DIF na dificuldade atrav´es de
uma distribui¸c˜ao Bernoulli(0.5) e na discrimina¸c˜ao por uma Bernoulli(0.2) de forma in-
dependente. Dessa maneira, dos 50 itens, 18 tˆem funcionamento diferencial somente
na dificuldade, 2 somente na discrimina¸c˜ao e 6 em ambos. Os resultados obtidos s˜ao
apresentados na figura 3.9 e na tabela 3.10.
Tabela 3.10: M´edia a posteriori e intervalo de credibilidade para alguns parˆametros.
Parˆametro Valor Real Valor estimado Intervalo
θ
347
0.61 0.30 (-0.22 , 0.81)
θ
3166
-0.49 -0.63 (-1.30 , -0.14)
µ
2
0.15 0.120 (0.056 , 0.178)
σ
2
1 1.007 (0.956 , 1.057)
γ
a
02
0.7 0.806 (0.239 , 1.255)
γ
a
12
-1.4 -1.422 (-2.031 , -0.663)
γ
b
02
0.8 0.868 (0.690 , 1.043)
γ
b
12
-1.6 -1.590 (-1.830 , -1.342)
(τ
a
2
)
2
0.04 0.245 (0.051 , 0.906)
(τ
b
2
)
2
0.04 0.076 (0.038 , 0.142)
Observa-se, pelos gr´aficos e tabe las apresentadas, que quase todos os parˆametros do
modelo foram bem estimados, com excess˜ao do parˆametro (τ
a
2
)
2
que foi superestimado.
Isso ocorreu, provavelmente, devido ao fato do n´umero de itens com DIF na discrimina¸c˜ao
n˜ao ter fornecido informa¸c˜ao suficiente sobre este parˆametro. Com rela¸c˜ao aos demais,
a maioria dos intervalos de c redibilidade cont´em o valor real dos parˆametros dos itens
e todos os intervalos de credibilidade dos parˆametros restantes cont´em os verdadeiros
valores. Novamente, a metodologia adotada para se fazer inferˆencia se mostrou eficiente
52
Discrimina¸c˜ao Dificuldade
Acerto Casual DIF na discrimina¸c˜ao
DIF na dificuldade Proficiˆencias
Figura 3.9: Estimativas dos parˆametros dos itens, de DIF e das proficiˆencias.
para estimar os parˆametros do modelo, nesse caso, considerando que existem itens com
funcionamento diferencial na discrimina¸c˜ao e/ou na dificuldade. No pr´oximo cap´ıtulo,
este modelo ´e aplicado ao conjunto de dados reais descrito na se¸c˜ao 1.3.
53
3.6 Apˆendice
Apresenta-se aqui o gr´afico do item 17 citado na se¸c˜ao 3.2.1 e alguns dos gr´aficos das
cadeias geradas para as an´alises das se¸c˜oes 3.3, 3.4 e 3.5. Para os parˆametros dos itens,
ser´a apresentada a cadeia desses parˆametros referentes ao item 1. Para os parˆametros
de DIF, ser´a apresentada a cadeia do primeiro item com DIF e para as proficiˆencias, a
cadeia da proficiˆencia do aluno 347.
• Cadeias do item 17 da se¸c ˜ao 3.2.1
Cen´ario 1 Cen´ario 2
Cen´ario 3 Cen´ario 4
Figura 3.10: Cadeia gerada para o parˆametro de discrimina¸c˜ao do item 17.
• Cadeias da se¸c ˜ao 3.3
54
a
1
b
1
c
1
d
b
2
θ
347
µ
2
σ
2
γ
b
02
55
γ
b
12
(τ
b
2
)
2
• Cadeias da se¸c ˜ao 3.4
Cadeias do cen´ario 3 com a configura¸c˜ao 1 para os valores iniciais.
a
1
b
1
c
1
d
a
2
56
θ
347
µ
2
σ
2
γ
a
02
γ
a
12
(τ
a
2
)
2
• Cadeias da se¸c ˜ao 3.5
a
1
b
1
57
c
1
d
a
2
d
b
2
θ
347
µ
2
σ
2
γ
a
02
γ
b
02
58
γ
a
12
γ
b
12
(τ
a
2
)
2
(τ
b
2
)
2
59
Cap´ıtulo 4
An´alise dos dados reais com o
modelo de DIF
4.1 Introdu¸c˜ao
Neste cap´ıtulo o modelo proposto no cap´ıtulo 2 ser´a aplicado ao conjunto de dados
reais do programa Nova Escola descrito na se¸c˜ao 1.3. Os dados se referem ao teste de
matem´atica aplicado a todas as escolas da rede estadual do Estado do Rio de Janeiro
no ano de 2005. Os alunos s˜ao divididos em dois grupos para se fazer a an´alise, o
grupo de referˆencia ´e formado pelos alunos da capital do estado e o grupo focal pelos
alunos dos demais munic´ıpios. Dos 67283 alunos avaliados ser´a considerada a mesma
amostra de 4000 alunos da se¸c˜ao 1.4, com 2000 em cada grupo. Na se¸c˜ao 4.2 ´e de scrito
o processo de escolha dos itens com DIF. Na se¸c˜ao 4.3 ´e feita uma an´alise considerando-
se uma covari´avel para explica¸c˜ao do DIF na discrimina¸c˜ao cuja escolha ´e baseada em
informa¸c˜oes de especialista na ´area de educa¸c˜ao. Na se¸c˜ao 4.4 a an´alise ´e repetida, com
a inclus˜ao de covari´aveis encontradas na primeira an´alise, para a explica¸c˜ao do DIF.
4.2 Escolha dos itens com DIF
A escolha dos itens para os quais ser´a considerado o funcionamento diferencial ser´a feita
atrav´es da estat´ıstica de Mantel-Haenszel (MaH) no caso da dificuldade e atrav´es de uma
60
an´alise subjetiva da estima¸c˜ao emp´ırica da curva caracter´ıstica de cada item no caso da
discrimina¸c˜ao. O crit´erio escolhido no caso da estat´ıstica de MaH foi classific ar um item
como tendo DIF na dificuldade se o p-valor for menor que 0.05 e estat´ıstica de AlfaDMH
tiver valor absoluto maior que 0.90, segundo a orienta¸c˜ao de um especialista. Os valores
da estat´ıstica de MaH dos itens e a estima¸c˜ao emp´ırica das curvas caracter´ısticas dos
mesmos foram fornecidos pelo CAEd. A figura 4.1 apresenta as an´alises para o item 16,
o qual foi considerado ter funcionamento diferencial na dificuldade e na discrimina¸c˜ao.
O DIF na dificuldade pois satisfaz as condi¸c˜oes citadas acima e na discrimina¸c˜ao pois
julgou-se razo´avel assumir tal funcionamento diferencial observando-se a diferen¸ca na
inclina¸c˜ao da curva caracter´ıstica estimada do item. A curva caracter´ıstica do grupo de
referˆencia ´e representada em rosa e a do grupo focal em verde.
Figura 4.1: An´alises para decis˜ao sobre o funcionamento diferencial do item 16.
Vale relembrar que a estat´ıstica de MaH n˜ao est´a associada a nenhum modelo da TRI
e a escolha dos itens com DIF na discrimina¸c˜ao, da maneira dita, ´e altamente subjetiva.
Utilizando-se esses crit´erios obteve-se o seguinte resultado:
61
Tabela 4.1: Itens para os quais ser´a considerado o funcionamento diferencial.
DIF Itens
Discrimina¸c˜ao 2, 9, 13, 14, 16, 20, 34, 37, 38, 39
Dificuldade 13, 16, 17, 20, 22, 32, 33, 37, 38, 41, 44, 46, 52, 53
4.3 An´alise com uma covari´avel experimental
Apresentam-se agora os resultados obtidos considerando a escolha dos itens com
DIF da se¸c˜ao anterior. As distribui¸c˜oes a priori adotadas s˜ao as mesmas descritas no
cap´ıtulo 3. Como ´e bem apontado pela literatura, a multidimensionalidade pode ser uma
causa prov´avel para que um item apresente DIF. Um exemplo ´e o caso de um teste de
matem´atica onde textos muito complexos inseridos em alguns itens exijam proficiˆencias
mais elaboradas em linguagem. Assim se grupos diferentes de alunos exibem proficiˆencias
diferentes nessa outra dimens˜ao, essa diferen¸ca de resultados resultar´a em um funciona-
mento diferencial para esses itens. Por isso, considerou-se o n´umero de palavras do
enunciado do item na escala logar´ıtmica como covari´avel para explica¸c˜ao do DIF na di-
ficuldade. Alguns resultados na ´area de DIF que dizem que o tamanho do enunciado
pode ser uma poss´ıvel causa de DIF, em Matem´atica, entre alunos de diferente s exo.
Apesar dos grupos considerados neste estudo n˜ao serem “meninos”e “meninas”achou-se
razo´avel analisar o efeito dessa covari´avel na explica¸c˜ao do DIF, tendo em vista que pode
haver diferen¸cas entre os alunos da regi˜ao metropolitana do Rio de Janeiro e os alunos
do interior com respeito `a habilidade de leitura e essas diferen¸cas podem implicar no
aparecimento de DIF nos itens de matem´atica. A figura 4.2 e a tabela 4.2 apresentam os
resultados obtidos. A cadeia do parˆametro de discrimina¸c˜ao do item 38 n˜ao convergiu,
como mostrado no primeiro gr´afico do apˆendice deste cap´ıtulo, por isso suas estimativas
pontual e intervalar n˜ao aparecem no primeiro gr´afico da figura 4.2.
Obtiveram-se resultados interessantes para o item 38, que ´e um item para o qual
se considerou DIF na discrimina¸c˜ao e na dificuldade. N˜ao houve convergˆencia para seu
parˆametro de discrimina¸c˜ao e ele ´e o item com maior dificuldade e parˆametro de acerto
casual estimados, o problema da convergˆencia ser´a resolvido na pr´oxima se¸c˜ao. Al´em
62
Discrimina¸c˜ao Dificuldade
Acerto Casual DIF na discrimina¸c˜ao
DIF na dificuldade Cadeia do parˆametro a
38
Figura 4.2: Estimativas dos parˆametros dos itens e de DIF, o ponto representa a m´edia
a posteriori dentro do intervalo de credibilidade de 95%.
disso as estimativas dos seus parˆametros de DIF foram pr´oximas de 0 mas tiveram grande
variˆancia a posteriori. Isso ´e um ind´ıcio de que a n˜ao estima¸c˜ao do seu parˆametro de
discrimina¸c˜ao tenha sido devido a uma m´a classifica¸c˜ao deste item quanto `a existˆencia de
DIF. Nota-se que a m´edia e o des vio padr˜ao das proficiˆencias dos alunos do interior s˜ao
menores que para os alunos da capital. O tamanho do enunciado da quest˜ao parece n˜ao
63
Tabela 4.2: M´edia a posteriori e intervalo de credibilidade para alguns parˆame tros.
Parˆametro Valor estimado Intervalo
µ
2
-0.176 (-0.238 , - 0.112)
σ
2
0.844 (0.793 , 0.899)
γ
a
02
-0.088 (-0.368 , 0.184)
γ
b
02
-0.356 (-1.828 , 1.171)
γ
b
12
0.111 (-0.379 , 0.592)
(τ
a
2
)
2
0.135 (0.034 , 0.413)
(τ
b
2
)
2
0.175 (0.069 , 0.398)
ter influˆencia no funcionamento diferencial dos itens quanto `a dificuldade, uma vez que o
intervalo de credibilidade para o coeficiente desta covari´avel c ont´em o valor 0 e este est´a
bem afastado das extremidades do intervalo. Ao se observar os gr´aficos das estimativas
dos parˆametros de DIF nota-se que dos itens para os quais se considera existir DIF na
dificuldade, a menos do item 38, todos os outros parecem ter DIF significativo. J´a na
discrimina¸c˜ao, os itens que parecem ter DIF significativo s˜ao os itens 14, 16, 20 e 39.
Um DIF definido como significativo aqui, significa que seu intervalo de credibilidade n˜ao
cont´em o 0 ou este est´a b em na extremidade do intervalo. No caso da dificuldade, dos
itens com DIF significativo e positivo, ou seja, mais dif´ıceis para os alunos da capital
(grupo de referˆencia), quatro deles (17, 32, 44 e 52) s˜ao itens de interpreta¸c˜ao de gr´aficos
de barra. Dos itens com DIF significativo e negativo, ou seja, mais dif´ıceis para os alunos
que n˜ao s˜ao da capital, todos os seis s˜ao itens relacionados a troco, onde o aluno tem
que fazer uma subtra¸c˜ao do dinheiro pago pelo valor do objeto para obter o valor do
troco. Esse ´e um resultado muito interessante e, possivelmente, de grande importˆancia
pedag´ogica. Para a discrimina¸c˜ao, dos trˆes itens que apresentam DIF negativo, ou seja,
menos dis criminantes para os alunos da capital, dois deles, 16 e 20, s˜ao itens relacionados
a troco que envolvem centavos.
Dados os resultados obtidos nesta an´alise, ser´a feita uma nova an´alise excluindo a
covari´avel relacionada ao tamanho do enunciado e incluindo as covari´aveis indicadoras
relacionadas ao conte´udo do item de acordo com as conclus˜oes obtidas na primeira an´alise.
64
4.4 An´alise com covari´aveis detectadas
Nesta se¸c˜ao, aplica-se novamente o modelo proposto no cap´ıtulo 2 ao mesmo conjunto
de dados reais da se¸c ˜ao anterior com a inclus˜ao de covari´aveis indicadoras relacionadas
ao conte´udo do item e com a exclus˜ao da covari´avel usada na primeira an´alise. As
covari´aveis inclu´ıdas ser˜ao as indicadoras de conte´udo relacionado a gr´afico de barras
e conte´udo relacionado a troco para a dificuldade e conte´udo relacionado a troco com
centavos para a discrimina¸c˜ao. Os resultados s˜ao apresentados na figura 4.3 e na tabela
4.3.
Tabela 4.3: M´edia a posteriori e intervalo de credibilidade para alguns parˆame tros.
Parˆametro Valor estimado Intervalo
µ
2
-0.175 (-0.245 , -0.109)
σ
2
0.850 (0.788 , 0.908)
γ
a
02
0.039 (-0.281 , 0.381)
γ
a
12
-0.403 (-1.086 , 0.268)
γ
b
02
0.259 (-0.0003 , 0.522)
γ
b
12
0.056 (-0.295 , 0.400)
γ
b
22
-0.645 (-0.971 , -0.321)
(τ
a
2
)
2
0.173 (0.038 , 0.575)
(τ
b
2
)
2
0.042 (0.015 , 0.106)
Nesta segunda an´alise, os resultados obtido s˜ao mais satisfat´orios. A cadeia do
parˆametro a
38
tem um comportamento bem mais adequado (gr´afico no apˆendice). Para
obten¸c˜ao de melhores resultados foi gerada uma amostra de tamanho 50 mil e o mesmo
burn-in de 2 mil. A es timativa desse parˆametro ´e pr´oxima de 2.5, ou seja, ´e um item
altamente discriminante, e as estimativas dos parˆametros de dificuldade e acerto ca-
sual s˜ao bem pr´oximas das estimativas da an´alise anterior. As estimativas da m´edia e
do desvio padr˜ao das proficiˆencias tamb´em s˜ao bem pr´oximas das da an´alise anterior.
No caso da covari´avel inclu´ıda para explica¸c˜ao do DIF na discrimina¸c˜ao, a estimativa
do coeficiente (γ
a
12
) referente a esta covari´avel ´e negativa, confirmando que itens cujo
65
Discrimina¸c˜ao Dificuldade
Acerto Casual DIF na discrimina¸c˜ao
DIF na dificuldade
Figura 4.3: Estimativas dos parˆametros dos itens e de DIF.
conte´udo est´a relacionado a troco com centavos s˜ao realmente mais discriminantes para
alunos que n˜ao s˜ao da capital. No entanto, o intervalo de credibilidade deste coeficiente
cont´em o 0, possivelmente, porque apenas dois dos itens para os quais se considera DIF
na discrimina¸c˜ao assumem valor 1 para esta covari´avel, ou seja, h´a pouca informa¸c˜ao
sobre este parˆametro. No caso da dificuldade, a covari´avel relacionada ao conte´udo de
gr´aficos de barra parece n˜ao ser significativa na explica¸c˜ao do DIF na dificuldade, uma
66
vez que a estimativa do coeficiente (γ
b
12
) desta covari´avel ´e bem pr´oxima de zero. No
caso da covari´avel relacionada ao conte´udo de troco, a estimativa do coeficiente (γ
b
22
)
desta covari´avel ´e significativamente diferente de zero e negativo, c onfirmando que itens
relacionados a este conte´udo s˜ao mais dif´ıceis para alunos que n˜ao s˜ao da capital. Al´em
disso, a estimativa da variˆancia do erro da regress˜ao para o DIF na dificuldade foi bem
menor nesta an´alise, confirmando que a inclus˜ao das covari´aveis (pelo menos a segunda)
tem grande relevˆancia na explica¸c˜ao do funcionamento diferencial dos itens considerados
quanto `a dificuldade.
Os gr´aficos de algumas das cadeias geradas nesta segunda an´alise s˜ao apresentados
no apˆendice deste cap´ıtulo.
4.5 Apˆendice
Apresentam-se aqui os gr´aficos do parˆametro a
38
e alguns dos gr´aficos das cadeias ger-
adas para a an´alise da se¸c˜ao 4.4. Para os parˆametros dos itens, ser´a apresentada a cadeia
desses parˆametros referentes ao item 1. Para os parˆametros de DIF, ser´a apresentada
a cadeia do primeiro item com DIF e para as proficiˆencias, a cadeia da proficiˆencia do
aluno 347.
Gr´afico do parˆametro a
38
nas se¸c˜oes 4.3 e 4.4 respectivamente.
67
a
1
b
1
c
1
d
a
2
d
b
13
θ
347
µ
2
σ
2
68
γ
a
02
γ
b
02
γ
a
12
γ
b
12
γ
b
22
(τ
a
2
)
2
(τ
b
2
)
2
69
Cap´ıtulo 5
Modelo com detec¸c˜ao de DIF
5.1 Introdu¸c˜ao
Neste cap´ıtulo ser´a proposta uma extens˜ao do modelo apresentado na se¸c˜ao 2.2 incor-
porando a detec¸c ˜ao de itens com funcionamento diferencial. Ou seja, neste novo modelo
n˜ao ´e necess´ario assumir a hip´otese de que se conhece quais itens possuem funciona-
mento diferencial. A de tec¸c˜ao dos itens com DIF ´e feita conjuntamente com a estima¸c˜ao
dos parˆametros do modelo. Na se¸c˜ao 5.2 apresenta-se o modelo proposto explicando-se
como a detec¸c˜ao de itens com DIF ´e feita. Na se¸c˜ao 5.3 ´e apresentada a metodologia
utilizada para se fazer a inferˆencia no modelo e descreve-se os m´etodos MCMC utilizados
no processo de inferˆencia.
5.2 Modelo proposto
A estrutura geral do modelo ´e a mesma do modelo proposto na se¸c˜ao 2.2, a diferen¸ca
est´a na modelagem dos parˆametros d
h
ig
de DIF. Relembrando a estrutura geral do modelo:
P
Y
ij
= 1|θ
j
, a
i
, b
i
, c
i
, d
a
ig
, d
b
ig
= c
i
+ (1 − c
i
)logito
−1
(∆
ij
) (5.1)
onde ∆
ij
= De
−d
a
ig
a
i
(θ
j
− b
i
+ d
b
ig
)
70
para i = 1, . . . , I , j = 1, . . . , J e g = 1, . . . , G, onde I representa o total de itens, J o
total de indiv´ıduos e G o total de grupos.
Para modelagem dos parˆametros de DIF d
h
i
ser´a considerada uma distribui¸c˜ao do
tipo “point-mass mixture”. Esse tipo de distribui¸c˜ao consiste de uma mistura entre uma
distribui¸c˜ao degenerada e uma distribui¸c˜ao cont´ınua e tem sua origem em Jeffreys (1939),
no contexto de testes Bayesianos de hip´oteses simples versus hip´oteses compostas (ver
Jeffreys 1961). Box & Meyer (1986) utilizam a atual distribui¸c˜ao a priori do tipo “point-
mass mixture” padr˜ao em an´alise de regress˜ao para planejamento fatorial fracionado.
Este pode ser c onsiderado a origem do uso moderno dessas id´eias e o verdadeiro avan¸co
desta metodologia. E Mitchell & Beauchamp (1988) juntam as id´eias e apresentam a
formula¸c˜ao para sele¸c˜ao de vari´aveis em an´alise de regress˜ao. Estas distribui¸c˜oes s˜ao
muito utilizada atualmente na ´area de express˜ao genˆomica como, por exemplo, em West
et al. (2006). A distribui¸c˜ao escolhida para modelar os parˆametros de DIF ´e a seguinte:
d
h
ig
|π
h
ig
, W
h
, γ
h
g
, τ
h
g
∼ (1 − π
h
ig
)δ
0
+ π
h
ig
N
W
h
i
γ
h
g
, (τ
h
g
)
2
(5.2)
para h = a, b ; i = 1, . . . , I e g = 1, . . . , G, onde δ
0
´e uma distribui¸c˜ao degenerada em 0.
Desta maneira, d
h
i
= 0 com probabilidade (1 − π
h
ig
) e d
h
i
= 0 com probabilidade π
h
ig
,
ou seja, o item i tem DIF no parˆametro h no grupo g com rela¸c ˜ao ao grupo de referˆencia
com probabilidade π
h
ig
e n˜ao tem tal DIF com probabilidade (1 − π
h
ig
).
A decis˜ao de um item ter ou n˜ao um determinado DIF ´e tomada com base na m´edia
a posteriori do parˆametro π
h
ig
referente a esse DIF. Se ess a m´edia for maior que 0.5
considera-se o item como tendo tal DIF e vice-versa.
Note que agora a matriz W
h
tem dimens˜ao I × (K
h
+ 1), onde K
h
´e o n´umero de
covari´aveis utilizadas para explicar o DIF no parˆametro h. A figura 5.1 apresenta a
estrutura hier´arquica do mode lo proposto.
A ´unica diferen¸ca na estrutura hier´arquica deste modelo com rela¸c˜ao `a estrutura
hier´arquica do modelo (2.1) ´e a inclus˜ao de π na explica¸c˜ao de d, com π = {π
a
, π
b
},
sendo π
a
= π
a
12
, . . . , π
a
IG
e an´alogo para π
b
.
71
Figura 5.1: Estrutura hier´arquica do modelo para detec¸c˜ao de DIF.
5.3 Inferˆencia Bayesiana
Nesta se¸c˜ao apresentam-se as especifica¸c˜oes do processo de inferˆencia sobre o modelo
apresentado na se¸c˜ao anterior, utilizando-se uma abordagem Bayesiana, bem como os
m´etodos MCMC utilizados neste processo.
5.3.1 Especifica¸c˜oes do modelo
Defina Ψ = {Ψ
1
, Ψ
2
, Ψ
3
}, onde Ψ
1
= {θ, λ}, Ψ
2
= {a, b, c} e Ψ
3
= {d, π, γ, τ}.
• Verossimilhan¸ca
A fun¸c˜ao de verossimilhan¸ca obtida a partir do modelo ´e a mesma do modelo (2.1)
apresentado no cap´ıtulo 2, uma vez que a diferen¸ca desse para o novo modelo est´a na
modelagem dos parˆametros d.
l(Ψ; Y ) =
J
j=1
i∈I(j)
p
Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig(j)
, d
b
ig(j)
(5.3)
72
onde I(j) representa o conjunto de itens respondidos pelo indiv´ıduo j e g(j) o grupo a
que pertence esse indiv´ıduo.
• Distribui¸c˜oes a priori
Assim como no modelo (2.1), ´e assumida a independˆencia a priori dos parˆametros
Ψ
i
, i = 1, 2, 3. As distribui¸c˜oes a priori de Ψ
1
e Ψ
2
s˜ao as mesmas descritas na se¸c˜ao 2.3,
mas ser˜ao novamente reportadas aqui. Tem-se ent˜ao que, a priori:
p(Ψ) =
3
i=1
p(Ψ
i
).
Para cada componente de Ψ assume-se as seguintes dis tribui¸c˜oes a priori:
P (Ψ
1
) =
J
j=1
p(θ
j
|µ
g(j)
, σ
2
g(j)
)
G
g=2
p(µ
g(j)
)p(σ
2
g(j)
)
onde:
(θ
j
|µ
g(j)
, σ
2
g(j)
) ∼ N(µ
g(j)
, σ
2
g(j)
) , µ
g
∼ N
m
0
, s
2
0
e σ
2
g
∼ GI (α
0
, β
0
),
∀j = 1, . . . , J e ∀g = 2, . . . , G, onde GI ´e a distribui¸c˜ao Gama I nversa.
p(Ψ
2
) =
I
i=1
p(a
i
)p(b
i
)p(c
i
)
onde:
a
i
∼ LN
m
a
i
, s
2
a
i
; b
i
∼ N
m
b
i
, s
2
b
i
e c
i
∼ beta (α
c
i
, β
c
i
) ∀i = 1, . . . , I,
onde LN ´e a distribui¸c˜ao Log-Normal.
Definindo γ
h
g
= γ
0g
, γ
1g
, . . . , γ
K
h
g
e W = W
a
, W
b
, adota-se a seguinte distribui¸c˜ao a
priori para Ψ
3
:
p(Ψ
3
|W ) =
h=a,b
G
g=2
I
i=1
p
d
h
ig
|π
h
ig
, W
h
, γ
h
g
, (τ
h
g
)
2
p(π
h
ig
)
p(γ
h
g
)p
(τ
h
g
)
2
onde:
d
h
ig
|π
h
ig
, W
h
, γ
h
g
, (τ
h
g
)
2
∼ (1 − π
h
ig
)δ
0
+ π
h
ig
N
W
h
i
γ
h
g
, (τ
h
g
)
2
γ
h
g
∼ N
K
h
+1
m
γ
h
g
, s
2
γ
h
g
I
K
h
+1
e
73
(τ
h
g
)
2
∼ GI(α
τ
h
g
, β
τ
h
g
),
para h = a, b , ∀i = 1, . . . , I e ∀g = 2, . . . , G.
Para o parˆametro π
h
ig
tem-se duas propostas: a primeira ´e π
h
ig
∼ beta(α
π
h
ig
, β
π
h
ig
), que ´e
bastante justific´avel pelo fato de π
h
ig
estar no intervalo [0,1]; a segunda proposta ´e utilizar
uma distribui¸c˜ao bernoulli: π
h
ig
∼ ber(ρ
h
ig
), ou seja, π
h
ig
´e 0 ou 1. A justificativa para o
uso da distribui¸c˜ao discreta ´e apresentada na se¸c˜ao 6.3 do cap´ıtulo 6.
• Densidade da distribui¸c˜ao a posteriori conjunta
Novamente, deseja-se obter a distribui¸c˜ao a posteriori conjunta de todos os parˆametros
do modelo. Analogamente `as contas feitas para a distribui¸c˜ao a posteriori conjunta de to-
dos os parˆametros do modelo (2.1), obt´em-se a seguinte distribui¸c˜ao a posteriori conjunta
dos parˆametros do modelo com detec¸c˜ao de DIF:
p(Ψ|Y, W) ∝ p(Y |Ψ)p(Ψ|W ) = p(Y |Ψ)p(Ψ
1
)p(Ψ
2
)p(Ψ
3
|W )
=
J
j=1
i∈I(j)
p(Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig(j)
, d
b
ig(j)
)
J
j=1
p(θ
j
|λ
g(j)
)
G
g=2
p(µ
g
)p(σ
2
g
)
I
i=1
p(a
i
)p(b
i
)p(c
i
)
h∈{a,b}
G
g=2
I
i=1
p(d
h
ig
|π
h
g
, W
h
, γ
h
g
, τ
h
g
) (5.4)
h∈{a,b}
G
g=2
I
i=2
p(π
h
ig
)
h∈{a,b}
G
g=2
p(γ
h
g
)p
(τ
h
g
)
2
.
Novamente, ´e muito complicado obter-se a forma anal´ıtica da distribui¸c˜ao a posteriori
conjunta de Ψ. Para resolver este problema ser˜ao utilizados m´etodos MCMC.
Uma importante quest˜ao a respeito da distribui¸c˜ao a priori de π
h
ig
´e mostrada no
teorema abaixo:
Lema 1 Se uma distribui¸c˜ao a priori beta(α, β) ´e adotada para o parˆametro π
h
ig
, ent˜ao,
a m´edia a posteriori deste parˆametro fica restrita ao intervalo
α
α + β + 1
,
α + 1
α + β + 1
.
Demonstra¸c˜ao: Suponha que uma distribui¸c˜ao a priori beta(α, β) ´e adotada para o
parˆametro π
h
ig
.
74
Ent˜ao, a distribui¸c˜ao condicional completa p(π
h
ig
|Ψ
−π
h
ig
, Y ) de π
h
ig
´e uma beta(α, β + 1) se
d
h
ig
= 0 e ´e uma beta(α +1, β) se d
h
ig
= 0 (conforme mostrado no apˆendice deste cap´ıtulo).
Tais distribui¸c˜oes tˆem m´edias
α
α + β + 1
e
α + 1
α + β + 1
, respectivamente.
A distribui¸c˜ao a posterior de um π
h
ig
qualquer pode sempre ser escrita como:
p(π
h
ig
|Y ) =
z
h
ig
p(π
h
ig
|Y, z
h
ig
)p(z
h
ig
|Y ), para qualquer z
h
ig
discreto.
Seja z
h
ig
o indicador de d
h
ig
= 0. Logo, p(π
h
ig
|Y ) = p(π
h
ig
|Y, z
h
ig
= 0)P (z
h
ig
= 0|Y ) +
p(π
h
ig
|Y, z
h
ig
= 1)P (z
h
ig
= 1|Y ).
Multiplicando ambos os lados por π
h
ig
e integrando, tem-se que:
E(π
h
ig
|Y ) = E(π
h
ig
|Y, z
h
ig
= 0)P (z
h
ig
= 0|Y ) + E(π
h
ig
|Y, z
h
ig
= 1)P (z
h
ig
= 1|Y ).
Se w
h
ig
= P (z
h
ig
= 0|Y ), ent˜ao:
E(π
h
ig
|Y ) = E(π
h
ig
|Y, z
h
ig
= 0)w
h
ig
+ E(π
h
ig
|Y, z
h
ig
= 1)(1 − w
h
ig
).
Como 0 < w
h
ig
< 1, E(π
h
ig
|Y ) ser´a uma m´edia ponderada das esperan¸cas condicionais e
portanto estar´a sempre entre elas.
Tem-se, do apˆendice, que π
h
ig
|Ψ
−π
h
ig
, Y ∼ π
h
ig
|z
h
ig
, logo, π
h
ig
|Y, z
h
ig
∼ π
h
ig
|z
h
ig
.
Ou seja, a m´edia a posteriori de π
h
ig
´e uma m´edia ponderada das duas poss´ıveis m´edias
da distribui¸c˜ao condicional completa de π
h
ig
, ∀i = 1, . . . , I, ∀g = 2, . . . , G e ∀h = a, b.
5.3.2 Aspectos computacionais
O algoritmo utilizado para gerar amostras da distribui¸c˜ao a posteriori de Ψ ´e muito
semelhante ao utilizado para o modelo (2.1). A diferen¸ca est´a na gera¸c˜ao de amostras
dos parˆametros d e do novos parˆametros π. A gera¸c˜ao dos parˆametros θ, λ e β ´e feita da
mesma maneira que a mostrada na se¸c˜ao 2.4.2 cujas express˜oes s˜ao mostradas na se¸c˜ao
2.5.2 do apˆendice do cap´ıtulo 2.
Para gerar amostras de d e π s˜ao feitas duas propostas. Na primeira, definida com
Algoritmo 1, d
h
ig
e π
h
ig
s˜ao gerados conjuntamente via passo Metropolis Hastings e na se-
gunda, definida com Algoritmo 2, eles s˜ao gerados separadamente, d
h
ig
via passo Metropolis
Hastings e π
h
ig
´e gerado da sua condicional completa. O algoritmo completo fic a ent˜ao
75
da seguinte maneira:
1. Inicialize o contador das itera¸c˜oes da cadeia k = 1.
2. Gera-se, ∀j = 1, . . . , J, a proficiˆencia θ
(k)
j
de uma densidade q
j
(θ
(k−1)
, θ
(k)
) que ´e
aceita com probabilidade α
j
(θ
(k)
).
3. Gera-se, ∀g = 2, . . . , G, µ
(k)
g
e σ
2
g
(k)
de suas respectivas distribui¸c˜oes condicionais
completas p
g
(µ
(k)
|·) e p
g
(σ
2
(k)
|·).
4. Gera-se, ∀i = 1, . . . , I, o parˆametro β
(k)
i
de uma densidade q
i
(β
(k−1)
, β
(k)
) que ´e
aceita com probabilidade α
i
(β
(k)
).
5. ()
6. Gera-se, ∀g = 2, . . . , G e ∀h = a, b, os parˆametros γ
h
g
e τ
2
g
(h)
de suas respectivas
distribui¸c˜oes condicionais completas p
gh
(γ
(k)
|·) e p
gh
(τ
2
(k)
|·).
7. Muda-se o c ontador de k para k + 1 e retorna-se ao passo 2 at´e que seja gerada o
tamanho de amostra desejado (considerando um burn-in).
() No algoritmo 1, onde d
h
ig
e π
h
ig
s˜ao gerados conjuntamente o passo 5 fica da seguinte
maneira:
5. Gera-se, ∀i = 1, . . . , I, ∀g = 2, . . . , G e ∀h = a, b, os parˆametros
(d
h
ig
)
(k)
, (π
h
ig
)
(k)
de uma densidade q
igh
(d
(k−1)
, π
(k−1)
), (d
(k)
, π
(k)
)
que ´e aceita com probabilidade
α
igh
d
(k)
, π
(k)
.
No algoritmo 2, onde d
h
ig
e π
h
ig
s˜ao gerados separadamente o passo 5 se divide em dois
passos distintos:
5(a). Gera-se ∀i = 1, . . . , I, ∀g = 2, . . . , G e ∀h = a, b, o parˆametro (π
h
ig
)
(k)
de sua
distribui¸c˜ao condicional completa p
igh
(π
(k)
|·).
5(b). Gera-se, ∀i = 1, . . . , I, ∀g = 2, . . . , G e ∀h = a, b, o parˆametro (d
h
ig
)
(k)
de uma
densidade q
igh
d
(k−1)
, d
(k)
que ´e aceita com probabilidade α
igh
d
(k)
.
As express˜oes das distribui¸c˜oes condicionais completas, das distribui¸c˜oes de transi¸c˜ao
e das probabilidades de aceita¸c˜ao s˜ao apresentadas no apˆendice deste cap´ıtulo. Como
76
as express˜oes para os parˆametros θ, λ e β s˜ao as mesmas apresentadas na se¸c˜ao 2.5.2
no apˆendice do cap´ıtulo 2, ser˜ao mostradas, no apˆendice deste cap´ıtulos, as express˜oes
referentes aos parˆametros d, π, γ e τ
2
para os dois diferentes algoritmos apresentados.
5.4 Apˆendice
5.4.1 Express˜oes para o modelo com detec¸c˜ao de DIF
Se a distribui¸c˜ao a priori para π
h
ig
for a distribui¸c˜ao discreta citada na se¸c˜ao 5.3.1, apenas
o algoritmo 1 pode ser utilizado.
• Gera¸c˜ao dos parˆametros d
h
ig
e π
h
ig
no algoritmo 1
(π
h
ig
)
(k)
∼ beta(0.2, 0.2) se a distribui¸c˜ao a prior de π
h
ig
´e uma beta e (π
h
ig
)
(k)
∼ ber(0.5) se
a distribui¸c˜ao a priori de π
h
ig
´e uma bernoulli.
(d
h
ig
)
(k)
∼
1 − (π
h
ig
)
(k)
δ
0
+ (π
h
ig
)
(k)
N
(d
h
ig
)
(k−1)
, (0.3)
2
q
h
ig
(d
(k−1)
, π
(k−1)
i
), (d
(k)
, π
(k)
i
)
=
1 − (π
h
ig
)
(k)
1
(
(d
h
ig
)
(k)
=0
)
+ (π
h
ig
)
(k)
f
N
(d
h
ig
)
(k)
; (d
h
ig
)
(k−1)
, (0.3)
2
1
(
(d
h
ig
)
(k)
=0
)
p(π
h
ig
)
onde p(π
h
ig
) = f
beta
(π
h
ig
)
(k)
; 0.2, 0.2
se a distribui¸c˜ao a prior de π
h
ig
´e uma beta e p(π
h
ig
) =
0.5 se a distribui¸c˜ao a priori de π
h
ig
´e uma bernoulli.
α
igh
d
(k)
, π
(k)
= min
1,
p
igh
d
(k)
, π
(k)
|·
q
h
ig
(d
(k)
, π
(k)
), (d
(k−1)
, π
(k−1)
)
p
igh
d
(k−1)
i
, π
(k−1)
i
|·
q
h
ig
(d
(k−1)
, π
(k−1)
i
), (d
(k)
, π
(k)
i
)
onde:
p
igh
(d, π|·) ∝ p(Y |·)p(d, π|·) = p(Y |·)p(d|π, ·)p(π) =
j∈J(ig)
p
Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig
, d
b
ig
.
.
(1 − π
h
ig
)1
(
d
h
ig
=0
)
+ π
h
ig
f
N
d
h
ig
; W
h
(i)·
γ
h
·g
, (τ
h
g
)
2
1
(
d
h
ig
=0
)
p(π
h
ig
)
onde p(π
h
ig
) = f
beta
(π
h
ig
; α
π
h
g
, β
π
h
g
) se a distribui¸c˜ao a prior de π
h
ig
´e uma beta e p(π
h
ig
) =
77
(ρ
h
ig
)
(π
h
ig
)
(1 − ρ
h
ig
)
(1−π
h
ig
)
se a distribui¸c˜ao a priori de π
h
ig
´e uma bernoulli.
1
(·)
´e a fun¸c˜ao indicadora de (·) e J(ig) representa o conjunto de indiv´ıduos do grupo g
que responderam o item i.
• Gera¸c˜ao dos parˆametros d
h
ig
e π
h
ig
no algoritmo 2
(π
h
ig
)
(k)
∼
beta(α
π
h
g
, β
π
h
g
+ 1) se (d
h
ig
)
(k−1)
= 0
beta(α
π
h
g
+ 1, β
π
h
g
) se (d
h
ig
)
(k−1)
= 0
d
h
ig
(k)
∼ (π
h
ig
)
(k)
δ
0
+
1 − (π
h
ig
)
(k)
N
(d
h
ig
)
(k−1)
, (0.3)
2
q
h
ig
d
(k−1)
, d
(k)
=
1 − (π
h
ig
)
(k)
1
(
(d
h
ig
)
(k)
=0
)
+(π
h
ig
)
(k)
f
N
(d
h
ig
)
(k)
; (d
h
ig
)
(k−1)
, (0.3)
2
1
(
(d
h
ig
)
(k)
=0
)
α
igh
d
(k)
= min
1,
p
igh
d
(k)
|·
q
i
d
(k)
, d
(k−1)
p
igh
d
(k−1)
i
|·
q
i
(d
(k−1)
, d
(k)
)
onde:
p
igh
(d|·) ∝
j∈J(ig)
p
Y
ij
|θ
j
, a
i
, b
i
, c
i
, d
a
ig
, d
b
ig
.
.
(1 − (π
h
ig
)
(k)
)1
(
d
h
ig
=0
)
+ (π
h
ig
)
(k)
f
N
d
h
ig
; W
h
(i)·
γ
h
·g
, (τ
h
g
)
2
1
(
d
h
ig
=0
)
78
Cap´ıtulo 6
Estudos simulados para o modelo
com detec¸c˜ao de DIF
6.1 Introdu¸c˜ao
Neste cap´ıtulo ser˜ao apresentados estudos do modelo com detec¸c˜ao de DIF com dados
simulados. Al´em de verificar a eficiˆencia do modelo na detec¸c˜ao de itens com DIF e a
eficiˆencia do m´etodo MCMC na detec¸c˜ao dos parˆametros, ser´a feita uma compara¸c˜ao
entre os dois algoritmos apresentados na se¸c˜ao anterior e tamb´em uma an´alise de sensi-
bilidade da distribui¸c˜ao a priori dos parˆametros π
h
ig
.
Ser˜ao considerados dois conjuntos de dados simulados para as an´alises. A diferen¸ca
entre eles est´a no valor real dos coefic ientes das covari´aveis usadas na explica¸c˜ao do DIF,
que faz com que os dois conjuntos de dados tenham parˆametros de DIF com diferentes
magnitudes. Em um deles esses parˆametros tˆem valor absoluto em torno de 0.7 e no
outro em torno de 0.2. Foi simulado o efeito de uma covari´avel bin´aria para cada um dos
dois tipos de DIF (na dificuldade e na discrimina¸c˜ao). Os conjuntos de dados gerados
s˜ao compostos de 4000 indiv´ıduos separados em 2 grupos de 2000 cada. As proficiˆencias
do grupo 1 foram geradas de uma distribui¸c˜ao normal padr˜ao e as do grupo focal de
uma distribui¸c˜ao normal com m´edia 0.15 e variˆancia 1. Em ambos os conjuntos de dados
foram escolhidos os mesmos itens para terem DIF, de um total de 50 itens, 17 tem DIF
apenas na dificuldade, 7 apenas na discrimina¸c˜ao e 7 em ambos, totalizando 31 itens
79
com funcionamento diferencial. Dos itens com DIF na dificuldade, 13 tˆem o valor da
covari´avel bin´aria igual a 1, para a discrimina¸c˜ao, s˜ao 7 itens. Os valores dos parˆametros
(τ
a
2
)
2
e (τ
b
2
)
2
usados para gerar os dados foram 0.04 para ambos.
Tabela 6.1: Valores dos coeficientes das covari´aveis bin´arias usados na gera¸c˜ao de cada
um dos dois conjuntos de dados.
γ
a
02
γ
a
12
γ
b
02
γ
b
12
Cen´ario 1 0.7 -1.4 0.8 -1.6
Cen´ario 2 0.3 -0.6 0.2 -0.4
Note que o cen´ario 1 ´e o que tem parˆametros de DIF com maior magnitude.
As distribui¸c˜oes a priori adotadas para os parˆametros θ e β s˜ao as mesmas descritas
na se¸c˜ao 3.1. Para os parˆametros relacionados ao modelo de regress˜ao dos parˆametros
de DIF, essas distribui¸c˜oes s˜ao as seguintes:
γ
h
2
∼ N
2
((0, 0)
, 10I
2
) e (τ
h
2
)
2
∼ GI(0.1, 0.1) , para h = a, b
A escolha da distribui¸c˜ao a priori para os parˆametros π
h
ig
tem grande influˆencia nos
resultados obtidos e por isso ser´a discutida na se¸c˜ao 6.3.
Nas se¸c˜oes 6.2 e 6.3 ser´a considerado apenas o conjunto de dados do cen´ario 2. Uma
vez que os parˆametros de DIF desse cen´ario tˆem menor magnitude, a estima¸c˜ao dos
parˆametros π
h
ig
´e mais dif´ıcil e consequentemente, a dos outros parˆametros do modelo
tamb´em o s˜ao. Desta maneira, espera-se que este ce n´ario seja melhor para comparar
os algoritmos de amostragem e as distribui¸c˜oes a priori de π
h
ig
. Por uma quest˜ao de
apresenta¸c˜ao, os parˆametros π
h
ig
ser˜ao referenciados apenas como π
h
i
, uma vez que se tem
apenas 2 grupos e ent˜ao g s´o assume o valor 2, neste caso.
6.2 Compara¸c˜ao entre m´etodos de amostragem
Nesta se¸c˜ao, ser˜ao comparados os dois algoritmos propostos para gerar amostras da
distribui¸c˜ao a posteriori conjunta de todos os parˆametros do modelo. Para isso ser˜ao
mostrados alguns resultados da an´alise do conjunto de dados do cen´ario 2 com o uso de
cada um dos algoritmos. Vale lembrar que, apesar de constitu´ırem c adeias de Markov
80
diferentes, ambos o algoritmos convergem para a mesma distribui¸c˜ao estacion´aria (dis-
tribui¸c˜ao a posteriori conjunta). Dessa maneira, o objetivo desta an´alise ´e verificar qual
algoritmo converge mais rapidamente e consequentemente tem um menor custo com-
putacional. O algoritmo que tiver menor custo computacional ser´a utilizado na an´alise
de sensibilidade da distribui¸c˜ao a priori dos parˆametros π
h
ig
na pr´oxima se¸c˜ao e na an´alise
dos dados reais do Programa Nova Escola no cap´ıtulo 7. A distribui¸c˜ao a priori adotada
para os parˆametros π
h
ig
´e uma beta(0.1, 0.1).
Como o objetivo ´e verificar qual algoritmo converge mais r´apido, a figura 6.1 n˜ao exibe
os valores reais dos parˆametros, apenas as estimativas obtidas com os dois algoritmos.
Tabela 6.2: M´edia a posteriori de alguns parˆametros obtidas com os dois algoritmos.
Parˆametro Algoritmo 1 Algoritmo 2
µ
2
0.126 0.151
σ
2
1.012 1.027
γ
a
02
0.300 0.281
γ
a
12
-0.543 -0.517
γ
b
02
0.323 0.314
γ
b
12
-0.604 -0.615
(τ
a
2
)
2
0.071 0.074
(τ
b
2
)
2
0.057 0.055
Dos parˆametros apresentados na tabela 6.2, maiores diferen¸cas s˜ao notadas nas es-
timativas dos parˆametros µ
2
e γ
a
12
. No caso do parˆametro µ
2
, a cadeia gerada com o
uso do algoritmo 2 tem um comportamento melhor com rela¸c˜ao `a convergˆencia, pois
apresenta menores oscila¸c˜oes ao longo das itera¸c˜oes como pode ser verificado na figura
6.4. Com respeito a parˆametro γ
a
12
o algoritmo 1 converge mais rapidamente. Isso ´e
verificado tomando a m´edia a posteriori com diferentes burn-in’s. A m´edia do algoritmo
1 permanece a mesma e a do algoritmo 2 diminui at´e atingir, a partir da itera¸c˜ao 7000
(de um total de 10000), a mesma m´edia que a do algoritmo 1.
Nota-se, pelas figuras 6.1 e 6.2, que os dois algoritmos produziram as mesmas estimati-
vas para quase todos os parˆametros. Maiores diferen¸cas foram observadas nos parˆametros
81
Discrimina¸c˜ao Dificuldade
Acerto Casual DIF na discrimina¸c˜ao
DIF na dificuldade
Figura 6.1: Estimativas pontual (m´edia a posteriori) e intervalar (intervalo de credi-
bilidade de 95%) dos parˆametros dos itens e de DIF para os dois algoritmos. O ponto
representa a estimativa pontual e a linha vertical o intervalo.
a
18
, a
35
, a
49
, b
14
, π
a
12
, π
a
18
, π
a
30
, π
a
37
, π
a
39
, π
a
40
, π
b
08
, π
b
09
e π
b
32
. Observando a figura 6.3,
observa-se que a diferen¸ca nas estimativas do parˆametro a
18
´e devido `as cadeias terem
aparentemente convergido a partir da itera¸c˜ao 6000 e o gr´afico das estimativas (figura
82
π
a
π
b
Figura 6.2: Estimativas pontual (m´edia a posteriori) dos parˆametros π
a
e π
b
para os dois
algoritmos.
a
18
a
35
a
49
b
14
Figura 6.3: Gr´aficos de algumas cadeias.
6.1) s˜ao produzidos considerando um burn-in de 2000. No caso dos demais parˆametros
apresentados nessa figura, as cadeias geradas com o uso do algoritmo 2 apresentam um
comportamento mais pr´oximo de uma poss´ıvel convergˆencia que as cadeias geradas com
83
µ
2
γ
a
12
Figura 6.4: Gr´aficos de algumas cadeias.
o uso do algoritmo 1, ou seja, ´e bem poss´ıvel que o algoritmo 2 tenha convergido mais
rapidamente que o 1. Al´em disso, as estimativas obtidas para esses parˆametros com o
uso do algoritmo 2 est˜ao mais pr´oximas dos valores reais dos parˆametros, para todos
eles. Considerando a hip´otese de que a m´e dia da distribui¸c˜ao a posteriori conjunta est´a
pr´oxima do valor real do parˆametro, isso ´e mais uma evidˆencia de que o algoritmo 2
convergiu mais rapidamente para esses parˆametros.
Com rela¸c˜ao a diferen¸cas nas estimativas dos π
s, ao observar-se a tabela 6.3, nota-se
que o algoritmo 1 parece ter uma convergˆencia mais r´apida. Note p e los parˆametros π
a
18
e π
a
30
, que a m´edia a posteriori no algoritmo 1 sofre nenhuma ou pequenas mudan¸cas
quando o burn-in aumenta e no algoritmo 2 a convergˆencia n˜ao parece se r atingida no
parˆametro π
a
18
, e ´e aparentemente atingida com 8000 itera¸c˜oes no parˆametro π
a
30
. Nos
demais parˆametros, o algoritmo 1 apresentou um comportamento mais pr´oximo de uma
poss´ıvel convergˆencia que o algoritmo 2, ou seja, a m´edia a posteriori sofre menores
modifica¸c˜oes para os diferentes burn-in’s.
Na compara¸c˜ao dos dois algoritmos, concluiu-se que diferen¸cas na convergˆencia s˜ao
encontradas em poucos parˆametros. Nesses parˆametros, o algoritmo 2 converge mais
rapidamente para os parˆametros dos itens e da distribui¸c˜ao das proficiˆencias (µ
2
) e o
algoritmo 1 converge mais rapidamente para os parˆametros relacionados ao comporta-
mento diferencial (γ e π). Baseado nisso, qualquer que seja o algoritmo escolhido, mais
itera¸c ˜oes ter˜ao que ser realizadas. Considerando a maior complexidade na estima¸c˜ao dos
84
Tabela 6.3: M´edia a posteriori dos parˆametros com diferentes burn-in. a1 ´e o algoritmos
1 e a2 ´e o algoritmo 2.
π
a
12
π
a
18
π
a
30
π
a
37
π
a
39
π
a
40
π
b
08
π
b
09
burn-in a1 a2 a1 a2 a1 a2 a1 a2 a1 a2 a1 a2 a1 a2 a1 a2
2000 0.30 0.44 0.25 0.39 0.36 0.47 0.44 0.51 0.23 0.29 0.21 0.28 0.35 0.27 0.22 0.15
4000 0.25 0.50 0.25 0.32 0.35 0.45 0.39 0.47 0.23 0.30 0.19 0.33 0.34 0.25 0.22 0.15
6000 0.27 0.50 0.25 0.22 0.32 0.45 0.36 0.45 0.22 0.32 0.17 0.34 0.39 0.27 0.19 0.17
8000 0.27 0.48 0.24 0.17 0.33 0.32 0.41 0.42 0.23 0.37 0.18 0.35 0.37 0.28 0.20 0.17
π
b
32
burn-in a1 a2
2000 0.41 0.31
4000 0.43 0.30
6000 0.46 0.26
8000 0.54 0.21
parˆametros relacionados ao DIF, o algoritmo 1 ser´a escolhido para as pr´oximas an´alises,
onde ser˜ao realizadas 15000 itera¸c˜oes com um burn-in de 7000.
6.3 An´alise de sensibilidade da distribui¸c˜ao a priori
de π
Atrav´es dos estudos simulados, foi observado que a distribui¸c˜ao a priori dos parˆametros
π
h
ig
tem grande influˆencia na distribui¸c˜ao a posteriori conjunta, principalmente nas esti-
mativas de tais parˆametros. Essa influˆencia ´e mostrada nesta se¸c˜ao e pretende-se encon-
trar uma distribui¸c˜ao a priori que gere os melhores resultados poss´ıveis.
6.3.1 Descartando distribui¸c˜oes a priori beta com parˆametros
maiores que 1
Dado que a distribui¸c˜ao a priori utilizada ser´a uma distribui¸c˜ao beta, a primeira
quest˜ao a respeito dessa distribui¸c˜ao a priori ´e a importˆancia de se escolher uma dis-
tribui¸c˜ao beta com parˆametros menores que 1, que tˆem o formato de “banheira”, ou seja,
n˜ao tem moda e concentra sua massa nos extremos do intervalo (0,1).
Se, por exemplo, uma distribui¸c˜ao beta(1, 1) ´e utilizada, pelo Lema 1, as m´edias a
posteriori dos parˆametros π
h
ig
ficar˜ao restritos ao intervalo [1/3, 2/3]. Se distribui¸c˜oes
beta com parˆametros maiores forem usadas, esse intervalo fica ainda menor, o que pode
85
prejudicar bastante a classifica¸c˜ao dos itens como tendo ou n˜ao DIF e, consequente-
mente, prejudicar a estima¸c˜ao dos outros parˆametros do modelo. Como a distribui¸c˜ao
a posteriori ´e aproximada por m´etodos MCMC, erros de Monte Carlo far˜ao com que as
estimativas dos parˆametros π
h
ig
fiquem restritas ao intervalo (1/3 − , 2/3 + ), onde ´e
um n´umero positivo bem pequeno, como mostrado na figura 6.5.
π
a
π
b
Figura 6.5: Gr´aficos com as estimativas dos parˆametros π obtidas com o uso de uma
distribui¸c˜ao a priori beta(1,1) e do algoritmo 1. As linha horizontais representam os
valores 1/3 e 2/3.
Com base nos argumentos acima, distribui¸c˜oes a priori com parˆametros maiores ou
iguais a 1 n˜ao ser˜ao utilizadas e ser˜ao comparadas apenas distribui¸c˜oes a priori beta
com parˆametros menores que 1. O uso destas distribui¸c˜oes a priori leva `a obten¸c˜ao de
distribui¸c˜oes a posteriori marginalizadas bimodais para os parˆametros π
h
ig
, com modas
nas extremidades do intervalo (0,1), como mostrado na figura 6.6.
Figura 6.6: Histograma das distribui¸c˜oes a posteriori marginalizadas dos parˆametros π
a
1
(esquerda) e π
b
1
(direita) obtidas na an´alise do cen´ario 2 usando uma priori beta(0.1,0.1).
86
6.3.2 Justificando a escolha da distribui¸c˜ao de transi¸c˜ao para π
Outra quest˜ao importante ´e a escolha da distribui¸c˜ao beta(0.2, 0.2) como distribui¸c˜ao
de transi¸c˜ao dos parˆametros π
h
ig
no algoritmo 1. Distribui¸c˜oes beta com parˆametros
maiores que 1 n˜ao s˜ao adequadas, pois levariam a baixas taxas de aceita¸c˜ao, devido `as
caracter´ısticas das distribui¸c˜oes a posteriori marginalizadas dos parˆametros π
h
ig
, como as
mostradas na figura 6.6. Foram testadas trˆes distribui¸c˜oes beta com parˆametros menores
que 1: beta(0.1, 0.1), beta(0.2, 0.2) e beta(0.3, 0.3). Como todas apresentaram resultados
muito semelhantes, optou-se por utilizar a beta(0.2, 0.2). Uma outra poss´ıvel proposta,
seria utilizar um passeio aleat´orio como distribui¸c˜ao de transi¸c˜ao. Foi testado, ent˜ao, uma
distribui¸c˜ao uniforme centrada no estado anterior do parˆametro e de raio 0.05, por´em
truncada em 0 ou 1 se seus limites ultrapassarem esses valores. As figuras 6.7, 6.8, 6.9 e
6.10 apresentam alguns resultados comparativos entre o uso da distribui¸c˜ao beta(0.2, 0.2)
e do passeio aleat´orio citado. A distribui¸c˜ao a priori utilizada ´e a beta(0.1, 0.1).
π
a
π
b
Figura 6.7: Tamanho efetivo de amostra das cadeias de tamanho 10000 geradas para cada
parˆametro π
h
ig
para cada distribui¸c˜ao de transi¸c˜ao utilizada.
Percebe-se pelas figuras 6.7 e 6.9 que as cadeias geradas com o uso da distribui¸c˜ao
beta(0.2, 0.2) tem taxa de aceita¸c˜ao menor que com o uso do passeio aleat´orio, no entanto,
mais importante que isso, tˆem maior tamanho efetivo de amostra, ou seja, as cadeias
geradas com o uso da distribui¸c˜ao beta(0.2, 0.2) s˜ao bem menos autocorrelacionadas que
as geradas com o uso do passeio aleat´orio. A distribui¸c˜ao beta(0.2, 0.2) tem, ent˜ao,
uma melhor performance que o passeio aleat´orio . A figura 6.8 mostra, por exemplo,
87
beta(0.2, 0.2) passeio aleat´orio
Figura 6.8: Gr´afico das autocorrela¸c˜oes das cadeias do parˆametros π
a
1
geradas com o uso
de cada distribui¸c˜ao de transi¸c˜ao.
π
a
π
b
Figura 6.9: Taxa de aceita¸c˜ao das cadeias geradas para cada parˆametro π
h
ig
para cada
distribui¸c˜ao de transi¸c˜ao utilizada.
para o parˆametro π
a
1
, como as autocorrela¸c˜oes das cadeias geradas pelo passeio aleat´orio
s˜ao realmente bem maiores. Outra raz˜ao de se optar pela distribui¸c˜ao beta(0.2, 0.2) ´e
o fato de a distribui¸c˜ao a posteriori marginalizada dos parˆametros π
h
ig
n˜ao serem bem
aproximadas quando o passeio aleat´orio ´e utilizado, como mostrado na figura 6.10. I sto
ocorre devido `a dificuldade do algoritmo de alternar entre as duas modas da distribui¸c˜ao
a posteriori marginalizada, como mostrado na figura ?? do apˆendice. Na “tentativa”de
se des locar de uma moda para outra, o algoritmo acaba gerando muitos valores entre
88
π
a
1
π
b
1
Figura 6.10: Histograma da distribui¸c˜ao a posteriori marginalizada dos parˆametros π
a
1
e
π
b
1
obtidas na an´alise do cen´ario 2 utilizando o passeio aleat´orio.
as duas modas, o que leva `a gera¸c˜ao de uma amostra como a mostrada nos histogramas
da figura 6.10. Mesmo que muito mais itera¸c˜oes fossem realizadas (`as vezes invi´avel
na pr´atica), o algoritmo possivelmente n˜ao convergiria para a distribui¸c˜ao a posteriori
devido `a sua dificuldade em se deslocar de uma moda para a outra.
6.3.3 Compara¸c˜ao de distribui¸c˜oes a priori para π
Ser˜ao comparadas seis distribui¸c˜oes a priori para os parˆametros π
h
ig
, mostradas na
tabela 6.4.
Tabela 6.4: Distribui¸c˜oes a priori dos parˆametros π
h
ig
a serem comparadas.
Distribui¸c˜ao a priori
1 beta(0.1, 0.3)
2 beta(0.5, 0.5)
3 beta(0.1, 0.1)
4 beta(0.01, 0.01)
5 beta(0.001, 0.001)
6 bernoulli(0.5)
89
A escolha da distribui¸c˜ao a priori 6 ´e justificada pela forma das distribui¸c˜oes a poste-
riori marginalizadas dos parˆametros π
h
ig
obtidas quando se utilizam distribui¸c˜oes a priori
beta com parˆametros bem pequenos ( ≤ 0.1) como mostrado na figura 6.6. Tais dis-
tribui¸c˜oes est˜ao muito pr´oximas de uma distribui¸c˜ao bernoulli, uma vez que concentram
praticamente toda sua massa em 0 e 1.
Note que, a menos da distribui¸c˜ao 1, que tem m´edia 0.25, todas as demais distribui¸c˜oes
s˜ao sim´etricas e refletem uma situa¸c˜ao em que n˜ao se tem nenhuma informa¸c˜ao sobre o
item ter ou n˜ao DIF. Em uma situa¸c˜ao real onde se tem alguma informa¸c˜ao sobre algum
item, distribui¸c˜oes a priori mais informativas podem e devem ser utilizadas, n˜ao sendo
necess´ario o uso da mesma distribui¸c˜ao a priori para todos os itens. Por´em, a escolha
de distribui¸c˜oes a priori beta assim´etricas deve ser feita com muito cuidado, pois se uma
distribui¸c˜ao muito informativa (com pequena variˆancia) for utilizada, a distribui¸c˜ao a
posteriori ser´a quase que totalmente determinada pela distribui¸c˜ao a priori. Se, por
exemplo, utilizar-se uma distribui¸c˜ao a priori beta(5, 2), que tem m´edia 0.71 e variˆancia
0.02, a m´e dia da distribui¸c˜ao a posteriori estar´a no intervalo (0.62 − , 0.75 + ), pelo
Lema 1 e pelos argumentos apresentados na se¸c˜ao 6.3.1, com isso, a classifica¸c˜ao do item
como tendo ou n˜ao DIF ´e determinada pela distribui¸c˜ao a priori. Com base nesses ar-
gumentos, recomenda-se que informa¸c˜oes a priori sejam incorporadas ao modelo atrav´es
de distribui¸c˜oes beta com parˆametros menores que 1, como por exemplo: beta(0.1, 0.3),
beta(0.3, 0.1), beta(0.1, 0.5), beta(0.5, 0.1), etc., dependendo da informa¸c˜ao e da incerteza
sobre ela.
Pela tabela 6.5, nota-se que n˜ao existem grandes diferen¸cas na precis˜ao das estimativas
dos parˆametros dos itens, de DIF e das proficiˆencias com o uso das cinco diferentes dis-
tribui¸c˜oes a priori beta para os parˆametros π
h
ig
. J´a a distribui¸c˜ao a priori bernoulli(0.5)
gerou estimativas piores para os parˆametros de DIF, principalmente na dificuldade. Na
tabela 6.6, maiores diferen¸cas s˜ao notadas nos coeficientes da es trutura de regress˜ao dos
parˆametros de DIF, para os quais, o uso da distribui¸c˜ao a priori beta(0.1, 0.3) gerou
piores resultados que as outras distribui¸c˜oes a priori.
Observa-se, pelas figuras 6.11 e 6.12 e baseado nos valores da tabela 6.7, que: a
distribui¸c˜ao beta(0.1, 0.3) “puxa”as estimativas dos parˆametros π
h
ig
para baixo, levando
90
Tabela 6.5: Erro quadr´atico m´edio para os parˆametros dos itens, parˆametros de DIF e
proficiˆencias para cada distribui¸c˜ao a priori utilizada; a, b, c, d
a
e d
b
representam os
conjuntos formados pelos parˆametros de discrimina¸c˜ao, dificuldade, acerto casual, DIF
na discrimina¸c˜ao e DIF na dificuldade, respectivamente, dos 50 itens; θ representa o
conjunto das proficiˆencias de todos indiv´ıduos.
Parˆametro EQM
priori 1 priori 2 priori 3 priori 4 priori 5 priori 6
a 0.008 0.011 0.012 0.011 0.010 0.011
b 0.008 0.008 0.007 0.008 0.008 0.007
c 0.001 0.001 0.001 0.001 0.001 0.001
d
a
0.004 0.004 0.004 0.004 0.004 0.051
d
b
0.003 0.004 0.004 0.004 0.004 0.163
θ 0.092 0.091 0.091 0.091 0.091 0.091
Tabela 6.6: M´edia a posteriori de alguns parˆametros.
Parˆametro Valor Real priori 1 priori 2 priori 3 priori 4 priori 5 priori 6
µ
2
0.15 0.143 0.135 0.137 0.138 0.145 0.130
σ
2
1 1.032 1.022 1.014 1.014 1.025 1.016
γ
a
02
0.3 0.416 0.307 0.295 0.324 0.313 0.290
γ
a
12
-0.6 -0.790 -0.545 -0.539 -0.581 -0.590 -0.526
γ
b
02
0.2 0.403 0.336 0.313 0.328 0.349 0.319
γ
b
12
-0.4 -0.730 -0.614 -0.596 -0.638 -0.656 -0.624
(τ
a
2
)
2
0.04 0.080 0.075 0.072 0.074 0.078 0.070
(τ
b
2
)
2
0.04 0.043 0.055 0.056 0.053 0.052 0.054
a m´a classifica¸c˜oes, como a dos itens 3 (d
a
3
= −0.12) e principalmente 9 (d
a
9
= −0.40)
no caso do DIF na discrimina¸c˜ao, ao contr´ario das outras distribui¸c˜oes. Al´em disso,
faz com que nenhuma estimativa, tanto na discrimina¸c˜ao quanto na dificuldade, seja
maior que 0.82, mesmo que o real valor absoluto do parˆametro de DIF seja bem alto
(> 0.5). A distribui¸c˜ao a priori beta(0.5, 0.5) leva `a obten¸c˜ao de estimativas muito
91
beta(0.1, 0.3) beta(0.5, 0.5)
beta(0.1, 0.1) beta(0.01, 0.01)
beta(0.001, 0.001) bernoulli(0.5)
Figura 6.11: Gr´aficos das m´edias a posteriori dos parˆametros π
a
ig
para cada uma das
distribui¸c˜oes a priori utilizadas. O ponto indica que o item tem DIF e o triˆangulo indica
que n˜ao tem.
pr´oximas de 0.5 dos parˆametros π
h
ig
, aumentando a incerteza na classifica¸c˜ao dos itens.
A distribui¸c˜ao bernoulli(0.5) gera estimativas quase iguais a 0.5 para trˆes itens que n˜ao
tˆem DIF, al´em de gerar estimativas mais altas que as distribui¸c˜oes beta(0.01, 0.01) e
beta(0.001, 0.001) para quase todos os itens que n˜ao tˆem DIF . Entre as distribui¸c˜oes
92
beta(0.1, 0.3) beta(0.5, 0.5)
beta(0.1, 0.1) beta(0.01, 0.01)
beta(0.001, 0.001) bernoulli(0.5)
Figura 6.12: Gr´aficos das m´edias a posteriori dos parˆametros π
b
ig
para cada uma das
distribui¸c˜oes a priori utilizadas. O ponto indica que o item tem DIF e o triˆangulo indica
que n˜ao tem.
beta(0.1, 0.1), beta(0.01, 0.01) e beta(0.001, 0.001), a segunda foi a que teve melhor de-
sempenho na classifica¸c˜ao dos itens, pelas seguintes raz˜oes: a distribui¸c˜ao beta(0.1, 0.1)
gerou estimativas quase sempre mais altas que as outras duas distribui¸c˜oes para os itens
que n˜ao tˆem DIF, todas a estimativas foram maiores que 0.19. Comparando as dis-
93
Tabela 6.7: Valores reais dos parˆametros de DIF.
Item 2 3 4 8 9 11 13 15 18 20 21 23 24 29
d
a
0.05 -0.12 -0.40 -0.41 0.40 0.65
d
b
-0.39 -0.21 0.008 0.33 -0.35 0.74 0.45 0.21 -0.16 -0.19 0.004
Item 30 31 32 33 34 35 37 38 40 41 42 43 44 45
d
a
0.35 -0.14 0.12 -0.52 -0.42 0.26 0.53
d
b
0.36 -0.40 0.69 -0.34 -0.21 0.05 -0.15 0.27 0.17 -0.49 -0.45
Item 47 48 50
d
a
-0.32
d
b
-0.11 0.39
tribui¸c˜oes beta(0.01, 0.01) e beta(0.001, 0.001), a segunda exibiu uma grande diferen¸ca
entre as estimativas dos parˆametros π
a
32
e π
a
32
apesar dos valores reais dos parˆametros
de DIF destes itens terem magnitudes muito pr´oximas e, al´em disso, gerou estimativas
bem mais altas para os parˆametros π
a
8
e π
a
49
que se referem a itens que n˜ao tˆem DIF
na discrimina¸c˜ao. Note que os itens erroneamente classificados como tendo DIF com o
uso dessas duas distribui¸c˜oes, tamb´em o foram com o uso das outras trˆes. Outro ponto
importante, ´e que, para todas as distribui¸c˜oes a priori, as estimativas dos parˆametros π
a
2
,
π
b
8
, π
b
29
e π
b
40
, cujos valores reais dos parˆametros de DIF dos itens correspondentes s˜ao bem
pequenos (insignificantes na pr´atica), foram menores que 0.5, ou seja, classificados como
n˜ao tendo DIF. Este ´e um bom resultado do modelo: espera-se que DIF’s insignificantes
n˜ao levem `a classifica¸c˜ao de um item como tendo funcionamento diferencial.
Baseado nos resultados e argumentos acima, a distribui¸c˜ao a priori escolhida para os
parˆametros π
h
ig
quando n˜ao se tem alguma informa¸c˜ao relevante a respeito do item ´e a
distribui¸c˜ao beta(0.01, 0.01).
6.4 Estudos simulados com o algoritmo e a distribui¸c˜ao
a priori escolhidos
Esta se¸c˜ao tem o objetivo de avaliar a eficiˆencia do modelo na detec¸c˜ao de itens com
DIF bem como sua eficiˆencia na estima¸c˜ao dos outros parˆametros do modelo. Ser˜ao
apresentados os resultados obtidos com a an´alise dos dois conjuntos de dados descritos
94
na tabela 6.1 atrav´es do uso do algoritmo 1 e da distribui¸c˜ao a priori beta(0.01, 0.01)
para os parˆametros π
h
ig
.
Discrimina¸c˜ao Dificuldade
Acerto Casual
Figura 6.13: Estimativas pontual (m´edia a posteriori) e intervalar (intervalo de credi-
bilidade de 95%) dos parˆametros dos itens para os dois conjuntos de dados. O ponto
representa o valor real do parˆametro e a linha horizontal dentro do intervalo representa a
estima¸c˜ao pontual. Azul representa o conjunto de dados cen´ario 2 e vermelho do cen´ario
1.
Note, pelas figuras 6.13, 6.14 e 6.15, que o modelo foi muito eficiente na estima¸c˜ao dos
parˆametros dos itens, de DIF e das proficiˆencias em ambos os conjuntos de dados, com
quase todos os intervalos de credibilidade contendo o verdadeiro valor dos parˆametros dos
itens e de DIF. Observe que a estima¸c˜ao da proficiˆencias ´e menos precisa nos extremos,
ou seja, para as proficiˆencias cujos valores reais s˜ao menores que -2.5 e maiores de 3.
Com rela¸c˜ao aos parˆametros da distribui¸c˜ao das proficiˆencias dos indiv´ıduos do grupo
2, as estimativas s˜ao tamb´em muito boas e muito parecidas nos dois conjuntos de dados.
95
DIF na Discrimina¸c˜ao DIF na Dificuldade
DIF na Discrimina¸c˜ao DIF na Dificuldade
Figura 6.14: Estimativas pontual (m´edia a posteriori) e intervalar (intervalo de credibili-
dade de 95%) dos parˆametros de DIF para os dois conjuntos de dados. O ponto representa
o valor real do parˆametro e a linha horizontal dentro do intervalo representa a estima¸c˜ao
pontual. Azul representa o conjunto de dados cen´ario 2 e vermelho do cen´ario 1.
Figura 6.15: Valor real × valor estimado das proficiˆencias em cada grupo. Azul representa
o conjunto de dados cen´ario 2 e vermelho do cen´ario 1.
96
π
a
π
b
π
a
π
b
Figura 6.16: M´edias a posteriori dos parˆametros π
b
ig
para os dois conjuntos de dados. O
ponto indica que o item tem DIF e o triˆangulo indica que n˜ao tem. Azul representa o
conjunto de dados cen´ario 2 e vermelho do cen´ario 1.
Quanto aos parˆametros da regress˜ao explicativa do DIF, as estimativas dos coeficientes
s˜ao muito boas para os dois conjuntos de dados, j´a os parˆametros τ s˜ao sobrestimados
nos dois conjuntos de dados. As estimativas destes parˆametros s˜ao um pouco melhores
no conjunto de dados do cen´ario 2, onde a magnitude dos parˆametros de DIF ´e menor.
Por´em, em todos os casos, o intervalo de credibilidade cont´em o verdadeiro valor do
parˆametro.
Perceba, pela figura 6.16, que a classifica¸c˜ao dos itens ´e bem melhor no conjunto
de dados do cen´ario 1, o que j´a era es perado, uma vez que os parˆametros de DIF tˆem
valores absolutos bem maiores. To dos os itens foram corretamente classificados nesse
conjunto de dados. Al´em disso, a classifica¸c˜ao dos itens ´e mais eficiente com rela¸c˜ao
a dificuldade, pois, mesmo classificando todos os itens corretamente, as estimativas dos
97
Tabela 6.8: M´edia a posteriori e intervalo de credibilidade de alguns parˆametros para o
conjunto de dados do cen´ario 2.
Parˆametro Valor Real Valor estimado Intervalo
µ
2
0.15 0.138 (0.073 , 0.203)
σ
2
1 1.014 (0.957 , 1.072)
γ
a
02
0.3 0.324 (0.103 , 0.583)
γ
a
12
-0.6 -0.581 (-0.940 , -0.249)
γ
b
02
0.2 0.328 (0.131 , 0.516)
γ
b
12
-0.4 -0.638 (-0.871 , -0.396)
(τ
a
2
)
2
0.04 0.074 (0.030 , 0.163)
(τ
b
2
)
2
0.04 0.053 (0.023 , 0.103)
Tabela 6.9: M´edia a posteriori e intervalo de credibilidade de aguns parˆametros para o
conjunto de dados do cen´ario 1.
Parˆametro Valor Real Valor estimado Intervalo
µ
2
0.15 0.138 (0.070 , 0.198)
σ
2
1 1.012 (0.962 , 1.065)
γ
a
02
0.7 0.675 (0.344 , 0.993)
γ
a
12
-1.4 -1.210 (-1.656 , -0.737)
γ
b
02
0.8 0.874 (0.665 , 1.060)
γ
b
12
-1.6 -1.767 (-2.015 , -1.494)
(τ
a
2
)
2
0.04 0.124 (0.040 , 0.293)
(τ
b
2
)
2
0.04 0.075 (0.033 , 0.165)
parˆametros π dos itens que n˜ao tˆem DIF na discrimina¸c˜ao s˜ao maiores que as estimativas
destes parˆametros no DIF com rela¸c˜ao `a dificuldade. No conjunto de dados do cen´ario
2, houve apenas um item, em cada tipo de DIF, classificado erroneamente como tendo
DIF. Quanto aos itens erroneamente classificados como n˜ao tendo DIF, apenas dois itens
em cada tipo de DIF foram mal classificados, uma vez que os outros tˆem parˆametro de
DIF insignificante (< 0.05), e espera-se ent˜ao, que realmente sejam classific ados como
98
n˜ao tendo funcionamento diferencial.
Conclui-se ent˜ao, que o modelo proposto ´e muito eficiente para detectar itens com
DIF, al´em de estimar muito bem os demais parˆametros do modelo.
Uma quest˜ao importante com respeito `a analise de DIF s˜ao as situa¸c˜oes em que se
tem mais de 2 grupos. Como o DIF detectado e estimado no grupo g se refere ao grupo
de referˆencia, a an´alise, quando se tem mais de dois grupos, deve ser feita da seguinte
maneira: se um determinado item ´e detectado como n˜ao tendo DIF em dois grupos (com
rela¸c˜ao a grupo de referˆencia), ent˜ao, tal DIF tamb´em n˜ao existe entre tais grupos, pois
o item se comp orta da mesma maneira nestes grupos e no grup o de referˆencia; s e um
determinado item ´e detectado como tendo DIF em um grupo e n˜ao tendo em outro, a
interpreta¸c˜ao ´e a mesma que a que se tem quando se compara o grupo onde o item tem
DIF com o grupo de referˆencia; se, finalmente, um determinado item apresenta DIF em
dois grupos, basta comparar as estimativas dos parˆametros de DIF deste item nos dois
grupos, uma vez que est˜ao na mesma escala.
6.5 Apˆendice
a
Figura 6.17: Cadeia do parˆametro π
a
1
gerada com o uso de um passeio aleat´orio como
distribui¸c˜ao de transi¸c˜ao.
Apresentam-se aqui algumas das cadeias geradas na an´alise do conjunto de dados do
cen´ario 1 na se¸c˜ao 6.4.
99
a
1
b
1
c
1
d
a
1
d
b
13
θ
347
µ
2
σ
2
100
γ
a
02
γ
b
02
γ
a
12
γ
b
12
(τ
a
2
)
2
(τ
b
2
)
2
101
Cap´ıtulo 7
An´alise dos dados reais atrav´es do
modelo com detec¸c˜ao de DIF
7.1 Introdu¸c˜ao
Neste capitulo, o modelo com detec¸c˜ao de DIF ´e aplicado ao conjunto de dados reais
do Programa Nova Escola descritos na se¸c˜ao 1.3.
As distribui¸c˜oes a priori adotadas para os parˆametros θ e β s˜ao as mesmas descritas
na se¸c˜ao 3.1. Para os parˆametros relacionados ao modelo de regress˜ao dos parˆametros
de DIF, s˜ao as mesmas do cap´ıtulo 6: γ
h
2
∼ N
2
((0, 0)
, 10I
2
) e (τ
h
2
)
2
∼ GI(0.1, 0.1), para
h = a, b. Para os parˆametros π
h
ig
adota-se a distribui¸c˜ao beta(0.01, 0.01) escolhida nos
estudos do cap´ıtulo 6.
Ser˜ao consideradas as mesmas covari´aveis da se¸c˜ao 4.4 para a explica¸c˜ao do funciona-
mento diferencial na discrimina¸c˜ao e na dificuldade. Mesmo uma delas n˜ao tendo sido
significante na an´alise da se¸c˜ao 4.4, esta ser´a considerada novamente pois tal resultado
pode n˜ao estar correto devido a uma poss´ıvel m´a classifica¸c˜ao dos itens quanto ao DIF
na an´alise da se¸c˜ao 4.4.
Uma importante an´alise a se fazer, ´e comparar os itens escolhidos para ter DIF no
cap´ıtulo 4 e os itens detectados como tendo DIF na an´alise a ser apresentada neste
cap´ıtulo atrav´es do modelo com detec¸c˜ao de DIF.
102
7.2 Resultados
Discrimina¸c˜ao Discrimina¸c˜ao
Dificuldade Acerto casual
DIF na discrimina¸c˜ao DIF na dificuldade
Figura 7.1: Estimativas pontual (m´edia a posteriori) e intervalar (intervalo de credibili-
dade de 95%) dos parˆametros dos itens e de DIF. O ponto representa a estimativa pontual
e a linha vertical o intervalo.
Repare que o gr´afico com as estimativas dos parˆametros de discrimina¸c˜ao ´e apresen-
tado duas vezes, em uma delas, o eixo y ´e limitado em 2.8, para facilitar a visualiza¸c˜ao
103
dos outros itens, uma vez que a estimativa do item 38 ´e muito alta.
Tabela 7.1: M´edia a posteriori e intervalo de credibilidade de alguns parˆametros.
Parˆametro Valor estimado Intervalo
µ
2
-0.149 (-0.208 , - 0.091)
σ
2
0.811 (0.769 , 0.856)
γ
a
02
-0.197 (-0.350 , - 0.044)
γ
a
12
-0.239 (-3.616 , 3.505)
γ
b
02
-0.191 (-4.472 , 4.154)
γ
b
12
0.063 (-5.846 , 6.096)
γ
b
22
-0.140 (-4.487 , 4.144)
(τ
a
2
)
2
0.072 (0.027 , 0.161)
(τ
b
2
)
2
0.091 (0.021 , 0.312)
π
a
π
b
Figura 7.2: M´edias a posteriori dos parˆametros π
b
ig
.
A estimativa da m´edia da distribui¸c˜ao das proficiˆencias dos alunos do interior (µ
2
)
foi menor que a m´edia das proficiˆencias dos alunos da capital (zero), por´em, um pouco
maior que na an´alise do cap´ıtulo 4, onde esta estimativa foi -0.175. A estimativa do
desvio padr˜ao desta distribui¸c˜ao foi 0.811, um pouco menor que no cap´ıtulo 4, onde esta
foi 0.850.
Note que, novamente, o parˆametro de discrimina¸c˜ao do item 38 apresentou um com-
portamento bem diferente dos demais. Vale dizer que, na an´alise deste mesmo conjunto
104
de dados pelo software Bilog-mg, o item 38 ´e exclu´ıdo da an´alise pelo programa. J´a no
modelo aqui proposto, o item ´e inclu´ıdo na an´alise e, mesmo com um comportamento
at´ıpico, estimativas razo´aveis para os parˆametros deste item s˜ao obtidas de forma a ten-
tar explicar este comportamento, ou seja, o item apresenta altas estimativas para os
parˆametros de discrimina¸c˜ao, dificuldade e acerto casual. Este item est´a relacionado ao
conceito de v´ertice de uma figura geom´etrica tridimensional.
A detec¸c˜ao dos itens com DIF na dificuldade foi bem mais decisiva que a detec¸c˜ao dos
itens com DIF na discrimina¸c˜ao, uma vez que as es timativas dos parˆametros π
b
foram ou
muito altas ou muito baixas. Dessa maneira, sete itens foram classificados como tendo
DIF na dificuldade: 5, 13, 16, 20, 37, 46 e 53. Destes, apenas o item 5 n˜ao foi classificado
como tendo DIF na an´alise do cap´ıtulo 4, por´em, esta an´alise do cap´ıtulo 4 classificou
oito itens como tendo funcionamento diferencial que n˜ao foram assim classificados pelo
modelo com detec¸c˜ao de DIF.
A covari´avel relacionada ao conte´udo troco n˜ao foi significativa na explica¸c˜ao do DIF
na dificuldade, o que ´e bastante razo´avel, uma vez que to dos os itens em que o DIF foi
detectado est˜ao relacionados ao conte´udo troco, fazendo assim com que o γ
b
02
j´a seja a
m´edia dos parˆametros de DIF destes itens. A estimativa pontual do coeficiente desta
covari´avel foi -0.14 com um intervalo de credibilidade (-4.487 , 4.144). Conclui-se ent˜ao,
que esse conte´udo ´e realmente um grande fator causador de DIF entre alunos da capital
e do interior. A covari´avel relacionada ao conte´udo gr´afico de barras, assim como na
an´alise do cap´ıtulo 4, n˜ao foi significativa, o que est´a em total concordˆancia com os
resultados obtidos neste cap´ıtulo, uma vez que nenhum item relacionado a este conte´udo
foi classificado como tendo funcionamento diferencial na dificuldade.
No caso do DIF na discrimina¸c˜ao, os resultados quanto `a classifica¸c˜ao dos itens teve
bem mais incerteza, pois a estimativa de muitos parˆametros π
a
i
foi pr´oxima de 0.5. O
DIF na discrimina¸c˜ao foi detectado em dezenove itens: 8, 11, 14, 16, 20, 23, 27, 29, 30,
32, 39, 42, 44, 46, 49, 52, 54, 55 e 56. Destes itens, apenas quatro itens: 14, 16, 20 e 39,
foram classificados como tendo DIF na discrimina¸c˜ao na an´alise do cap´ıtulo 4. Outros
seis itens que foram classificados como tendo funcionamento diferencial na discrimina¸c˜ao
no cap´ıtulo 4 n˜ao tiveram DIF detectado na an´alise do cap´ıtulo presente. Ou seja, o
105
artif´ıcio de analisar a estima¸c˜ao emp´ırica das curvas do item n˜ao ´e um bom m´etodo para
detec¸c˜ao de DIF, como j´a se esperava. Note tamb´em que a estimativa do parˆametro
π
a
dos itens 33, 38 e 51 foi muito pr´oxima de 0.5, o que traz grande incerteza sobre a
presen¸ca de DIF nestes itens quanto `a discrimina¸c˜ao.
Os dois itens relacionados ao conte´udo troco com centavos (16 e 20), para o qual
foi inclu´ıda uma covari´avel no modelo para explica¸c˜ao do DIF na discrimina¸c˜ao, foram
classificados como tendo DIF pelo modelo com probabilidades 0.60 e 0.55, respectiva-
mente. Por´em, tal c ovari´avel n˜ao foi significante: sua estimativa pontual foi -0.239 com
um intervalo de credibilidade (-3.616 , 3.505). Isto provavelmente ocorreu pelo fato de
apenas dois itens estarem relacionados a este conte´udo.
7.3 Apˆendice
Apresenta-se aqui algumas das cadeias geradas na an´alise de ste cap´ıtulo.
a
1
b
1
c
1
d
a
1
106
d
b
13
θ
347
µ
2
σ
2
γ
a
02
γ
b
02
γ
a
12
γ
b
12
107
γ
b
22
(τ
a
2
)
2
(τ
b
2
)
2
108
Cap´ıtulo 8
Conclus˜oes e trabalhos futuros
A Teoria de Resposta ao Item ´e uma teoria psicom´etrica utilizada em todo o mundo
em diversas ´areas e na medida em que cresce a aplica¸c˜ao da teoria, surgem novos fatores
e questionamentos de grande importˆancia pr´atica. A considera¸c˜ao do funcionamento
diferencial do item ´e uma deles. A necessidade de generalizar a TRI convencional a
fim de incorporar a ela modelos que se ajustem adequadamente a situa¸c˜oes que n˜ao s˜ao
contempladas pelos modelos usuais, como a existˆencia de DIF, levou `a proposta de dois
novos modelos da TRI. Ambos s˜ao generaliza¸c˜oes do modelo log´ıstico de trˆes parˆametros
e se diferem na hip´otese dos itens com DIF serem conhecidos. Em um deles tal hip´otese
deve ser feita e, no outro, tal hip´otese ´e abandonada com a incorpora¸c˜ao de mecanismos
para detec¸c˜ao de itens com DIF.
Foi apresentada uma abordagem Bayesiana para se fazer inferˆencia em tais mode los
baseada em m´etodos MCMC. Atrav´es de estudos simulados, mostrou-se que ambos os
modelos s˜ao bem adequados para a modelagem do funcionamento diferencial do item
e que a metodologia Bayesiana adotada ´e muito eficiente para se fazer inferˆencia sobre
tais modelos: uma prova da grandiosa versatilidade e eficiˆencia dos m´etodos MCMC. Os
estudos simulados tamb´em mostraram quest˜oes importantes a respe ito da convergˆencia
dos algoritmos propostos, de caracter´ısticas do funcionamento diferencial existente nos
dados e da escolha de distribui¸c˜oes a priori.
Tais modelos foram tamb´em aplicados a um conjunto de dados reais do Programa
Nova E scola, onde ficou evidente a necessidade de se ter uma boa classifica¸c˜ao dos itens
109
quanto ao funcionamento diferencial. Tal an´alise gerou resultados importantes do ponto
de vista educacional e pedag´ogico atrav´es das caracter´ısticas do DIF encontrado.
Os algoritmos apresentados foram implementados na linguagem Ox e, devido `a sua
complexidade, gastam um tempo razo´avel para serem rodados. O modelo de detec¸c˜ao de
DIF com 15 mil itera¸c˜oes, por exemplo, gasta em torno de 21 horas em um computador
Pentium 4, 2.40GHz, 768MB de RAM. Os gr´aficos foram feitos no software R.
Em trabalhos futuros, pretende-se estudar a identificabilidade do modelo com mais
de 2 grupos; analisar outros conjuntos de dados reais, principalmente de ˆambito inter-
nacional, com a inten¸c˜ao de caracterizar os grupos por pa´ıses; comparar o modelo de
detec¸c˜ao de DIF proposto nesta disserta¸c˜ao com outros modelos propostos em Soares,
Gon¸calves e Gamerman (2006); e finalmente estudar e prop or crit´erios de decis˜ao mais
elaborados para classifica¸c˜ao de itens quanto ao funcionamento diferencial, baseado em
outras fun¸c˜oes perdas que n˜ao a quadr´atica.
110
Referˆencias Bibliogr´aficas
[1] Birnbaum, A. (1968) Some Latent Traits Models and The ir Use in Inferring Exami-
nee’s Ability. Statistical Theories of Mental Test Scores, edited by F. M. Lord and
M. R. Novick, Reading, Ma. Addison-Wesley, 397-472.
[2] Box, G. E. P; Meyer, R. D. (1986) An Analysis of Unreplicated Fractional Factorials.
Technometrics, 28, no.1, 11-18.
[3] Cole, N. S. (1993) History and Development of DIF. Differential Item Functioning,
Holland, P. W. & Wainer, H. (Eds.). Hillsdale, NJ: Lawrence Erlbaum.
[4] Gamerman, D.; Lopes, H. F. (2006) Markov Chain Monte Carlo: Stochastic Simu-
lation for Bayesian Inference. 2a. ed., London: Chapman & Hall/CRC.
[5] Gelfand, A. E.; Smith, A. F. M. (1990) Sampling-based approaches to calculating
marginal densities. Journal of the American Statistical Association, 85, 398-409.
[6] Gelman, A. (1996) Inference and monitoring convergence. In: Markov Chain Monte
Carlo in Practice. (eds W. R. Gilks; S. Richardson; D. J. Spiegelhalter), Chapman
& Hall, London, 131-143.
[7] Gelman, A.; Rubin, D. R. (1992) A single series from the Gibbs sampler provides a
false sense of security. In: Bayesian Statistics 4. (eds J. M. Bernardo et al.), Oxford
University Press, Oxford, 625-631.
[8] Geman, S.; Geman, D. (1984) Stochastic relaxation, Gibbs distributions and the
Bayesian restoration of images. IEEE Transactions on Pattern Analysis and Machine
Intelligence, 6, 721-741.
111
[9] Hastings, W. K. (1970) Monte Carlo sampling methods using Markov chains and
their applications. Biometrika, 57, 97-109.
[10] Holland, P. W. & Thayer, D. T. (1988). Differential item performance and the
Mantel-Haenszel procedure. In Test Validity (eds H. Wainer & H. Braun), Hillsdale,
NJ: Lawrence Erlbaum Associates, 129-145.
[11] Jeffreys, H. (1939) Theory of Probability. 1a. ed., Clarendon Press, Oxford.
[12] Jeffreys, H. (1961) Theory of Probability. 3a. ed., Oxford University Press, Oxford.
[13] Longford, N. T., Holland P. W. & Thayer, D. T . (1993) Stability of the MH D-DIF
statistics across populations. In Differential item functioning (eds P.W. Holland &
H. Wainer), Hillsdale, NJ: Lawrence Erlbaum Associates, 171-196.
[14] Lord, F. M. (1952) A Theory of Test Scores. Psychometric Monograph, 7.
[15] Lord, F. M. (1980) Application of Item Response Theory to Practical Testing Pro-
blems. Hillsdale: Lawrence Erlbaum, New York.
[16] May, H. (2006) A multilevel Bayesian item response theory method for scaling so-
cioeconomic status in international studies of education. Journal of Educational Be-
havioral Statistics, 31, 63-79.
[17] Metropolis, N.; Rosenbluth, A. W.; Rosenbluth, M. N.; Teller, A. H.; Teller, E.
(1953) Equation of State Calculations by Fast Computing Machine. Journal of
Chemical Physics, 21, 1087-1091.
[18] Mitchell, T. J. & Beauchamp, J.J. (1988) Bayesian variable selection in linear re-
gression. Journal of the American Statistical Association, 83, 1023-1036.
[19] Muller, P. (1991) Metropolis based posterior integration schemes. Technical Report,
Statistics Department, Purdue University.
[20] Rasch, G. (1960) Probabilistic Models for Some Intelligence and Attainment Test.
Copenhagen: Danish. Institute for Educational Research.
112
[21] Rogers, H. J. & Swaminathan, H. (2000) Identification of factors that contribute to
DIF: A hierarquical modelin approach. Paper presented at the Annual Meeting of
the National Council on Measurement in Education, New Orleans, LA.
[22] Schimitt, A. P., Holland, P. W. & Dorans, N. J. (1993) Evaluating hypoteses about
differential item functioning. In Differential item functioning (eds P.W. Holland &
H. Wainer), Hillsdale, NJ: Lawrence Erlbaum Associates, 281-316.
[23] Soares, T. M., Gon¸calves, F. B. & Gamerman, D. (2006) An integrated Bayesian
model for DIF analysis, relat´orio t´ecnico no. 197 do Laborat´orio de Estat´ıstica-
UFRJ.
[24] Swaminathan, H. & Rogers, H. J. (1990) Detecting differential item functioning using
logistic regression procedures. Journal of Educational Measurement, 27, 361-370.
[25] Swanson, D. B., Clauser, B. E., Case, S. M., Nungester, R. J. & Featherman, C.
(2002) Analysis of differential item functioning (DIF) using hierarquical logistic re-
gression models. Journal of Educational and Behavioral Statistics, 27, 53-75.
[26] Thissen, D.; Steinberg, L.; Wainer, H. (1993) Detection of Differential Item Func-
tioning Using the Parameters of Item Response Models. In: Differential Item Func-
tioning (eds P. W. Holland; H. Wainer), Hillsdale, NJ: Lawrence Erlbaum.
[27] West, M.; Lucas, J.; Carvalho, C.; Wang, Q.; Bild, A.; Nevins, J.R. (2006) Sparse
statistical modelling in gene expression genomics. Bayesian Inference for Gene Ex-
pression and Proteomics, 155-176.
113
Livros Grátis
( http://www.livrosgratis.com.br )
Milhares de Livros para Download:
Baixar livros de Administração
Baixar livros de Agronomia
Baixar livros de Arquitetura
Baixar livros de Artes
Baixar livros de Astronomia
Baixar livros de Biologia Geral
Baixar livros de Ciência da Computação
Baixar livros de Ciência da Informação
Baixar livros de Ciência Política
Baixar livros de Ciências da Saúde
Baixar livros de Comunicação
Baixar livros do Conselho Nacional de Educação - CNE
Baixar livros de Defesa civil
Baixar livros de Direito
Baixar livros de Direitos humanos
Baixar livros de Economia
Baixar livros de Economia Doméstica
Baixar livros de Educação
Baixar livros de Educação - Trânsito
Baixar livros de Educação Física
Baixar livros de Engenharia Aeroespacial
Baixar livros de Farmácia
Baixar livros de Filosofia
Baixar livros de Física
Baixar livros de Geociências
Baixar livros de Geografia
Baixar livros de História
Baixar livros de Línguas
Baixar livros de Literatura
Baixar livros de Literatura de Cordel
Baixar livros de Literatura Infantil
Baixar livros de Matemática
Baixar livros de Medicina
Baixar livros de Medicina Veterinária
Baixar livros de Meio Ambiente
Baixar livros de Meteorologia
Baixar Monografias e TCC
Baixar livros Multidisciplinar
Baixar livros de Música
Baixar livros de Psicologia
Baixar livros de Química
Baixar livros de Saúde Coletiva
Baixar livros de Serviço Social
Baixar livros de Sociologia
Baixar livros de Teologia
Baixar livros de Trabalho
Baixar livros de Turismo
