Teoria de Resposta ao Item

Devido à grande polêmica, fiz uma pequena busca bibliográfica sobre o tema, o qual apresento aqui neste espaço.

Este texto é baseado em parte em materiais da Fundação Carlos Chagas, a qual tive acesso e em parte, informações coerentes garimpadas em diversos sites sobre o tema, não sendo, portanto, totalmente inédito. Não entrarei muito em detalhes das equações envolvidas, como as escalas são construídas por agora, mas estou preparando material referente a isso ainda para esses dias.

Ao fim do texto, apresento algumas referências úteis para quem desejar ir mais a fundo tecnicamente no tema.

Aspectos técnicos

No aspecto técnico da coisa, a Teoria de Resposta ao Item trata o problema da estimação da habilidade e conhecimento de um examinando de forma essencialmente diferente: o enfoque das análises desvincula-se das provas (Teoria Clássica dos Testes) e concentra-se nos Itens; se na Teoria Clássica dos Testes as estatísticas dos itens dependem da população dos examinandos e da prova à qual os itens pertencem, na Teoria da Resposta ao Item cria-se o conceito de que os parâmetros dos itens, obtidos no processo estatístico de "calibração" dos parâmetros de dificuldade, discriminação e acerto casual dos itens são características próprias dos mesmos.

Costuma-se considerar que a característica de medição dos Itens, representados por seus parâmetros, são invariantes no tempo com algumas ressalvas, por exemplo: um item que aborde o conhecimento sobre eclipses solares e lunares estará sujeito a variações de suas características de medição conforme o modismo, sobretudo quando um eclipse ocorre; em casos como esse, a invariância dos parâmetros do item no tempo não deve ser considerada como verdadeira.

Consideradas as ponderações anteriores, uma característica fundamental para a viabilidade de comparação da habilidade e conhecimento de examinandos submetidos a provas diferentes é que a Teoria da Resposta ao Item modela a probabilidade de acerto a um item, também conhecida como Curva Característica do Item, através de uma função não linear do conhecimento dos examinandos.

Essa característica da modelagem da Teoria da Resposta ao Item é de grande importância pois, desse modo, é possível comparar o conhecimento dos examinandos submetidos a provas diferentes sendo necessário apenas que as provas meçam as mesmas características; essa propriedade é essencialmente útil para sistemas de avaliações onde é possível submeter uma grande quantidade de tópicos de uma matéria em sala de aula (útil para se ter um painel geral sobre o ensino de vários tópicos) com os alunos respondendo apenas um conjunto pequeno dos itens utilizados na avaliação (útil para não tornar as provas excessivamente extensas).

Histórico

A Teoria da Resposta ao Item surgiu a partir de discussões teóricas sobre a viabilidade de se comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. A Teoria Clássica dos Testes, principal teoria estatística para medida dessas características na época, via-se diante de enormes dificuldades para comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes.

Nesse sentido, em 1950, se definiu, no âmbito da Teoria Clássica dos Testes que duas provas podem ser consideradas formas paralelas quando, após a conversão para a mesma escala, suas médias, desvios padrão de acertos bem como demais correlações do número de acertos com todo e qualquer outro critério fossem iguais. Em 1971, ainda no âmbito da Teoria Clássica dos Testes, foi definida a equivalência de provas ao apresentar as seguintes exigências:

1. As provas devem medir a mesma característica ou habilidade;
2. A equivalência estabelecida deve ser independente dos dados em particular utilizados para estabelecer esse princípio e deve ser aplicável em todas as situações parecidas;
3. Os escores de duas provas, uma vez estabelecida sua equivalência, devem ser substituíveis entre si, e;
4. A equivalência deve ser simétrica, ou seja, não deve fazer distinção entre a prova particular escolhida como base de referência.

Ainda no âmbito da Teoria Clássica dos Testes, em 1977, a noção de escores substituíveis ganha nova dimensão com a introdução do conceito de equidade: Os escores transformados y* e observados x podem ser considerados "equivalentes" quando houver indiferença se um examinando responder a prova X ou Y. De acordo com esse princípio:

1. Torna-se inviável a tentativa de se estabelecer a equivalência entre provas que medem diferentes características ou habilidades;
2. A equivalência de escores com margens de erro desiguais não pode ser estabelecida;
3. Não se pode estabelecer a equivalência de provas que refletem diferentes níveis de dificuldades.

Portanto, se as provas X e Y têm dificuldades diferentes, a relação entre seus escores verdadeiros é necessariamente não linear devido aos efeitos de piso e de teto. Se duas provas têm uma relação não linear é implausível que elas sejam igualmente fidedignas em todos os grupos de examinandos. Isso leva à conclusão incômoda de que, a rigor, não se pode tornar equivalentes os escores observados em provas de dificuldades diferentes.

Bibliografia sugerida

Cito abaixo os textos que possuo cópia em meu poder, possuo também material em Inglês, caso alguém se interesse sobre tais referências, basta solicitar. A página da wikipedia sobre o assunto é uma referência interessante, sendo baseada em grande parte nas publicações citadas abaixo.

• Andrade, D., Valle, R. (1998). Introdução à Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 18, 13-32.
• Fletcher, P (1995). Procedimentos para Estabelecer a Equivalência de Provas com Modelos da Resposta ao Item. Ensaio. Rio de Janeiro. v. 3, n. 6, p. 41-54.
• Klein, R. (2003). Utilização da Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação. Rio de Janeiro, 11, 40, 283-96.
• Valle, R. (2000). Teoria da Resposta ao Item. Estudos em Avaliação Educacional. São Paulo: Fundação Carlos Chagas, 21, 7-91.