Respondendo alguns questionamentos sobre o ENEM

Transcrevo abaixo as respostas que dei a alguns questionamentos sobre a polêmica do ENEM

Afirmação: Os problemas do ENEM foram no campo da produção, no processo de controle

Se existe problema de organização, baseado em informações garimpadas na internet via site do MEC e via blogs contendo entrevistas com os envolvidos, podemos verificar que a parte que coube ao MEC foi bem organizada, sendo possível rastrear todas as origens de problemas, pois existia controle para seguir a lógica de:

1. Cada aluno possuir uma inscrição
2. Cada aluno ser alocado em uma cidade, em um determinado local, em um determinado andar, em uma determinada sala.
3. Cada sala possuir um ou mais fiscais (e um respectivo relatório de sala apontando os erros e deficiências)
4. Cada local possui um fiscal ( e seu respectivo relatório)

O Ministério da Educação disponibiliza na página do ENEM, um local para registro das reclamações. O aluno, ao informar o ocorrido, terá seu relato confrontado com:

1. Outros alunos na mesma sala relatando problemas
2. Relatório dos fiscais de sala relatando as irregularidades ocorridas em cada um dos dias do exame
3. Relatório do local de exame informando de forma global como se deu o exame naquele local

Quanto aos problemas de impressão, pode ser apurado via entrevistas do Ministro da Educação, Fernando Haddad e o próprio site do ENEM o seguinte:

1. O número de inscritos foi de 4,6 milhões
2. O exame foi dividido em 4 tipos de prova (25% para cada tipo)
3. A abstenção global foi de 25% (1,15 milhão)
4. O problema de impressão foi restrito a um lote de 20 mil provas
5. Houve carga extra de 10% de provas

Como se verificou nos relatórios de sala e local, as provas defeituosas foram corretamente substituídas por provas em perfeito estado. Existiam provas em número suficiente para todos, ao contrário do SARESP 2009

Caso as provas não fossem suficientes, aí sim seria informado o incidente no relatório de sala e também no relatório do local (este número está estimado em pouco menos de 2 mil avaliados, o que corresponde no máximo a uma relação de 1 avaliado para cada 2300 alunos ou 0,043% do total de inscritos. Comparando com as técnicas de qualidade tipo Six Sigma, está longe do ideal, mas é uma taxa de falhas hoje aceitável em muitas indústrias brasileiras. Se esta taxa de falha for considerada problema, fica inclusive como sugestão para o próximo responsável pela impressão, que adote o critério de no máximo 3.4 falhas por milhão na impressão do material. O problema será conseguir gráfica que aceite fazer algo com essas exigências.

Afirmação: As falhas do ENEM trouxeram grave prejuízo aos cofres públicos.

Segundo as entrevistas concedidas pelo Ministro Paulo Haddad e também alguns técnicos do INEP, o número de atingidos é mínimo e já existe uma segunda prova pronta com os itens já pré testados e com o mesmo graus de dificuldade da aplicada no último fim de semana. Em avaliação sempre se adota este tipo de política, a TRI permite que se elabore mais de uma prova com graus de dificuldade similares.

Afirmação: Por ser em datas diferentes, os que fizerem provas a posteriori serão beneficiados por fazer a prova em condições de ter estudado mais a matéria isso fere o princípio jurídico da isonomia.

Já foi divulgado amplamente pela mídia que o SAT (Equivalente americano do ENEM) é realizado em diversas datas durante o ano. Afirmação como esta seria equivalente a afirmar que em todos os testes planejados segundo a ótica da Teoria de Resposta ao Item como os diversos já citados possuem este tipo de problema.

No aspecto técnico da coisa, eu fiz um resumo de TRI em um post anterior, onde vocês podem acessar aqui. O ato é que ao invés de enxergar a prova como um todo, esta teoria enxerga como um conjunto de itens, possuindo individualmente, características que vão poder separar melhor ou pior os avaliados, ter dificuldade maior ou menor. Ao se saber as características de cada um dos itens, podem ser elaborados diversos testes com graus de dificuldade semelhantes. Por conta dessas diferenças entre os graus de dificuldade e entre o poder discriminatório de cada questão, um mês a mais de estudo pode não ser tão eficiente quanto o alegado, pois os itens difíceis do primeiro não necessariamente serão os mesmos do segundo teste? Que eles estarão inclusive na mesma matéria? Este estudo adicional poderá inclusive ser ineficiente, pois ele poderá estudar temas que não lhe serão proveitosos no fim das contas.

Afirmação: Pode se estar utilizando a Teoria de Resposta ao Item como solução para “erros de aplicação” Pode ficar com a idéia de que a Estatística corrige qualquer problema referente à má administração.

Acredito que toda metodologia corre este risco. O bom uso de cada técnica envolve muito de ética profissional. Essa visão de que “com estatística, tudo se dá um jeito” insinua inclusive que muitos buscam saída para seus problemas “maquiando os dados”.

O que não deve ser admitido é adotar a saída do método XYZ quando todo o processo de análise não foi planejado para seu uso. Quando houve tal planejamento, é um caminho natural, estamos apenas utilizando algo que a tecnologia propicia, nada além disto.

Afirmação: O exame está sendo desvirtuado, confundem avaliação com seleção. Tentou se abraçar o mundo e acaba não se avaliando nada.

Em momento algum, o MEC afirmou que o ENEM seria um exame seletivo. O que ocorreu foi uma adoção gradativa de faculdades e universidades à ideia de se utilizar o ENEM como ferramenta de pré-seleção de seus candidatos, prática já adotada até de maneira oficial nos USA.

Quanto ao exame abrir muito o leque e não tentar avaliar tudo e ao meswmo tempo nada, acredito que esta afirmação se deva ao desconhecimento de como se constrói uma escala de habilidades. Os itens na maioria das vezes não avaliam uma única habilidade, contemplando a multidisciplinaridade. Quando se constrói uma escala de avaliação, durante o pré-teste da mesma, se fazem muitos testes aferindo se aquele conjunto de itens realmente mede o esperado. Acredito que, pelo nível dos profissionais envolvidos, isso também tenha sido feito.

Conclusão disso tudo

O ENEM com certeza possui algumas falhas.  Acredito que estas falhas devam ser discutidas visando melhorar o sistema, não desqualificando-o sem se propor uma solução melhor para o problema. Discutir idéias é a mola mestra para tudo evoluir, mas sempre se apresentando críticas cosntrutivas.