Avaliação Técnica Identifica Problemas na Aplicação Dupla do Enem

Uma perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) analisou detalhadamente as avaliações do Exame Nacional do Ensino Médio de 2016 e constatou fragilidades significativas no processo de pontuação das medidas da prova. O trabalho foi contratado pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, após ação judicial, para investigar se a disparidade no número de candidatos entre as duas aplicações influenciou nos resultados finais e prejudicou os alunos que participaram da segunda realização.

Contexto da Aplicação Dupla em 2016

O Enem 2016 foi aplicado em duas ocasiões distintas devido às ocupações estudantis que ocorreram em escolas públicas brasileiras. A primeira aplicação aconteceu nos dias 5 e 6 de novembro, contando com a participação de aproximadamente 5,8 milhões de candidatos. A segunda aplicação foi realizada em 3 e 4 de dezembro, com menos de 170 mil candidatos inscritos, representando uma diferença significativa de volume de participantes.

Esta situação criou questionamentos legítimos entre estudantes e especialistas acerca da possível influência do número desigual de candidatos na metodologia de avaliação empregada. O Ministério Público Federal iniciou investigação formal para verificar se houve prejuízo aos candidatos que realizaram a segunda aplicação.

Detalhes e Findings da Perícia Realizada

O trabalho foi realizado por Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora. Soares é especialista reconhecido em Teoria da Resposta ao Item (TRI), metodologia utilizada no Enem, e já atuou como membro do conselho científico do exame.

O perito teve acesso a informações sigilosas do Inep e produziu um laudo técnico contendo 207 páginas. Neste documento, foram identificados quatro pontos principais de fragilidade no processo de pontuação das medidas do Enem, listados por ordem de importância: número insuficiente de itens comuns previamente calibrados nos pré-testes; tamanho inadequado das amostras de calibração em alguns pré-testes; precisão com que os resultados são reportados ao público; e ausência de informações transparentes sobre a qualidade dos testes e das medidas realizadas.

Achados Específicos por Disciplina

A perícia revelou padrões distintos de equivalência entre as duas aplicações quando analisadas por disciplina. Nas disciplinas de Ciências Humanas e Ciências da Natureza, ambos os testes apresentaram níveis semelhantes de precisão em praticamente todos os níveis de proficiência, indicando testes praticamente equivalentes. Porém, a prova de Ciências da Natureza da segunda aplicação foi identificada como levemente mais fácil.

As maiores diferenças foram encontradas nas disciplinas de Linguagens e Códigos e Matemática. Na primeira disciplina, os candidatos da primeira aplicação apresentaram vantagem, enquanto na segunda disciplina os candidatos da segunda aplicação tiveram melhor desempenho. As menores diferenças observadas ocorreram na disciplina de Ciências da Natureza.

Ressalvas do Perito sobre Conclusões Definitivas

Apesar dos achados significativos, o perito ressalvou que não é possível realizar uma análise completa de comparabilidade para todos os casos individualmente nas dimensões do Enem. Segundo o laudo, cada caso específico precisaria ser analisado isoladamente e, provavelmente, não se chegaria a uma conclusão definitiva na maioria das situações.

O documento também inclui sugestões de mudanças na forma de confecção e divulgação das provas para evitar problemas similares em edições futuras do exame.

Posicionamento do Inep e Próximos Passos

O Inep informou oficialmente que não foi notificado sobre qualquer resultado final relativo à perícia. Em nota divulgada, o instituto afirmou que conta com consultoria de diversos especialistas em análise estatística e psicométrica de avaliações em larga escala e mantém total segurança quanto à metodologia adotada desde 2009, reconhecida nos âmbitos nacional e internacional.

O procurador Leonardo Macedo, responsável pelo inquérito civil, encaminhou o resultado da perícia para o Inep e para os estudantes que se manifestaram lesados. O procurador informou que será estabelecido um prazo para análise e posterior realização de audiência pública onde todos os interessados poderão expor seus pontos de vista. Após essa audiência, o MPF analisará como proceder, podendo solicitar indenizações, ajustes de notas ou outras medidas apropriadas.

Reclamações dos Candidatos Afetados

A investigação foi iniciada após a divulgação dos resultados em janeiro de 2017, quando estudantes de todo o país procuraram o Ministério Público Federal relatando inconformismo com as notas da segunda aplicação. Análises preliminares mostraram diferenças significativas quando comparadas com notas de candidatos da primeira aplicação, com alunos da primeira prova obtendo notas geralmente maiores.

O procurador apontou que a metodologia da Teoria da Resposta ao Item considera o número total de candidatos, sendo necessário levar em conta as diferenças percentuais de treineiros em cada aplicação, a maior abstenção na segunda aplicação e o perfil dos candidatos que participaram dos locais de prova da segunda realização.