O pré-teste de itens no Enem é essencial?

Em 2009, o Enem (Exame Nacional do Ensino Médio) tornou-se um exame cuja principal função é indicar os candidatos que devem ser selecionados pelas universidades. Desde então, o Enem, tornado vestibular nacional, se consolidou como uma política educacional de enorme impacto social.

Monitorar avanços ou retrocessos no aprendizado de estudantes do ensino médio tornou-se função apenas do Saeb (Sistema Nacional de Avaliação da Educação Básica), que nos últimos anos, ao incluir todas as escolas que oferecem o 3º ano do ensino médio, permite obter o Ideb (Índice de Desenvolvimento da Educação Básica) dessa etapa da educação básica de forma muito representativa.

No entanto, apesar dessa importante mudança conceitual, a metodologia de atribuição de notas no Enem continua a mesma, centrada na comparabilidade longitudinal das notas dos estudantes que fizeram o Enem em anos anteriores.

Embora essencial em uma avaliação, essa característica não é necessária em um exame usado para selecionar os que serão admitidos nas universidades no mesmo ano de sua realização. O custo para manter a comparabilidade longitudinal na escala de um exame é enorme. Afinal, para pretestar itens e colocá-los na escala usada, é preciso aplicá-los em estudantes. Isso constitui um desafio logístico de muito difícil concretização, pois é preciso garantir o sigilo de itens que foram divulgados, ainda que de forma controlada e em pequena escala.

Assim, cabe a pergunta: seria possível adaptar a tecnologia de medida adaptando-a às restrições necessárias a um exame nacional que deve respeitar as leis do Brasil? A resposta é afirmativa. Uma proposta é descrita sinteticamente.

Os itens do Enem seriam preparados com a mesma metodologia usada atualmente no Enem e nos vestibulares. Ou seja, especialistas propõem itens que são intensamente discutidos no grupo. Os itens são revisados e aprovados. Terminado tal processo, esses itens seriam usados no Enem, sem o pré-teste, como feito atualmente.

As respostas dos estudantes seriam corrigidas pela TRI (Teoria de Resposta ao Item), da mesma forma feita atualmente. No entanto, o edital do exame teria de estabelecer que itens, cujo comportamento fosse considerado anômalo, seriam excluídos. Exclusão de itens é algo rotineiro em exames. Com frequência, esses itens induzem os alunos de maior proficiência ao erro, por alguma peculiaridade do texto ou das alternativas.

A nota dos estudantes, obtida pelo uso da TRI, seria colocada na escala do ano anterior, equalizando essa nota dos estudantes que estão no mesmo percentil do ano de realização anterior.

Há amplo suporte acadêmico sobre a solidez desse método, referido na literatura técnica como "Equipercentile" . Essa equalização é especialmente necessária para colocar na mesma escala as proficiências dos estudantes que fazem a reaplicação/prova PPL do Enem, usado para atender situações muito especiais de estudantes. Nesse caso, considerando o número muito menor de candidatos, a equalização deveria ser feita juntando-se os estudantes de vários anos anteriores.

Claro que esta proposta deve ser objeto de análise empírica que pode ser feita sem grandes dificuldades e debate franco e aberto. Algumas das escolhas técnicas devem ser consagradas no edital do exame.
Importante observar que o uso da TRI continua essencial e que, ao final, se a metodologia aqui proposta for utilizada perde-se em relação à situação atual apenas a possibilidade de se verificar se houve melhora ou piora de desempenho dos estudantes, o que, como dito, não é função do Enem.

Finalmente, qualquer mudança no Enem deve considerar as consequências administrativas e logísticas que seriam evidenciadas em um debate aberto.

*José Francisco Soares é professor emérito da UFMG (Universidade Federal de Minas Gerais) e ex-presidente do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira).
*Mateus Prado cursou Gestão Pública na USP (Universidade de São Paulo) e é educador especialista em Enem.