O motivo da perícia, contratada pelo Ministério Público Federal (MPF) em Uberlândia (MG) após ação judicial, foi verificar se o fato de as duas aplicações do Enem 2016 terem números muito diferentes de candidatos influenciou no resultado final, e se isso prejudicou os alunos da segunda aplicação.
Em 2016, por causa das ocupações estudantis, o exame foi aplicado duas vezes: a primeira em 5 e 6 de novembro, com a participação de 5,8 milhões de alunos, e a segunda em 3 e 4 de dezembro, em que fizeram as provas menos de 170 mil candidatos.
Em nota, o Inep informou ao G1 que não foi notificado oficialmente sobre qualquer resultado a respeito da perícia, que foi realizada entre os dias 5 e 9 de fevereiro deste ano, nas dependências do instituto.
“O Inep conta com a consultoria de diversos especialistas de destacada atuação em análise estatística e psicométrica de avaliações e exames em larga escala e tem total segurança quanto à metodologia que, desde 2009, é adotada no Enem – reconhecida nos âmbitos nacional e internacional, e se pronunciará quando for devidamente notificado”, diz o texto.
“Vale registrar que, independentemente do seu conteúdo, o referido laudo representa uma opinião isolada”, concluiu a assessoria de comunicação do instituto.
Em laudo, perícia relata fragilidades em Enem 2016 — Foto: Reprodução/MPF
A perícia foi realizada por Tufi Machado Soares que é professor do Departamento de Estatística e do Programa de Doutorado e Mestrado em Educação, e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora (UFJF).
O perito, que atuou como membro do conselho científico do Enem e é especialista em Teoria da Resposta ao Item (TRI), metodologia usada no exame, teve acesso a informações sigilosas no Inep e produziu um laudo com 207 páginas.
Neste documento, enviado à reportagem pelo MPF, o perito relata fragilidades no processo de pontuação das medidas do Enem que poderiam prejudicar a comparabilidade dos resultados produzidos para duas provas diferentes.
No laudo, os pontos de fragilidade encontrados, por ordem de importância, foram:
- Número de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do Enem;
- Tamanho das amostras de calibração em alguns pré-testes;
- Precisão com que os resultados do Enem são reportados ao público;
- Ausência de informações para o público sobre a qualidade dos testes e das medidas.
Além disso, o laudo mostra que ambos os testes nas disciplinas de Ciências Humanas e Ciências da Natureza apresentam mesmos níveis de precisão em praticamente todos os níveis de proficiência. Nesse sentido, então, os testes foram praticamente equivalentes, embora a prova da segunda aplicação de Ciências da Natureza tenha sido um pouco mais fácil.
O perito diz no texto que a maioria das diferenças encontradas ocorreu nas disciplinas de Linguagens e Códigos e na de Matemática, sendo que na primeira houve vantagem dos candidatos da 1ª prova e, na segunda, dos candidatos da 2ª prova. As menores diferenças observadas ocorrem em Ciências da Natureza.
No entanto, o Tufi Soares ressalva que não é possível realizar uma análise de comparabilidade para todos os casos, individualmente, nas dimensões do Enem.
“Cada caso precisaria ser analisado individualmente e, provavelmente, não se chegaria a uma conclusão definitiva na maioria”, diz o perito no laudo.
No documento, o professor também faz sugestões de mudanças na forma de confecção e divulgação da prova.
O G1 entrou em contato com o perito nesta sexta-feira (20), para saber mais informações sobre o resultado da perícia. Por telefone, ele disse que não pretende se manifestar até a realização de uma audiência pública, qu ainda será agendada pelo MPF.
Alunos reclamam de incoformismo com as notas resultantes da primeira e da segunda aplicação do exame de 2016 — Foto: Roberto Araujo/G1
O procurador da República, Leonardo Macedo, responsável pelo inquérito civil que apura irregularidades referentes à adoção de diferentes critérios de correção das provas do Enem 2016, informou que encaminhou o resultado da perícia para o Inep e para estudantes que manifestaram que foram lesados pelo teste.
“O laudo é extenso e não tem uma conclusão única. O primeiro passo foi encaminhar essa perícia aos principais interessados e vamos dar um prazo para análise de todos. Depois disso, vamos marcar uma audiência pública onde todos poderão colocar o ponto de vista referente ao assunto e só depois o MPF vai analisar como agir”, explicou o procurador.
Segundo o MPF, ainda não há previsão para realização desta audiência. “Estamos lidando com um elefante de porcelana. Vamos agir com cautela e, depois da audiência, analisar se vamos pedir uma indenização, aumentar a nota de estudantes ou outras opções”, concluiu Macedo.
Normalmente, o adiamento do Enem ocorre todos os anos, mas afeta apenas alguns milhares de estudantes, por motivos externos que impedem a aplicação do exame, como queda de energia no local de provas. Nesses casos, os candidatos ganham o direito de participar de uma nova aplicação durante a semana. É a mesma prova para pessoas privadas de liberdade, por isso a aplicação é conhecida como Enem PPL.
Em 2016, porém, a onda de ocupações estudantis em escolas públicas em 23 estados e no Distrito Federal fez o Ministério da Educação adiar a aplicação do Enem para mais de 270 mil candidatos, o que inviabilizaria uma segunda aplicação durante a semana. Por isso, o Enem 2016 teve três aplicações. Na época, o Ministério da Educação (MEC) assegurou que haveria isonomia nas avaliações dos candidatos, independentemente do momento em que fizessem as provas.
Apesar do grande número de candidatos afetados pelo adiamento, o total deles representou menos de 5% dos mais de 8 milhões de inscritos. Na primeira aplicação, pouco menos de 6 milhões de candidatos fizeram as provas, com uma abstenção de 30%. Já na segunda aplicação, do Enem adiado, a abstenção subiu para 40%.
Enem 2016 foi realizado em duas datas devido ocupações nas várias escolas de todo país — Foto: Denny Cesare/ Estadão Conteúdo
Reclamação dos candidatos afetados
De acordo com o MPF, uma análise das notas dos candidatos que fizeram a reclamação mostrou grande diferença, quando os resultados eram comparados com os de candidatos da primeira aplicação. O procurador Leonardo Macedo explicou que alunos que fizeram a primeira prova tiveram notas maiores. Ele alega que o motivo suspeito é a metodologia da TRI.
“Nessa TRI, é considerado o número de candidatos. É necessário levar em conta as diferenças do percentual de ‘treineiros’ participantes de cada aplicação, na maior abstenção da segunda aplicação em relação à primeira e no tipo de candidato participante dos locais das provas da segunda aplicação”, explicou o MPF na ação.
O Enem 2016 teve uma aplicação extra devido às ocupações estudantis; na segunda aplicação, abstenção foi maior e número total de alunos que fizeram a prova foi menor — Foto: G1
- 3 de outubro de 2016: Uma onda de ocupações estudantis em escolas e universidades começou no Paraná e se espalhou pelo Brasil. Os estudantes protestavam contra uma série de medidas, principalmente a reforma do ensino médio e a PEC 241. O Enem 2016 estava marcado para os dias 5 e 6 de novembro, e parte dessas escolas ocupadas seria usada pelo governo federal como locais de provas.
- 19 de outubro de 2016: Um levantamento do MEC afirmou que ocupações em 181 escolas do Brasil comprometiam o Enem para 95 mil alunos.
- 27 de outubro de 2016: Um levantamento divulgado pela União Brasileira dos Estudantes Secundaristas (Ubes) mostra que havia 1.154 ocupações em escolas, institutos e universidades estaduais, federais e municipais em pelo menos 21 estados e no Distrito Federal.
- 4 de novembro de 2016: Na véspera da primeira aplicação do Enem 2016, o MEC anunciou o adiamento do exame em 364 locais de prova. Segundo o governo, esses alunos fariam o exame nos dias 3 e 4 de dezembro.
- 5 e 6 de novembro de 2016: A primeira aplicação do Enem 2016 é realizada com abstenção de cerca de 30%. Cerca de 5,8 milhões de pessoas fizeram essas provas.
- 3 e 4 de dezembro de 2016: O Inep realiza a segunda aplicação do Enem. No total, 277.657 pessoas estavam inscritas para essas provas (273.524 porque foram afetadas pelas ocupações e 4.133 porque, em seus locais de prova, houve algum imprevisto que impediu a aplicação do Enem). A abstenção dessa aplicação foi de cerca de 40%, o que quer dizer que o universo de estudantes que realizou estas provas foi de cerca de 166 mil.
- 18 de janeiro de 2017: O Inep divulga os resultados do Enem 2016. Porém, estudantes que fizeram a segunda aplicação reclamaram que não tiveram acesso à nota. No dia seguinte, o Inep afirmou que um erro técnico fez com que o resultado de 20 mil candidatos ainda não tivesse sido inserido no sistema.
- janeiro de 2017: Procurado por diversos candidatos da segunda aplicação do Enem, que se sentiram prejudicados por notas que eles consideraram mais baixas que a de candidatos da primeira aplicação, o Ministério Público Federal começou a investigar a suspeita de que a discrepância no número total de estudantes fazendo cada versão da prova pudesse ter prejudicado o grupo menos numeroso. De acordo com a ação civil pública protocolada em dezembro, o MPF passou meses em contato com o Inep e o MEC para avaliar a denúncia. Segundo o MPF, o Inep considera que a isonomia do exame não foi ferida pela existência de duas aplicações do Enem em 2016.
- setembro de 2017: Ainda de acordo com o Ministério Público Federal, o Inep aceitou conceder a um especialista na metodologia da Teoria de Resposta ao Item o acesso aos dados sigilosos dos desempenhos dos estudantes para realizar uma perícia e verificar se de fato o número total de candidatos afetou o resultado deles no exame. A ação afirma, porém, que o perito viajou até Brasília para realizar a perícia, mas foi barrado pelo Inep.
- 7 dezembro de 2017: Sem conseguir acesso aos dados para realizar a perícia, o Ministério Público Federal ingressou na Justiça com uma ação civil pública para solicitar o acesso, e com outra ação na qual denuncia diretoras do Inep por improbidade administrativa. O motivo da segunda ação é o desperdício de dinheiro público com a viagem realizada pelo perito até Brasília. A Justiça julgou o processo extinto, pois o MPF não conseguiu demonstrar nenhum indício de má-fé na hipótese sob análise.
- 15 de dezembro de 2017: O Inep afimou em nota que não negou o acesso aos dados sigilosos para uma perícia solicitada pelo MPF sobre os resultados da edição 2016 do Exame Nacional do Ensino Médio. Segundo o Inep, o perito não apresentou as identificações necessárias para que pudesse ter acesso aos dados.
- Entre 5 e 9 de fevereiro de 2018: a perícia contratada pelo MPF foi realizada em dados sigilosos do Inep.
A aplicação do Enem 2016 em duas datas foi alvo de reclamação do MPF também no Ceará. Na época, o órgão solicitou a suspensão e o cancelamento do exame, mas a Justiça Federal negou os pedidos e alegou que “apesar da diversidade de temas que inafastavelmente ocorrerá com a aplicação de provas de redação distintas, verifica-se que a garantia da isonomia decorre dos critérios de correção previamente estabelecidos”, conforme a decisão.
