Sistema alternativo para corrigir falhas de QR nos exames gerou ainda mais erros

Um relatório da Deloitte, divulgado esta terça-feira pelo Ministério da Educação, expõe uma camada adicional de problemas nos exames nacionais deste ano: o sistema criado para contornar as falhas iniciais na leitura de códigos QR não apenas falhou, como introduziu novos erros no processo de classificação digital.

A consultora, que prestou apoio técnico ao Instituto de Educação, Qualidade e Avaliação (EduQA) durante a primeira fase dos exames, confirma que os constrangimentos principais tiveram origem na leitura automática dos códigos QR pela Plataforma de Classificação e Supervisão. Quando o sistema não conseguia reconhecer um código, a solução inicial era a correção manual. Mas para reduzir essa necessidade de intervenção humana, foi introduzido um mecanismo alternativo que tentava ler o número convencional impresso sob o código QR — o identificador que garante o anonimato de cada prova.

O problema é que este mecanismo alternativo funcionava muito pior do que o original. Segundo o relatório, apresentava "níveis de reconhecimento substancialmente inferiores aos da leitura dos códigos QR". Em vez de resolver o problema, a solução criada aumentou o número de leituras incorretas e manteve a necessidade de correção manual. Pior ainda: os erros propagaram-se através de todo o sistema de processamento. Páginas da mesma prova acabaram com números convencionais diferentes, criando inconsistências que afetaram as fases seguintes de agregação e separação de perguntas.

Uma vez identificado o problema, o mecanismo foi descontinuado. As equipas do EduQA, com apoio da Deloitte, desenvolveram um novo algoritmo para identificação e leitura dos códigos QR. Ainda durante a primeira fase, este novo algoritmo foi aplicado para reler todos os códigos já processados e identificar divergências, apoiando o trabalho de reconciliação e correção. Na segunda fase, o novo algoritmo permitiu reduzir de forma significativa a necessidade de identificação manual — as equipas no centro de digitalização recorreram à validação humana apenas em casos residuais de códigos danificados, rasurados ou ilegíveis.

O relatório identifica outras falhas críticas. Houve dificuldades na interpretação de respostas de escolha múltipla, porque os alunos utilizavam formas diversas para assinalar as suas respostas, nem sempre permitindo uma identificação automática clara. O algoritmo foi revisto para este problema também, e as folhas de resposta que não podiam ser lidas automaticamente foram encaminhadas para validação humana. A Deloitte aponta ainda divergências entre os ficheiros digitalizados e o conteúdo disponível na plataforma de classificação, sem conseguir determinar conclusivamente a origem de todas as falhas.

As incidências concentraram-se principalmente em Português, Física e Química A, Matemática A e Biologia e Geologia. O relatório confirma também problemas já apontados anteriormente: procedimentos para tratamento de folhas de continuação não foram aplicados uniformemente, o volume de incidências reportadas pelos classificadores ultrapassou a capacidade de resposta, e houve questões com a qualidade da impressão das provas, páginas em falta ou anuladas, e versões incorretamente atribuídas nos ficheiros de classificação.

Durante a primeira fase, foram implementadas intervenções técnicas adicionais — novos mecanismos de controlo, ferramentas de suporte e procedimentos para reforçar a rastreabilidade, a qualidade dos dados e a eficiência do processo. Segundo a Deloitte, estas medidas permitiram detetar mais cedo situações de não conformidade, reduzir o risco de provas incompletas e tornar o seu tratamento mais eficiente. O que começou como um problema técnico numa ferramenta de leitura automática transformou-se numa cascata de falhas que exigiu intervenção humana massiva e, eventualmente, a reescrita completa do algoritmo central do sistema.