O desafio da previsibilidade dos resultados e o impacto na campanha de matrículas

Com os resultados do ENEM e do Sisu, chega a hora de verificar a lista de alunos da sua escola que foram aprovados em um curso superior. Diante dos índices de aprovação observados na escola, uma reflexão é válida: 

Você foi surpreendido pelo resultado dos seus alunos no ENEM e no Sisu?

Essa reflexão é muito importante, pois o desempenho dos alunos no ENEM e a aprovação em instituições de ensino superior são alguns dos principais discursos explorados na campanha de matrículas. Tendo isso em mente, imagine a situação a seguir, que se baseia em um relato real:

“No ano passado, minha escola ficou entre as três melhores da cidade no desempenho médio no ENEM. Exploramos esse resultado nas campanhas publicitárias e nos baseamos nele para determinar os investimentos que seriam destinados à divulgação neste ano. Entretanto, constatamos que nossa escola caiu para a 20ª posição, o que atrapalhou toda a nossa programação e planejamento.”

Nesse caso, a falta de previsibilidade do resultado fez com que a escola fizesse um planejamento de campanha que teve de ser abandonado, porque focava no desempenho dos alunos.

Por outro lado, imagine a situação inversa: uma escola foi surpreendida por uma aprovação muito superior à que esperava. Apesar de ser uma surpresa positiva, nem sempre é possível remanejar recursos para fazer uma campanha em cima da hora. Nesse caso, a escola a não aproveitou uma informação de valor para a campanha de matrículas.

Uma coisa é certa: de um jeito ou de outro, a falta de previsibilidade nos resultados é um grande desafio para as escolas e tem um impacto negativo na campanha de matrículas.

Quais são os fatores responsáveis pela falta de previsibilidade?

O resultado de uma escola no ENEM depende de diversos fatores, sendo que alguns deles dificilmente serão controlados. Outros, entretanto, podem sim ser observados pela gestão da escola, mas muitas vezes são negligenciados e por isso geram surpresas no resultado. São eles:

1) Turmas heterogêneas de alunos

Ainda que a escola siga um mesmo plano pedagógico em mais de um ano, com os mesmos professores e planos de aula semelhantes, o desempenho dos alunos nem sempre segue com a mesma linearidade. Muitas vezes isso se deve, simplesmente, ao fato de que se tratam de turmas diferentes, compostas por alunos de níveis diferentes ao longo dos anos.

As turmas de alunos podem variar muito de um ano para o outro, o que atrapalha a previsibilidade dos resultados.

2) Aplicação somente de avaliações internas

Muitas escolas organizam um calendário de provas ao longo do ano para avaliar o aprendizado dos alunos. Essa regularidade de atividades é importante para um acompanhamento constante do desempenho.

O problema é quando esta é a única forma de avaliar os alunos.

É muito importante que a escola aplique também avaliações externas, com dois objetivos: promover a experiência da avaliação nacional para os alunos (através de Simulados, por exemplo) e comparar o desempenho da escola com o de outros alunos do país.

Quando a escola não tem o hábito de aplicar avaliações externas regulares o resultado dos alunos, quando confrontados com os de estudantes de todo o país, é uma incógnita para a equipe gestora, que também não conseguirá estimar a nota no exame oficial, como o ENEM.

3) Ausência da correção pela TRI

Não basta aplicar simulados e avaliações externas. Muitas escolas, ainda que as apliquem, muitas vezes só calculam as notas por meio da Teoria Clássica dos Testes, a TCT, em que a nota do estudante é proporcional ao número de acertos.

O uso da TCT tem duas implicações: ela não dá uma previsão de nota no ENEM, por não ser o método de correção oficial e ela não permite a comparação de diferentes avaliações, por se basear apenas no percentual de acerto dos alunos.

Por isso, é necessário que as avaliações externas sejam corrigidas pela TRI, ou Teoria de Resposta ao Item.

Na TRI, a nota de uma prova não é proporcional ao número de acertos, e sim calculada de acordo com o padrão de respostas do aluno. Isso significa que, ao acertar questões fáceis e errar as questões difíceis, o aluno apresenta um comportamento coerente. Já um aluno que erra as fáceis e acerta as mais difíceis demonstra uma certa incoerência e sua nota será inferior a do outro aluno, mesmo que eles acertem o mesmo número de questões.

Avaliações corrigidas segundo a Teoria de Resposta ao Item podem ser comparadas entre si, o que permite a comparação não só entre alunos, mas também entre turmas de anos diferentes. Isso significa que com a TRI é possível lidar com a heterogeneidade das turmas de maneira mais assertiva.

Além disso, um acompanhamento das notas TRI dos alunos permite avaliar o desenvolvimento dos estudantes ao longo de um ano ou com o passar do tempo. Por último, com a sua adoção torna-se mais viável estimar a nota dos alunos no ENEM, já que o exame é corrigido segundo essa Teoria.

4) Avaliações externas sem abrangência nacional

Outro ponto muito importante para ressaltar é a abrangência das avaliações externas. Não basta a escola aplicar Simulados ENEM com correção TRI somente para seus alunos e usar a nota dos mesmos como base de estimativa ou previsão do desempenho dos alunos no exame oficial.

Os Simulados de abrangência nacional representam uma aproximação mais fiel à realidade encontrada no exame oficial. A nota dos alunos no ENEM, que é definida pela correção TRI, é influenciada pelo desempenho de todos os alunos que participam da exame.

Portanto, quanto maior a abrangência do Simulado, mais próxima à realidade será a nota e mais previsível será o resultado da escola.

5) Ausência de um diagnóstico preciso

Além da ausência de atividades externas, outro problema ligado às avaliações se observa quando não é feita uma análise detalhada de desempenho dos alunos.

A ausência de um diagnóstico preciso leva a surpresas da equipe gestora na divulgação dos resultados.

Afinal, não adianta saber apenas se o aluno foi bem na prova de matemática ou se foi mal na prova de biologia. Somente com um diagnóstico mais detalhado, que aponte quais grandes áreas, disciplinas, conteúdos e habilidades apresentam as maiores dificuldades, é possível verificar o que foi realmente aprendido pelos alunos de forma efetiva.

Sendo assim, quando a escola não analisa os dados de desempenho detalhadamente e não entra a fundo no diagnóstico dos alunos, os professores e gestores ficam surpresos com os resultados do exame oficial.

Como posso aumentar a previsibilidade do resultado da minha escola?

Este é o primeiro de uma série de três textos a respeito da previsibilidade dos resultados da escola. Nos próximos textos, vamos falar sobre como a escola pode aumentar a previsibilidade do resultado. Se você não quiser perder os artigos, clique aqui e registre-se para receber uma notificação dos próximos textos!

Cometários

Comentários