TRI – Teoria de Resposta ao Item: o Guia Definitivo TRI – Teoria de Resposta ao Item: O Guia Definitivo
A TRI como porta de entrada para o Ensino Superior
Desde que passou a ser usado como forma de entrada nas instituições de ensino superior do país, o ENEM tem tido cada vez mais participantes. No entanto, apesar do crescimento progressivo das inscrições e da aceitação em cada vez mais universidades — em 2014, foram 205 mil vagas em instituições de todo o país —, ainda há dúvidas e mitos em torno do Exame Nacional do Ensino Médio, principalmente em relação ao cálculo que define a nota de cada estudante pela TRI.
TRI como cálculo da nota no ENEM
Diferentemente das avaliações tradicionais, no ENEM a nota dos candidatos não equivale à soma do número de questões corretas, o que significa que candidatos que acertaram a mesma quantidade de perguntas nem sempre terão exatamente a mesma nota. Mas isso não acontece porque as questões têm pontuação diferente: o sistema é mais complexo, e o número de pontos recebidos por cada acerto vai depender ainda de outros fatores. Não é por acaso que alunos e professores brincam que, na pontuação do ENEM, um mais um nem sempre é igual a dois.
Apesar disso, o sistema da TRI — ou Teoria de Resposta ao Item, como é chamado o método de avaliação usado no ENEM — não é assim tão ilógico quanto se pode imaginar. Pelo contrário, ele usa teorias de estatística para tentar avaliar não apenas o número de acertos, mas também a proficiência real do candidato em cada área e conhecimento.
Por que a TRI – ou Teoria de Resposta ao Item – surgiu?
Para entender o que exatamente é a TRI, precisamos primeiro compreender a razão pela qual ela surgiu. Antes da adoção da Teoria de Resposta ao Item, predominavam nos vestibulares e edições do ENEM anteriores a 2009 outro método de avaliação, a Teoria Clássica dos Testes (TCT), em que a nota é definida simplesmente pela soma do número de questões acertadas e as questões com diferentes níveis de dificuldade podem ter diferentes valores pré-estabelecidos, ou pesos.
Esse sistema tradicional porém, apresenta alguns problemas, principalmente quando aplicados a milhões de alunos. Primeiramente, eles não permitem que o desempenho de estudantes que fizeram provas diferentes seja comparado com igualdade, já que a dificuldade da prova poderá interferir diretamente na pontuação de cada um. Logo, se o ENEM utilizasse esse método, participantes de determinada edição poderiam ter nota muito inferior aos de outras, mesmo que suas habilidades fossem semelhantes, e sua nota representaria apenas o número de questões acertadas, mas não necessariamente sua proficiência na área de conhecimento.
Em segundo lugar, cabe reconhecer que não é fácil medir a competência de um aluno em determinada disciplina apenas a partir de um número objetivo, como a quantidade de questões acertadas. Estabelecer valores diferentes a questões com diferentes níveis de dificuldade é uma tentativa de resolver esse problema. No entanto, a TCT não considera a possibilidade de um estudante sem qualquer preparação para realizar a prova tirar uma nota boa ao “chutar” e acertar questões difíceis.
Embora esse problema não seja tão grave em sala de aula, quando elevado à escala do ENEM e à seleção em nível nacional por vagas nas universidades do país, ele se torna bastante relevante, afinal, ignorá-lo pode levar à entrada de milhares de estudantes despreparados nas instituições de ensino superior e, consequentemente, recusa de um número igual de outros alunos mais competentes. Além disso, é preciso lembrar que ter notas que se limitam à quantidade de questões (que, claro, deve ser um número passível de ser resolvido no tempo da prova) para avaliar milhões de candidatos às vagas nas instituições de ensino superior implica centenas ou até milhares de empates, impossibilitando a existência de um sistema de seleção tão abrangente quanto o Sisu.
As soluções oferecidas pela TRI: a balança de precisão
Diante disso, a TRI se apresenta como o melhor método para avaliar os estudantes de maneira justa e objetiva a fim de que possam concorrer com igualdade às vagas em universidades de todo o país. Isso acontece porque, como já havíamos mencionado, a TRI não considera apenas a dificuldade inerente de cada questão e o número de acertos do estudante, mas se apoia também na coerência individual dos alunos em suas provas (prevenindo a atribuição de notas injustas a quem “chutou”) e no nível de dificuldade atribuído a cada item por meio de fórmulas de estatística (garantindo que provas diferentes possam ser avaliadas na mesma escala). Assim, é possível medir o desempenho dos candidatos nas 180 questões objetivas em uma escala muito maior e mais detalhada, reduzindo o número de empates, permitindo contrastar estudantes que fizeram provas diferentes e se aproximando mais das habilidades reais do aluno. Em uma analogia simplista, mas significativa, podemos dizer que os sistemas tradicionais de avaliação funcionam como uma balança mecânica — que mede o peso aproximado das pessoas —, enquanto a TRI funciona como uma balança de precisão — medindo diferenças sutis entre a competência demonstrada por um aluno e outro.
Como a TRI e a nota do ENEM são calculadas?
Sabemos que a nota do ENEM, em teoria, vai de 0 a 1000 (apesar de nenhum desses dois extremos ser atingido normalmente, como veremos mais adiante). O parâmetro de referência para saber a proficiência de um aluno escolhido pelo MEC foi a média das notas dos estudantes que concluíram o ensino médio em 2009 e que realizaram a prova naquele ano. Essa nota foi estipulada como 500 na escala e, da mesma forma, estabeleceu-se que cada 100 pontos seria a medida de um desvio padrão das notas obtidas por esses alunos, isto é, uma maneira de avaliar o quão distante a nota de um aluno está da média. As notas dos alunos, portanto, podem ser medidas em uma escala representada por esta imagem:
Estatisticamente, o esperado é que a chamada “distribuição normal” das notas do ENEM em 2009 tenha se comportado da seguinte forma:
» 68,2% dos candidatos tiraram notas entre 400 e 600;
» 27,2 % tiraram notas entre 300 e 400 ou 600 e 700;
» 4,2% dos candidatos tiraram notas abaixo de 300 ou acima de 700;
» e meros 0,2% dos candidatos tiraram notas acima de 800 ou abaixo de 200.
Diante disso, o cálculo da nota de cada um por meio da TRI leva em conta dois pontos importantes:
1) A probabilidade de estudantes com diferentes níveis de proficiência acertarem cada questão;
2) e a “coerência pedagógica” de cada aluno ao longo da prova.
As características do Item ENEM
A “curva característica do item” é, basicamente, uma representação de uma função que mede a probabilidade de alunos com diferentes habilidades acertarem determinada questão (ou item). Ela funciona com três parâmetros diferentes:
» O parâmetro de discriminação (representado pela letra “a”), que mede a eficácia da questão em diferenciar quem domina aquele conteúdo de quem não o domina;
» O parâmetro de dificuldade (letra “b”), cujo valor indica o nível de dificuldade da questão;
» e o parâmetro de acerto casual (letra “c”), que indica a probabilidade de que alguém que não tenha nenhum domínio do conteúdo cobrado acerte a questão “no chute”.
Idealmente, em uma questão bem elaborada, a probabilidade de acerto aumenta junto com o nível do aluno na escala de proficiência (aquela ilustrada pela régua amarela, como vimos anteriormente). Assim, ela pode ser representada da seguinte forma:
Evidentemente, as questões da prova não têm o mesmo nível de dificuldade, porém, o ENEM é elaborado de modo a contemplar questões dispersas em vários níveis de dificuldade na escala, tanto abaixo de 500 quanto acima. Pelo gráfico exemplificado acima, vemos que pessoas com proficiência abaixo do parâmetro b, que está entre 500 e 600 nesse caso, têm chances baixas de acertarem a questão.
Por outro lado, como a curva cresce rapidamente próxima do valor de b, pessoas com proficiência acima desse valor têm probabilidades mais elevadas de acerto nesse item. Essas probabilidades estão diretamente associadas à análise de coerência pedagógica do padrão de acertos de um examinado pela prova, como será descrito a seguir.
A coerência pedagógica
A análise do padrão de respostas de um participante se baseia no fato de que é esperado que alunos com determinado nível de proficiência acertem certas questões e outras não (como, por exemplo, um aluno de proficiência 700 tem alta probabilidade de acertar o item representado no gráfico, enquanto um de proficiência 300 tem chances bem mais baixas).
Esse sistema funciona, segundo o próprio Inep, mais ou menos como uma prova de salto em altura: se um atleta consegue saltar barras de até 1 metro de altura, espera-se que ele também consiga saltar obstáculos de 90, 80 e 70cm, por exemplo, mas não de 1,2m. No ENEM, portanto, espera-se que candidatos que acertaram questões difíceis, com parâmetro de dificuldade alto, também acertem questões com parâmetro de dificuldade mais baixo, principalmente caso o conhecimento necessário para responder às últimas seja pré-requisito das primeiras.
Como exemplo, podemos citar uma questão de Matemática que envolva potência e outra que envolva apenas multiplicação. Quando um aluno acerta a questão sobre potência, é esperado que ele também acerte aquela que só usa a multiplicação, e quando isso não acontece o aluno foge da coerência pedagógica esperada, recebendo, assim, uma nota inferior. Isso significa que — contrariamente às avaliações que usam o método TCT — alguém que acertou determinado número de questões fáceis, mas errou questões difíceis, terá nota superior a alguém que acertou o mesmo número de questões difíceis, mas errou questões fáceis. Clique e veja a ilustração para entender melhor:
Na figura acima, vemos que apesar do participante A e o B terem acertado o mesmo número de questões em uma avaliação hipotética de dez questões, ambos tiveram notas diferentes. Como o participante A acertou mais questões fáceis e errou questões difíceis seu resultado é mais coerente, já que observa-se o que era esperado. Entretanto, para o participante B, ocorre o inverso: ele acerta com mais frequência questões mais difíceis e erra as fáceis. Como esse comportamento é incoerente, sua nota é inferior à do participante A.
Os mitos em torno da TRI
1) As notas mínima e máxima do ENEM são sempre 0 e 1000?
Não! Como não há questões que pressupõem proficiência muito baixas ou muito altas para serem acertadas, a avaliação não consegue inferir a partir dos padrões de resposta nessas questões se um participante tem proficiência muito baixa (próxima de 0) ou muito grande (próxima de 1000).
É como se fosse dado um certo “benefício da dúvida”: como não temos questões muito fáceis ou muito difíceis, não podemos afirmar, mesmo que um aluno erre ou acerte todas as questões, que ele tem nota 0 ou 1000, respectivamente. Isso significa que a nota máxima (para quem acertou 45 questões) e mínima (para quem errou todas) de uma prova pode ser diferente da de outra — em 2011, por exemplo, a nota máxima da prova de Ciências da Natureza e suas Tecnologias foi 867,2, enquanto a de Ciências Humanas e suas Tecnologias foi de 793,1.
2) É melhor deixar uma questão em branco ou “chutar”?
“Chutar” a questão, portanto, não significa que o candidato não receberá nenhum ponto por ela, apenas que ela poderá ser menos valorizada, dependendo de sua coerência pedagógica. Por outro lado, deixar uma questão em branco significa necessariamente errar a questão. Na TRI, um acerto é sempre melhor do que um erro, mesmo que esse acerto seja um acerto eventual proveniente de um palpite. Sendo assim, “chutar” é sempre uma opção melhor que deixar qualquer questão em branco.
3) O cálculo da nota pode ser verificado?
Claro! O Inep disponibiliza, após um certo tempo, os chamados Microdados referentes à prova de cada ano. Nesses Microdados, todas as informações referentes às respostas e às notas de cada participante (preservando o anonimato) são fornecidas para que qualquer pessoa possa verificar a consistência dos dados, apesar de serem necessários certos conhecimentos técnicos para tal.
4) A TRI deixa a prova do ENEM mais difícil?
Não! A TRI é, simplesmente, uma metodologia de correção de prova diferente da Teoria Clássica de Testes, usada comumente. Isso não significa que a dificuldade da prova seja maior ou menor por isso, e sim que as notas são calculadas de forma diferente. Da mesma maneira, não existem estratégias específicas que permitem um aluno a se sair melhor na prova simplesmente porque ela é corrigida pela TRI. A maneira de se preparar é a mesma de antes: estudando e treinando.
Impacto da Redação na média total do ENEM
Duas perguntas são recorrentes quando o assunto é o impacto da redação na média total do ENEM:
1. Por que a redação pesa tanto na média total do ENEM?
2. O que o fato de saber fazer uma redação prova sobre o conhecimento de um aluno?
Cibele Campos, Professora da equipe do AppProva e corretora oficial do ENEM, responde:
Para entrar em uma boa universidade e ter sucesso na vida acadêmica e no desempenho de sua profissão, é preciso muito mais do que o conhecimento específico das matérias mais cobradas no ENEM e até mesmo da “mais importante” no curso escolhido. Um engenheiro precisa saber muita matemática, um biólogo, um médico vão precisar saber muita biologia – e muito mais que isso.
Durante a graduação em qualquer curso, será necessário redigir relatórios, artigos, monografia; após ela, o mundo do trabalho e a sociedade em geral exigirão de nós a habilidade de nos expressar pela escrita – razão pela qual vemos com frequência profissionais das mais diferentes áreas recorrendo a cursos de português para aprender a escrever ou para melhorar sua escrita.
A redação é o instrumento pelo qual é possível verificar o grau de maturidade do aluno, sua capacidade de defender ideias, apresentar argumentos válidos em texto dissertativo-argumentativo. Tais competências, muito importantes para qualquer pessoa em qualquer momento da vida, mas ainda mais para estudantes de nível universitário, dificilmente seriam avaliadas por meio de questões de múltipla escolha. Escrever bem não é o mesmo que resolver problemas, aplicando fórmulas ou solucionando equações. Isso porque, mais que um conhecimento propriamente dito, escrever é uma habilidade, uma prova de articulação com o mundo e de capacidade de expressão bem desenvolvida. Essa capacidade de expressar nossos sentimentos, pensamentos e percepções do mundo que nos cerca, pela escrita em particular, é que nos constitui como sujeitos e nos faz cidadãos; é o que nos diferencia em todas as instâncias da vida.
De modo que é muito simplista considerar que a redação é apenas mais uma matéria a ser avaliada no ENEM. Todo o tempo, o mundo exige que nós uma expressão bem articulada, a produção de sentidos, o desenvolvimento de argumentos, a relação de dados e ideias de modo coerente. Isso pode ser resumido como saber escrever. A redação no ENEM fornece uma amostra daquilo que, em nossa vida pessoal e profissional, seremos “convidados” a realizar: solucionar problemas. Disso decorre o peso da redação no Exame. Saber escrever prova quem somos, nosso grau de inserção no mundo e de que modo nos relacionamos com ele. Saber escrever prova que somos sujeitos da nossa história, capazes de interferir positivamente no mundo em que vivemos.
Desconhecimento dos alunos sobre a TRI
Você sabia que apenas 14% dos estudantes sabem como funciona a metodologia de correção do ENEM?
Aproveite esse conteúdo para orientar seus alunos!
Gostos do texto? Veja também o Aulão Online que o Professor Doutor Mateus Sampaio, um dos fundadores do AppProva e especialista no assunto, fez tirando as principais dúvidas sobre a metodologia de correção do ENEM, a TRI:
