Tempos atrás participei de um pequeno debate e vi alguém que criticava as instituições brasileiras de Ensino Superior pela baixa qualidade de ensino, todas elas, tanto públicas quanto privadas. Uma avalanche de críticas sem pontuar nada. Apenas críticas generalistas onde tudo é ruim porque o Brasil é ruim. Confesso que estou meio que cansado desse tipo de crítica, que não constrói nada e nem aponta como melhorar. É claro que todos sabemos que nossas instituições possuem problemas, e que sim, merecem todas as críticas que pudermos fazer para que melhorem processos e aumentem a qualidade. Mas precisamos refutar a crítica pela crítica, pois muitas vezes nem sabemos exatamente o que estamos criticando.
Um bom exemplo disso, é quando simplesmente dizemos que universidades fora do Brasil são bem avaliadas, e dizemos isso sem sequer conhecer os mecanismos de avaliação aos quais essas instituições são submetidas. É certo que cada país possui seus próprios sistemas avaliativos com seus próprios critérios, alguns mais exigentes, outros menos exigentes, alguns com propósitos muito específicos e orientados, outros com poucos propósitos. O que não podemos pensar é que a régua que usamos aqui é a mesma régua usada em outros países, pois não é, e devemos estar atentos a isso.
Um bom exemplo é o próprio ENADE (Exame Nacional de Desempenho do Estudante), ou o SINAES (Sistema Nacional de Avaliação da Educação Superior). Em poucos lugares encontramos um tipo de prova igual ao ENADE aplicada ao ensino superior. Falo de um exame com o mesmo número de questões, e com critérios de interdisciplinaridade, sendo aplicado da mesma forma como aplicamos aqui. Muitos países sequer têm avaliações desse tipo.
Apesar do ENADE ser uma avaliação da instituição, com foco em resultado quando alunos são avaliados, possui muitas lacunas temerosas, pois estamos falando de apenas 40 questões, ou seja, a prova tenta condensar um curso inteiro de graduação em apenas 40 questões tomados a cada 3 anos. Se um curso possuir 5 anos com 10 disciplinas para cada ano, estaremos falando de 50 disciplinas que serão tomadas em apenas 40 questões objetivas e outras 5 questões discursivas.
Apesar das minhas críticas, defensores usam como argumento que existe uma média grande de instituições que ficam em notas intermediárias e, portanto, o método de avaliação é razoável. Esse argumento é um equívoco sob muitos aspectos. Os resultados das provas são distribuídos em uma equação matemática conhecida como Curva de Gauss. Isso significa dizer que, sempre teremos os resultados distribuídos dentro de uma proporcionalidade única, que apontará a mesma quantidade de boas e más instituições, acomodando um grupo grande entre os dois extremos. Na prática significa dizer que se todas as nossas instituições forem ótimas, teremos ao menos ótimas classificadas como ruins dentro da mesma distribuição, ou seja, sempre teremos instituições ótimas, e sempre teremos instituições ruins.
O ponto de discussão que trago aqui, e tentando agora ser o mais direto possível, é dizer que, devemos comparar o posicionamento das instituições brasileiras no ensino brasileiro apenas entre elas se estivermos usando modelos próprios de avaliação. Se formos comparar nossas instituições posicionadas dentro dos nossos modelos com instituições estrangeiras posicionadas dentro dos modelos deles, estaremos comparando batatas com abacaxis. Não podemos comparar alhos com bugalhos, porque alhos são alhos e bugalhos são bugalhos.
Quando as instituições estrangeiras são posicionadas em um ranking internacional, não pensem que elas não se prepararam para serem bem pontuadas quando avaliadas dentro desses modelos internacionais, onde muitas costumam estar presentes. De fato, muitos dos sistemas educacionais de diversos países já adaptam e equiparam os seus sistemas avaliativos para esses modelos com foco na pontuação internacional. Nada mais inteligente e justo. Não podemos ser ingênuos achando que essas instituições são pontuadas pelo que são, mas sim que o são para serem bem pontuadas nesses sistemas.
Embora não esteja falando do ensino superior, gosto de citar o caso da avaliação do PISA (Programme for International Student Assessment) que é aplicada em países membros da OCDE (Organização para a Cooperação e Desenvolvimento Econômico) e países convidados, que é o nosso caso. Essa prova, aplicada em 2015, nos colocou na posição 63 de 70 países avaliados, como resultado de uma prova aplicada a uma amostra de 23 mil jovens brasileiros entre 15 e 16 anos. Você, leitor, certamente deve ter pensado que usavam o resultado do ENEM para nos posicionar nesse ranking.
Esses jovens escolhidos fizeram uma prova que não correspondeu em nada ao ENEM (Exame Nacional do Ensino Médio) para o qual foram preparados, e ficamos desiludidos quando comparados com outros que fizeram o PISA. O PISA não é o ENEM, e muito menos faz as mesmas perguntas do ENEM. Devemos lembrar que o propósito educacional do PISA é diferente do ENEM, e por isso a forma de avaliação e os seus conteúdos são diferentes também, e como não poderia deixar de ser, o resultado também é outro.
Nesse aspecto temos muito o que evoluir, pois muitos dos nossos sistemas avaliativos não estão alinhados com esses modelos, embora achemos que estão de acordo. Nossos sistemas de avaliação estão carregados de regulação excessiva, e muitas vezes ideológico, sendo pouco práticos. Raramente pontuamos resultados ou projetos vencedores e inovadores, mas em contrapartida pontuamos bem corporativismos acadêmicos. Muitos dos nossos critérios precisam ser revistos para pontuarmos as instituições que produzem inovações e trazem excelência ao ensino efetivamente. Precisamos ter essa clareza de pensamento para saber o que de fato queremos ser para sabermos o que devemos avaliar.
Precisamos repensar os nossos sistemas de avaliação depois de entender melhor que tipo de resultados estamos esperando dos nossos alunos para o mundo que eles terão a frente, e diante dessa reflexão trazer para os nossos sistemas avaliativos o que de fato precisamos avaliar. Vamos descobrir que no final do dia, os nossos alunos devidamente capacitados para o exercício das suas profissões diante da sociedade e o mercado de trabalho é o que de fato importará. Essa certamente é a melhor medida de avaliação.
Prof. Dr. Malcon Tafner Consultor Hoper
ATENÇÃO: Não é permitida a reprodução integral do conteúdo acima. A reprodução parcial é permitida apenas na forma de citação e com link para o conteúdo na íntegra. Plágio é crime (Lei 9610/98).
