A avaliação do ensino-aprendizagem só faz sentido para o estudante quando é um processo contínuo com vista à reflexão crítica sobre a prática e não apenas configurada por uma classificação e um discurso político vago desvinculado da realidade. (Roberto Giancaterino)Avaliar é sempre uma boa maneira de pressionar e tirar pessoas e empresas da zona de conforto, sobretudo se a proposta é séria, testada com sucesso, feita por pessoas com expertise e credibilidade para analisar o setor em que opera, além de ser uma forma de inovar processos e modelos. Vejam o caso do Ranking Universitário Folha (RUF), divulgado no dia 8 de setembro deste ano. Realizado desde 2012 pelo jornal Folha de S.Paulo, chegou à sua terceira edição com dois produtos principais: o ranking de universidades e os rankings de cursos. De acordo com a Folha, “no ranking de universidades estão classificadas todas as 192 universidades brasileiras, públicas e privadas. No ranking de cursos é possível encontrar a avaliação de cada um dos 40 cursos de graduação com mais ingressantes no Brasil, como administração, direito e medicina, a partir de dois indicadores: ensino e mercado. Em cada classificação são considerados os cursos oferecidos por universidades, por centros universitários e por faculdades”. O ranking de cursos é um produto novo. Até o ano passado, o RUF trazia uma avaliação de ensino e uma avaliação de mercado em 30 cursos diferentes. A equipe do RUF utilizou cinco dimensões: pesquisa, ensino, avaliação do mercado, internacionalização e inovação. Além disso, incluiu algumas mudanças em relação à edição do ano passado. São elas: a) cursos, com a classificação geral de carreiras, unificando a avaliação de ensino e de mercado; b) ensino, com a inclusão de professores com mestrado no indicador de titulação dos docentes e os docentes com dedicação parcial no indicador de regime de trabalho; c) pesquisa, com a inclusão do indicador de professores considerados mais produtivos pelo Conselho Nacional de Pesquisa e Desenvolvimento Tecnológico (CNPq); d) internacionalização, com a exclusão do critério de docentes estrangeiros. O interessante, quando da publicação dos resultados, é que invariavelmente surgem opiniões e análises com muita propriedade, constituindo um guia para os leitores e interessados. Stefanie Silveira comentou sobre a baixa produção de artigos científicos; Marcelo Leite sugere a adoção de iniciativa proposta na Califórnia, baseada na tríade: foco na pesquisa científica, formação de profissionais de alto nível e faculdades comunitárias para treinar técnicos de nível superior (tecnólogos, no Brasil); Rogério Meneghini e Estevão Gamba questionam o porquê de não termos universidades só de ensino. O articulista da Folha Helio Schwartsman observou que, isolados, os critérios do RUF são imprecisos, mas que funcionam no conjunto. Sua análise ganha precisão ao fazer referência a Procusto, o vilão da mitologia grega, que assassinava os que adentrassem a região Korydallos. Ele “convidava” as vítimas a se deitar em duas camas de ferro com tamanhos diferentes: as de baixa estatura eram colocados na cama grande e as mais altas na cama pequena. As primeiras tinham as suas pernas esticadas ao extremo e as segundas tinham as suas pernas cortadas. Ou seja, usavam o padrão arbitrário para o qual a conformidade era forçada. De acordo com Helio, “fazer um ranking universitário é submeter instituições a uma bateria de dezenas de ‘leitos de Procusto’, na esperança de que depois, analisando os pedaços decepados e os distendidos, fosse possível estimar o tamanho das vítimas”. Assim, observados isoladamente, todos os indicadores do RUF são imprecisos, mas, no conjunto, permitem obter uma boa foto dos pontos fortes e fracos de cada instituição. O sentido utilitário da pesquisa vai para os estudantes, que raramente têm acesso às avaliações na hora de fazerem suas escolhas. Sabine Righetti se encarregou de elencar as críticas feitas e as mudanças sugeridas pelos leitores na metodologia usada pelo RUF, por ocasião de seminário promovido pela Folha:
- As atividades de extensão precisam também ser medidas, sobretudo os serviços prestados à comunidade tais como atendimento jurídico e hospitalar que não entraram na conta do RUF;
- As informações sobre os recém-formados precisam ser coletadas para que se possa saber onde estão e quanto ganham e conhecer o impacto dos cursos nas carreiras deles;
- A avaliação de ensino é inconsistente tendo em vista que os avaliadores do Ministério da Educação (MEC) não conhecem todos os cursos na sua área e/ou simplesmente os desconhecem;
- O RUF considera dois universos: avaliadores do MEC (22% da nota da universidade) e profissionais de Recursos Humanos/RH (18%). Em outros países as pesquisas de opinião têm pesos entre 15% e 20% em cada ranking;
- Há falhas na avaliação de mercado especialmente porque apenas os profissionais de RH são consultados; cargos de liderança, em geral, não têm negociação via RH;
- A maioria absoluta de faculdades e de centros universitários não faz pesquisa científica. Casos como os da Fundação Getúlio Vargas (FGV) e a Escola Superior de Propaganda e Marketing (ESPM) são exceções;
- A iniciação científica ajuda a qualificar o ensino porque há muitos trabalhos que mostram a correlação dos trabalhos dos alunos com a carreira dos egressos;
- O intercâmbio internacional de alunos deve contar e entrar no ranking/2015;
- A inclusão da nota média no Enem do ingressante de cada instituição é um complicador porque nem todas as instituições usam tal exame;
- A nota do MEC para cada curso deve ser considerada mas, por outro lado, apresenta o inconveniente de interferir no caráter independente da avaliação do RUF.