Rankings universitários, principalmente em suas primeiras edições, são uma obra em construção. Se a própria ideia de traduzir num único indicador numérico a enorme teia de complexidades que caracterizam as atividades universitárias já é problemática, definir quais indicadores utilizar e qual peso atribuir-lhes apenas amplia o leque de dúvidas e questionamentos.
A única certeza que desponta do exercício de elaborar um ranking é a de que haveria outros caminhos igualmente válidos, o que na prática implica aceitar a ideia de que esse tipo de empreitada deve estar aberta a constantes aperfeiçoamentos.
Essa, aliás, é a regra nos rankings internacionais. Um dos mais reputados, o THE (Times Higher Education), criado em 2004, promoveu mudanças em todas as versões exceto a de 2012.
À primeira edição do RUF, em 2012, seguiu-se a esperada chuva de críticas, que foram debatidas em âmbito externo e interno. Muitas delas foram incorporadas pela equipe, outras, descartadas e houve ainda problemas que foram considerados momentaneamente insolúveis.
Tudo isso resultou numa série de mudanças que aparecem agora no RUF 2013.
A mais notável delas é a reformulação do indicador de ensino. No RUF 2012, para tentar capturar essa dimensão, o Datafolha havia entrevistado 597 pesquisadores cadastrados no CNPq que opinaram sobre quais eram as melhores graduações.
Havia, contudo, um problema e ele estava no fato de a base ser composta por pesquisadores que não necessariamente estavam familiarizados com questões de ensino. Na versão 2013, após entendimentos com o Inep, o Datafolha passou a utilizar como base os professores universitários que fazem a avaliação de graduações para o MEC. De um total de 4.354 especialistas, 464 foram entrevistados e deram sua opinião sobre os melhores cursos do país, em suas áreas.
Também se agregou ao módulo de ensino três indicadores objetivos: o percentual de professores com doutorado, com dedicação integral e a nota dos cursos de graduação no Enade. Este último recebeu, entretanto, uma pontuação baixa (2% do total da nota de cada universidade, contra 4% para os anteriores). A ideia aqui é que esse é um exame promissor, mas que ainda apresenta problemas, notadamente os boicotes organizados por alunos e as retenções de formandos, de que algumas escolas se utilizam para melhorar suas notas.
Tão logo as dificuldades sejam resolvidas, espera-se aumentar o peso do Enade no RUF.
A mudança da base de entrevistados e a inclusão de indicadores objetivos permitiram ao RUF 2013 avaliar não apenas universidades, como em 2012, mas também cursos individuais oferecidos não só por universidades mas também por centros universitários e faculdades. Foram ranqueadas 2.358 escolas que disponibilizam graduação nos 30 cursos com mais matrículas. Essa é a grande novidade do RUF 2013.
Outro módulo que mereceu críticas em 2012 foi o do mercado de trabalho. Para definir quais eram as melhores instituições aos olhos do mercado, o Datafolha entrevistou responsáveis pela área de recursos humanos de empresas. Um dos problemas aqui é que os resultados carregam muito do tamanho das instituições. Uma universidade grande, que forme muita gente, tende a receber mais menções do que uma escola menor, mesmo que esta seja de melhor qualidade.
Infelizmente, não foi encontrada uma fórmula para eliminar ou ao menos reduzir esse efeito (se alguém tiver uma sugestão, procure o blog do RUF). Decidiu-se, entretanto, por manter a avaliação, com um peso um pouco menor (18% contra 20% em 2012), já que o mesmo viés provavelmente aparece também nas contratações, fazendo assim parte do mundo real.
Diferentemente de 2012, quando foi avaliada a inserção de egressos dos 20 cursos que mais formam, neste ano foram considerados os 30 cursos com mais matrículas no ano de 2011.
Os blocos que praticamente não sofreram alterações foram o de inovação e de pesquisa, visto que são áreas nas quais existem indicadores objetivos à profusão e que já foram bastante discutidas na literatura internacional. As mudanças aqui se limitaram a pequenas alterações no peso dos subindicadores de pesquisa.
Vale ainda mencionar a internacionalização, que aparecia de forma embrionária no bloco de pesquisa em 2012 e se tornou um módulo independente com mais subindicadores em 2013.
A justificativa é que o grau de inserção internacional de uma universidade é um item que vem recebendo cada vez mais atenção em todo o mundo.
Uma descrição mais detalhada da metodologia empregada no RUF 2013, bem como as diferenças em relação à edição de 2012, pode ser encontrada no site do ranking. Embora seja possível conferir a evolução de uma universidade de um ano para o outro, vale lembrar que as mudanças metodológicas não recomendam que se dê muita atenção a essa comparação.