Folha de S. Paulo


O fetiche da avaliação de impacto

É crescente o clamor por avaliações de impacto. E não se trata apenas do lobby dos economistas: a demanda por parte de agências de fomento e financiadores de projetos sociais vem sendo cada vez mais intensa.

Esse movimento, que visa basear o gasto social em evidências, é razoável. E, no setor social, são poucos os que negam a necessidade de termos avaliações. Posto isso, é preciso cuidado para "não se jogar fora a criança junto com a água do banho".

Avaliações de impacto não são simples, e aqueles que oferecem receitas de bolo nessa área estão vendendo ilusão. Identificamos pelo menos cinco questões importantes a serem consideradas nas iniciativas de avaliação com que interagimos.

Avaliações podem ser muito caras. Quando são utilizadas as metodologias mais reconhecidas internacionalmente, como os modelos experimentais (randomized control trials), os custos podem ser elevados.

Avaliações deste tipo fazem muito sentido para grandes programas públicos, como o Bolsa Família, mas podem ser um exagero metodológico para pequenos projetos sociais. Já encontramos situações onde a avaliação é mais cara que o projeto social em si. Faz pouco sentido.

Avaliações podem ser muito longas. Existem avaliações de impacto que demoram mais de um ano para serem realizadas, dependendo do problema a ser examinado. No caso dos projetos sociais que lutam para sobreviver e se financiar, podemos ver um programa morrer antes que a avaliação termine. Parece meio absurdo.

Avaliações podem ser incompatíveis com o timing do projeto. Muitos empreendedores sociais fazem "das tripas coração" para viabilizar suas propostas e construir soluções inovadoras. Avaliações são exigentes em termos de tempo e engajamento por parte do time empreendedor, podendo sobrecarregar um grupo já no limite.

Neste cenário, impor uma avaliação sem compreender o momento do projeto pode colocar um estresse adicional muito significativo. Pode ser injusto.

Avaliações de impacto são reducionistas. Nem tudo que é importante pode ser medido, e nem sempre o que pode ser medido é importante.

Para realizar uma avaliação, o grupo responsável tem de encontrar as chamadas "variáveis instrumentais", aquelas que serão utilizadas na hora do julgamento: desempenho escolar, taxa de desemprego, reincidência prisional, pressão arterial.

Por razões operacionais, o time avaliador vai sempre preferir variáveis fáceis de medir, como aquelas que já estão no banco de dados do programa. Às vezes, pouco relevantes.

Avaliações podem ter impactos desdobrados no futuro, para além do período da avaliação. Algumas organizações sociais que atuam com causas difusas –como democracia e direitos humanos, por exemplo– podem ver o impacto da sua ação verificar-se somente décadas depois do início das atividades.

Ainda assim, dependendo da conjuntura, tais iniciativas podem ser muito relevantes, ou mesmo essenciais. Pode ser fundamental persistir.

Como tudo na vida, avaliar requer bom senso e cuidado. Não há regra única. Ao formular uma tese de impacto, o empreendedor social será capaz de estabelecer um foco mais preciso e construir um diálogo claro com apoiadores.

Ao mesmo tempo, os avaliadores podem ganhar espaço ao ter mais humildade intelectual e reconhecer que seus instrumentos são limitados. Vale enfatizar: para jogarmos esse jogo, precisamos entender que o importante mesmo é cooperar para transformar a complexa realidade que nos cerca.

HAROLDO TORRES, economista, demógrafo e doutor em ciências sociais, e MARCEL FUKAYAMA, administrador de empresas, MBA e mestrando em administração pública. Os dois são cofundadores da Din4mo, empresa especializada em apoiar negócios com impacto social e parceira do Prêmio Empreendedor Social


Endereço da página: