Na primeira parte deste artigo, discutimos a necessidade de avaliar políticas de maneira controlada para aprender sobre seus impactos.
Notamos, contudo, que isso provavelmente não vai ocorrer no caso da reorganização das escolas em São Paulo (SP). Será que, nesse caso, não podemos dizer nada sobre o mérito da política?
Nesta segunda parte, discutimos maneiras alternativas de tentar entender se a política é boa ou ruim. Cada uma dessas alternativas tem limitações.
Para entender o porquê, pense na diferença entre utilizar uma lanterna para procurar a chave de casa perdida na rua (experimento) e procurar a chave onde o poste ilumina (alternativas).
Se você perdeu a chave de casa debaixo de um poste, então o segundo método vai te permitir encontrá-la mesmo sem lanterna; do contrário, você pode até encontrar uma chave embaixo do poste, mas ela certamente não vai abrir a porta da sua casa.
O PROBLEMA DAS COMPARAÇÕES
A primeira alternativa para aprender se uma política é boa ou ruim mesmo sem experimentos é observando o efeito de políticas similares em outros contextos.
No entanto, essas comparações nem sempre são unânimes sobre os efeitos da política.
Por exemplo, um estudo para o estado de Ohio, nos EUA, sugere que a decisão de fechar escolas com pior desempenho leva os alunos a frequentar escolas melhores e a melhorar seu desempenho depois da mudança.
Já um estudo sobre os efeitos da transição dos anos iniciais para os anos finais do Ensino Fundamental em Nova York sugere que separar ciclos em escolas diferentes piora o desempenho dos alunos.
Qual contexto é o mais adequado para aprendermos sobre os efeitos potenciais da política em São Paulo?
Para evitar generalizar a partir de outros contextos, poderíamos comparar alunos em escolas de ciclo único de São Paulo com os demais.
O problema dessa comparação é que ela não nos permite entender se as diferenças de desempenho entre alunos desses grupos se devem à organização dos ciclos ou a outros fatores que também influenciam o desempenho escolar dos mesmos.
Mesmo tentando comparar escolas iguais em todas as demais características, sempre há a possibilidade de que fatores como expectativas dos pais sobre o futuro dos filhos influenciem tanto em sua opção de matriculá-lo numa escola de ciclo único quanto no seu desempenho.
Como não observamos expectativas, esse exercício é, em última instância, uma missão impossível.
QUASI-EXPERIMENTOS
A segunda alternativa é tentar explorar eventos que, sob determinadas hipóteses, são tão bons quanto um experimento propriamente dito (ainda que não tenham sido definidos por sorteio).
Usando essa abordagem, comparamos alunos vindos da mesma escola de dois ou mais ciclos que passou por fechamento ou reorganização. Alguns desses alunos foram para escolas de ciclo único, mas outros não.
Como o momento da reorganização/fechamento é um "choque" externo às decisões dos pais ou às caraterísticas dos alunos, e como todos esses alunos estavam inicialmente em escolas de múltiplos ciclos, podemos argumentar que esse evento é tão bom quanto um experimento para essa amostra da população.
Para dar ainda mais credibilidade aos resultados, comparamos fechamentos de escolas em municípios diferentes, explorando variação na oferta de escolas de ciclo único.
A ideia é que, em cidades nas quais quase todas as escolas são de ciclo único, se a nova escola for escolhida ao acaso, há grande chance de os alunos acabarem em escolas de ciclo único por razões que nada tem a ver com o desempenho individual.
No período analisado (2007-2013)*, a partir dessa estratégia, encontramos que maior exposição a escolas de ciclo único diminui a evasão escolar e a repetência para todos os perfis de aluno dos anos finais do Ensino Fundamental (6º ao 9º anos), mas não afeta de forma significativa os alunos nos anos iniciais do Ensino Fundamental (1º ao 5º ano).
Os efeitos são quantitativamente relevantes: para os alunos dos anos finais do Ensino Fundamental, um ano a mais em escolas de ciclo único reduz a probabilidade de não concluir o 9º ano em 3,8 pontos percentuais (16% da média) e reduz a probabilidade de repetir ao menos uma série em 16 pontos percentuais (45% de média).
A POLÍTICA É BOA OU RUIM, AFINAL?
Em que medida podemos utilizar esses aprendizados para inferir os méritos da reorganização das escolas em São Paulo? A resposta depende de dois fatores.
Primeiro, em que medida você acredita nas hipóteses que fizemos para utilizar esse evento como quasi-experimento?
Segundo, mesmo que que você acredite nessa hipótese, até que ponto o que aprendemos sobre o efeito do ciclo único sobre alunos de escolas fechadas ou reorganizadas desde 2007 vale também para os alunos da rede como um todo em 2016? Mais uma vez, essa é uma pergunta que é impossível de responder.
Ainda que essas análises possam e devam ser parte do debate público, nos parece que seria muito mais racional "pilotar" a política, para aprender sobre seus efeitos sem a necessidade de hipóteses que podem convencer a uns mas não a outros.
De brinde, ainda poderíamos aprender sobre os desafios da implementação da política, para assim corrigi-la antes de torná-la universal.
*Utilizamos os dados do Censo Escolar para as escolas públicas de São Paulo, entre 2007 e 2013. Os detalhes das nossas análises estão disponíveis sob consulta.
GUILHERME LICHAND, doutorando em Economia Política e Governo pela Universidade Harvard, é sócio-fundador da MGov Brasil
LEONARDO ROSA, doutorando em Economia da Educação pela Universidade de Stanford