Esther Duflo, uma das ganhadoras do prêmio Nobel de Economia em 2019, participou do 10º evento internacional da XP Investimentos no Brasil, no dia 16 de julho último. Participação à distância (por vídeo-entrevista), porém bastante interessante.
Só relembrando, a razão do Prêmio Nobel em Economia ter sido concedido a Esther Duflo, juntamente com Abhijit Banerjee (seu marido) e Michael Kremer, foi a contribuição de suas pesquisas experimentais para atestarem a efetividade de políticas públicas para a redução da pobreza global. Conforme ela fez questão de ressaltar, com a premiação eles conseguiram evidenciar a importância dos “experimentos clínicos randomizados” (com grupos do experimento e grupos de controle) aplicados ao campo do desenvolvimento econômico e das políticas públicas.
Duflo e seus companheiros do Nobel são ardorosos defensores do rigor metodológico para avaliar a efetividade das políticas públicas, para saber o que funciona e o que não funciona. São métodos baseados em técnicas estatísticas complexas e acessíveis apenas a iniciados, de longa maturação e muito onerosos.
Para além das políticas e programas públicos, ter impacto social tornou-se atualmente um pré-requisito obrigatório. Tudo deve ter impacto benéfico (social ou ambiental) para justificar a sua razão de existir: são os projetos de impacto, as ongs de impacto, os investimentos de impacto, as empresas de impacto, e por aí vai….
Daí pergunto: Se medir impacto implica em métodos tão complexos e caros, como avaliar o impacto social e ambiental das iniciativas conduzidas por cada ONG ou empresa?
Uma vez que recursos estão sendo desembolsados com a finalidade explicitada de ter impacto social, então é mandatório verificar se os resultados pretendidos foram realmente atingidos. Ainda mais tendo em vista a nossa realidade atual, tão cheia de problemas de pobreza, injustiças, desequilíbrios e sofrimentos de toda ordem.
Pois boas intenções não bastam; ou melhor, mudar o discurso, mas continuar atuando como sempre. É uma questão ética cumprir o que se promete.
Mas, devemos ter clareza de que pouquíssimas iniciativas comportam avaliação de impacto, segundo o rigor metodológico experimental preconizado por Duflo. Para começar, é preciso que sejam iniciativas de grande porte e com amplo raio de influência, que justifique uma avaliação de impacto comme il faut; e também com bastante recursos disponíveis para financiar essa avaliação. Por outro lado, avaliar impacto de forma pouco criteriosa não transmite a confiabilidade demandada pelos stakeholders envolvidos, não consegue ser ferramenta de gestão útil, além de representar desperdício de tempo e recursos.
Então, como sair desse dilema?
Como se vê, estamos frente ao seguinte imbróglio: hoje em dia quase todas as organizações, lucrativas ou não, dizem operar com impacto. Porém, a medição correta do impacto é tão complexa e onerosa que tem se mostrado acessível a pouquíssimas instituições – do setor público e organismos internacionais.
Ao final de sua entrevista nesse evento da XP, Esther Duflo deu a sua orientação. Sim, é preciso ser rigoroso e disciplinado para medir os impactos de estratégias que são inovadoras. Uma vez já testados e comprovados os impactos dessas estratégias (ou dessas teorias de mudança), elas passam a fazer parte de um “portfólio de bons projetos”, que poderão ser implementados por outras organizações. Então, quando a estratégia for replicada, não haverá mais a necessidade de testar o seu impacto, pois já foi medido.
Dou aqui um exemplo. Suponha uma nova estratégia de alfabetização de adultos. Digamos que essa nova estratégia foi aplicada em 10 municípios. Ao final de 5 anos, foi feita a avaliação experimental de impacto com todo o rigor estatístico e, concluiu-se que houve aumento significativo na fluência de leitura dos adultos alfabetizados pelo novo método quando comparado com aqueles alfabetizados pelo método antigo.
Com isso, o novo método de alfabetização ganha status de tecnologia social, e passa a compor o “portfolio de bons projetos”. Assim, quando uma determinada organização social for executar o projeto em uma outra região, já sabe de antemão que o método é efetivo para a alfabetização de adultos. Será necessário (apenas) avaliar a implementação do projeto, se ela seguiu à risca os procedimentos do novo método.
Do que disse Duflo, a efetividade da teoria da mudança (ou da estratégia) precisa ser inicialmente confirmada com todo o rigor estatístico da pesquisa experimental. Mas, uma vez comprovada, daí para frente o que conta é a boa qualidade da implementação.
De fato, faz todo o sentido. O que não faz sentido, e costuma ocorrer com bastante frequência, é ver financiadores de iniciativas de impacto social e ambiental exigirem sempre medições de impacto toda vez que uma (mesma) teoria da mudança for aplicada.
