Muitas vezes editais para selecionar projetos sociais de organizações do terceiro setor têm feito a exigência de avaliação de impacto social. O argumento é de que a medição do impacto social funciona como uma demonstração de que os recursos foram bem aplicados e tiveram de fato efetividade. Esse argumento parece ficar (ainda) mais forte, se houver também no edital a exigência de que os impactos sejam apresentados sob o formato SROI (Social Return On Investment), indicando que, para cada R$ 1 investido, foram gerados X R$ de retorno social (quanto maior X, melhor).
Algumas vezes me perguntam qual é a minha opinião sobre essa exigência. A princípio, sou contrária à exigência de avaliação de impacto strictu sensu (que é baseada em pesquisa experimental) e/ou de implementação do método SROI como requisitos para o repasse de recursos para as organizações do terceiro setor (conhecidas também com ONGs – Organizações Não Governamentais). É claro, salvo situações específicas. E, diga-se de passagem, não estou sozinha nesta posição.
Por que sou contrária à exigência de avaliação de impacto e da aplicação do SROI para o terceiro setor? E quando a medição de impacto se justifica no terceiro setor?
Por que NÃO exigir avaliação de impacto e SROI para o terceiro setor?
PRIMEIRO, para encontrar achados confiáveis e válidos, a avaliação de impacto social (strictu sensu) precisa ser conduzida por meio de rigoroso modelo estatístico de modo a conseguir reproduzir uma situação de experimento. O que se busca é comprovar se os resultados alcançados no longo prazo pelos participantes do projeto (grupo do experimento) em relação a determinados objetivos de impacto foram significativamente melhores do que os resultados dos não-participantes (grupo de controle). Vale lembrar que os não-participantes devem ser constituídos por pessoas semelhantes em tudo aos participantes (as variáveis explicativas de controle do modelo), com exceção da variável causal que é a ‘participação no projeto” (sim/não).
Porém, se a estimativa do impacto não for conduzida com o rigor metodológico necessário (não só para viabilizar a comparação entre os grupos, como também para a operacionalização correta dos vários conceitos abstratos que permeiam a área social), muito provavelmente a avaliação vai gerar resultados enviesados e incorretos. A consequência pode ser desastrosa: no limite, levar à interrupção de “bons” projetos sociais ou à continuidade de projetos sociais pouco ou nada efetivos.
Ocorre que o desafio é que uma medição criteriosa de impacto social é por demais exigente em termos de tempo (pode levar alguns anos!), de recursos humanos (é uma pesquisa complexa, que demanda bons especialistas) e de recursos financeiros (é uma pesquisa bastante onerosa, em termos do trabalho de campo e da análise).
Daí que dificilmente as organizações do terceiro setor no Brasil conseguirão arcar com tal avaliação de impacto criteriosa. Isto porque elas são, em geral, pequenas e têm poucos recursos. A esse respeito – e também sobre como as ONGs em geral deveriam proceder para avaliar os seus projetos sociais – fiz uma reflexão que está no texto Avaliação de resultados na proporção correta.
SEGUNDO, para além da medição do impacto social, veja que o SROI (Social Return On Investment), também conhecido como ´retorno econômico` ou ´análise custo-benefício` (ACB) de projetos sociais, traz uma proposta metodológica ainda mais ousada. Pretende integrar medição de impacto com medição de eficiência, traduzindo ambos em valores monetários a preços constantes.
Porém, fazer essa integração metodológica não é trivial, muito ao contrário. Pressupõe integrar (i) as complexidades e subjetividades inerentes à medição do impacto social (tratadas por meio de modelos estatísticos) com (ii) as complexidades e subjetividades inerentes à monetização do impacto social (como por exemplo: monetizar desenvolvimento integral de crianças do projeto), e com (iii) as estimativas dos custos totais do projeto trazidos, devidamente apropriados e trazidos para uma determinada data (tratados por meio de matemática financeira).
Já desde 2010, eu chamava a atenção para as muitas complexidades e subjetividades envolvidas na estimativa do SROI (ver: Retorno econômico de projetos sociais: limites da avaliação). A questão é que para se chegar ao número do SROI (R$ X de retorno social para cada R$ 1 investido), era necessário adotar tantas hipóteses que, ao final, o avaliador ganhava quase que “carta branca” para revisar a sua cadeia de pressupostos.
Mas é inegável que o SROI é um método que vem ultimamente ganhando cada vez mais adeptos, sobretudo de grandes empresas, por sua aparente simplicidade e objetividade em comunicar os impactos dos programas sociais nos quais investem, além de permitir a comparação entre diferentes iniciativas sociais. A esse respeito escrevi o artigo – Avaliação de projetos socioambientais corporativos e o uso do SROI, em que comento que o SROI envelopa com objetividade uma metodologia que é, em si, cheia de subjetividades e complexidades.
E quando usar a medição de impacto e o SROI no terceiro setor?
A meu ver, o uso da medição de impacto ou SROI por organizações do terceiro setor se justifica sobretudo em duas situações.
PRIMEIRO, quando se tratar de uma iniciativa de impacto coletivo, de abrangência ampla e de longo prazo, envolvendo organizações de diferentes setores atuando de forma coordenada e integrada, e em que uma determinada organização do terceiro setor ocupa o papel central de organização coordenadora (ou “backbone organization”). Aí, sim, pode se justificar a contratação da avaliação de impacto a uma Universidade referência nesse campo ou à uma organização especializada.
Sobre o que são “iniciativas de impacto coletivo”, veja artigo: Organizações sociais: iniciativas de impacto isolado ou de impacto coletivo? No Brasil, essas iniciativas de impacto coletivo são mais conhecidas como programas de desenvolvimento do território.
SEGUNDO, quando grandes organizações do terceiro setor (Institutos ou Fundações), em seu papel de coadjuvantes das políticas públicas, decidem testar estratégias inovadoras, ou confirmar estratégias de políticas públicas que precisem ser reforçadas e/ou ampliadas.
Exemplifico essa segunda situação com o caso da Fundação Itaú , que através do seu pilar ‘Educação e Trabalho`, apoiou recentemente (2023) o trabalho sobre a avaliação do impacto no Brasil da educação técnica sobre a empregabilidade e remuneração de jovens de 18 anos, que foi baseado nas estimativas de impacto encontradas em 16 pesquisas criteriosamente selecionadas. Dentre as principais conclusões, foi mostrado que (i) a taxa de conclusão do ensino técnico é de apenas 40%; e que (ii) o retorno econômico sobre o investimento social (curso técnico) chegava a R$ 8 para cada R$ 1, quando considerados apenas os jovens que concluíram o ensino técnico comparado aos jovens que completaram o ensino médio regular sem ingressarem na educação superior.
Assim, em casos como o da Fundação Itaú, uma organização do terceiro setor, que se depara com um escopo abrangente de avaliação e pode contar com especialistas no campo social e da medição (no caso, o apoio do Insper sob a coordenação de um dos maiores especialistas do Brasil nesse campo, Ricardo Paes de Barros ), a medição do impacto social e a estimativa do SROI não só devem, como precisam, ser implementadas. Pois, aí sim, essas avaliações vão gerar estimativas válidas e confiáveis para nortearem as políticas públicas no Brasil. Como se vê, situação totalmente distinta da exigência de avaliação de impacto e SROI em editais para selecionar ONGs individualmente.
