Ultimamente o uso da avaliação do impacto social tem sido criticado entre as organizações do terceiro setor. A maioria delas é pequena e com poucos recursos. Em geral a avaliação de impacto tende a adotar modelo estatístico complexo e “pouco amigável”, além de execução demorada e custos onerosos. Será que o terceiro setor precisa mesmo investir em medir impacto, ao invés de priorizar o trabalho social propriamente?
A esse respeito, considero relevante a sistematização feita por Dan Corry em seu mais recente post (de 13.10.2022) intitulado “Why assessing impact remains crucial”. Baseado em sua larga experiência com o terceiro setor no Reino Unido, ele é firme em defender a importância da avaliação de impacto, mas que são necessárias mudanças na forma de abordar o impacto social, seja em termos de sua concepção (ou planejamento) como de sua avaliação.
Vale dizer que Dan Corry é CEO da New Phillanthropy Capital (NPC) uma organização think-thank e de consultoria, cuja missão é apoiar o ‘setor social` no Reino Unido e em âmbito global, que é definido como sendo as organizações da sociedade civil (ou charities, como são conhecidas no Reino Unido), filantropos, fundações, investidores de impacto, empresas sociais, empresas em geral, e organizações do setor público.
A seguir, dentro de um estilo livre e com ênfases próprias, procurei sintetizar em 13 pontos os principais conceitos e ideias trazidos por Dan Corry ao longo de sua argumentação.
- Impacto social – É fazer a diferença (para melhor) na vida das pessoas atendidas.
- Agenda de impacto – o que é? É a agenda que busca identificar maneiras sobre como usar os recursos, em geral escassos, da melhor maneira possível de modo a transformar vidas. Em outras palavras, diz respeito a como conseguir maximizar o impacto social a partir dos recursos disponíveis, sendo que as necessidades sociais são grandes e urgentes.
- Avaliar impacto – o que é? para que serve? É verificar a diferença que a organização / projeto fez na vida das pessoas atendidas – será que estamos realmente conseguindo gerar o impacto desejado? A principal função não é julgar ou “tentar” provar impacto per si. Inegavelmente tem também essa função, mas hoje em dia se percebe que vai muito além, pois se trata de entender como o impacto foi gerado (se realmente foi proveniente da ação em questão), aprender com os erros e acertos, aprimorar e, assim, orientar a tomada de decisão para o melhor uso dos recursos.
- Avaliar impacto passou a ser uma exigência dos financiadores – Financiadores [sejam eles governos, filantropos, fundações, fundos de investimento, empresas em suas iniciativas ESG, empresas/negócios de impacto] precisam de dados consistentes para provarem o impacto, de modo a terem bases sólidas de decisão sobre a melhor alocação dos seus recursos, e poderem gerar o impacto social que pretendem ter. Eles estão certos: não se contentam mais em serem guiados pelo coração – como ocorreu nas organizações do terceiro setor no Brasil até os anos 1990.
- As duas abordagens do impacto: de cima para baixo, e de baixo para cima. Na abordagem do impacto de cima para baixo, que predominou até há bem pouco tempo, quem decide sobre o impacto (o que fazer e como fazer para resolver o problema social) são os financiadores da iniciativa. Tendem a ser percebidos como os “donos do projeto”, enquanto o público atendido é o objeto da ação. Já na abordagem de baixo para cima, que começa atualmente a ganhar espaço, o público atendido passa a ser incluído no processo de decisão (sobre o que fazer, e como fazer), sendo considerado também como sujeito da ação, e não apenas objeto.
- Avaliação de impacto de cima para baixo. É guiada pela técnica, baseada na experiência de profissionais especialistas, em pesquisa, coleta de dados e análise. De 1970 até bem recentemente, predominou o uso quase que exclusivo do “padrão ouro” da pesquisa quantitativa experimental para avaliar impacto, com grupos de controle, envolvendo a aplicação de modelos estatísticos complexos e caros. Aos poucos foram sendo introduzidos outros métodos e ferramentas para subsidiar na avaliação do impacto, como a “teoria da mudança”, a pesquisa qualitativa, e o “cálculo do SROI” (ver abaixo).
- As críticas que foram surgindo – As exigências dos financiadores por medição quantitativa adquiriram tal proporção que mesmo as organizações do terceiro setor no Reino Unido, em geral de pequeno porte e com poucos recursos, passaram a se sentir “asfixiadas” de 2000 para cá, frente a tantas tarefas de avaliação. Várias críticas foram surgindo, do tipo: (i) muitas vezes acabava sendo feito um esforço grande para medir coisas que eram fáceis de se medir, ao invés de se concentrar no que era realmente relevante para acompanhar; (ii) o uso de métodos complexos, muitas vezes conduzidos sem a devida proficiência, torna-se uma armadilha que induz a conclusões errôneas sob a aparência do rigor; (iii) o excesso de tarefas para medição na organização acaba subtraindo o tempo que seria dedicado ao trabalho social; (iv) o excesso de dados sendo coletados, porém muitas vezes sem utilidade e que vão se acumulando nos “porões de dados”.
- SROI: o que é? A crítica. Embora ainda esteja muito em voga atualmente no Brasil, Dan Corry alerta que a NPC praticamente abandonou as estimativas do SROI (Social Return On Investment). Ele reconhece que houve uma “inflação” de SROIs sendo calculados até há bem pouco tempo. SROI é um método que almeja traduzir em um único número o impacto social de uma iniciativa, informando quantos R$ foram gerados em impacto social para cada R$ 1 investido. Porém, além de ser um método oneroso e complexo, o resultado objetivo que gera (um único número) está sujeito a tantos pressupostos e subjetividades que tiram a confiabilidade do resultado. Diferente da empresa privada, onde as decisões na realidade continuam sendo guiadas basicamente por um único número (a taxa de lucro), no setor social não há essa “métrica mágica” e única, capaz de orientar as tomadas de decisão.
- Teoria da mudança. Continua sendo uma ferramenta poderosa que, se bem usada, tem conseguido cumprir o seu papel de planejar a estratégia de mudança e depois prestar contas (accountability) se os objetivos foram alcançados. Tem a grande vantagem de padronizar e unificar entendimentos (contextos, objetivos, indicadores, metas, lógica causal, etc…), com isso, viabilizando o diálogo entre as várias partes envolvidas (stakeholders) com a iniciativa.
- Avaliação de cima para baixo: é possível melhorar? Sim, não só é possível, como é fundamental melhorar! Dan Corry reconhece os avanços que a NPC já vem fazendo nesse sentido junto às organizações que apoia, tais como: (i) condução de avaliações mais objetivas e práticas centradas em reais necessidades de avaliação da organização e em suas capacidades; (ii) estímulo ao uso da teoria da mudança; (iii) ênfase no uso da pesquisa qualitativa para entender o impacto (“numbers and stories”); (iv) estímulo a uma atuação mais compartilhada (entre organizações) e abrangente, de modo a ter fôlego para agir nas causas-raízes do problema social.
- Avaliação de impacto de baixo para cima. É a avaliação guiada pela experiência de vida do público atendido, pelos conhecimentos da comunidade e o envolvimento dela nas decisões sobre o que fazer e como. Não são os financiadores ou os especialistas que, longe da realidade, vão saber a melhor solução /estratégia para enfrentar os problemas sociais. Como reconhece Corry, até hoje a “linguagem do impacto” atribuiu voz passiva às pessoas atendidas (e, vou além, também às equipes das organizações executoras). Porém, ninguém melhor do que elas próprias para dizerem a coisa certa a fazer, o modo certo, e se realmente foi feito. O desafio que se coloca hoje é como dar voz a elas.
- Avaliação de impacto – de cima para baixo X de baixo para cima. Há conflito? Não, de forma alguma. Importante entender que não se trata de parar de medir impacto, e deixar que a comunidade passe a decidir tudo. Aliás, como alerta Corry, esse é um ponto preocupante que surge com a ascensão recente do movimento da “filantropia baseada em confiança”. É preciso distinguir que há circunstâncias específicas em que o acesso a recursos irrestritos pelas organizações executoras ( baseados na confiança), como ocorreu no auge da crise da Covid, são de extrema importância; mas isso está longe de significar que a avaliação de impacto deva ter o seu papel minimizado.
- Avaliação Balanceada – de cima para baixo E de baixo para cima. O impacto social vai se fortalecer se as duas abordagens forem adotadas de forma complementar e equilibrada. Para Dan Corry “o que precisamos é criar as ferramentas (técnicas) corretas e colocá-las em mãos corretas, ou seja, criar as estruturas adequadas para que as pessoas a serem atendidas possam ser realmente ouvidas e empoderadas”. Nesse sentido, a avaliação de impacto se torna instrumento para “transferir poder” – até então o poder estava concentrado nas mãos dos financiadores e, com a ´avaliação balanceada` passa a ser dividido com o público atendido. Pois, não se trata mais de fazer para eles, mas fazer com eles. Além disso, como destaca Corry, é justamente com essa “avaliação balanceada” que se consegue melhor planejar e avaliar a “eficiência alocativa” (fazer a coisa certa) e a “eficiência produtiva” (fazer a coisa do modo certo) dos recursos disponíveis
“Avaliação de Impacto Balanceada”: uma solução interessante
Como visto, segundo a argumentação de Dan Corry e com a qual concordo, avaliar impacto segue sendo relevante no terceiro setor, como forma de orientar a melhor alocação possível dos recursos disponíveis para potencializar o impacto social.
É bem verdade que a avaliação de impacto foi ultimamente objeto de duras críticas no terceiro setor, em grande medida por simplesmente ter importado métodos atinentes, e possivelmente adequados, para tratar o impacto social das políticas e programas sociais do setor público. Porém, cada vez foi ficando mais claro que não dava mais para continuar com aquela abordagem tradicional e tecnicista do impacto, ´de cima para baixo`.
Para Dan Corry, a solução está em conseguirmos avançar rumo à “Avaliação Balanceada do Impacto”. Ou seja, está em buscar um equilíbrio entre a técnica de proficiência no tratamento dos dados da abordagem ´de cima para baixo` [porém, adaptada / simplificada para o contexto e as necessidades do impacto social ] COM a abordagem ´de baixo para cima`, procurando incluir de forma estruturada as vozes do público atendido, tanto no planejamento como na avaliação do impacto. Pois não se pode esquecer que o público-alvo representa, em última instância, a razão de ser da iniciativa social.
Por último, deixo aqui a seguinte questão para uma próxima reflexão. Nesse texto, o foco de Dan Corry foram as organizações do terceiro setor, ou seja, organizações privadas sem fins lucrativos. Para além do terceiro setor, será que essa abordagem da ‘avaliação balanceada do impacto` atende ao ecossistema do impacto quando incluímos as organizações do chamado ´quarto setor`? Que são aquelas que explicitam como seu objetivo-fim gerar impacto social e lucro, que são os casos dos negócios sociais, das empresas / startups de impacto, os fundos e gestoras de impacto.
