Também nos Estados Unidos e no Reino Unido, países com uma prática do terceiro setor bem mais avançada do que no Brasil, a avaliação dos projetos sociais segue sendo um desafio muito presente. Lá o que se observa é que as organizações filantrópicas já estão se sentindo asfixiadas pela compulsão em medir impacto social e avaliar o retorno econômico de suas ações. Anseiam, e já estão trabalhando por uma metodologia de avaliação coerente com o contexto da quase totalidade dessas instituições.
A título de contribuir para essa reflexão, apresentarei os posicionamentos-chave de alguns especialistas de organizações think-tanks nesses países, como a NPC (New Philanthropy Capital); Giving Evidence; e FSG (Foundation Strategy Group). Para isso, sistematizei os seguintes artigos, buscando padronizar termos e integrar as partes.
- Stop (just) measuring impact, Start evaluating. Por S. S. Gopal. Blog FSG, (2015)
- Most charities shouldn`t evaluate their work – Part 1 and 2. Por C. Fiennes, Giving Evidence. Stanford Social Innovation Review (2013)
- Keeping it in proportion: Impact measurement for small charities. Por K. Boswell e A. Kasimirski. NPC Briefing (2016)
- Why charities should collect less impact data. Por J. Noble. NPC blog (2015)
A seguir, para cada um desses textos citados acima, chamo a atenção para as ideias centrais que os seus autores defendem, e que vão ao encontro da proposta de avaliação que venho buscando desenvolver, porém que carece de ser aplicada / testada na prática e aprimorada. Vejamos, pois, o que dizem esses especialistas.
- O que a avaliação deveria ser? (Gopal)
Com todo este entusiasmo por medir, documentar, provar e financiar o impacto, será que não estaríamos perdendo o barco da avaliação?
É hora de parar de (apenas) medir o impacto, e começar a avaliar.
A avaliação deveria ser entendida com o sentido de ajudar a:
- Capturar “o que” está acontecendo, e “porquê” está acontecendo;
- Entender o que funciona em um determinado contexto, e não no abstrato;
- Compreender que fatores estão ajudando e dificultando o sucesso;
- Impacto do projeto social = Avaliar a teoria da mudança + Avaliar a execução (Fiennes)
O impacto (ou efeito) do trabalho de uma organização filantrópica depende da qualidade da teoria da mudança (ou da ideia) que a organização utiliza, e quão bem ela implementa essa teoria da mudança. Tanto a teoria da mudança como a sua execução precisam ser boas, para que o impacto seja elevado; e se qualquer uma delas, a teoria da mudança ou a execução, não for boa, o impacto será baixo.
A grande maioria das organizações sociais não deveria avaliar o impacto do seu trabalho. Isto porque deve ser atribuição dos pesquisadores acadêmicos a avaliação do impacto da teoria da mudança que a organização decide utilizar; já a organização filantrópica deve se ocupar da avaliação de processo, isto é, o monitoramento da execução de suas ações.
O exemplo dado: considere um clube de café da manhã em uma escola para crianças com deficiência. A teoria da mudança (ou ideia / estratégia considerada) é a de que um bom café da manhã contribui para o aprendizado, evitando as distrações causadas pela fome. Já a execução envolve ter os alimentos que as crianças vão comer, comprá-los a um bom preço, trazer as crianças, e assim por diante.
A avaliação da qualidade da execução envolve verificar se as crianças estão vindo de fato para o clube, qual é a opinião delas sobre o clube de café da manhã, quanto dos alimentos é desperdiçado, etc.? Isto é o monitoramento ou avaliação de processo. É relativamente simples, e é de extrema importância porque fornece feedback no prazo adequado para a equipe do projeto, e permite que a organização melhore os seus processos e os aprimore significativamente. Esse monitoramento deve ocorrer com regularidade, e a organização pode fazê-lo por si mesma.
Já avaliar a qualidade da estratégia (ou da teoria da mudança) é bem mais complexo. Envolve investigar se, no caso, um café da manhã decente contribui realmente para a aprendizagem. E isso exige isolar o efeito da intervenção de outros fatores externos e simultâneos. Esta é a avaliação de impacto.
No exemplo dado, nós não podemos olhar simplesmente se as crianças que frequentam o clube estão agora aprendendo melhor do que antes: talvez o início do clube possa ter coincidido com outros fatores, tais como a chegada de um novo professor; ou com a chegada de novos livros; ou se as crianças passaram a assistir algum programa educativo na tv, que antes não assistiam. Também não podemos olhar se as crianças do clube aprendem mais rápido do que aqueles que não frequentam o clube, porque é altamente provável que haverá grandes diferenças entre quem vai e quem não vai ao clube. Talvez só os “piores” alunos participem do clube. Para contornar tudo isso, teríamos que fazer um experimento com controle aleatorizado. Isso levanta questões complicadas tais como se devemos “randomizar” crianças, ou escolas, ou cidades; e qual deve ser o tamanho da amostra. Talvez ainda tenhamos que lidar com os “efeitos colaterais” ou os benefícios para as crianças que não vão ao clube — por exemplo, aqueles que vão agora poderiam passar a interromper menos as aulas; e os efeitos cruzados (como, por exemplo, as crianças que frequentam o clube passam a dar comida para as crianças que não vão). Estas e muitas outras são questões normais de serem investigadas em tais pesquisas de impacto.
Daí, estabelecer atribuição (ou causalidade) — que é essencial para avaliar impacto — é um campo de pesquisa em ciências sociais. No entanto, sabe-se que a quase totalidade das instituições filantrópicas não é constituída por cientistas sociais. Ou seja, elas não são capazes de executar avaliações de impacto que sejam confiáveis, porque não têm essas habilidades in-house.
A boa notícia é que a maioria das instituições do terceiro setor não precisa das habilidades de pesquisa para avaliação de impacto. No exemplo dado, uma vez que já sabemos se e quando a teoria da mudança relacionada aos clubes de café da manhã funciona — pois ela já teria tido o seu impacto rigorosamente avaliado antes — não precisaremos avaliar o seu impacto novamente na organização, a menos que o contexto seja muito diferente
Assim, as organizações filantrópicas e os seus financiadores deveriam usar as avaliações de impacto já existentes para fazerem as escolhas de intervenções eficazes que decidem adotar / financiar. E, nesse caso, tudo o que as organizações filantrópicas precisariam fazer seria executar bem os seus programas sociais. Ou seja, elas precisam ter as habilidades para a execução — no exemplo, para gerir os clubes do café da manhã. Assim, se deixa que essas organizações façam aquilo em que são melhores, e não se pede a elas para também serem boas em habilidades totalmente não relacionadas a elas, como fazer pesquisa em ciências sociais.
O ponto a destacar é que pesquisadores qualificados e independentes, como os “doutores da academia”, é que devem fazer a avaliação de impacto. Eles devem ser financiados de forma independente e na condição de “bem público”, de modo que as instituições filantrópicas do terceiro setor, os doadores e outros possam acessar essas avaliações para poderem decidir sobre quais teorias da mudança (ou ideias / estratégias) vão usar. Por outro lado, são as próprias organizações filantrópicas que devem assumir o monitoramento da execução de suas ações – avaliação de processo.
Assim, além do foco na avaliação de processo como defende Fiennes, eu ainda vou além e considero que as próprias organizações devem também se envolver com a avaliação dos resultados imediatos pretendidos pelos seus projetos sociais[1]. Notar que não me refiro aqui à avaliação de impacto, que são os resultados de médio e longo prazo pretendidos, e que têm metodologia bem mais complexa, custosa e demorada.
- Os quatro pilares básicos da avaliação (Boswell e Kazimirski)
A quase totalidade do terceiro setor é constituída por instituições pequenas e, para estas, é muito difícil fazer avaliação, porque elas têm menos recursos disponíveis do que as grandes organizações. Por isso, torna-se fundamental para essas organizações menores saberem onde concentrar os seus esforços de avaliação e como mantê-los em proporção com a escala do trabalho social que fazem.
Nesse sentido, são quatro os pilares básicos da avaliação a serem seguidos, nessa ordem:
- Mapear a teoria da mudança a ser adotada – Uma teoria da mudança estabelece as relações causais entre as atividades realizadas e o objetivo final (de impacto). Não há uma abordagem certa ou errada, mas a teoria da mudança deve mostrar clareza sobre o impacto que queremos atingir e como pretendemos alcançá-lo. A teoria da mudança deve propiciar um referencial coerente para embasar, depois, os esforços de avaliação.
A meu ver, o marco lógico cumpre papel fundamental para explicitar a teoria da mudança de um projeto / programa social1.
- Priorizar o que se vai medir – Em linha com o que venho defendendo, também aqui se argumenta em favor apenas da avaliação dos resultados imediatos, ressaltando que devemos buscar priorizar os resultados que:
- São diretamente influenciados pelo trabalho da organização;
- Representam a base para a missão da organização;
- Não são muito caros para serem avaliados;
- Vão produzir dados confiáveis.
Um importante alerta é que se deve buscar avaliar apenas os resultados que sejam realmente mais importantes para o objetivo final (ou impacto) do projeto, ao invés de sair avaliando os resultados que sejam mais convenientes.
- Escolher o nível adequado das evidências – Ir além dos estudos de caso, porém se reconhece que há muitos obstáculos para que as organizações filantrópicas façam avaliação (de impacto) com base em pesquisa experimental, em razão dos custos elevados, questões éticas e metodologia complicada.
Como abordagem mais acessível para as instituições filantrópicas, os autores sugerem as pesquisas antes e depois com os usuários dos serviços sociais (ou participantes do projeto), pois essas pesquisas são capazes de fornecer, baseadas em auto-relato, uma visão relativamente objetiva de como as coisas mudaram na vida dos participantes, como efeito do trabalho da organização. Para tratar a causalidade, podem ser feitas perguntas diretas aos usuários para saber se eles consideram, ou não, que foram os serviços da organização que fizeram determinada diferença em suas vidas.
Esse terceiro pilar também se encontra em grande sintonia com o que tenho proposto1.
- Selecionar as fontes de dados (de quem coletar os dados) e desenvolver as ferramentas adequadas – Também em linha com o que tenho desenvolvido na defesa das chamadas “ferramentas de prateleira”1, é aqui recomendado que a organização deve considerar quais as ferramentas (operacionalização de conceitos, questionários, softwares, etc…) já existem disponíveis, antes da organização desenvolver a sua própria ferramenta. Sempre que for adequado e possível, a instituição deve colaborar com outras organizações e compartilhar ferramentas de avaliação, de modo a economizar tempo e recursos.
Uma dificuldade com que as organizações filantrópicas têm convivido no Reino Unido, e que também mostra ser bastante recorrente no Brasil, refere-se às muitas solicitações feitas a essas instituições por seus financiadores para avaliarem coisas que elas, como organização, não consideram que sejam relevantes. Ou seja, há uma demanda grande por diferentes conjuntos de dados pelos diferentes financiadores. Assim, ter uma teoria da mudança com resultados priorizados ajuda essas organizações a acordarem com seus financiadores sobre quais são os dados relevantes para os relatórios.
Portanto, a recomendação é que ´dentro da relação de poder que se estabelece, a organização executora deve tentar ao máximo mudar o que um financiador lhe pede para avaliar, se isso não for relevante para o seu trabalho.1
- Não ao “desfile da beleza”: menos avaliação, porém com qualidade superior e mais compartilhamento (Noble)
O autor parte do incômodo de que as instituições filantrópicas coletam tantos dados para mostrar que elas fazem a diferença e, no entanto, fica claro que elas falham em acumular e compartilhar esse conhecimento. Diferente do que fazem os profissionais da área médica, que compartilham entre si o que funciona e o que não funciona, com bem mais transparência.
A explicação seria que os estímulos no setor social estão errados. As organizações filantrópicas se sentem compelidas a avaliarem para validarem o seu próprio trabalho, e a convencerem os seus financiadores a continuarem a lhes dar dinheiro. Com isto, elas acabam ficando presas em um ciclo de auto-justificativa e de coleta de dados sem sentido, que pode ser chamado “desfile de beleza’.
Concordo com Noble e, a meu ver, esse é um termo bem a propósito, pois as avaliações normalmente divulgadas somente mostram o lado bom e bonito do trabalho social do terceiro setor. Dificilmente, se vê a divulgação de um resultado “feio” ou que demonstre o fracasso de um projeto social. É preciso saber aprender com os acertos, mas sobretudo com os erros!
Como se vê, indo além no raciocínio desenvolvido por Fiennes (item 2 acima), a recomendação de Noble é que as organizações filantrópicas devem passar a oferecer um modelo de serviço, baseada em uma teoria da mudança já devidamente validada. E, então, junto com outras organizações que oferecem modelos de serviço semelhantes, passarem a trabalhar de modo colaborativo, avaliarem a sua eficácia, compartilhando as ferramentas de avaliação, e também juntas acordarem a melhor maneira para se aprimorarem.
Desse modo, as organizações filantrópicas passam a precisar coletar menos dados de avaliação. Primeiro, porque já se sabe que o modelo de serviço funciona, então não precisa testá-lo novamente, ou seja, não precisa fazer a avaliação de impacto. E, segundo, porque basta que as organizações filantrópicas façam uma coleta limitada dos seus dados de rotina, para verificar a qualidade dos serviços, o comprometimento dos usuários (que é a avaliação de processo), e os resultados imediatos alcançados junto a eles pelo trabalho executado (avaliação de resultados).
Concluindo, vejo que, com relação aos ideais do modelo de avaliação dos projetos sociais das organizações do terceiro setor atualmente vigentes (avaliação de impacto e avaliação do retorno econômico), há uma sintonia de incômodos entre o que eu venho detectando junto às organizações filantrópicas no Brasil1 e o que dizem os especialistas em avaliação do Reino Unido e dos Estados Unidos.
Essa constatação é muito positiva, pois poderemos somar esforços para a construção de uma nova proposta de avaliação de projetos sociais para o terceiro setor, mais condizente com as especificidades dessas organizações. Mãos à obra!!
[1] Ver o meu post anterior – Avaliação no terceiro setor: o que a prática me ensinou?
NOTA – Essa questão da Avaliação em organizações do terceiro setor segue atual e desafiante no exterior, haja vista o podcast do CEO da NPC, Dan Corry, em 29.11.2022 – Where next for the impact agenda. Nesse podcast, ele levanta alguns pontos importantes relacionadas à filantropia, tais como: (1) paixão e missão; (2) podemos fazer melhor? (3) dificuldades e custos da medição; (4) confiança do doador na organização receptora; (5) conciliar ´top-down staff expertise` com ´bottom-up` conhecimentos da comunidade; (6) não querer reinventar a roda o tempo todo; (7) organizações maiores tendem a ter boa governança e estratégia, o que não é tão comum nas organizações menores, as chamadas “grass-roots”; (8) deveria o setor social abraçar mais risco (risco “sensato”), para poder incluir as experiências dessas organizações grass-roots? Não há “bala de prata”; (9) surgimento do investimento de impacto.
