Suponha uma organização do terceiro setor, com um projeto social iniciado em 2015. Esse projeto já atendeu a 50 comunidades em situação de vulnerabilidade pelo Brasil afora. Está baseado em uma (premiada!) tecnologia social. Tem conseguido realizar parceria com empresas privadas em algumas de suas ações nas comunidades, e também atraído vários voluntários. A equipe da organização considera que a maior conquista foi a efetiva melhoria da qualidade de vida das pessoas que vivem nesses locais, de uma pobreza sem igual. Já os moradores dessas comunidades dizem que as pessoas da organização são como “anjos vindos do céu”.
Agora, três anos depois, a organização quer se transformar (de filantrópica) em negócio de impacto social. Para tal, dentre outros requisitos, ela está sendo cobrada para medir (tangibilizar) o impacto social do projeto. Como a organização deve fazer? E que tipo de medição deveria ser exigido dela?
Avaliar impacto – o que é?
Avaliar impacto é uma das dimensões da avaliação de resultados. Usando a linguagem do marco lógico, temos os resultados imediatos do projeto associados aos objetivos específicos (logo após a finalização do projeto), e os resultados de médio e/ou longo prazo, denominados impactos, que são associados aos objetivos finais do projeto. Então, os impactos são as mudanças ocorridas na vida dos seus beneficiários no médio e/ou longo prazo, que foram causadas exclusivamente pelo projeto – e não por outros fatores atuando simultaneamente à ação do projeto.
Normalmente, a avaliação do impacto strictu sensu (ou medição do impacto) está relacionada a pesquisa estatística experimental, exige procedimentos onerosos, complexos, demorados e que demandam a contratação de equipe especializada. Vem sendo utilizada, há vários anos, para quantificar os impactos, com certa precisão e confiabilidade, dos programas (grandes e também complexos) do setor público.
Já para as organizações menores, com ou sem fins lucrativos, essas avaliações tradicionais de impacto (de base experimental) são raramente indicadas. Primeiro, porque elas não precisam desse tipo de avaliação, como argumentarei a seguir. E segundo, porque elas têm projetos menores, recursos (humanos e financeiros) limitados, e o tempo é curto.
Nessas organizações, boas evidências do impacto podem ser obtidas de modo confiável, sem a necessidade de realizar pesquisa experimental.
Avaliar impacto X Medir impacto
A medição do impacto social estima a probabilidade do projeto ter provocado a mudança desejada em seus beneficiários com referência a determinados indicadores, considerando um dado intervalo de confiança e margem de erro. Já a avaliação do impacto vai muito além da medição do impacto, e incorpora esses resultados (e o levantamento deles) na gestão do dia-a-dia da organização e em suas tomadas de decisão.
Há hoje uma consciência de que as organizações sociais (sobretudo as dos países desenvolvidos) vinham medindo demais, e avaliando de menos. Ou seja, muito preocupadas no esmero com os métodos de medição de impacto, estavam se esquecendo de fazer da avaliação de impacto uma ferramenta para orientar a condução dos seus projetos sociais.
Insights importantes para a avaliação de impacto
Em meu blog, estão disponíveis vários posts (reflexões) sobre avaliação de impacto nas organizações do terceiro setor. Nesses textos procuro mostrar o “estado da arte” no Reino Unido e nos EUA; e, como se verá, há um paralelo grande entre os desafios lá e cá (no Brasil). A meu ver, essas análises podem ser extrapoladas também para os negócios de impacto social.
A seguir, destaco alguns aspectos, que estão apontados em alguns desses posts, sobre como deve ser a avaliação do impacto social.
- Avaliação pressupõe aprendizagem. Não bastar apenas medir. Avaliação é um processo sistemático e intencional de coleta e análise de dados (qualitativos e quantitativos) para produzir informações para a aprendizagem, tomada de decisão e ação
- Na realidade, as organizações sociais não precisam “medir” impacto – Ultimamente, as organizações sociais dos EUA e do Reino Unido estavam se sentindo asfixiadas pela compulsão em medir impacto, usando a metodologia strictu sensu. Porém, se considerarmos que o impacto é decorrência da qualidade da teoria da mudança (ou da estratégia causal) adotada e da qualidade da execução do projeto, basta que as organizações sociais se concentrem na avaliação da execução do projeto, e adotem boas teorias da mudança – já devidamente testadas pelos “especialistas da academia” e com o seu impacto social comprovado.
- A avaliação é uma ferramenta importante de gestão do projeto, e deve ser útil para orientar a condução do projeto. De modo algum, a avaliação de impacto pode ser percebida (apenas) como uma demanda que vem de fora do projeto, uma exigência que é imposta pelo financiador ou alguma instituição parceira.
- A avaliação deve ter o “tamanho” da organização, começar pequena e ir crescendo, de acordo com as perguntas avaliativas relevantes que forem surgindo, e o fôlego da organização. Deve se concentrar nos quatro pilares básicos: (1) mapear a teoria da mudança; (2) priorizar o que precisa ser acompanhado; (3) escolher o nível das evidências dos resultados e impactos; (4) selecionar as fontes dos dados e desenvolver as ferramentas (questionários, softwares, etc…).
- É a equipe executora quem deve conduzir a avaliação do projeto, pois é ela que está envolvida diretamente com o trabalho social. De modo algum, esse papel central pode ser delegado a avaliadores externos.
Avaliação de impacto e as Bases de Dados do projeto
Se esperamos que a avaliação de impacto seja de fato útil à organização e se transforme em uma ferramenta de gestão para ela, é fundamental que (pelo menos no início) a avaliação esteja baseada nas próprias bases de dados do projeto. Sugiro a leitura do Manual que escrevi para as organizações do terceiro setor, com orientações e exemplos práticos de avaliação.
Pode parecer uma orientação óbvia, mas raramente as organizações sociais têm esse sistema de informações atualizado e com fácil acesso / pesquisa aos dados. Mais para frente, se for de fato necessário, poderão ser encomendadas avaliações de impacto strictu sensu.
Bases de dados para a gestão do projeto
Considerando que o projeto em questão está baseado em uma tecnologia social (e já tem uma metodologia de implementação), para cada ação na comunidade, pode ser criada uma planilha por atividade com a especificação do cronograma, responsáveis e custos (do tipo previsto X realizado).
Pode ser criada uma planilha com os produtos (outputs) do projeto, vindo nas linhas cada ação na comunidade, e nas colunas os indicadores relevantes selecionados para serem acompanhados. Assim, essa planilha conseguirá mostrar ao longo dos anos todas as entregas do projeto.
Bases de dados para acompanhar os resultados
Organizar a base de dado do projeto que contém as informações relevantes acerca do acompanhamento dos resultados de todos os participantes do projeto. Nessas planilhas de resultados (outcomes e impacts), cada linha contempla um participante, e na coluna os indicadores relevantes selecionados para acompanhar passagem dele pelo projeto: como ele era antes de iniciar o projeto (Marco zero); como ele ficou logo ao final do projeto (Marco 1 / resultados imediatos); e como ele ficou algum tempo depois e qual a causalidade atribuída (por ele) ao projeto (Marco 2 / impactos).
A fonte dos dados para alimentar essas planilhas deve ser o próprio cadastro dos participantes e/ou também a aplicação de questionários junto aos participantes como um todo, ou a uma amostra deles.
Para subsidiar a construção (operacionalização) dos indicadores relevantes de resultado, sugiro tomar como referência a teoria da mudança do projeto, e também a realização de entrevistas em profundidade com alguns (poucos) beneficiários do projeto, selecionados de modo intencional.
Concluindo, tanto para as organizações com e sem fins lucrativos, o importante não é somente medir impacto social, mas sobretudo ter um processo contínuo de avaliação de impacto e de correções de rota. Esse processo é o que se deveria exigir delas, quando se pede a medição / tangibilização dos seus impactos sociais.
