Autoras: Katie Boswell and Anne Kazimirski , NPC
Em: https://www.thinknpc.org/publications/keeping-it-in-proportion/ (21/01/2016)
Traduzido e resumido por: Maria Cecília Prates Rodrigues
Sumário feito a partir das falas dos palestrantes sobre mediação de impacto, durante o evento do NPC (New Philanthropy Capital) com as pequenas organizações
Nota – observe que o termo medição de impacto é utilizado aqui com o significado de avaliação de impacto.
O que é a medição de impacto?
Na medição (aqui com o sentido de avaliação) do impacto as “instituições de caridade” (ou organizações do terceiro setor, ou ongs, ou organizações sociais) muitas vezes mostram as suas entregas — seus produtos e suas atividades — mas a medição do impacto envolve compreender a diferença que essas atividades fazem. Essas instituições podem e devem monitorar os efeitos que as suas actividades têm nas causas sociais em que atuam, a fim de poderem melhorar o seu trabalho, e também a vida dos beneficiários para os quais elas existem para ajudar.
Por que as pequenas instituições devem medir o seu impacto?
As pequenas instituições de caridade (charities) podem achar muiito difícil medir o seu impacto, porque elas têm menos recursos disponíveis do que as grandes organizações. Considerando que muitas das maiores instituições de caridade têm pessoal e orçamentos específicos para avaliação, isso geralmente não ocorre no caso das pequenas organizações em que a responsabilidade pela medição do impacto acaba sendo compartilhada entre os funcionários ou entra na lista das muitas tarefas do executivo-chefe.
Uma boa medição de impacto pode ajudar essas pequenas instituições de caridade a focalizarem os seus recursos, que são limitados, em atividades que realmente funcionam, elevam a moral, e onde o trabalho realmente faz a diferença; com isto, ajuda a atrair financiamento. Mas, para isso, torna-se importante para essas pequenas organizações saberem onde concentrar os seus esforços de medição e como mantê-los em proporção com a escala do trabalho que fazem.
Em 9 de julho de 2015, a NPC realizou um seminário para as pequenas ongs sobre como medir o seu impacto. O evento, presidido por Hugo McNeil, diretor do The Centre for Youth Impact, foi realizado como parte da série de seminários do NPC, cujo objetivo é dar a essas instituições uma introdução aos vários aspectos da medição de impacto.
No evento, Anne Kazimirski, chefe da área de medição e avaliação na NPC, apresentou a abordagem da NPC para a medição do impacto nas pequenas instituições de caridade. Os participantes ouviram, depois, de Matt Wall, secretário nacional da Community Chaplaincy Association, and Anood Al-Samerai, diretor da TalentEd, como eles colocaram essa teoria em prática dentro de suas organizações.
Este texto destaca os principais temas discutidos, e sintetiza os conselhos dos nossos palestrantes, e também aproveita a experiência dos presentes. Fornece conselhos práticos sobre os passos que as pequenas instituições podem tomar para avaliar o impacto de modo a ser coerente com o seu tamanho e recursos.
Introdução: O básico da medição do impacto
A abordagem dos quatro pilares pode ser usada pelas pequenas “instituições de caridade” (termo que é comumente usado no Reino Unido) para concentrar os seus esforços de medição. Essa abordagem conduz essas instituições de caridade e as empresas sociais em uma jornada com quatro estágios no âmbito da construção de um referencial efetivo de avaliação de impacto:
- Mapear a sua teoria da mudança
- Priorizar o que você vai medir
- Escolher o seu nível de evidência
- Selecionar as suas fontes e ferramentas
Primeiro passo: mapear a sua teoria da mudança
Uma teoria da mudança estabelece as ligações causais entre as suas atividades e o seu objetivo final. O mapeamento da sua teoria da mudança envolve explicitar o que você quer finalmente conseguir, e todos os passos que você precisa tomar para isso — que são conhecidos como ‘resultados intermediários’ — para atingir esse objetivo final.
Existem muitas maneiras diferentes de representar a sua teoria da mudança, desde uma simples lista com as atividades, os resultados intermediários e o objetivo final, até uma cadeia de resultados mais detalhados que tenta rastrear um caminho através de suas atividades e resultados.
Não há uma abordagem certa ou errada, mas a sua teoria da mudança deve mostrar clareza sobre o impacto que você quer atingir e como você pretende alcançá-lo. Sua teoria da mudança deve propiciar um quadro coerente para embasar os seus esforços de medição.
Etapa dois: Priorizar o que você vai medir
Priorizar medir os resultados que:
- sejam diretamente influenciados pelo seu trabalho;
- representem a base para a missão de sua organização;
- não sejam muito caros para serem medidos; e
- vão produzir dados confiáveis.
A priorização sobre quais resultados medir é muito importante, especialmente se você for uma organização pequena com recursos limitados. Certifique-se de que você esteja medindo os resultados que são mais os importantes para o seu objetivo final, ao invés daqueles que são mais convenientes para se medir.
Mantenha a medição na proporção adequada: a quantidade de tempo e energia gasta na avaliação precisa refletir a quantidade de tempo gasta nos serviços propriamente e também nas evidências já disponíveis. Como uma diretriz bem geral: para avaliar um serviço que seja novo ou original, 5 a 10% do investimento no serviço deveria ser investido na sua avaliação (e menos onde já existirem evidências disponíveis).
Terceiro passo: escolha o seu nível de evidência
O próximo passo é escolher um nível adequado de evidências para apontar. É importante avançar para além dos estudos de caso, que são úteis para ilustrar o que você faz, mas tendem a ser enviesados para as histórias mais positivas — raramente você vê um estudo de caso negativo. Ocasionalmente, as pequenas instituições são capazes de aplicar experimentos com controle aleatórios, mas existem muitos obstáculos em torno deles como os custos, as questões éticas e a metodologia complicada.
As pesquisas antes e depois são uma abordagem mais acessível para muitas instituições pequenas. Elas fornecem uma visão um pouco mais objetiva de como as coisas mudaram baseadas em auto-relato, que é quando os usuários dos serviço dão a sua opinião sobre o efeito que o trabalho da organização teve em suas vidas. Pesquisas antes e depois envolvem coletar os mesmos dados sobre os usuários do serviço antes deles começarem a usar o serviço, e depois. Essas pesquisas são particularmente adequadas para a prestação de serviços, mas podem ser enganosas no caso da coleta em apenas um momento. Pode também ser difícil para poder atribuir as mudanças ao seu trabalho, então, esteja ciente de que elas podem não contar a história completa (causalidade).
Finalmente, considere se você pode encontrar um grupo de comparação, para ajudar a colocar os seus resultados dentro de um contexto. Por exemplo, você pode comparar aqueles que já acessaram seus serviços com aqueles que ainda estão na lista de espera por eles, ou com usuários que receberam uma dose’ menor’, ou que acessaram uma versão diferente do serviço. Pense de forma criativa, mas se você não encontrar um grupo de comparação, reconheça essa lacuna no seu relatório. Você pode adicionar às suas evidências perguntas aos usuários para saber se eles acham ou não que foram os seus serviços que fizeram a diferença em suas vidas.
Quarto passo: selecionar as suas fontes e ferramentas
Depois de ter priorizado os seus resultados e escolhido o seu nível de evidência, você deve selecionar as fontes de dados e desenvolver as ferramentas de medição para capturá-los. Faça a você mesmo as seguintes perguntas:
- De quem os dados precisam ser coletados? Por exemplo, dos beneficiários, dos públicos interessados, da equipe da organização.
- Que tipo de dados deve ser coletado?Ex: quantitativo e/ou qualitativo
- Quando esses dados devem ser coletados?Ex: antes, durante e depois de uma intervenção.
Considere quais as fontes de dados e ferramentas que já estão disponíveis antes de desenvolver a sua própria ferrramenta. Sempre que possível, colabore com outros e compartilhe ferramentas de medição, de modo a economizar tempo e recursos.
Dicas para a medição do impacto em pequenas instituições de caridade
1 – Comece pequeno
A medição do impacto pode parecer intimidante quando você tem recursos limitados. Os palestrantes instaram as pequenas organizações para começarem pequeno e irem criando tempo e espaço para pensarem no impacto. Isso pode ser feito através de uma conversa externa — por exemplo, com um consultor — mas isso também pode ser iniciado internamente, aproveitando as habilidades dos funcionários existentes ou criando espaço com os curadores para discutir o tema mais a frente. As pequenas organizações podem se beneficiar do treinamento e dos recursos on-line gratuitos (alguns desses recursos estão listados ao final deste documento).
‘ Comece pequeno e faça o que puder. Dê um passo para trás e invista tempo na sua teoria da mudança.’ (Matt Wall, Community Chaplaincy Association)
2 – Não coletar dados arbitrários
É importante coletar dados que sejam relevantes. Isto significa priorizar aqueles resultados que são significativos para sua teoria da mudança e que vão ajudá-lo a melhorar o seu trabalho. Medir apenas alguns resultados-chave pode melhorar sua capacidade de entender e comunicar o seu impacto, e alimentar isso de volta por meio da melhora da qualidade do seu trabalho. A definição de prioridades também ajuda a evitar «inquérito sobre fadiga’ entre os beneficiários e os funcionários.
‘ Dê prioridade à pergunta que você está fazendo, e mantenha o foco sobre o que você está tentando alcançar. Isso é o que você precisa medir.’ (Lucia Al-Samerai, TalentEd)
3 – Seja realista, mas também criativo
É importante ser realista sobre o que você pode medir e quando. Por exemplo, algumas instituições de caridade realmente têm dificuldades para realizar as pesquisas antes e depois com os grupos vulneráveis. Isto porque muitas vezes não é apropriado perguntar questões delicadas no início do seu relacionamento com a organização; ou porque os usuários se esforçam para responder “corretamente” às perguntas, o que pode resultar em dados não confiáveis. Os palestrantes incentivaram as instituições para serem realistas sobre o que é possível, e a pensarem sobre maneiras alternativas para a coleta das informações.
‘ Implemente os questionários de auto-percepção tão logo você se sinta confortável. Você pode guiar as pessoas durante a pesquisa, explicando para elas as perguntas e as escalas.’ (Matt Wall, Community Chaplaincy Association)
‘ Reformule as perguntas e obtenha uma perspectiva externa. Por exemplo, se um aluno tem dificuldades em avaliar as suas habilidades de apresentação, então pergunte a seus professores.’ (Anood Al-Samerai, TalentEd)
Estudo de caso: TalentEd
O que?
A organização TalentEd reune os pequenos grupos de alunos brilhantes com professores especializados, de modo a melhorar as suas notas e as oportunidades.
Por que?
Como se trata de uma instituição de caridade pequena que define os seus próprios programas, inicialmente a organização se concentrou na entrega dos seus produtos. Quando TalentEd passou a focar na medição de impacto, ela tentou medir tudo o que podia com a intenção de produzir um relatório de impacto brilhante para os seus financiadores. Como recorda Anood, ‘logo nos percebemos afogando na papelada!’ TalentEd percebeu que precisava mudar sua ênfase de quantidade para a qualidade da medição do impacto.
Como?
Teoria da mudança: TalentEd desenvolveu uma teoria de mudança sob a forma de uma cadeia de resultados, que explicitava como o seu objetivo final estava associado aos resultados intermediários e às atividades.
Priorizar o que você mede: Com base na teoria da mudança, a organização TalentED priorizou os cinco resultados e os cinco produtos para focar a sua medição. Isto era muito mais simples do que os seus esforços anteriores de medição de impacto.
Escolher o seu nível de evidência: TalentEd decidiu trabalhar com uma das suas escolas, de modo a poder criar um grupo de comparação de alunos com características e notas semelhantes, para que a organização pudesse comparar os resultados desse grupo com os resultados dos estudantes do programa TalentEd.
Selecionar suas fontes e ferramentas: A organização assinou um Acordo de Informações com as suas escolas parceiras, de modo a poder compartilhar os resultados dos estudantes e desenvolver a pesquisa antes e depois, para medir outros resultados como conhecimento e habilidades.
4 – Mantenha o aprendizado no centro do processo
Poder impressionar os financiadores motiva muitas organizações sociais a começarem a medir o seu impacto, mas o que é mais efetivo na prática da medição de impacto é o processo de aprendizagem dentro da organização. Tal aprendizagem ajuda as instituições de caridade a melhorarem os seus serviços e a darem um melhor suporte a seus beneficiários.
‘ Mantenha a medição simples e não tente ser perfeito da primeira vez. Erros irão ajudá-lo a ajustar os seus processos.’ (Lucia Al-Samerai, TalentEd)
5 – Negociar com os financiadores
Um tema recorrente foi o das dificuldades enfrentadas por essas pequenas organizações filantrópicas quando são solicitadas por seus financiadores a medirem coisas que elas, como uma organização, não consideram que sejam relevantes. Vários financiadores solicitando diferentes conjuntos de dados também foi citado como um problema comum. Ter uma teoria da mudança com resultados priorizados ajuda essas organizações a acordarem com seus financiadores sobre quais são os dados relevantes para os relatórios. Existem muitas dessas pequenas instituições filantrópicas que conseguiram fazer com que os seus financiadores alterassem os dados solicitados em seus relatórios de prestação de contas.
‘Tente o máximo que puder, dentro da relação de poder, mudar o que um financiador lhe pede para medir, se isso não for relevante para o seu trabalho.’ (Anne Kazimirski, NPC)
Estudo de caso – Community Chaplaincy Association
O que?
A Community Chaplaincy Association é uma rede de Capelanias da comunidade local, que oferece suporte de tutoria e suporte holístico aos prisioneiros, ex-reclusos e suas famílias. Nos últimos dois anos, a Associação tem empreendido uma jornada para melhorar as práticas de medição de impacto em toda a sua rede.
Por que?
A associação percebeu que havia uma grande variedade de abordagens para coletar evidências em toda a sua rede de Capelanias da Comunidade. De modo a melhorar a abordagem da capelania comunitária e promover a aprendizagem através da rede, seria necessária uma linguagem compartilhada para medição do impacto.
Como?
Teoria da mudança: a Associação começou através de quatro diferentes grupos de discussão a desenvolver a sua teoria da mudança. Matt Wall recordou como ‘ foi caloroso o debate e nós eliminamos as opiniões diferentes. Partindo do nosso objetivo final, percebemos que o fator catalisador para todas as mudanças que pretendíamos desenvolver era o relacionamento de confiança entre os nossos mentores e os aprendizes.’
Priorizar o que você mede: Porque a teoria da mudança destacou a importância da relação mentor-aprendiz, a Associação percebeu que precisava dar prioridade a medir a qualidade desta relação.
Escolher o seu nível de evidência: Para fazer reivindicações realistas e confiáveis, a Associação decidiu desenvolver ferramentas de pesquisa para o antes e depois, de modo a capturar as mudanças vividas pelos beneficiários.
Selecionar suas fontes e ferramentas: a Associação desenvolveu uma nova ferramenta de suporte para medir a qualidade da relação mentor-aprendiz e os resultados’ intangíveis’ que resultaram daí. Isto incluiu alguns resultados que muitas Capelanias da Comunidade não estavam medindo até então, tais como esperança, confiança, habilidades de relacionamento e redes sociais. A ferramenta foi testada em cinco Capelanias da Comunidade do país e os resultados retro-alimentaram diretamente o trabalho da organização. Matt explicou que ‘a nova ferramenta serviu para melhorar o relacionamento mentor-aprendiz e a qualidade do trabalho, bem como a medição do impacto
6 – Colaborar com os outros
Pequenas instituições filantrópicas deveriam colaborar e compartilhar recursos para melhorar a sua prática de medição de impacto. Por exemplo, eles podem usar as ferramentas existentes para medir os seus resultados, ao invés de inventar os seus próprios.
‘ Sua intervenção pode ser única, mas os seus resultados provavelmente não são — procure ferramentas existentes para medir os seus resultados.’ (Anne Kazimirski, NPC)
As instituições de caridade também podem usar dados publicados para evidenciar as relações em sua teoria da mudança. Tomemos, por exemplo, uma instituição de caridade cujo objetivo final é o de melhorar o desenvolvimento da criança com uma intervenção focada em aconselhamento aos pais. Se as relações entre os resultados com os pais e os resultados com os filhos já foram devidamente pesquisadas por outros, então não é necessário coletar os mesmos dados novamente, mas em vez disso, considere citar estes estudos já publicados, e procure focar no monitoramento da qualidade do aconselhamento.
‘ Não precisa reproduzir evidências do que já está disponível. Cite os autores já validados sempre que possível.’ (Hugo McNeil, Centre for Youth Impact)
Considerações finais
A medição do impacto é muitas vezes assustadora para as instituições filantrópicas pequenas e com poucos recursos. Em alguns aspectos, no entanto, essas pequenas instituições têm uma excelente oportunidade para embarcar na jornada da medição de impacto adequada, porque suas equipes tendem a ser menores, com menos burocracia e mais flexibilidade. Esta liberdade, juntamente com uma equipe eficaz, entusiasta e uma boa liderança coloca qualquer organização pequena em excelente posição para obter uma medição (avaliação) mais efetiva do impacto.
