Autor: Srikanth “Sri” Gopal, FSG
Em: http://www.fsg.org/blog/stop-just-measuring-impact-start-evaluating (maio 2015)
Traduzido e resumido por: Maria Cecília Prates Rodrigues
“Queremos saber qual o impacto que o nosso trabalho teve? “.
“O nosso modelo funciona?”
“Qual é o nosso ROI em termos de impacto?”
Em uma década e meia de trabalhos com medição, avaliação e aprendizagem, eu já recebi vários comentários e perguntas como as que estão acima. As pessoas querem ser capazes de medir de modo tangível o seu impacto, provar o seu modelo, e garantir aos diretores e às partes interessadas que estão de fato fazendo bom uso dos recursos. A demanda pela medição do impacto ficou mais forte ao longo dos últimos anos. O movimento de “moneyball” trouxe a análise de dados e a gestão de desempenho para os setores públicos e sociais, com ênfase no melhor acompanhamento do impacto. Agora temos acontecendo um Projeto de Genoma do Impacto, uma Associação de Analistas de Impacto e várias conferências diferentes sobre medição do impacto. Os investimentos em impacto têm crescido exponencialmente.
O que faz a gente pensar: com todo este entusiasmo para medir, documentar, provar e financiar o impacto, será que estamos perdendo o barco da avaliação ?
Antes de nos aprofundarmos nisso, deixe-me esclarecer o que quero dizer por “avaliação”. Em um blog no ano passado, eu e o meu colega Hallie Preskill demos a seguinte definição:
Avaliação é um processo sistemático e intencional de coleta e análise de dados (qualitativos e quantitativos) para produzir informações para a aprendizagem, tomada de decisão e ação.
Uma vez que medir impacto é um propósito da avaliação, de modo nenhum é o único. A avaliação também ajuda a descobrir insights relacionados ao contexto, à implementação, à estratégia e às capacidades organizacionais e do sistema. Há várias razões sobre por que investir recursos e energia em avaliação, ao invés de apenas medir impacto, é benéfico:
- Nos ajuda a entender o “como” e o “por que:”Em um recente artigo do New York Times , um analista do Facebook e um ex analista do Google fez uma eloquente defesa sobre “small data” que, na sua visão, tem recebido pouca atenção à luz de uma obsessão com o “big data”. Seu argumento: poucos dados (como as pesquisas de opinião, os dados qualitativos e as informações de contexto) nos ajudam a chegar ao como e por que. O mesmo é verdadeiro para as avaliações — elas nos ajudam a capturar o “o quê” e a entender as causas por detrás do porque algo está acontecendo do jeito que está, e como.
- Nos ajuda a entender o que funciona em um determinado contexto, não no abstracto. No Simpósio sobre o Futuro das Evidências , organizado pelo Centro para o Estudo da Política Social no outono passado, Tony Bryk, presidente da Fundação Carnegie para o Avanço do Ensino chamou a atenção para o fato de que a questão não é “o que funciona”; mas sim é iluminar sob que condições, em quais contextos, para que grupos de pessoas, de que forma, e em que medida funciona, para que nós possamos alcançar a eficácia com confiança e escala. Isto se torna tanto mais relevante quando as intervenções são complexas e/ou ocorrem em ambientes complexos, como os meus colegas e eu analisamos recentemente em um breve artigo sobre avaliação na complexidade.
- Nos ajuda a compreender que fatores estão ajudando e dificultando o sucesso. Como qualquer estudante de graduação em ciências sociais sabe, a resposta para a maioria das perguntas sobre a eficácia das intervenções é “depende”. No entanto, as avaliações podem nos ajudar a entender de que exatamente depende — em outras palavras, os vários fatores que estão acelerando ou impedindo os avanços.
Como disse recentemente um cliente da Fundação que financia pequenos empreendimentos rurais, ao invés de “contar as galinhas “, agora devemos falar sobre o aumento da renda e a melhoria do bem-estar. No entanto, e aqui me atendo ao tema do meio rural, como um antigo colega meu costumava dizer: “Você não pode engordar um porco, simplesmente pesando o porco”. Em outras palavras, você não vai conseguir melhorar o seu impacto se tudo o que você fizer for medi-lo. É verdade que o que se mede se faz, mas só se a medição fornecer informações relevantes para realmente ajudá-lo a fazer. E é aí que entra a avaliação.
