No dia 28 de julho último, tive o prazer de participar do 3º Webinário da Agenda de Avaliação do GIFE ao lado de Rodrigo Laro ( do Instituto Prómundo) e sob a coordenação da Camila Cirillo (do GIFE).
O tema central foi: como fazer para que as avaliações se tornem relevantes para todas as Partes Interessadas (Stakeholders) envolvidas com as iniciativas sociais?
Durante a minha fala procurei ilustrar o primeiro grupo das ‘Diretrizes para as práticas avaliativas no Brasil’, que trata sobre avaliações úteis e geradoras de aprendizagem para os projetos (ou AVALIAÇÕES RELEVANTES), a partir de alguns exemplos apresentados no meu recém-lançado livro, ‘O Ecossistema das Iniciativas Sociais no Brasil”.
Vale esclarecer que as Diretrizes foram construídas / adaptadas para o contexto brasileiro ao longo de 2020, de modo consensuado e democrático por uma equipe de avaliadores, sob a coordenação da RBMA e do GIFE. O objetivo das Diretrizes é o de contribuir para que as avaliações se tornem cada vez mais confiáveis, consistentes e úteis para os projetos / iniciativas sociais. Foram definidas um total de 26 diretrizes, reunidas em 4 grupos (ou dimensões) que tratam das características desejáveis às avaliações, a saber: (1) aprendizagem e utilização; (2) direitos e integridade; (3) contextualização e valoração; e (4) método e viabilidade.
Para quem estiver interessado no tema das Avaliações Relevantes (que é objeto do grupo 1 das Diretrizes), e com o intuito também de servir como um guia de orientação para a leitura do meu livro ‘O Ecossistema das Iniciativas Sociais no Brasil’ com esse foco, aponto a seguir alguns exemplos tratados no livro – nos capítulos da Parte II.
Diretrizes para as práticas avaliativas no Brasil
DIMENSÃO 1 – Aprendizagem e utilização
Qual é o foco da dimensão 1 das Diretrizes? As avaliações devem dialogar e responder às necessidades de informação e conhecimento dos interessados, favorecendo que eles aprendam sobre o objeto avaliado, ampliando seus níveis de análise, reflexão, compreensão e apropriação. É com base em processos e produtos que favoreçam a aprendizagem que as avaliações podem tornar-se relevantes aos interessados e embasar a formulação, decisão, prestação de contas, ampliação de conhecimento e deliberação.
Abaixo estão especificadas cada uma das 7 diretrizes que compõem a Dimensão 1, seguida da menção das seções / capítulos do livro que abordam questões relacionadas a como as avaliações podem ser relevantes para as iniciativas sociais.
Quais são as diretrizes da Dimensão 1 e quais os exemplos apontados no livro?
Diretriz 1 – Níveis de participação adequados aos interessados ( com ênfase na representatividade da participação de minorias em espaços de poder e prestígio social)
A meu ver, é de extrema importância que essa participação das Partes Interessadas, com ênfase no público-alvo (ou comunidades) comece ANTES da avaliação, ou seja, no planejamento em si da iniciativa social. Se não houver essa participação pré-projeto, os riscos do fracasso e do desperdício de recursos se tornam muito grandes. Essa questão é tratada em várias passagens do livro.
Livro (seção) – Condição fundamental: Ouvir sempre o público-alvo
Quais são, de fato, as prioridades e as necessidades do público-alvo?
- (Fazer o bem, porém SEMPRE olhar a quem!) – É apresentado o caso das doações de Bill Gates das 100 mil galinhas para os países pobres da África. Ao decidir incluir também a Bolívia, o presidente Evo Morales achou uma “ofensa” e rejeitou a doação.
- (Projetos sociais: não sabemos ouvir as comunidades) – O vídeo (comentado) de especialistas sobre esse tema nos EUA alerta para o fato de que muitas vezes o engajamento é conduzido na condição de requisito a ser cumprido. Os representantes dos financiadores ouvem por ouvir, meio enfadados, pois as suas decisões já estão tomadas ou independem dessa interação.
- (Engajamento com a comunidade: o passo a passo) Estudo (Collective Impact Forum, 2017) apresenta os 10 passos para um Engajamento benfeito com a Comunidade, destacando a importância das estratégias do engajamento, conciliar urgência e paciência, construir equidade nas mesas de discussão, capacitar a comunidade, testar sempre as interpretações para os achados.
Livro (seção) – Como avaliar
- (Teoria da Mudança: quais são os 10 passos) – Estudo da NPC (UK, 2019) mostra a importância do engajamento para a construção da Teoria da Mudança para, dentre outros, poder entender o problema, definir o público-alvo e explicitar os mecanismos de mudança. Cada contexto tem as suas especificidades.
DIRETRIZ 2 – Propósitos da avaliação acordados mutuamente (o sentido e finalidades das avaliações devem ser dialogados e pactuados entre os atores interessados. Evitar que as avaliações ocorram sob pretextos genéricos )
Livro (seção) – Cuidados para uma boa avaliação
- (Avaliação de resultados na proporção correta) – Estudo da NPC (2017) aponta os 4 aspectos centrais a serem levados em consideração nas avaliações de projetos sociais de organizações do terceiro setor, que são: 1- Muito raramente é preciso avaliar impacto com base em pesquisa experimental; 2 – Se o modelo do projeto social já foi devidamente testado e se a execução for boa, a sua efetividade tende a estar garantida; 3 – Priorizar a coleta de dados: o papel relevante das bases de dados; 4 – Não faz sentido cada financiador impor as suas próprias exigências de informação; ou seja, atrelar recursos a requisitos de avaliação
- (Dez motivos para não MEDIR impacto – e o que fazer no lugar) – Estudo da Stanford Social Innovation Review (2018) enumera as razões, ou situações de projeto, em que as avaliações de impacto não se justificam, como por exemplo: não é a ferramenta adequada para as perguntas avaliativas relevantes para o projeto; não é o momento adequado da vida do projeto; não é viável; não vale a pena, porque a resposta já é conhecida.
DIRETRIZ 3 – Perguntas relevantes (as perguntas devem apoiar a produção de informações e de evidências que gerem aprendizados e favoreçam os processos decisórios)
Livro (seção) – Cuidados para uma boa avaliação
- (Avaliação social afogada em números) – Artigo de Olinto Ramos, na época presidente do IBGE (dez.2017), faz um alerta contra a escravização aos números e ao exagero da aplicação de métodos complexos, como se isso fosse a garantia para a “verdade” da informação.
Livro (seção) – Como Avaliar
- (Medir impacto social: com rigor, mas bom senso) – Em evento da XP em 2020, Ester Dufflo, prêmio Nobel de Economia em 2019 pela aplicação da pesquisa experimental de políticas públicas, afirmou que: é preciso ser rigoroso e disciplinado para medir os impactos de estratégias que são inovadoras. Porém, uma vez já testados e comprovados os impactos dessas estratégias, elas passam a fazer parte de um “portfólio de bons projetos”, que poderão ser implementados por outras organizações. E, quando a estratégia for replicada, não haverá mais a necessidade de testar o seu impacto, pois ele já foi medido.
- (Desconstruindo 4 mitos da medição no setor social) – A partir do livro de Jerry Z. Muller (2018), A tirania das métricas, são comentados os 4 mitos, ou não-verdades, sobre as medições quantitativas.
DIRETRIZ 4 – Resultados úteis (as avaliações devem produzir respostas consistentes e confiáveis para as perguntas avaliativas, seja da avaliação formativa como da avaliação somativa. Devem ser capazes de apoiar os interessados a formularem, revisarem e expandirem suas compreensões sobre o objeto avaliado e, portanto, aprenderem sobre ele.
Livro (seções) – Como avaliar / Cuidados para uma boa avaliação
- (Medir apenas o que é relevante) – O livro de John Doerr (2018), Measure what Matters, enfatiza o uso dos OKRs (Resultados-Chave por Objetivo), ou de indicadores equivalentes, para sinalizar se a equipe está sintonizada e avançando na direção dos objetivos realmente relevantes para a iniciativa social. Vale lembrar que os OKRs serviram como referência para a empresa Google conseguir “organizar as informações do mundo”.
- (Para que precisamos medir tanto?) – Faço um paralelo entre um relógio fitbit que acabara de ganhar e a necessidade de informações para o projeto – o que vou fazer com a informação? Para que preciso dela?
DIRETRIZ 5 – Conclusões fidedignas (as conclusões das avaliações devem ser claras, documentadas e capazes de responder às finalidades das avaliações, mesmo quando tragam resultados indesejados e inesperados)
- (Avaliação do Terceiro Setor: o que as organizações think-tanks dos EUA e Reino Unido me ensinaram?) Foram comentados 4 aprendizados importantes, sendo que o 4º deles é sobre o “Não ao desfile de belezas”. O fato é que a maioria das avaliações sociais acabaram se transformando em verdadeiro desfile de belezas, pois só as conclusões “bonitas” é que são apresentadas. O setor social como um todo precisa aprender com os acertos, mas sobretudo com os erros.
DIRETRIZ 6 – Recomendações contextualizadas ( todas as recomendações produzidas nos processos de avaliação devem estar baseadas nas investigações realizadas, nos achados, análises, contextos e nas dinâmicas sócio-institucionais com as quais as avaliações se relacionam)
Livro (seção) – Como avaliar
- (Avaliação no Terceiro Setor: o que a prática me ensinou?) – Fiz essa reflexão motivada pelos incômodos que têm sido impostos às organizações do Terceiro Setor no Brasil por conta do ideal das avaliações de impacto baseadas em pesquisa experimental, e do ideal das avaliações baseadas no retorno econômico. Dadas as especificidades de cada organização social, para que as avaliações consigam apresentar recomendações realmente úteis para ela, é importante que o desenho de suas avaliações leve em conta essas especificidades – seja na construção dos indicadores, dos questionários, da identificação da causalidade, dentre outros aspectos.
DIRETRIZ 7 – Comunicação cuidadosa (a comunicação dos processos e resultados das avaliações deve ser precisa e oportuna. Utilizando diferentes canais e linguagens, deve expressar os resultados avaliativos, bem como os alcances e limites das evidências que os sustentam, delimitando os contextos aos quais são aplicáveis)
Livro (seção) – Condição fundamental: Ouvir sempre o público-alvo
- (Engajamento da comunidade e medição de resultados: dinâmicas incompatíveis?) – Como discuto nesse capítulo, a experiência tem mostrado que comunidade engajada e o uso das avaliações tradicionais de impacto têm sido realidades incompatíveis. Estão em planos de linguagem totalmente distintos.
