Iniciativas Sociais: Avaliações Relevantes para Todos

Por on 10/08/2021

No dia 28 de julho último, tive o prazer de participar do 3º Webinário da Agenda de Avaliação do GIFE ao lado de Rodrigo Laro ( do Instituto Prómundo) e sob a coordenação da Camila Cirillo (do GIFE).

O tema central foi: como fazer para que as avaliações se tornem relevantes  para todas as Partes Interessadas (Stakeholders) envolvidas com as iniciativas sociais?

Durante a minha fala procurei ilustrar o primeiro grupo das ‘Diretrizes para as práticas avaliativas no Brasil’, que trata sobre avaliações úteis e geradoras de aprendizagem para os projetos (ou AVALIAÇÕES RELEVANTES), a partir de alguns exemplos apresentados no meu recém-lançado livro, ‘O Ecossistema das Iniciativas Sociais no Brasil”.

Vale esclarecer que as Diretrizes foram construídas / adaptadas para o contexto brasileiro ao longo de 2020, de modo consensuado e democrático por uma equipe de avaliadores, sob a coordenação da RBMA e do GIFE. O objetivo das Diretrizes é o de contribuir para que as avaliações se tornem cada vez mais confiáveis, consistentes e úteis para os projetos / iniciativas sociais. Foram definidas um total de 26 diretrizes, reunidas em 4 grupos (ou dimensões) que tratam das características desejáveis às avaliações, a saber: (1) aprendizagem e utilização; (2) direitos e integridade; (3) contextualização e valoração; e (4) método e viabilidade.

Para quem estiver interessado no tema das Avaliações Relevantes (que é objeto do grupo 1 das Diretrizes), e com o intuito também de servir como um guia de orientação para a leitura do meu livro ‘O Ecossistema das Iniciativas Sociais no Brasil’ com esse foco, aponto a seguir alguns exemplos tratados no livro – nos capítulos da Parte II.

Diretrizes para as práticas avaliativas no Brasil

DIMENSÃO  1 – Aprendizagem e utilização

Qual é o foco da dimensão 1 das Diretrizes?  As avaliações devem dialogar e responder às necessidades de informação e conhecimento dos interessados, favorecendo que eles aprendam sobre o objeto avaliado, ampliando seus níveis de análise, reflexão, compreensão e apropriação. É com base em processos e produtos que favoreçam a aprendizagem que as avaliações podem tornar-se relevantes aos interessados e embasar a formulação, decisão, prestação de contas, ampliação de conhecimento e deliberação.

Abaixo estão especificadas cada uma das 7 diretrizes que compõem a Dimensão 1, seguida da menção das seções / capítulos do livro que abordam questões relacionadas a como as avaliações podem ser relevantes para as iniciativas sociais.

Quais são as diretrizes da Dimensão 1 e quais os exemplos apontados no livro?

O atributo alt desta imagem está vazio. O nome do arquivo é Livro-Ecossistema.jpg

Diretriz 1 – Níveis de participação adequados aos interessados ( com ênfase na representatividade da participação de minorias em espaços de poder e prestígio social)

A meu ver, é de extrema importância que essa participação das Partes Interessadas, com ênfase no público-alvo (ou comunidades) comece ANTES da avaliação, ou seja, no planejamento em si da iniciativa social. Se não houver essa participação pré-projeto, os riscos do fracasso e do desperdício de recursos se tornam muito grandes. Essa questão é tratada em várias passagens do livro.

Livro (seção) – Condição fundamental: Ouvir sempre o público-alvo

Quais são, de fato, as prioridades e as necessidades do público-alvo?

  • (Fazer o bem, porém SEMPRE olhar a quem!)  –  É apresentado o caso das doações de Bill Gates das  100 mil galinhas para os países pobres da África. Ao decidir incluir também a Bolívia, o presidente Evo Morales achou uma “ofensa” e rejeitou a doação.
  • (Projetos sociais: não sabemos ouvir as comunidades)  – O vídeo (comentado) de especialistas sobre esse tema nos EUA alerta para o fato de que  muitas vezes o engajamento é conduzido na condição de requisito a ser cumprido. Os representantes dos financiadores ouvem por ouvir, meio enfadados, pois as suas decisões já estão tomadas ou independem dessa interação.
  • (Engajamento com a comunidade: o passo a passo) Estudo (Collective Impact Forum, 2017) apresenta os 10 passos para um Engajamento benfeito com a Comunidade, destacando a importância das estratégias do engajamento, conciliar urgência e paciência, construir equidade nas mesas de discussão, capacitar a comunidade, testar sempre as interpretações para os achados.

Livro  (seção) – Como avaliar

  • (Teoria da Mudança: quais são os 10 passos) – Estudo da NPC (UK, 2019) mostra a importância do engajamento para a construção da Teoria da Mudança para, dentre outros, poder entender o problema, definir o público-alvo e explicitar os mecanismos de mudança. Cada contexto tem as suas especificidades.

DIRETRIZ 2 – Propósitos da avaliação acordados mutuamente (o sentido e finalidades das avaliações devem ser dialogados e pactuados entre os atores interessados. Evitar que as avaliações ocorram sob pretextos genéricos )

Livro  (seção) – Cuidados para uma boa avaliação

  • (Avaliação de resultados na proporção correta) – Estudo da NPC (2017) aponta os 4 aspectos centrais a serem levados em consideração nas avaliações de projetos sociais de organizações do terceiro setor, que são: 1- Muito raramente é preciso avaliar impacto com base em pesquisa experimental; 2 – Se o modelo do projeto social já foi devidamente testado e se a execução for boa, a sua efetividade tende a estar garantida; 3 – Priorizar a coleta de dados: o papel relevante das bases de dados;  4 – Não faz sentido cada financiador impor as suas próprias exigências de informação; ou seja, atrelar recursos a requisitos de avaliação
  • (Dez motivos para não MEDIR impacto – e o que fazer no lugar) – Estudo da Stanford Social Innovation Review (2018) enumera as razões, ou situações de projeto, em que as avaliações de impacto não se justificam, como por exemplo: não é a ferramenta adequada para as perguntas avaliativas relevantes para o projeto; não é o momento adequado da vida do projeto; não é viável; não vale a pena, porque a resposta já é conhecida.

DIRETRIZ 3 – Perguntas relevantes (as perguntas devem apoiar a produção de informações e de evidências que gerem aprendizados e favoreçam os processos decisórios)

Livro (seção) –  Cuidados para uma boa avaliação

  • (Avaliação social afogada em números) – Artigo de Olinto Ramos, na época presidente do IBGE (dez.2017), faz um alerta contra a escravização aos números e ao exagero da aplicação de métodos complexos, como se isso fosse a garantia para a “verdade” da informação.

Livro (seção)  –  Como Avaliar

  • (Medir impacto social: com rigor, mas bom senso) – Em  evento da XP em 2020, Ester Dufflo, prêmio Nobel de Economia em 2019 pela aplicação da pesquisa experimental de políticas públicas, afirmou que:  é preciso ser rigoroso e disciplinado para medir os impactos de estratégias que são inovadoras. Porém, uma vez já testados e comprovados os impactos dessas estratégias, elas passam a fazer parte de um “portfólio de bons projetos”, que poderão ser implementados por outras organizações. E, quando a estratégia for replicada, não haverá mais a necessidade de testar o seu impacto, pois ele já foi medido.
  • (Desconstruindo 4 mitos da medição no setor social) –  A partir do livro de Jerry Z. Muller (2018), A tirania das métricas, são comentados os 4 mitos, ou não-verdades, sobre as medições quantitativas.  

DIRETRIZ 4 – Resultados úteis (as avaliações devem produzir respostas consistentes e confiáveis para as perguntas avaliativas, seja da avaliação formativa como da avaliação somativa. Devem ser capazes de apoiar os interessados a formularem, revisarem e expandirem suas compreensões sobre o objeto avaliado e, portanto, aprenderem sobre ele.

Livro  (seções) –  Como avaliar  / Cuidados para uma boa avaliação

  • (Medir apenas o que é relevante)  – O livro de John Doerr (2018),  Measure what Matters, enfatiza o uso dos OKRs (Resultados-Chave por Objetivo), ou de indicadores equivalentes, para sinalizar se a equipe está sintonizada e avançando na direção dos objetivos realmente relevantes para a iniciativa social. Vale lembrar que os OKRs serviram como referência para a empresa Google  conseguir  “organizar as informações do mundo”.
  • (Para que precisamos medir tanto?) – Faço um paralelo entre um relógio fitbit que acabara de ganhar e a necessidade de informações para o projeto – o que vou fazer com a informação? Para que preciso dela?

DIRETRIZ 5 – Conclusões fidedignas (as conclusões das avaliações devem ser claras, documentadas e capazes de responder às finalidades das avaliações, mesmo quando tragam resultados indesejados e inesperados)

Livro (seção) – Como avaliar

  • (Avaliação do Terceiro Setor: o que as organizações think-tanks dos EUA e Reino Unido me ensinaram?)  Foram comentados  4 aprendizados importantes, sendo que o 4º deles é sobre o “Não ao desfile de belezas”.   O fato é que a maioria das avaliações sociais acabaram se transformando  em verdadeiro desfile de belezas, pois só as conclusões “bonitas” é que são apresentadas. O setor social como um todo  precisa aprender com os acertos, mas sobretudo com os erros.

DIRETRIZ 6 – Recomendações contextualizadas  ( todas as recomendações produzidas nos processos de avaliação devem estar baseadas nas investigações realizadas, nos achados, análises, contextos e nas dinâmicas sócio-institucionais com as quais as avaliações se relacionam)

Livro (seção) – Como avaliar

  • (Avaliação no Terceiro Setor: o que a prática me ensinou?) – Fiz essa reflexão motivada pelos incômodos que têm sido impostos às organizações do Terceiro Setor no Brasil por conta do ideal das avaliações de impacto baseadas em pesquisa experimental, e do ideal das avaliações baseadas no retorno econômico. Dadas as especificidades de cada organização social, para que as avaliações consigam apresentar recomendações realmente úteis para ela, é importante que o desenho de suas avaliações leve em conta essas especificidades – seja na construção dos indicadores, dos questionários, da identificação da causalidade, dentre outros aspectos.  

DIRETRIZ 7 – Comunicação cuidadosa  (a comunicação dos processos e resultados das avaliações deve ser precisa e oportuna. Utilizando diferentes canais e linguagens, deve expressar os resultados avaliativos, bem como os alcances e limites das evidências que os sustentam, delimitando os contextos aos quais são aplicáveis)

Livro (seção) – Condição fundamental: Ouvir sempre o público-alvo

  • (Engajamento da comunidade e medição de resultados: dinâmicas incompatíveis?) –  Como discuto nesse capítulo, a experiência tem mostrado que comunidade engajada e o uso das avaliações tradicionais de impacto têm sido realidades incompatíveis. Estão em planos de linguagem totalmente distintos.

TAGS
POSTS RELACIONADOS

DEIXE UM COMENTÁRIO

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

MARIA CECÍLIA PRATES RODRIGUES
Rio de Janeiro - Brasil

Maria Cecília é economista e mestre em economia pela UFMG, e doutora em administração pela FGV /Ebape (RJ). A área social sempre foi o foco de suas pesquisas durante o período em que esteve como pesquisadora na FGV , e depois em seus trabalhos de monitoria, consultoria, pesquisa e voluntariado.

EnglishPortugueseSpanish
EnglishPortugueseSpanish