Assisti ao (vídeo do) lançamento do número especial da Revista da Rede Brasileira de Monitoramento e Avaliação (RBMA) com o tema da Inclusão Produtiva. Durante o evento ocorrido em outubro último, foram elencados vários desafios da prática avaliativa enfrentados atualmente no Brasil, tanto no campo das políticas públicas como das organizações do terceiro setor, dentre eles:
Desafios atuais
- Dificuldade para adaptar os avanços da Academia no campo teórico para as demandas e necessidades avaliativas das organizações. Tanto em termos dos métodos quantitativos como qualitativos. Inaugurada em maio 2021, a JOI-Brasil (Jobs and Oportunity Initiative in Brazil), vinculada ao J-Pal (Abdul Latif Jameel Poverty Action Lab), que é um centro de pesquisa do MIT (Instituto de Tecnologia de Massachusetts), foi apresentada durante o evento como uma iniciativa nessa direção.
- Dificuldade para se conseguir uma avaliação que seja realmente útil e funcional de modo a orientar na condução das intervenções sociais, e não apenas vista como uma exigência imposta por seus financiadores.
- Dificuldade para desenhar bons projetos sociais em sintonia com as reais necessidades de cada público-alvo. E por conta disso, na área social nem sempre a escalabilidade consegue ser viável e efetiva.
- Dificuldade para operacionalizar conceitos abstratos em indicadores, capazes de gerar uma medição confiável e consistente da ação social realizada.
- Dificuldade para comunicar com transparência os resultados da avaliação para cada um dos públicos envolvidos – tanto os “bons” como os “maus” resultados, de modo a garantir o comprometimento deles com a iniciativa.
- Dificuldade para envolver os gestores na avaliação, e fazer com que a avaliação seja percebida como um instrumento endógeno à organização. A avaliação não é para controlar a organização e os seus gestores; ao contrário, as equipes devem se sentir motivadas em colaborar para ela.
Há 8 anos, eram quase os mesmos desafios de hoje, e já com vislumbres de soluções
Interessante que praticamente quase todos os desafios mencionados no evento já estavam bastante presentes em 2015, por ocasião das monitorias de projetos sociais que eu conduzia junto às organizações do terceiro setor participantes do Programa de Parcerias com Organizações Sociais (POS) da Fundação Dom Cabral (hoje denominado Pilaris). Tanto que durante o VII Seminário da Rede Brasileira de Monitoramento e Avaliação (nov.2015), eu apresentei um artigo intitulado ‘ Avaliação de projetos sociais no Terceiro Setor: uma agenda em construção` em que eu justamente sistematizava quais eram os principais pontos da agenda de avaliação que eu vinha detectando naquelas monitorias desde 2012, e nos quais precisávamos investir esforços para evoluir. Dentre os desafios que comentei naquele artigo, destaco aqui:
- Que, em razão do estágio mais avançado das organizações do terceiro setor no Reino Unido e EUA no que se refere à avaliação dos seus programas sociais (2015), naquele momento as organizações do terceiro setor lá, sobretudo as menores, já vinham se dizendo “asfixiadas” por tanto medir, por terem que implementar pesquisas experimentais de impacto e análises do retorno econômico dos seus projetos sociais (estimativa do SROI – Social Return On Investment). Elas defendiam que a avaliação deveria ter uma abordagem prática, ser conduzida pelas equipes da própria organização, e ser compatível com as necessidades e os recursos da organização.
- Com a observação acima, nem de longe estou tendo um olhar de “colonialidade”, isto é, de querer copiar ideias dos países desenvolvidos para o Brasil. Estou constatando uma tendência que já vinha ocorrendo nos países desenvolvidos há pelo menos 8 anos; e que só agora, nós no Brasil, estamos adentrando esse movimento. Daí, é importante conhecer o que foi feito naqueles países para podemos “queimar etapas”, aprender e adaptarmos ao contexto das múltiplas realidades sociais existentes no Brasil.
- Que era importante passar a ter clareza na delimitação dos diferentes níveis de objetivos de resultado: qual o nível de resultado está na competência da organização alcançar; e qual(is) o(s) nível(is) de resultado a atuação da organização deve “contribuir para”, isto é, atuar na condição de causa para a mudança final esperada.
- Que era importante saber fazer o uso adequado do marco lógico, enquanto instrumento efetivo para a implementação da Teoria da Mudança na organização, e não adotá-lo como mera formalidade imposta pelos investidores, que foi o que prevaleceu até o início dos anos 2000. Sendo que o uso adequado do Marco Lógico / Teoria da Mudança pressupõe: (i) clareza na identificação das necessidades sociais de cada público-alvo / território; (ii) participação ativa dos públicos envolvidos, sobretudo dos beneficiários – até então sempre relegados a plano secundário; (iii) operacionalização dos conceitos abstratos em indicadores com a definição das respectivas “rubricas avaliativas”.
- Que era preciso poder contar com alternativas válidas para estimar a causalidade das intervenções sociais, pois nem sempre (ou raramente) seria viável aplicar o rigor dos complexos modelos estatísticos experimentais.
- Que era preciso melhorar e aprofundar o uso das bases de dados / registros administrativos já existentes nas organizações, contendo informações dos participantes ao longo de sua permanência nelas. Pois aí poderia haver uma riqueza de informações subutilizada em seu potencial avaliativo, e que precisaria ser melhor explorado antes de partir para abrir novas frentes para a coleta de dados.
Depois, em 2017, escrevi outro artigo (Avaliação compartilhada: uma prática que pode valer a pena) em que eu descrevia os esforços que já vinham sendo feitos desde 2003 por organizações think-tanks no Reino Unido (como a New Philanthropy Capital – NPC, ou a Triangle /Outcomes Star) e nos Estados Unidos (FSG) para construírem sistemas de indicadores “de prateleira” (do inglês, off-the-shelf tools) que pudessem ser compartilhados por organizações do terceiro setor (charities).
No período das monitorias de projetos sociais na Fundação Dom Cabral / POS (2012-2016), tentei estimular esse tipo de colaboração entre as organizações do terceiro setor atuando em um mesmo segmento de público-alvo. A intenção era que elas trabalhassem juntas no desenvolvimento de indicadores e escalas comuns, de modo a conseguirem operacionalizar os conceitos abstratos que eram comuns a seus projetos. Essa tentativa não foi adiante. Porém, sigo até hoje acreditando no potencial da medição compartilhada para fortalecer o sistema de “indicadores sociais setoriais”. Pois isso permitiria dar maior credibilidade às avaliações, cortar custos de organizações que acabam tendo que desenvolver individualmente os seus indicadores, e dar comparabilidade entre projetos (é claro, sempre guardando as devidas especificidades).
ENFIM, nem tão novos são os desafios da avaliação social com os quais nos debatemos hoje no Brasil. Eles são, sim, persistentes. Dessa breve análise comparativa, e com o olhar sobretudo para as organizações do terceiro setor, penso que um ponto essencial a ser trabalhado de imediato deveria ser o da avaliação como ferramenta de gestão e fazendo uso do próprio sistema de bases de dados da organização. E em assim sendo, o desenho das bases de dados da organização deveria incluir como uma de suas finalidades o monitoramento e a avaliação de resultados dos participantes dos seus projetos sociais.
Outro ponto relevante seria o da colaboração entre organizações atuando em áreas semelhantes para desenvolverem as ferramentas de prateleira, de modo a poderem estruturar e compartilhar bons indicadores de avaliação. A meu ver, esses dois passos já seriam um bom começo para avançarmos nessa escalada dos desafios avaliativos do campo social, ainda mais tendo agora a nosso favor os avanços recentes na área de tecnologia da informação / softwares.
