No seu cerne a avaliação social envolve um processo dicotômico e gerador de desigualdade. De um lado temos o OBJETO DA AVALIAÇÃO, que é a situação em foco, constituída pelos AVALIADOS. De outro lado temos o SUJEITO DA AVALIAÇÃO, que é quem vai conduzir a avaliação e, ao final, dar o seu veredicto e fazer as tão esperadas recomendações – são os AVALIADORES.
Pode-se dizer que a avaliação já nasce com o germe da desigualdade, na medida em que o poder sobre a avaliação está com os avaliadores e/ou quem os contratou para executar a avaliação. Estão aí os conhecidos “termos de referência” do contratante da avaliação, que se tornam no roteiro-guia para os avaliadores. Na realidade é essa dupla – avaliadores e contratantes da avaliação – que se constituem nos sujeitos da avaliação. São eles que decidem sobre quais os dados a serem analisados, como e quando eles serão coletados.
Quanto aos beneficiários da intervenção, os avaliados, estes são em geral vistos como os objetos da avaliação, pois eles compõem o quadro da situação social que precisa ser analisada, segundo critérios a serem definidos pelos avaliadores.
Esse é o “pecado original” da avaliação. Como podem os avaliadores conviver com ele, sem enviesar a avaliação? Ou melhor, como podemos repensar o nosso papel de Avaliadores em maior sintonia com o contexto dos Avaliados?
Avaliação, Avaliadores e Avaliados
Diferentes definições podem ser encontradas para AVALIAÇÃO, que variam em função dos objetivos / demandas avaliativas, dos métodos adotados, ênfases dadas, e da formação dos avaliadores. Quando se extrai o que há de comum entre as diferentes abordagens, a ideia que predomina é a de que AVALIAR é analisar / julgar uma determinada situação e/ou intervenção com base em valores preestabelecidos do que seria a situação desejável.
Porém, quem analisa? Quem julga? Quem delimita a situação desejada?
Quem define os dados que precisam ser coletados? Quem define as perguntas que serão feitas? E também o modo como essas perguntas devem ser formuladas? Quem define os pesos de cada questão? Quem seleciona os grupos e as pessoas que deverão ser pesquisadas / entrevistadas?
No fundo, parecem ser os avaliadores que decidem tudo, ou praticamente tudo, sobre a Avaliação. São eles que parecem ter o poder de decidir o COMO OLHAR a realidade.
O grupo dos Avaliadores será aqui definido como a equipe de especialistas em avaliação contratada, e/ou a equipe de gestores da organização executora da intervenção no caso de eles também exercerem o papel de avaliadores (o que é desejável!). Eles atuam (ou são contratados para atuar) como os representantes, ou os “olhos”, dos investidores e/ou financiadores e/ou doadores da intervenção.
Já o grupo dos Avaliados inclui o universo das pessoas potencialmente beneficiárias da intervenção (público-alvo ou comunidade-alvo), dos beneficiários diretos e indiretos dela, e também o contexto / pessoas que são envolvidas com a execução da intervenção.
Outra questão importante a destacar é a de que a avaliação não pode estar restrita à avaliação final ou à de resultados, que normalmente é a mais contratada. No seu sentido mais amplo, a Avaliação diz respeito às 3 etapas importantes na condução de uma determinada iniciativa, que são:
- Antes de iniciar a intervenção, de modo a orientar para o seu planejamento, conhecida como ‘Avaliação de Marco Zero` (ou Diagnóstico Inicial);
- Ao longo da intervenção, de modo a verificar se a execução está se dando de acordo com o desejado (ou planejado), denominada também como ‘Avaliação de Processo` ou Monitoramento;
- Ao final da intervenção ou em algum momento relevante dela, de modo a identificar os resultados / impactos que foram (ou estão sendo) alcançados. É a chamada Avaliação de Resultados (imediatos) e Avaliação de Impacto (médio e/ou longo prazo).
Os efeitos adversos da desigualdade
Seja em qualquer um desses três momentos da Avaliação (marco zero, de processo, ou de resultados), quando os Avaliadores se mantêm “distantes” em seus pedestais de sujeitos da Avaliação, eles acabam fazendo com que os Avaliados se tornem “apequenados” em sua posição de objetos da avaliação. Daí, dois tipos de consequência tendem a ocorrer. Primeiro, quando esses dois lados da Avaliação (Avaliadores e Avaliados) não interagem entre si ou muito pouco, a Avaliação acaba virando peça de ficção dos Avaliadores, onerosa para o projeto e de pouca ou nenhuma valia para transformar a realidade social. Segundo, há várias distorções que podem ser geradas no desenho e na condução da ação, que seriam evitadas se fluísse o diálogo entre Avaliadores e Avaliados.
A seguir alguns exemplos (*) que ilustram disfunções que podem ocorrer nas intervenções e nas próprias avaliações, em decorrência dessa desigualdade que se estabelece entre Avaliadores e Avaliados no âmbito da Avaliação.
- Iniciativa voltada para apoiar pequenos produtores rurais em situação de pobreza foi centrada (erroneamente!) na construção de uma grande central de beneficiamento. Porém, se a avaliação de marco zero tivesse sido feita com base na escuta cuidadosa do público-alvo, a ‘teoria do programa` teria se guiado pela oferta de microcrédito, com impacto possivelmente muito maior para redução da pobreza. No caso, o público-alvo foi praticamente ignorado. (Exemplo 5)
- Iniciativa de Mark Zuckerberg, criador do Facebook /Metaverso, doou R$100 milhões para a reforma de escolas públicas de um dado município dos EUA, que estava decadente. Foi um fracasso: “as famílias dos alunos se revoltaram contra aquela reforma que estava desestruturando o status quo e criando um ambiente tóxico nas escolas”. O grande erro foi o de fazer filantropia do tipo “presente”, “de cima para baixo” sem avaliação de marco zero, isto é, “SEM ouvir antes as necessidades dos educadores locais e lideranças da comunidade” (Engajamento e medição de resultados: dinâmicas incompatíveis?)
- Projeto social voltado para crianças e adolescentes em situação de vulnerabilidade do Morro da Mangueira (RJ) não estava conseguindo reter as crianças e adolescentes daquela comunidade no Projeto. Eles entravam para participar, mas muitos acabavam abandonando por diversas razões. Se tivesse havido (o que não houve!) uma avaliação de processo atenta à trajetória de cada beneficiário no Projeto, muito provavelmente essa disfunção de percurso teria sido corrigida em tempo hábil. (Exemplo 7 )
- As avaliações de impacto strictu sensu são geradoras de desigualdade, na medida em que a realidade dos avaliados precisa ser obrigatoriamente codificada para a linguagem da pesquisa experimental, que envolve métodos estatísticos complexos atinentes a uns poucos especialistas da Academia, de aplicação demorada e custos onerosos.
Sem dúvida, há situações em que as avaliações de impacto strictu sensu são imprescindíveis e se justificam – ex., testar uma medida de política pública. Porém, observo que, muitas vezes, elas vêm sendo usadas desnecessariamente. E, daí, em função dessa sua complexidade metodológica, a distância entre Avaliadores (os detentores do conhecimento em Avaliação) e Avaliados tende a aumentar, a comunicação dos achados fica mais difícil e, portanto, fica menor a utilidade da avaliação para o projeto. Nesses casos, poderia ser mais efetivo conduzir uma avaliação de resultados mais simples, com base na escuta objetiva e criteriosa dos avaliados.
- Há alguns anos, uma grande empresa Y selecionou uma região de extrema pobreza no Brasil para realizar o seu Investimento Social Privado (ISP), em que havia alguns grupos de assentados. Selecionou dois desses grupos para receberem o investimento em minifábrica, na expectativa de que as famílias dos outros grupos de assentados entregariam também lá a sua produção. O inesperado, porém, aconteceu: ao invés de fomentar a união e estimular o trabalho solidário, o que ocorreu foi o surgimento de desentendimentos e rivalidade entre os grupos dos assentados, coisa que não havia antes. Assim, a situação social das famílias dos assentados na região, que já era precária, piorou ainda mais, caracterizando a chamada “eficácia pública negativa” do ISP (capítulo 1.1). Esse fato demonstra para a importância de um processo genuíno de avaliação no âmbito do investimento social corporativo, de interação permanente entre representantes da empresa e da comunidade atendida.
Como romper com essa desigualdade?
Para que a avaliação social possa cumprir o seu papel de ferramenta útil e relevante para guiar a intervenção, é fundamental que se estabeleça um ambiente de equidade entre Avaliadores e Avaliados, entendido como um espaço real de escuta e interação comprometida entre o grupo dos Avaliadores e o universo / grupo dos Avaliados. Ou seja , que haja engajamento entre eles, no sentido de Avaliadores e Avaliados construírem de forma consensuada a compreensão do problema social, a proposição de soluções (tanto para a intervenção como para a avaliação) e a interpretação das transformações que vão sendo alcançadas – ou não, e porquê. De forma alguma, os Avaliadores podem ficar encastelados em suas percepções, técnicas, burocracias e relação de subordinação com os contratantes (da avaliação), sem manterem um elo forte com o mundo real dos Avaliados.
A experiência tem mostrado que comunidade engajada e Avaliação têm sido dinâmicas pouco compatíveis. A razão é que estão, muitas vezes, em planos de linguagem totalmente distintos. Assim, os representantes da comunidade (ou seja, dos Avaliados) podem até se sentar “à mesma mesa” com os especialistas em avaliação, e também os financiadores, os governos e demais grupos envolvidos com a iniciativa social. Mas o diálogo não vai existir: porque um lado fala, mas o outro lado não consegue escutar. As lideranças da comunidade não entendem aquela quantidade enorme de dados e informações que lhes são apresentados pelos Avaliadores. Por sua vez, também os Avaliadores e os representantes dos outros stakeholders no projeto não conseguem captar as especificidades do contexto social. (Engajamento da comunidade e medição de resultados: dinâmicas incompatíveis?)
Com o objetivo de criar um ambiente de equidade entre Avaliadores e Avaliados, a meu ver uma boa sugestão é o passo a passo para um engajamento efetivo com a comunidade, que foi proposto por Paul Schimitz, consultor senior at ‘The Collective Impact Forum` and CEO da ´Leading Inside Out` [Community Engagement Toolkit, 2017, que teve por base o seu estudo: Community Engagemente matters (now more than ever), SSIR, 2016]. Em artigo que escrevi – Engajamento com a Comunidade: o Passo a Passo, eu sintetizei os principais passos apontados por Schimitz, que são:
- Deixe claro quais são os propósitos do engajamento com a comunidade, e como o engajamento vai contribuir para melhores resultados.
Mesmo o programa social guiado por indicadores e evidências tenderá a não ser bem-sucedido se não puder contar com as experiências, os conhecimentos, os relacionamentos e a participação efetiva da comunidade. Pois “fazer para a gente, e não com a gente, é a receita certa para o fracasso”
2. Identifique qual a estratégia de engajamento com a comunidade é a mais adequada para cada situação, pois ela deve levar em conta o nível de organização e complexidade existente em cada contexto. As diferentes estratégias podem ser:
(i) comunidade informada; (ii) comunidade consultada; (iii) comunidade envolvida; (iv) comunidade colabora; (v) comunidade empoderada
3. O engajamento deve buscar valorizar os ‘ativos` da comunidade, ao invés de olhar só para os seus déficits. (Mais importante do que tornar o programa forte, é tornar comunidade forte).
4. Mapeie quais são os diferentes grupos da comunidade e qual o potencial de cada um deles para o engajamento.
5. Para o engajamento, priorize aqueles grupos da comunidade que mais podem contribuir diretamente para os resultados do programa.
6. Construa equidade nas mesas de discussão
Não basta garantir grande número de pessoas da comunidade nos comitês e equipes. Para haver participação efetiva e diálogo “de igual para igual”, os membros da comunidade vão precisar de suporte e capacitação
7. Teste sempre (com os membros da comunidade) os pressupostos, as interpretações dos dados e as conclusões tiradas nas avaliações
O que ocorre é que muitas vezes os especialistas se movem muito rápido dos dados para as decisões com os seus vieses implícitos que influenciam na seleção dos dados, interpretações, pressupostos e conclusões. Assim, se não houver equidade nas mesas de discussão do programa (com os membros da comunidade participando efetivamente), então os dados selecionados, as interpretações feitas, os pressupostos adotados e as conclusões tiradas podem estar distorcidos pelo próprio viés analítico dos especialistas e a falta de um conhecimento aprofundado deles da realidade social. Ou seja, é o olhar crítico da comunidade que aprova/reprova/julga a pertinência dos dados e das análises feitas.
8. Construa parcerias para implementar os programas e serviços, mas comece sempre examinando a possibilidade com as organizações locais
9. É preciso conciliar urgência e paciência
Nos programas sociais, agir com urgência para enfrentar os muitos desafios sociais é uma atitude mais do que compreensível. Porém, não são raras as situações em que é preferível, no início, investir tempo com o engajamento, do que ter que arcar no longo prazo com investimento e tempo muito maiores, advindos de problemas de desconfiança e conflitos na comunidade. Assim, é preciso paciência no início para poder construir relacionamentos, acordar objetivos, alinhar estratégias, orientar e capacitar as pessoas, resolver conflitos e diferenças, enfim, engajar todos em um processo democrático de tomada de decisão
10. Construir capacidades para apoiar o engajamento.
É preciso identificar quais investimentos e capacidades serão necessários para o engajamento ser bem-sucedido, em termos de tempo das equipes, competências, governança, liderança, apoio profissional e parcerias.
Desigualdade, não. Engajamento e Diversidade, sim.
Como vimos, o engajamento efetivo entre Avaliados e Avaliadores é fundamental para minimizar a desigualdade inerente ao processo avaliativo, em que os Avaliadores são os sujeitos e os Avaliados são os objetos.
Outra virtude do engajamento é a sua capacidade de tirar proveito da diversidade existente dentro desses dois grupos, de modo a enriquecer o potencial da Avaliação. Assim, quando há de fato engajamento, o grupo dos Avaliados consegue explicitar e ser percebido nas diferentes vozes e subgrupos que o compõe, e o grupo dos Avaliadores se torna mais sensibilizado e permeável para o uso das diversas abordagens avaliativas. Em sentido figurado, tudo se passa à semelhança de uma floresta (fig), em que as diferentes espécies convivem, e se fortalecem justamente por causa dessa interação entre diversos.
Last but not least, cabe aqui um alerta final para nós, Avaliadores. Por princípio, nós Avaliadores não podemos ficar restritos a ser apenas os “olhos” dos contratantes da avaliação, que normalmente são os financiadores / investidores ou doadores da intervenção. Temos também o dever de ser os porta-vozes dos Avaliados, aí incluídos os diversos sub-grupos que compõem a comunidade-alvo. Isso significa que devemos ser sensíveis e bons interlocutores às suas demandas, necessidades, e percepções de mudanças.
Enfim, o nosso compromisso como avaliadores deve ser com o ganha-ganha da iniciativa, de modo que ela seja capaz de (realmente) potencializar os resultados para quem financia a intervenção e para a comunidade-alvo. Porque o “pecado original” da avaliação vai continuar existindo….
(*) Exemplos descritos no livro M. Cecília Prates R. Projetos Sociais Corporativos – Como Avaliar e tornar essa estratégia eficaz. (editora Atlas, 2010)
