Assisti ao Encontro organizado pelo GIFE (03.12.2020) com os relatos de alguns especialistas brasileiros que participaram da Conferência 2020 da AEA (American Association Evaluation). Deu para perceber que agora está se consolidando de fato uma mudança de orientação no campo da avaliação social: do rigor da medição, para uma abordagem plural baseada na interação, empatia e afeto.
A meu ver, uma mudança muito benvinda e necessária. No Brasil, até há bem pouco tempo (2010-2015), pode-se dizer que prevalecia a percepção quanto à superioridade dos métodos estatísticos de pesquisa experimental para avaliar o impacto dos projetos sociais. Uma exigência que ainda hoje continua sendo bastante comum por parte das instituições financiadoras. Mesmo que para gerarem resultados confiáveis, os métodos experimentais são complexos, caros, demorados e atinentes apenas aos doutores da Academia.
Entendo que os métodos experimentais devem continuar sendo usados para avaliar o impacto apenas em situações muito especiais, do tipo programas sociais de grande escala e com elevado grau de desconhecimento acerca dos seus efeitos. O que não deve acontecer é o “endeusamento” (fetiche) do método, como ainda ocorre, resultando na banalização do seu uso pelas organizações. Com isto, acaba sendo aplicado de modo impreciso, errôneo, um mero faz-de-conta de avaliação para atender ao financiador (compliance), onerando o projeto sem gerar nenhum (ou muito pouco) valor para ele.
Na realidade, essa mudança no campo da avaliação já vinha se dando a nível internacional. Só que nós, no Brasil, não estávamos nos dando conta de sua extensão e profundidade.
A evolução internacional – setor público
Nos idos de 2003, a AEA (American Evaluation Association) já havia sido contundente em sua negativa à exigência da Secretaria de Educação dos EUA do uso de métodos com base científica, os chamados RCT – Randomized Control Trials (experimentos com controles aleatórios) para caracterizar avaliações de boa qualidade. Os três argumentos elencados pela AEA, já naquela época, foram:
- Causalidade – Os testes randomizados com grupos de controle não são os únicos estudos capazes de gerar entendimentos da causalidade. ….. Às vezes podendo até serem enganosos, dada a natureza complexa da causalidade e a multiplicidade de influências reais nos resultados, o que reforça o poder dos desenhos avaliativos que sejam sensíveis à cultura, condições locais, e abertos a fatores causais imprevistos. Outras vezes, os testes randomizados precisam ser excluídos por razões de ética, por negarem aos sujeitos do grupo de controle acesso a importantes oportunidades, mesmo quando os resultados desses experimentos possam ser esclarecedores. Há também casos em que as fontes de dados são insuficientes para realizar os experimentos, como por exemplo nos programas-piloto.
- Rigor – A prática real e muitos exemplos publicados demonstram que os métodos alternativos e mistos podem ser também rigorosos e científicos. Desestimular tal repertório de métodos forçaria os avaliadores a um retrocesso.
- Não basta identificar causalidade – As tomadas de decisão sólidas se beneficiam de dados que evidenciam não apenas causalidade, mas também as condicionalidades de funcionamento (dos programas). Acorrentar os avaliadores com restrições desnecessárias e irracionais equivale a negar as informações necessárias aos formuladores das políticas.
A evolução internacional – terceiro setor
Em maio / 2018, escrevi um artigo – Avaliação do terceiro setor: o que organizações think-tank dos EUA e do Reino Unido me ensinaram?, que foi baseado em reflexões e propostas feitas por avaliadores do setor filantrópico daqueles dois países, entre os anos de 2013 a 2016.
Já naquele período, as organizações filantrópicas do Reino Unido e dos EUA estavam se sentindo asfixiadas pela compulsão em medir impacto social e avaliar o retorno econômico de suas ações. Daí, já estavam “batalhando” por uma metodologia de avaliação mais direta e objetiva, coerente com a realidade da quase totalidade dessas instituições, em geral de pequeno porte e com poucos recursos.
Destaco aqui duas ideias centrais que já eram defendidas naquele momento. Uma é a de que era hora de “parar de medir impacto para começar a avaliar”, no sentido de entender o funcionamento do projeto. A outra ideia era a de que as organizações filantrópicas deveriam trabalhar com projetos cujas teorias da mudança já tivessem seus impactos sociais devidamente testados por “pesquisadores acadêmicos”. A elas caberia garantir uma boa execução desses projetos, bastando (apenas) fazerem avaliação de processo, ou monitoramento.
AEA, 2020: o novo estado da arte de avaliar
Para quem não estava atento às mudanças que vinham acontecendo pouco a pouco nessa arte de avaliar sobretudo no âmbito internacional, certamente ficou estupefato com o tamanho da transformação do campo avaliativo, ao se deparar com a abordagem dominante desse último Eval 2020. Assim, DE um longamente aceito “padrão-ouro” baseado em pesquisa experimental e na figura do avaliador “isento” e exímio analista de dados, PARA um ideal de avaliação empática (da dor do outro), humana, afetiva, inclusiva e interativa (para a busca dos caminhos).
O tema da Conferência da AEA deste ano já foi, por si, bastante sugestivo desse novo momento – How will you shine your light in (your) evaluation practice? Ou de como nós, avaliadores, podemos iluminar as sombras a partir de nossa prática avaliativa? Assim, na homepage do evento vinha explicado que….
Nós da AEA, que optamos pela profissão de Avaliador, o fizemos porque acreditamos que o nosso campo profissional nos permite acender as nossas luzes com o propósito de melhorar as condições para que outras (pessoas) acendam as suas próprias.
É através dessas lentes que devemos considerar o nosso trabalho de avaliação. Durante essa experiência virtual (do Encontro) 2020, …… pergunte a si mesmo: “Como estou fazendo brilhar a minha luz através do meu trabalho? É garantindo que todas as vozes das partes interessadas sejam incluídas, especialmente aquelas que muitas vezes estão no escuro? É jogando luz no imperativo histórico associado a certos métodos / práticas de avaliação? É iluminando novos níveis de rigor que podem estar associados a muitos outros métodos / práticas de avaliação? É iluminando o caminho da avaliação para os novos profissionais? É criando novas teorias, métodos e práticas de avaliação?”
Como se depreende, está em curso um processo de mudança metodológica radical: não mais um modo “frio” de avaliar os projetos a partir da análise fiel da tabulação das pesquisas / surveys, mas um modo de avaliar fortemente envolvido com a realidade social que se quer transformar. Uma evidência desse novo modelo de envolvimento e comprometimento do avaliador com o contexto social é a “Declaração do Conselho de Administração da AEA sobre o racismo sistêmico” (AEA Board Statement) na homepage da Associação. Diz a Declaração:
“Como profissionais de avaliação, servindo a diversas comunidades em todo o mundo, devemos responder de forma a ajudar as nossas comunidades a se sentirem ouvidas, validadas e valorizadas. É nossa responsabilidade coletiva voltar as lentes para nós mesmos como profissionais individuais e como um campo, olhar para as maneiras como o nosso campo e a nossa prática perpetua a injustiça. Conclamamos aos avaliadores a fazerem essa aprendizagem a nível individual, o que os ajudará a reconhecer as formas como essa avaliação pode causar danos. Também é nossa responsabilidade coletiva intensificar e encontrar maneiras de usar nossas habilidades únicas para desmantelar o racismo e os sistemas de opressão, criando espaços seguros e saudáveis para construir pontes para um futuro mais equitativo, democrático e justo.
……. Pessoas com poder mudam o sistema. Como avaliadores, alguns de nós têm o poder de fazer as mudanças acontecerem. Usem o seu poder para o bem.”
Um novo padrão-ouro?
Não. Na realidade, e pelo que pude perceber a partir dos relatos sobre essa Conferência 2020 da AEA, não estamos frente a um novo padrão-ouro (em substituição ao modelo experimental), mas sim frente a vários padrões de avaliação dependendo de qual(is) for(em) a(s) necessidade(s) de avaliação.
Reforço aqui os ensinamentos de Michael Patton, um dos principais conferencistas desse evento (ele já presidiu a AEA), de que o melhor modo para se conduzir uma avaliação é ter clareza à priori sobre qual será a sua utilidade ou “quais serão os seus usos e quem serão os usuários da avaliação”. Há muitos anos Patton já vem defendendo essa abordagem da Avaliação Focada na Utilidade (Utilization- Focused Evaluation, U-FE), segundo a qual é a finalidade da avaliação que vai definir o (melhor) método a ser adotado. Nesse Encontro ele trouxe mais um desafio para os Avaliadores, de que eles “procurem se tornar parte da solução, e não serem apenas um olhar externo”.
Concluo, fazendo um alerta. Não é porque se vai transitar pela avaliação baseada no diálogo e entendimento dos públicos beneficiados, que se pode perder o rigor do método avaliativo, qualquer que seja ele. Senão, corre-se o sério risco de perda de confiabilidade dos achados da avaliação. Daí, vale lembrar que boas técnicas de seleção dos entrevistados, de formulação das perguntas e de consolidação dos dados continuam sendo essenciais, tal como sempre foram.
