A maioria das organizações filantrópicas NÃO deveria avaliar o seu trabalho

By on 10/05/2018

 

Autora: Caroline FiennesGiving Evidence, maio de 2013

Em: https://ssir.org/articles/entry/most_charities_shouldnt_evaluate_their_work     (1a parte)

https://ssir.org/articles/entry/most_charities_shouldnt_evaluate_their_work1   (2a parte)

Traduzido e resumido por: Maria Cecília Prates Rodrigues


 

PRIMEIRA PARTE

A maioria das avaliações do trabalho das organizações filantrópicas é feita pelas próprias organizações, e isso representa uma perda de tempo. Talvez esta seja uma posição surpreendente para uma defensora de que o trabalho filantrópico deve se basear em evidências — mas é uma posição verdadeira, uma vez que a atividade filantrópica deve se basear em  evidências robustas e de boa qualidade, o que não espera possa ser razoavelmente produzido por muitas dessas instituições.

O que é avaliação?

Antes de comentar sobre porque a afirmativa acima é verdade, vamos esclarecer sobre o que é, e o que não é, avaliação.

O efeito do trabalho de uma organização social depende da qualidade da ideia (intervenção) que a organização usa, e quão bem ela implementa essa ideia. Tanto a ideia como a implementação precisam ser boas, para que o impacto possa ser elevado; e se qualquer uma delas, a ideia ou a implementação, for baixa, o impacto será baixo. Pense nisso como:

impacto = ideia + execução

Para ilustrar a diferença, considere um clube de café da manhã em uma escola para crianças com deficiência. A ideia é que um bom café da manhã ajude no aprendizado, evitando as distrações causadas pela fome. Já a implementação envolve ter os alimentos que as crianças vão comer, comprá-los a um bom preço, trazer as crianças, e assim por diante.

A avaliação da qualidade da implementação é relativamente fácil. Saber se as crianças estão vindo, qual é a opinião delas sobre o clube de café da manhã, quanto dos alimentos são desperdiçados, etc.? Isto é o monitoramento. É vital, e, se fornece feedback no prazo adequado para a equipe, permite que a organização melhore os seus processos e os aprimore significativamente (como discutiu Bill Gates em sua carta anual). Este monitoramento (ou ” avaliação de processo“) deveria ocorrer quase sempre, e a organização pode fazê-lo normalmente, pode fazê-lo por si mesma.

Observe, no entanto, que o monitoramento examina o desempenho de apenas uma organização; assim o monitoramento nunca (por si mesmo) lhe dirá se a instituição filantrópica funcionando em outros locais poderia ser sempre uma boa opção para o seu dinheiro — ou seja, se financiar aquela organização  é uma boa ideia.

Avaliar a qualidade de uma ideia  é bem mais difícil. Envolve investigar se um café da manhã decente contribui realmente para a aprendizagem. E isso exige isolar o efeito da intervenção de outros factores externos. Esta é a avaliação de impacto, e “avaliação se distingue do monitoramento, por seu esforço sério em estabelecer atribuição “, diz Michael Kell, economista-chefe do Serviço Nacional de Auditoria (UK).

É difícil. No nosso exemplo, nós não podemos olhar simplesmente se as crianças que frequentam o clube estão agora aprendendo melhor do que antes: talvez possa ter coincidido o início do clube com a chegada de um novo professor; ou melhor com a chegada de novos livros; ou as crianças de repente estão assistindo mais o programa “Sesame Street”. (as organizações até podem olhar para esses fatores em um estudo de pré/pós; e muitas organizações o fazem, mas elas conseguem provar pouco, ou quase nada).

Também não podemos olhar se as crianças do clube aprendem mais rápido do que aqueles que não frequentam o clube, porque é altamente provável que haverá grandes diferenças entre quem vai e quem não vai ao clube. Talvez só os piores alunos participem do clube. Para contornar isso, teríamos que fazer um experimento com controle aleatorizado. Isso levanta questões complicadas tais como se devemos “randomizar” crianças, ou escolas, ou cidades; e qual deve ser o tamanho da amostra. Mas mesmo assim não estamos fora da complicação. Talvez tenhamos que lidar com “efeitos colaterais” (benefícios para as crianças que não vão ao clube — por exemplo, aqueles que vão, agora  poderiam passar a interromper menos as aulas); e “efeitos de cross-over” (como, por exemplo,  as crianças que frequentam o clube passam a dar comida para as crianças que não vão). Estas e muitas outras são questões normais em tais pesquisas.

Daí, estabelecer atribuição — que é essencial para avaliar uma ideia — é um campo de pesquisa em ciências sociais.

 

Monitoramento é a implementação.

Avaliação é da ideia.

Logo, vemos que o monitoramento e a avaliação são exercícios totalmente diferentes, apesar do fato de que eles são muitas vezes usados como se fossem idênticos.

 

A maioria das instituições de caridade não é constituída por cientistas sociais

É razoável esperar que as organizações filantrópicas monitorem o seu trabalho: quantos trens correm, eles estão na hora certa, e o que  os passageiros pensam deles ? Como fazem as empresas que relatam  o número de unidades que elas venderam, nós também precisamos auditar esses números, mas não há normalmente nada tecnicamente difícil no monitoramento.

Por outro lado, avaliação pressupõe pesquisa em ciências sociais, e é difícil: que efeito os trens têm sobre o crescimento econômico? A maioria das organizações filantrópcias não são capazes de executar avaliações porque não têm as habilidades in-house. Podemos ver isto em uma revisão recente pela Fundação Paul Hamlyn dos relatórios que lhe foram encaminhados por suas organizações financiadas (possivelmente a única análise desse tipo): 70 por cento das evidências apresentadas por essas organizações estavam  abaixo do que a Fundação considerava como “bom”.

A boa notícia é que a maioria das instituições do terceiro setor não precisa dessas habilidades de pesquisa. Uma vez que sabemos se e quando os clubes de café da manhã funcionam — uma vez que eles já foram avaliados rigorosamente — então nós sabemos e não precisamos de avaliá-los novamente (a menos que o contexto seja muito diferente). Fazendo uma analogia médica, não esperamos que todos os hospitais sejam um local de teste. Os experimentos clínicos são feitos em algum lugar — corretamente, esperamos — e então eles são  publicados para que toda a gente possa usar os seus resultados.

Normalmente, as ideias usadas pelas organizações filantrópicas não precisam ser novamente avaliadas , porque elas já foram amplamente avaliadas. As organizações sociais — os seus financiadores e outros — podem usar, então, essas avaliações existentes para escolher as intervenções eficazes. Tudo o que as  organizações filantrópicas precisam fazer é executar bem os seus programas. Elas precisam ter habilidades para a implementação —  para gerir os clubes do café da manhã, ou os transportes comunitários ou os centros de reabilitação de drogas. Baseados na conhecida lei das vantagens comparativas, nós devemos deixar as organizações filantrópicas fazerem aquilo em que elas são melhores, e não pedir a elas para também serem boas em habilidades totalmente não relacionadas a elas, como  fazer pesquisa em ciências sociais.

 

SEGUNDA PARTE

Então  o que deve acontecer se ninguém ainda avaliou corretamente uma ideia? Se é importante, um pesquisador independente e devidamente qualificado deve avaliá-la em detalhes e em diferentes contextos para que as instituições filantrópicas e os doadores possam confiar nos seus achados. O principal jornal médico The Lancet cita um princípio da boa pesquisa clínica: “Faça uma pergunta importante e a responda de modo confiável.”

Uma implicação de ordem contracultural resulta daí. Costuma-se dizer que a avaliação de uma doação / financiamento deve ser proporcional ao tamanho da doação / financiamento. Também se costuma dizer que as avaliações devem ser proporcionais ao tamanho das instituições filantrópicas. Podemos ver agora que ambas as visões estão erradas. O objetivo da avaliação é fornecer uma resposta confiável para uma questão importante. Segue daí que o custo de uma avaliação deve ser proporcional ao tamanho da lacuna de conhecimento e da escala dos programas que vão fazer uso da resposta.

Para ilustrar, suponha que uma pequena empresa tenha desenvolvido um novo medicamento para cancer de mama. As “primeiras mulheres estudadas” envolvem apenas algumas poucas pessoas, por razões óbvias de segurança. Relativamente ao custo de distribuição da droga para aquelas poucas mulheres, quanto deve a empresa gastar para avaliar o efeito nelas? A resposta é “muito”, porque essa resposta será importante para muitas outras pessoas depois. Então, o custo do “piloto” é irrelevante. Assim também é o tamanho da empresa que executa o “piloto”.  Normalmente,  o custo de avaliar um programa de modo robusto irá exceder o custo de executar esse programa — o que é bom, se os resultados forem úteis depois para um grande público.

Em conflito

Não apenas a maioria das instituições filantrópicas não é qualificada para fazer avaliações — e não queremos que elas sejam — mas também não queremos que essas instituições avaliem o seu próprio trabalho, mesmo que elas conseguissem. Apesar da profunda compreensão do seu trabalho, as pessoas das instituições filantrópicas são as piores que se pode imaginar para avaliá-lo, porque elas são as protagonistas. Elas estão “vendendo”. Elas ficam em conflito. Portanto, é surpreendente que o estudo de Paul Hamlyn Foundation encontrou “alguns, apesar de relativamente poucos exemplos de resultados relatados com pouca ou nenhuma evidência que os comprovassem”

Não estou dizendo que as instituições filantrópicas são más ou corruptas. Não é razoável — e chega possivelmente a ser tolo — esperar que as pessoas sejam imparciais sobre seu próprio trabalho, salário ou reputação. Como CEO de uma instituição filantrópica, já vi como a “avaliação de impacto” e a captação de recursos acabam misturados: as instituições filantrópicas são encorajadas a desfilarem/preencherem os seus dados de impacto auto-gerados  em formulários para a captação de recursos. Não precisa prêmio para quem adivinhar o que acontece com os dados de impacto auto-gerados que não forem bons ou elogiosos do trabalho da organização.

Do que eu tenha conhecimento, ninguém nunca examinou o efeito desses auto-relatórios entre essas organizações filantrópicas. Mas, isso já foi feito na área médica, e se sabe que os estudos independentes produzem resultados surpreendentemente diferentes daqueles produzidos por seus protagonistas. Assim,  os estudos publicados e financiados pelas próprias empresas farmacêuticas tendem a dar resultados quatro vezes mais favoráveis à empresa do que os estudos independentes. Considera-se que cerca de metade de todos os resultados de testes clínicos não são publicados, e não é preciso ser um génio para descobrir qual a metade que pode ser.

Quem deve fazer avaliações?

Pesquisadores qualificados e independentes, como os “acadêmicos”, é que devem normalmente fazer a avaliação das ideias. Eles devem ser financiados de forma independente e como um bem público, de modo que as instituições filantrópicas, os doadores e outros possam acessar essas avaliações para decidir sobre quais ideias usarem. Não é por acaso que o Wellcome Trust, a maior organização filantrópica do Reino Unido, determina que todas as pesquisas que ela financia sejam publicadas em revistas de livre acesso .

Já as próprias organizações filantrópicas é que devem assumir o  acompanhamento da execução.

Recursos úteis e ideias para os financiadores

Os acadêmicos e outros já avaliaram bem as ideias e publicaram  os resultados encontrados. Assim, financiadores inteligentes usam esse material para evitar o financiamento de algo que já é conhecido, por ser inútil ou mesmo prejudicial. Para ser justo, muita informação disponível deveria ser mais fácil de encontrar e entender. Mas, algumas delas já estão facilmente acessíveis.

Na educação de primeiro mundo, a Fundação de Financiamento à Educação (um fundo de £ 125 milhões do governo do Reino Unido destinado a melhorar a educação para crianças de 5-16 anos na Inglaterra) tem coletado e analisado as evidências sobre as intervenções desse tipo em muitos países e criou um maravilhoso Kit de ferramentas (“menu”) que mostra a qualidade das evidências e a “força aparente” da intervenção. A Fundação está rigorosamente avaliando todas as intervenções que financia, publica os resultados e fornece o kit de ferramentas.

No desenvolvimento internacional, várias entidades publicam todos os seus achados de avaliação. Dentre elas se incluem o Abdul Latif Jameel Poverty Action Lab do MIT (J-PAL) e   Innovations for Poverty Action  , que já fizeram em torno de 400 avaliações de  impacto. Além disso, o banco de dados da  International Initiative for Impact Evaluation  (3ie) inclui mais de 600 avaliações de impacto, bem como revisões sistemáticas de todas as evidências em determinados tópicos. As recentes revisões sistemáticas focaram nos pequenos agricultores, corte genital feminino e teste de HIV.

Em saúde, The Cochrane Collaboration usa uma rede de mais de 28.000 médicos em mais de 100 países para a produção de revisões sistemáticas de muitos tipos de intervenção. Seu banco de dados já possui mais de 5.000 dessas revisões, incluindo alguns relativos aos cuidados de saúde em desastres e situações de emergência 

Várias universidades têm centros que produzem e publicam tais pesquisas. Um exemplo é o da Universidade de Oxford, o Centre for Evidence-Based Intervention que aborda problemas sociais e psicossociais.

O novo  What Works Centres , do governo do Reino Unido, irá criar bibliotecas de evidências sobre crime e policiamento, envelhecimento e diversos outros setores nos quais operam as instituições filantrópicas e doadores do Reino Unido.

Estes são os recursos para uso gratuito. São utilizados pelas instituições filantrópicas e os doadores inteligentes. E eles publicam as suas próprias avaliações — com detalhamento metodológico — para que outros possam aprender com eles. É essencial que o trabalho das instituições filantrópicas seja corretamente avaliado para que os recursos possam fluir para as melhores. Isso significa que pessoas adequadamente competentes e independentes devem avaliar o trabalho dessas instituições filantrópicas,  somente quando for necessário.

 

 

TAGS
RELATED POSTS

LEAVE A COMMENT

MARIA CECÍLIA PRATES RODRIGUES
Rio de Janeiro - Brasil

Maria Cecília é economista e mestre em economia pela UFMG, e doutora em administração pela FGV /Ebape (RJ). A área social sempre foi o foco de suas pesquisas durante o período em que esteve como pesquisadora na FGV , e depois em seus trabalhos de monitoria, consultoria, pesquisa e voluntariado.