Autor: James Noble, NPC
Em: http://www.thinknpc.org/blog/why-charities-should-collect-less-impact-data/ (14/08/ 2015)
Traduzido e resumido por: Maria Cecília Prates Rodrigues
Eu trabalho na equipe de Medição e Avaliação da NPC, e então pode parecer estranho que eu esteja defendendo menos dados de impacto. Mas enquanto nós, da NPC, acreditamos nos benefícios da boa medição de impacto no terceiro setor, também acreditamos na maior importância da qualidade sobre a quantidade, e achamos que a coleta de dados deve se centrar sobre o que precisamos saber para lidar com as questões sociais, ao invés das necessidades individuais das organizações.
Para explicar melhor o que eu quero dizer, é útil voltar à questão do porque utilizamos o nosso tempo ajudando as organizações a saberem usar as evidências. Em última análise, isso está relacionado a fazer com que as organizações possam ter um impacto cada vez mais positivo sobre os seus beneficiários. Nós acreditamos que as evidências ajudam, pois são as evidências que vão contribuir para que a prestação dos serviços possa ser planejada e executada de acordo com o entendimento sobre o ‘que funciona, para quem, e em que circunstâncias’ — e também porque são as evidências que ajudam a fazer com que o financiamento possa ser direcionado justamente para aqueles serviços com maior potencial de ajuda.
Esta “utopia das evidências” é muitas vezes representada por analogia ao setor médico, que tem uma longa tradição de coleta e utilização das evidências. Eu defendo que nós devemos nos inspirar no espírito “pesquisador” do setor médico; no modo como todos os profissionais da área são encorajados a testar, aprender e desafiar os resultados. Porém, em certos aspectos a analogia é inadequada: nossas metodologias nunca fornecerão os níveis de certeza e replicabilidade da área médica, e nós nunca teremos também o mesmo nível de financiamento para as pesquisas.
No sector caritativo (filantrópico), nós temos que ser mais realistas sobre como pode ser um bom sistema de evidências . Conforme descrito em nosso estudo recente sobre evidências no setor da justiça criminal, identificamos seis ‘ingredientes’ para o uso eficaz das evidências:
- Serviços baseados em boas teorias da mudança que reflitam as pesquisas acadêmicas e as evidências mais recentes.
- Os fornecedores (dos serviços) coletando e analisando as informações certas para poderem monitorar o seu desempenho, incluindo o acesso aos dados dos resultados provenientes de fontes oficiais como o Laboratório dos Dados da Justiça
- Uma linguagem comum para os resultados intermediários e as medições para o sector, incluindo abordagens-padrão que possam ser usadas por organizações em diferentes contextos.
- Financiadores que optem por financiar os serviços com base em evidências.
- Uma cultura com abertura para a publicação de resultados e o aprendizado com o trabalho entre as organizações.
- Menos avaliações, porém com qualidade superior, especialmente focadas em serviços inovadores que possam nos ajudar a aprender algo de novo.
O último destes pontos nos remete para a questão central deste blog. Incomoda-me que tantas instituições de caridade coletem dados para mostrar que elas fazem a diferença, enquanto “conspicuamente” falhamos em acumular e compartilhar esse conhecimento da forma como os profissionais da área médica fazem. Na minha opinião, isso ocorre porque os estímulos estão errados. As organizações se sentem compelidas a coletar dados de impacto para validarem o seu próprio trabalho e convencerem os seus financiadores a continuar a lhes dar dinheiro — com isto, elas ficam presas em um ciclo de auto-justificativa e de coleta de dados sem sentido (chamamos a isto de “desfile da beleza‘).
Uma solução poderia ser as organizações dividirem os seus requisitos de evidências em duas questões distintas:
- Qual é a evidência para a coisa que nós fazemos?
- Nós entregamos essa coisa efetivamente?
Para responder a essa primeira pergunta é que precisamos fazer menos estudos e de maior qualidade, que são publicados e divulgados livremente. Idealmente, não é uma pergunta que a organização filantrópica, individualmente, se coloque para si mesma. Ao invés disso, elas deveriam se ver como que oferecendo um modelo de serviço, e então trabalharem junto com outras organizações oferecendo modelos semelhantes para, de modo colaborativo, testarem a sua eficácia e acordarem a melhor maneira para se aprimorarem.
Para responder à segunda questão, as instituições filantrópicas deveriam fazer uma coleta limitada dos dados de rotina, para ajudar a verificar a qualidade dos serviços e o comprometimento dos seus usuários, de modo a garantir aos financiadores que eles estão fazendo um bom trabalho. Note que isto não se trata de impacto; pois se você já conhece que o modelo de serviço funciona, então você não precisa testá-lo novamente e novamente .
Em última análise, essa forma de pensar deve conduzir a uma menor quantidade de dados de impacto a serem coletados, e os dados que forem coletados devem estar mais focados em questões que ajudem aos beneficiários ao invés das necessidades percebidas nas organizações individualmente.
