Em projetos sociais os resultados estão quase sempre associados a resultados intangíveis, subjetivos e abstratos, do tipo: crianças saudáveis, adolescentes com autoconfiança, autoestima de idosos, jovens capacitados para o mercado de trabalho, comunidade engajada, famílias ajustadas, empreendedores bem sucedidos, e por aí vai….. Em projetos sociais alcançar esses resultados intermediários são etapas necessárias e imprescindíveis que devem contribuir para o alcance do impacto final pretendido de transformação na vida das pessoas atendidas.
O problema é que até hoje no Brasil ainda não se tem clareza metodológica sobre como medir esses conceitos tão amplamente adotados na área social, que seja confiável e capaz de captar (ser sensível a) os avanços conseguidos. Então, se não há essa clareza – e aqui me refiro sobretudo à grande maioria das organizações do terceiro setor – como conseguir PLANEJAR bem os projetos sociais. Ou seja, como explicitar O QUE queremos mudar? E como saber depois se o que fizemos conseguiu, de fato, chegar AONDE queríamos – ou seja, AVALIAR se as iniciativas conduzidas foram válidas, eficazes e eficientes?
Fazendo um paralelo, no caso dos projetos econômicos a situação é bem distinta. Primeiro, porque os resultados desses projetos são baseados normalmente em itens concretos e objetivos, de produção e vendas, com impactos na “saúde financeira” da empresa. E segundo, ou porque são conceitos fáceis de serem medidos, ou quando não (são fáceis), já há um conhecimento padronizado adquirido nesse campo, o que possibilita um entendimento único e comparável dos resultados encontrados.
Medição compartilhada: uma prática que deveria ganhar força no Brasil
No Reino Unido e EUA desde 2003 – Em 2017 escrevi um artigo (Avaliação compartilhada: uma prática que pode valer a pena) em que eu descrevia os esforços que já vinham sendo feitos desde 2003 por organizações think-tanks no Reino Unido (como a New Philanthropy Capital – NPC, ou a Triangle /Outcomes Star) e nos Estados Unidos (FSG) para construírem sistemas de indicadores “de prateleira” (do inglês, off-the-shelf tools) que pudessem ser compartilhado por organizações do terceiro setor (charities).
No Reino Unido, organizações sociais trabalhando em uma mesma área-fim (por exemplo, educação de adolescentes em situação de vulnerabilidade) estavam se unindo, capitaneadas por alguma organização think-tank como a NPC, para desenvolverem um sistema comum de avaliação de resultados. Nesse sentido, os conceitos abstratos relacionados a objetivos de resultados (por exemplo: autoestima), adotados por organizações trabalhando com públicos semelhantes, foram sendo operacionalizados nos mesmos indicadores ou escalas.
Feita a operacionalização dos conceitos, as demais ferramentas para medição também começaram a ser desenvolvidas em comum (é claro, com apoio de uma equipe especializada) – tais como a construção dos questionários, a estratégia para a sua aplicação, o sistema de base de dados (que pode ser online) e o referencial para análise dos dados coletados.
No Brasil, uma tentativa prematura – No período em que atuei no Programa da POS (Parceria com Organizações Sociais) da Fundação Dom Cabral – FDC (hoje denominado Pilaris), quis começar a difundir essa ideia das ferramentas de prateleira (Avaliação de projetos sociais no terceiro setor: uma agenda em construção, seção iv), mas percebi que o terreno precisava antes ser melhor trabalhado.
Então, no Manual que elaborei para apoiar o trabalho junto às organizações sociais participantes do Programa – Manual de Planejamento e Avaliação de Projetos Sociais para Organizações Sociais – comecei por introduzir alguns instrumentos que pudessem funcionar à maneira de “ferramentas de prateleira”. Esses instrumentos ou eram conceitos abstratos já devidamente operacionalizados e validados, ou eram resultantes do trabalho de monitoria com algumas dessas organizações, ou então foram desenvolvidos durante as avaliações de projetos sociais que realizei. Só para exemplificar, veja alguns dos instrumentos que estão no Manual:
- Conceito: Autoestima (escala de Rosenberg), pág. 40-42 do Manual
- Conceito: Impulsividade de adolescentes (escala de Barrat), p.66
- Conceito: Ser cuidadoso com o meio-ambiente / Avaliação de projeto de apicultura (pág. 67-68)
- Conceito: Bem-estar de crianças e adolescentes, entre 11-16 anos (NPC), Pág. 197-205
- Marco lógico: Projeto de qualificação digital, Instituto Ramacrisna (pág. 207-210)
- Questionário: Preparação de jovens (16-18 anos) para inserção no mercado de trabalho, Associação Projeto Providência (pág. 226 – 230)
A intenção de compartilhar esses instrumentos no Manual foi a de poder inspirar e permitir “queimar etapas” no planejamento e avaliação em organizações (que lessem o Manual) trabalhando com projetos sociais semelhantes.
Medição compartilhada: o caso da ferramenta Outcomes Star
Como surgiu? – Outcomes Star (traduzido ao pé da letra: Estrela de Resultados) é uma ferramenta para medir e apoiar as mudanças / resultados, que foi criada e desenvolvida pela Triangle Consulting Social Enterprise do Reino Unido. A Triangle, fundada em 2003, se define como “uma empresa inovadora, guiada por uma missão social que é a de apoiar os provedores de serviços sociais a transformarem vidas de pessoas vivendo em situação de vulnerabilidade social, traumas, deficiências ou doenças, por meio da criação e o uso correto de ferramentas que engajem e promovam abordagem facilitadoras”.
A primeira versão do Outcomes Star começou como uma demanda (em 2003) da St Mungo`s, uma organização social voltada para o atendimento de moradores de rua, que queria avaliar os resultados do seu trabalho. A ferramenta acabou ganhando tração a partir da constatação de sua aplicabilidade também junto a outras organizações do Reino Unido que atendiam moradores de rua. Foi quando a Triangle, então, avançou naquele protótipo inicial, por meio do desenvolvimento da chamada “jornada da mudança” (do inglês, the Journey of change), das escalas de medição adequadas tanto para os usuários dos serviços (ou clientes) como para os provedores do serviço (ou colaboradores dessas organizações executoras), e do Guia com as orientações para a implementação do instrumento. Assim, em dezembro de 2016 surgia a primeira versão da Outcomes Star, com o foco em moradores de rua.
O que é a ferramenta? Conforme explicado no site, cada versão da Outcomes Star compreende um conjunto de escalas apresentadas de modo amigável e acessível em formato de uma estrela (figura), em que cada escala (ou cada ponta da estrela) representa uma dimensão relevante do resultado pretendido. Cada escala é explicitada em estágios (que podem ser 5 ou 10), sendo cada estágio cuidadosamente definido, de modo a caracterizar cada uma das etapas necessárias para promover a mudança sustentável na vida das pessoas atendidas. A ideia é que a ferramenta seja aplicada pela equipe da organização em cada usuário do serviço, desse modo permitindo visualizar e analisar com clareza a “jornada da mudança”: onde se está no percurso, os resultados alcançados (e os não alcançados), e as evidências do que precisa ser trabalhado.
Feitas sob medida para diferentes setores sociais, as versões da Outcomes Star são desenvolvidas em colaboração com os usuários dos serviços e os prestadores dos serviços nas organizações sociais executoras. No Reino Unido a ferramenta já é adotada tanto em organizações filantrópicas (as “charities”) como em órgãos do governo, sejam eles locais ou nacionais, como também em outros países da Europa, Ásia e também na Austrália e Estados Unidos
Para se ter uma ideia sobre a composição de cada versão da Outcomes Star, recomendo uma visita à página do site “Preview the Stars Resources” que apresenta uma demonstração (em inglês, preview) dos recursos da ferramenta para cada uma das diferentes versões. Por exemplo, a versão do Work Star (Star “Trabalho e Emprego”) já está em sua 3ª edição, haja vista as atualizações e melhoramentos feitos no instrumento. Essa versão conta com o demonstrativo do Guia do usuário (User Guide preview), onde estão listadas as 7 dimensões (ou escalas) contempladas no setor Trabalho e Emprego, sendo apresentadas algumas dessas escalas adotadas (vale a pena olhar para entender melhor como a ferramenta é estruturada!) . Já no demonstrativo do Guia para a equipe executora (Guidance for Workers preview) estão dadas as orientações para a aplicação do instrumento.
Quais os setores já contemplados? Atualmente já existem 16 setores (ou áreas sociais de atuação) contemplados pela ferramenta Outcomes Star com 50 versões publicadas. Os setores são: Educação, Trabalho e emprego, Famílias e Crianças, Jovens, Saúde, Moradia e Sem-teto, Comunidade, Uso de drogas, Saúde mental, Refugiados, Justiça criminal, Abuso doméstico, Desastres naturais, Forças armadas e veteranos, Cuidadores de adultos, e Autismo /TDAH.
Outcomes Star é uma ferramenta em constante evolução, seja pela inclusão de novos instrumentos (dentro de um mesmo setor já existente, ou para compor um novo setor) ou então pela atualização/aprimoramento de versões já existentes. E sempre em colaboração com organizações executoras do serviço, universidades, instituições especializadas, e financiadores.
Como interagir com a ferramenta? – Basicamente há duas maneiras. Primeiro, na condição de organização colaboradora no desenvolvimento de uma nova versão da Outcomes Star. Isto ocorre quando a organização social percebe a necessidade de um novo instrumento para orientar a condução do seu trabalho, que ainda não existe na “prateleira” das (versões) Outcomes Star. Daí essa organização pode colaborar com a Triangle na co-criação ativa do novo instrumento, e também por meio de financiamento direto ou via captação de recursos. Em média, o desenvolvimento de uma “nova Star” custa 30.000 libras (aprox. R$ 180 mil).
A segunda maneira de interagir é na condição de organização usuária da ferramenta. Como a Triangle é detentora dos direitos autorais da ferramenta, é preciso que a organização adquira a licença de uso. Atualmente o preço mínimo de uma licença anual está em 250 libras (aprox. R$ 1,5 mil) por organização, com direito ao uso de 1 pessoa na organização, incluindo: acesso a todas as versões já publicadas, inclusive com a utilização online; e o suporte permanente da equipe da Triangle para implementação e uso da ferramenta além do acesso às atualizações que forem sendo feitas.
Como usar a ferramenta? – A equipe Triangle é enfática em recomendar que, antes de mais nada, é fundamental que a organização social identifique, primeiro, se a abordagem da ferramenta Outcomes Star como um todo é adequada ao trabalho que a organização social realiza. Só depois, busque identificar qual(is) das versões disponíveis da “família” Outcomes Star pode (m) ser aplicada(s) ao seu serviço / projeto, que será função dos resultados pretendidos.
Assim, para o uso de qualquer versão da Outcomes Star, a pré-condição é que o modo de trabalhar da organização social usuária seja coerente com os princípios e a proposta em si da ferramenta. Porque se eles não forem compatíveis, o uso do instrumento perde a sua força e razão de ser para a organização. Assim, cinco condições (ou necessidades de gestão) da organização devem estar presentes para o uso da ferramenta se justificar:
- Se a organização precisa ter um acompanhamento regular e individual dos usuários do serviço / projeto;
- Se a organização precisa medir resultados / avanços como parte de um serviço / projeto em andamento, ao invés de pesquisas ocasionais;
- Se a organização precisa medir progresso em diferentes dimensões (as pontas da Star); e aqui lembro (como dito no início) que um conceito abstrato é operacionalizado em suas diferentes dimensões;
- Se a organização precisa medir resultados ao longo da “jornada da mudança”, e não apenas ao seu final;
- Se a organização precisa usar os dados coletados para aprender e melhorar o serviço prestado.
Desafio: por que não desenvolver um sistema (parecido) Outcomes Star para o Brasil?
Quem olha superficialmente vai tender a pensar que Outcomes Star representa um conjunto de conceitos abstratos, que correspondem aos diferentes resultados pretendidos em projetos sociais, que foram tangibilizados e devidamente validados. E que estão na “prateleira” da Triangle, prontos para serem “consumidos”, ou utilizados, por organizações do terceiro setor cujos projetos sociais tenham objetivos de resultado semelhantes.
Se fosse (só) isto, já seria útil para as organizações sociais no Brasil, uma vez que o instrumento poderia ser aplicado (pelo menos) antes de iniciar o projeto social (momento zero) e ao final dele, dessa forma medindo os efeitos diretos do projeto junto aos seus usuários, em termos de mudanças de atitudes, percepções ou comportamentos.
Mas, como vimos, a ferramenta Outcomes Star da Triangle vai muito além do que a operacionalização de conceitos abstratos: apoia as organizações sociais na identificação da versão mais adequada (ou se nenhuma versão é adequada), no modo de aplicar / implementar o instrumento, e também como sistematizar as informações em proveito da própria organização para (re)planejar as suas ações e prestar contas aos seus diferentes stakeholders. Ou seja, a ferramenta Outcomes Star é um sistema abrangente de apoio à organização social, para que ela possa se concentrar em sua atividade-fim, que é a de atender aos seus usuários sempre com o foco em resultados.
Então, bastaria que as organizações sociais NO BRASIL comprassem os direitos de uso das diferentes versões da Outcomes Star que lhes fossem adequadas, fizessem a tradução para português, tudo sob a supervisão on line de uma equipe Triangle? Como, aliás, já vem sendo feito em outros países da Europa, Ásia e também nos Estados Unidos.
Pode ser. E já seria um avanço, pois estaríamos começando a trilhar na direção das ferramentas de prateleira. Foi o que naquela época eu quis começar a fazer na Fundação Dom Cabral (FDC).
Outra opção seria construirmos aqui no Brasil uma ferramenta aderente às especificidades dos projetos sociais no Brasil em seus diferentes setores – como foi a Outcomes Star para o Reino Unido. Será que faz sentido, ou seria “reinventar a roda”? Temos know how adquirido no Brasil para desenvolvermos esse tipo de ferramenta – que envolveria conhecimento profundo de como a realidade social funciona em cada tipo de contexto, de estatística, de análise de dados, de tecnologia da informação, e por aí vai…? Teríamos como financiar esse desenvolvimento de ferramentas de planejamento e avaliação de projetos sociais?
Fica aqui o desafio para avançarmos nessa direção das ferramentas de prateleira. Não apenas para as organizações do terceiro setor no Brasil. Mas para todo o ecossistema de impacto social, envolvendo tanto organizações com e sem fins lucrativos no país.
