Na semana passada assisti ao lançamento do 2º Relatório de Efetividade do BNDES (Banco Nacional de Desenvolvimento Econômico e Social). Pude constatar que os desafios de implementação da avaliação dos projetos sociais do BNDES são praticamente os mesmos que vêm enfrentando as organizações do terceiro setor. Pode parecer estranho fazer esse tipo de comparação entre um grande banco de desenvolvimento ligado ao governo federal e as organizações que compõem o setor filantrópico em nosso país, que são bastante heterogêneas em tamanho, recursos e governança.
O Relatório está disponível para download no site da instituição. Particularmente aos interessados nas questões metodológicas da avaliação, recomendo a leitura dos capítulos da Introdução, ´Um Sistema de Promoção de Efetividade para o BNDES`, e ´O que são e Revisando as Avaliações de Impacto do BNDES`.
Monitoramento e Avaliação (M&A) no BNDES
Interessante observar que foi (só) a partir de 2016 que a avaliação no BNDES ganha uma abordagem sistêmica, e não mais pontual. Assim, foi criado um departamento específico (o DEAPE – Departamento de Avaliação e Promoção de Efetividade); e foi feito também o (re)desenho de suas práticas de M&A, o chamado Sistema de Promoção da Efetividade (SPE), com a definição de conceitos, ferramentas e processos internos no Banco. A intenção explicitada é que “a atividade do monitoramento e avaliação dos resultados da atuação do BNDES busque potencializar a geração de desenvolvimento econômico e social no país a partir dos projetos apoiados”.
Importante ressaltar que o novo sistema de M&A do BNDES está baseado no método do marco lógico, ou seja, no planejamento do projeto que leva em conta a cadeia hierárquica de objetivos a serem atingidos, dentro de uma relação de causa-e-efeito, quando são definidos os indicadores, a situação pré-projeto (ou marco zero) e a situação desejada pós-projeto. (fig.1)
Fig. 1 – O uso do marco lógico no sistema de M&A do BNDES
Fonte: BNDES, Entenda os conceitos adotados pelo BNDES
O critério da eficácia é definido pelo BNDES como o grau de cumprimento das entregas (produtos e serviços) previstas em um determinado projeto de apoio financeiro. Suponha um projeto elétrico apoiado pelo banco, um indicador de eficácia seria, por exemplo, o aumento na rede de transmissão de energia elétrica, em Km.
Já o critério da efetividade é definido como o grau de atingimento dos efeitos esperados do projeto para o público-alvo, em termos do desenvolvimento econômico, social, ambiental e/ou institucional. Na medição do impacto, o que se faz é isolar a causalidade da ação do banco, ou seja, a parcela dos efeitos totais detectados que pode ser atribuída exclusivamente ao BNDES – ou seja, sem o apoio do banco, tais efeitos não teriam ocorrido. Continuando com o exemplo anterior, um indicador de efetividade seria o número de domicílios que passou a ter acesso à energia elétrica, e que antes não tinha. Para estimar o impacto, haveria que se descontar, usando modelos econométricos, desse aumento total havido no número de domicílios, o aumento que fosse decorrente dos outros fatores atuando em simultâneo, tais como a ação de outros parceiros, o crescimento populacional e as alterações havidas na ocupação populacional do território.
Essa nova metodologia do BNDES, o SPE, prevê que toda operação de apoio financeiro que for contratada pelo BNDES (com exceção, por enquanto, das operações automáticas) deve se submeter a uma avaliação ex-ante, que é quando é feito o diagnóstico inicial da situação encontrada, e acordados os objetivos pretendidos, com a definição dos indicadores de efetividade, de eficácia e eficiência, e as metas a serem alcançadas. Ao final do projeto, está prevista a avaliação ex-post, para identificar se os objetivos pretendidos foram alcançados, sem a pretensão por enquanto de isolar a causalidade (ou medir o impacto).
Para apoiar essas etapas do planejamento e do M&A dos projetos do banco, foram elaboradas duas ferramentas de base qualitativa, que são o Tiip e o QR. A Tiip (Tese do Impacto de Investimento em Projetos) é uma metodologia de análise ex-ante de projetos baseada na tese do impacto esperado; e no caso do banco, concebida segundo 5 dimensões: economia nacional, regional, social, ambiental e cliente. A Tiip possibilita a reflexão preliminar para a elaboração posterior dos QRs (Quadros de Resultado) por projeto, com a definição dos seus objetivos, valor do financiamento, indicadores e respectivas metas. Assim, o QR por projeto é que vai servir de referência para o monitoramento e a avaliação de resultados.
Quanto às avaliações de impacto dos projetos, por terem alto custo e longo prazo de execução, a intenção do banco é que elas sejam utilizadas “de modo seletivo”, apenas para as questões estratégicas ou intervenções de caráter inovador. Na maior parte das vezes, serão contratadas instituições acadêmicas especializadas para a sua realização.
Outro aspecto importante, destacado no Relatório, é a inserção estratégica do M&A para a atuação do banco. Haja vista que o departamento de M&A, o DEAPE, já nasce dentro da Área de Planejamento Estratégico do banco. A função do departamento não é realizar as atividades de M&A para as áreas operacionais, mas sim atuar em parceria com essas áreas, na condução das atividades de monitoramento e avaliação dos seus projetos. O DEAPE terá também a função de realizar diretamente as avaliações de impacto, ou contratá-las externamente. Ademais, ainda terá como atribuição a comunicação dos resultados das avaliações para dentro do BNDES e para fora, isto é, para a sociedade como um todo.
Desafios de avaliação semelhantes: BNDES e as organizações do terceiro setor
Fazendo inicialmente um parêntesis, vale lembrar que na literatura sobre avaliação social, não há uma conceituação única para os critérios de eficácia e efetividade. Daí, inspirada em uma ala de avaliadores do BID (Banco InterAmericando de Desenvolvimento) e visando a simplificação da terminologia, no Manual de projetos sociais para o terceiro setor (que escrevi) eu adotei o termo eficácia para caracterizar o grau de alcance de cada um dos objetivos planejados para o projeto (no marco lógico) – seja para os diferentes níveis de objetivos de resultado, ou seja também para os objetivos de processo. Nesse caso, haverá que se explicitar, por exemplo, que um dado projeto foi bastante eficaz (90%) no cumprimento dos seus objetivos de produto, porém teve eficácia moderada (50%) no atingimento dos seus objetivos de resultados de médio prazo.
Passo, a seguir, a enumerar alguns dos desafios a serem enfrentados pelo novo sistema de M&A do BNDES, detectados do próprio Relatório ou que foram apontados pelos debatedores durante o seminário do seu lançamento. E, como pude perceber (e tenho discutido em meus textos), são também desafios comuns, hoje em dia, à maioria das organizações do terceiro setor no Brasil, pequenas ou grandes:
- Nem sempre há um ambiente propício à realização da avaliação ex-ante, ou avaliação de marco zero. Nas organizações do terceiro setor, isso ocorre porque, na fase antes do projeto ser aprovado, ainda não há financiamento disponível para realizar a pesquisa do diagnóstico inicial. No BNDES, porque, por sua característica de órgão executor, não raras vezes a intervenção já chega com o carimbo do “cumpra-se a liberação do recurso”. E, se não há a identificação inicial quanto ao tamanho e às características do problema social, não há como definir bons objetivos de resultado e metas, compatíveis com as necessidades e os recursos disponíveis.
- Não raras vezes, o M&A é percebido como atividade de controle e fiscalização pelas equipes executoras dos projetos. Embora, esse novo sistema do BNDES (SPE) proponha interação e sinergia entre o DEAPE e as áreas operacionais, essa sintonia não é trivial: há o viés natural da autoavaliação (o querer aparecer “bem na foto”), levando a área executora a subestimar metas e sobrestimar desempenhos. Para superar esse viés, é preciso de fato incorporar a mentalidade da avaliação como ferramenta de gestão para as áreas operacionais, e não como meio para julgar o desempenho de uma área do banco comparativamente às demais.
- Dificilmente há o diálogo entre as avaliações de impacto, com base em metodologias tipo experimental, e a realidade das organizações. A principal razão é que as equipes executoras não entendem a linguagem acadêmica adotada nesses estudos e, daí, não vêm utilidade nos seus achados: tanto tempo e tantos recursos dispendidos para simplesmente informar, com determinada margem de erro, se o projeto foi positivo, neutro ou negativo. Como é a intenção desse novo sistema de M&A do BNDES, há que se repensar o papel das avaliações de impacto nas organizações (que deve ser estratégico e complementar às “avaliações sistemáticas”), e ser usado com bastante parcimônia.
- Assim como o BNDES, também as organizações do terceiro setor precisam ainda desenvolver um bom sistema de indicadores de resultado (efetividade), padronizados por segmento de atuação social e que operacionalizem os muitos conceitos abstratos envolvidos. Não é tarefa fácil. Na medida em que viermos a ter métricas válidas e confiáveis, todos poderão falar a mesma língua (a dos indicadores padronizados e compartilhados), o que vai facilitar sobremaneira o diálogo entre agentes financiadores e instituições executoras e o entendimento dos diferentes desempenhos.
- É bastante comum ver os muitos registros administrativos, que são coletados para cada usuário individualmente, se perderem no “porão dos dados” das organizações. O que ocorre é que os dados já vêm sendo coletados e estão disponíveis nessas instituições, porém não estão organizados e sistematizados em uma base de dados que, por si só, já permitiria fazer o monitoramento e a avaliação dos resultados imediatos dos seus projetos. Ou seja, na maior parte das vezes os dados já existem, porém não podem ser úteis ao aprendizado organizacional
