Tive o prazer de ser convidada recentemente para o lançamento do livro (em português) de Michael Scriven “Avaliação: Um guia de conceitos”, realizado aqui no Rio de Janeiro. Sem dúvida, Scriven é uma das maiores referências internacionais no campo da avaliação, e o original em inglês do livro (Evaluation Thesaurus) já está em sua 4ª edição.
Um dos propósitos da obra é “servir como guia para o novo campo da avaliação de programas”, que surge a partir dos anos 1960 nos EUA. Como explica o autor, a Avaliação em si é uma prática antiga, abrangente e transdisciplinar. Antiga porque, consciente ou inconscientemente, nós estamos o tempo todo fazendo avaliação em nossas vidas. Abrangente, porque inclui os mais diferentes campos, como a avaliação de produtos, de pessoal, políticas, de desempenho e propostas, e a (própria) avaliação de programas. E transdisciplinar, porque em razão do seu caráter instrumental, perpassa várias outras áreas do conhecimento.
O outro propósito de Scriven com a obra foi o de ir aos poucos construindo e consolidando, ao longo de sua trajetória acadêmica, um campo de conhecimento da avaliação de programas como disciplina específica. Assim, a primeira edição do livro surgiu em 1966, a partir de impressos que ele distribuía para os seus alunos na Universidade de Berkeley (EUA) contendo os significados dos termos técnicos que começavam a ser gerados.
Atualmente, essa nova versão do livro tem mais de 2 mil verbetes, incluindo uma grande variedade de conceitos, terminologias, modelos, técnicas e desafios relacionados à avaliação de programas, apresentados sob o formato de um dicionário, isto é, por ordem alfabética.
Nem todos os verbetes estão apresentados de forma isenta
Porém, diferente de um dicionário, o livro é coerente com uma determinada abordagem avaliativa, que é a da Avaliação baseada no Consumidor e livre de Objetivos. Scriven defende essa abordagem como sendo a melhor estratégia avaliativa. De modo algum, essa tomada de posição desmerece a obra. Isso ocorre comumente em diversos campos de conhecimento (nas ciências sociais, ciências políticas, filosofia, etc…), sobretudo naqueles em que não existe apenas uma única maneira de entender os fatos, mas diferentes olhares. Mesmo porque essa tomada de posição é necessária para possibilitar o desenvolvimento consistente do conhecimento na disciplina, e o estabelecimento dos seus pressupostos básicos.
Daí porque é importante chamar a atenção para a forma diferenciada com que alguns conceitos e temas são apresentados ao longo do livro. Um bom exemplo é a conceituação para os verbetes “avaliação baseada em objetivos” e “avaliação baseada no consumidor”:
Avaliação baseada em objetivos – Qualquer tipo de avaliação baseada nas metas e objetivos do programa, pessoa ou produto. ….. A avaliação baseada em objetivos é defectiva (defeituosa) …. O ponto forte da abordagem é inversamente relacionado à medida que as metas são usadas como padrões de mérito (valor). As metas nada têm a ver com o mérito, apenas com o monitoramento pela gestão. A avaliação de programas rigorosa deve cavar fundo em busca dos fatos fundamentais que determinam o mérito – os fatos relacionados a necessidades, desempenho e processo, – e contornar o pântano de retórica de metas e objetivos. …. O problema é que a avaliação de programas foi – e ainda é – instigada ou controlada por gerentes, e não por consumidores. Os gerentes pensam em termos do sucesso de seus planos, e a avaliação baseada em objetivos, consequentemente, tende a ser avaliação voltada ao gerente, muito próxima do monitoramento, e muito distante da avaliação voltada ao consumidor – avaliação livre de objetivos. (pgs. 124/125)
Avaliação baseada no consumidor – Abordagem para a avaliação de um programa que começa com e se concentra no impacto sobre o consumidor ou clientela, ou – para ser mais exato – em toda a população impactada. Ela pode ou não ser realizada sem objetivos, embora esta seja claramente a metodologia de escolha da avaliação baseada no consumidor. Ela empreende um esforço peculiar para incluir a identificação de populações não alvo que sejam impactadas, os efeitos não pretendidos, os custos ocultos ao consumidor e à sociedade…. Grande parte da história da avaliação na era moderna (os últimos 25 anos) é a história do movimento no sentido contrário ao viés da gestão (modelo de alcance de objetivos) para um modelo baseado no consumidor. (p.126)
(nessas citações, os grifos e os parêntesis foram acrescentados por mim)
Dos verbetes apresentados acima, fica clara a preferência de Scriven pela avaliação baseada no consumidor, livre de objetivos pré-definidos e centrada nas necessidades de toda a população impactada (seja público-alvo ou não). Para ele, a avaliação baseada em objetivos é enviesada nos interesses dos gerentes, e não foca nas necessidades dos clientes. E a avaliação baseada no consumidor representa nitidamente uma forma avaliativa superior.
Scriven não esconde esse seu viés em favor da avaliação baseada no consumidor, e já no prefácio ele faz a seguinte advertência:
Alguns podem considerar determinados verbetes demasiado tendenciosos para um livro de consulta, mas a intenção é fornecer referências à avaliação a partir de uma perspectiva específica, e isso necessariamente acarreta críticas de outras visões. Se o unilateralismo parece desqualificar o livro enquanto referência, podemos, então, vê-lo como um texto muito curto – o ensaio introdutório “A Natureza da Avaliação” acrescido de um extenso glossário comentado (p.20)
Então, para quem o livro deve ser recomendado?
Scriven recomenda a leitura do livro (p.21-22) para os profissionais dos mais diversos campos e para o público em geral que quer se manter bem informado. Ele também sugere o uso do livro como texto suplementar para os instrutores que desejam usar um texto principal mais convencional. Ou então, usá-lo como texto principal – ele diz que ele próprio usou o livro dessa maneira com os seus 2 mil alunos de doutorado, sempre começando pelo verbete “ Lista-Chave de Verificação de Avaliação” (p.335-343), que é associado à avaliação baseada no consumidor.
Todavia, eu NÃO recomendaria o livro para os gestores das organizações do terceiro setor. E por uma razão principal. Essas organizações são, por um lado, pequenas e limitadas em termos de recursos; e, por outro lado, estão comprometidas, perante os seus financiadores e apoiadores em geral, com os objetivos que planejaram atingir (as metas ou rubricas avaliativas), seja em termos de resultados ou do plano de ação. Para essas organizações, a avaliação de programas baseada em objetivos funciona, sim, como uma ferramenta importante de gestão, e é bom que continue sendo assim.
É evidente que parte integrante da própria avaliação baseada em objetivos é a identificação da adequação dos objetivos do programa (seja de resultados e de processo) às necessidades iniciais do público-alvo, tendo em vista as expertises e as possibilidades da organização. Embora não tenha sido planejado no início, uma boa avaliação baseada em objetivos deverá também ser capaz de identificar os efeitos colaterais relevantes do programa junto a públicos não-alvo, e de incorporá-los à estratégia avaliativa da organização que, antes de mais nada, deve ser dinâmica e ir se moldando às alterações do contexto.
Para uma organização do terceiro setor não faz sentido começar um processo avaliativo livre de objetivos guiado pelas necessidades dos clientes. A menos que seja uma “avaliação de marco zero” para orientar o planejamento do programa da organização. Já no caso de políticas públicas, a avaliação baseada nos consumidores pode fazer certo sentido, pois apesar das necessidades amplas e abrangentes da população, o compromisso dos governos é em captar e atender a todas elas, segundo uma atuação orquestrada e sinérgica de suas diferentes esferas.
CONCLUINDO, para quem já é iniciado em avaliação de programas e já desenvolveu uma certa visão crítica do campo avaliativo, recomendaria ter o livro à mão para fins de consulta. Aos não-iniciados, recomendaria antes a leitura de um livro básico e de outros textos mais adaptados e específicos do seu campo de trabalho avaliativo.
