PESQUISAS E PRODUTOS DE CONSULTORIA

Consultor: José Ignacio Cano

Justificativa

O conceito de avaliação é usado freqüentemente em diversas atividades acadêmicas, políticas e organizacionais. Porém, o termo é usado em diferentes circunstâncias com significados nem sempre coincidentes. Em geral, avaliar e usado como sinônimo de mensurar a qualidade de alguma coisa, mas existem usos mais restritos do termo.

Uma das disciplinas relativas à avaliação que possui um perfil mais definido é a avaliação de programas sociais, que pretende concluir se um programa social (por exemplo, um programa anti-drogas ou um novo método educativo) está atingindo ou não os objetivos previstos, e as causas do sucesso ou do fracasso. A partir dos anos 60 e liderada pelo trabalho pioneiro de Donald Campbell, surge em ciências sociais, particularmente em educação e psicologia, uma corrente que tenta aplicar os esquemas experimentais à avaliação de programas sociais. Dado que a avaliação é afinal uma pesquisa causal, o desenho experimental (com introdução por parte do experimentador da variável independente, máximo controle sobre a medição da variável dependente e atribuição aleatória dos casos aos grupos experimental e de controle) é a que melhor se ajusta a este propósito. Num contexto onde a causação é sempre multi-fatorial não se pode confiar em que as diferenças entre a situação inicial e a final, depois da introdução do programa, serão automaticamente devidas em sua totalidade ao novo programa. Este tipo de estudos já era desenvolvido há muito tempo pelas ciências bio-médicas para, por exemplo, avaliar a efetividade de uma vacina, mas era novo em ciências sociais. Contudo, a possibilidade de se realizar experimentos é freqüentemente limitada em ciências sociais por motivos éticos, políticos ou logísticos. Por isso, foram desenvolvidos diversos desenhos de pesquisa quase-experimentais, onde, em ausência de grupo de controle, a prioridade era encontrar grupos similares para poder compará-los com os grupos em que o novo programa foi introduzido. A disciplina começou usando medições quantitativas mas evolucionou para incluir também medidas qualitativas, sem esquecer nunca a ênfase original no desenho da pesquisa que permitisse uma inferência causal o mais forte possível. A existência de grupos de comparação e a preocupação para evitar vieses de seleção diferencial entre os grupos são dois exemplos desta preocupação.

Apesar desta disciplina ter surgido, entre outras, na área de educação, quando se fala hoje em dia em avaliação educativa, pensa-se, particularmente no Brasil, principalmente na geração de indicadores e testes de medição das dimensões relevantes. Obviamente, o problema da mensuração é sempre muito relevante em ciências sociais, especialmente quando se lida com construtos difíceis de medir diretamente como é o caso da educação. No entanto, a qualidade de uma avaliação de um novo programa educativo depende tanto o mais do desenho da pesquisa que da natureza das medidas empregadas. Mesmo em estudos distantes da área experimental e quantitativa, a insistência nas questões de desenho de pesquisa para garantir a comparabilidade dos grupos, o controle de variáveis intervenientes, e a superação dos problemas de seleção diferencial são cruciais para poder avaliar uma intervenção social.

A ausência de textos em português sobre avaliação de programas sociais contribui no Brasil a esta visão do problema da avaliação como uma questão de mera mensuração. Este projeto visa a criação de um texto introdutório que ajude a preencher este vazio e mostre aos alunos a importância desta abordagem.