Luisa Costa
Luisa é uma especialista em políticas públicas apaixonada por ciência de dados e desenvolvimento humano. É graduada em Administração Pública e especialista em Estatística pela Universidade Federal de Minas Gerais (UFMG). Hoje, ela é mestranda em Avaliação de políticas públicas na Universidade de Oxford, onde também é bolsista integral da Weidenfeld-Hoffman Scholarship, que reúne líderes transformadores de países em desenvolvimento.
Políticas públicas deveriam ser implementadas com a avaliação em mente?
O que discutiremos neste artigo:
No centro deste esforço está a mudança social, que representa a transformação observada na realidade após a implementação de um programa. Esta só pode ser atingida com a utilização de instrumentos que permitam medir o impacto e a efetividade das dos programas governamentais. O presente artigo tem como objetivo discutir a importância da avaliação de políticas públicas, a qual deveria ser parte inerente de qualquer intervenção do governo na sociedade, guidando a tomada de decisão de líderes políticos.
As conclusões defendem a ideia de que a avaliação é uma parte indissociável da elaboração de políticas e deve ser adotada em todas as fases do ciclo de vida das políticas públicas.
Há muitas maneiras de refletir sobre os resultados da ação governamental, mas a avaliação eficaz das políticas públicas requer um método.
Vendung (2017) define a avaliação de políticas como o esforço de avaliar cuidadosamente os produtos e resultados das intervenções do governo, analisando as mudanças observadas na realidade após o processo de implementação.
Para ser válida, essa análise deve seguir princípios científicos e ter métodos e dados transparentes, bem como critérios de avaliação previamente estabelecidos (Hassel & Wegrich, 2022). Portanto, o resultado típico de uma avaliação são informações objetivas sobre a eficácia da política, que podem ser usadas para orientar a tomada de decisão e melhorar o desenho do programa.
As teorias iniciais de análise de programas públicos propunham que a avaliação deveria ser a última fase do ciclo de vida da política (Lasswell, 1956), quando os formuladores de políticas poderiam avaliar se os seus objetivos foram alcançados ou não.
Entretanto, o amadurecimento da prática de políticas públicas revelou que não apenas os resultados e o impacto de uma política devem ser avaliados, mas também o processo de implementação e seus resultados intermediários (Fischer & Miller, 2006). Isso implica compreender as mudanças causadas pela intervenção e o conjunto de ações e decisões que levaram aos resultados observados.
Os aprendizados desse processo podem detectar falhas na implementação da política, permitindo que os tomadores de decisão corrijam alguns aspectos do projeto ou da execução do programa e evitem resultados indesejados. Esse esforço se torna especialmente relevante em contextos de recursos limitados (orçamento, tempo e pessoas) quando os atores governamentais precisam otimizar o processo de implementação, buscando tanto a eficiência quanto a eficácia da política.
2. A possibilidade de avaliar uma política em diferentes estágios leva a diferentes tipos de avaliação.
Tradicionalmente, um programa pode ser avaliado antes de sua implementação (ex-ante) para mapear diferentes alternativas que podem levar às mesmas mudanças ou após sua execução (ex-post), quando o objetivo principal é medir todas as novas realidades criadas pelo processo de implementação, ou seja, seus resultados, consequências para os beneficiários e mudanças no estado das coisas (Fischer & Miller, 2006). Esses dois tipos de avaliação podem dialogar entre si e, ao mesmo tempo, fornecer informações úteis e descobertas de pesquisas sobre o início e o fim de uma intervenção.
Além disso, entre a concepção e o término de um programa, há esforços avaliativos que podem ser feitos para avaliar os resultados intermediários e a conformidade do processo de implementação.
Esse tipo de avaliação é chamado de avaliação de processo ou monitoramento (Bochel & Duncan, 2007), que consiste em avaliar uma política enquanto ela está acontecendo com a adoção de indicadores, painéis de controle e outros métodos que apoiam a tomada de decisões em tempo real.
É importante acrescentar que cada tipo de avaliação pode contar com diferentes técnicas, como, por exemplo, revisões sistemáticas (Greve, 2017), meta-análise (Bochel & Duncan, 2007) e experimentos (Haynes, et al, 2012), entre outros métodos que podem ser aplicados a diferentes desenhos de pesquisa.
Para que a avaliação seja levada em conta em todas as etapas da formulação de políticas, os criadores e implementadores devem colaborar desde a concepção da intervenção, levando em conta como a realidade será modificada. Isso implica que todo programa tenha um modelo teórico de como os esforços mudarão o estado atual das coisas, o que também é chamado de “Teoria do Programa” (Olsson, 2007). Sem uma definição clara do problema a ser abordado, dos principais objetivos, das medidas de sucesso e dos resultados desejados, não é possível esperar resultados positivos e consistentes para uma intervenção, pois os mecanismos pelos quais ela promoverá as mudanças não estão bem estabelecidos.
Portanto, a elaboração de uma política deve levar em consideração a Teoria do Programa, que também é benéfica para o processo de implementação e avaliação. Por exemplo, é mais provável que os implementadores de políticas tomem decisões melhores sobre o escopo, os recursos e os beneficiários da intervenção quando orientados por uma sólida teoria do programa que os conscientize dos riscos e das demandas da iniciativa. Por sua vez, os avaliadores de políticas também se beneficiarão da existência de indicadores que medem se o programa está atingindo ou não suas metas iniciais.
3. Avaliação sob a ótica do governo
Uma das principais preocupações ao se desenhar políticas públicas com a avaliação em mente é o custo de fazê-lo.
Muitos departamentos governamentais não têm tempo nem experiência para executar técnicas de avaliação mais sofisticadas, como experimentos (Randomised Control Trials), que exigem um processo de sorteio aletório e a divisão dos beneficiários da política em grupos tratamento e controle (Haynes, et al, 2012).
Embora os experimentos sejam considerados o “padrão ouro” de avaliação por permitirem o diagnóstico de causalidade (Young et al., 2002 apud Greve, 2017, p. 163), o avanço da análise de políticas públicas trouxe a possibilidade de aplicar métodos de menor esforço para avaliar os resultados de um programa. Como exemplo, Vigoda-Gadot & Vashdi (2020) exploram o uso do método Differences-in-Differences para analisar os efeitos de programas na Administração Pública.
Diferentemente dos experimentos, a metodologia não exige o sorteio aleatório do público-alvo, o que é adequado para políticas que não podem ser negadas a um grupo de pessoas. Além disso, o método permite a medição de um contrafactual por meio do uso de um proxy (estimativa) da população que não foi alvo da intervenção, o que simplifica o trabalho dos avaliadores de políticas. Esse tipo de técnica de avaliação pode fornecer percepções valiosas para a execução de políticas e até mesmo ser usado para informar iniciativas semelhantes.
Diagnosticar a causalidade é de fato importante para gerar evidências para um determinado campo de política. Ainda assim, não precisa ser o objetivo de todos os processos de avaliação, especialmente aqueles que são executados com recursos limitados.
Outro benefício da avaliação para o setor público é a transparência. Quando uma política é avaliada, os principais dados e informações sobre seus processos e resultados são apreciados por meio de uma lente científica, revelando uma realidade que não é acessível ao próprio governo e a outras partes da sociedade na vida cotidiana.
A avaliação também acrescenta uma camada objetiva aos resultados de uma política pública, ajudando os cidadãos a entender os verdadeiros efeitos da intervenção em sua realidade e a analisar criticamente o alinhamento entre as realizações da política e o discurso dos atores políticos (Bochel & Duncan, 2007). Embora isso possa ser verdade, para que todos esses benefícios aconteçam, é importante garantir que os resultados da avaliação de políticas não sejam ocultados quando estiverem em conflito com interesses políticos, bem como sejam disponibilizados para apreciação dos membros da sociedade e da academia.
Dessa forma, é possível garantir que os aprendizados produzidos pela pesquisa de políticas fortaleçam o conhecimento dos formuladores de políticas, dos cidadãos e das instituições.
Todo processo de avaliação de uma política pública gera o que se chama de “aprendizado de política” (policy learning) ou, em outras palavras, conhecimento que pode ser usado para orientar as políticas públicas atuais e futuras (Cairney, 2011). Quando um programa é projetado e implementado tendo em mente os princípios de avaliação, torna-se mais fácil para os formuladores de políticas extrair as características e decisões que tornaram a política eficaz ou não, facilitando o aprendizado da política. Esses aprendizados podem ser aplicados na execução da própria política ou na elaboração de políticas futuras do mesmo departamento ou estrutura governamental.
Caso os aprendizados sejam reprodutíveis e estejam em conformidade com o método científico, o conhecimento pode integrar o que chamamos de “transferência de políticas”, que significa a adaptação de programas de uma realidade para outra (Cairney, 2011).
A relevância da transferência de políticas é permitir que os formuladores de políticas troquem práticas recomendadas e resolvam desafios semelhantes com soluções que foram testadas e avaliadas em outros contextos.
Isso leva à criação de um ambiente de aprendizado coletivo e à formulação de políticas baseadas em evidências, o que é essencial para a maturidade e o desenvolvimento do governo.
4. Implicações práticas
Embora todas as políticas públicas possam se beneficiar da análise de seus resultados, há campos específicos de políticas que já têm a avaliação como centro de sua execução. Na maioria dos países, não é possível abordar políticas públicas educacionais sem mencionar avaliações de aprendizado ou testes padronizados.
Uma das avaliações educacionais mais famosas do mundo é o Programa Internacional de Avaliação de Alunos (PISA), organizado pela Organização para Cooperação e Desenvolvimento Econômico (OCDE) para avaliar os resultados de aprendizagem de alunos de 15 anos de idade em diferentes países. Essa avaliação tornou-se parte inerente do processo de formulação de políticas de muitas nacionalidades, pois permite a comparação de resultados entre alunos de diferentes contextos.
A iniciativa contribuiu para moldar os debates educacionais em todo o mundo (Hassel & Wegrich, 2022) e influenciou outros tipos de avaliações em larga escala, sendo um exemplo importante de como a avaliação de políticas pode mudar a forma como as políticas públicas são pensadas e implementadas.
Da mesma forma, a avaliação pode causar transformações substanciais na compreensão coletiva de um problema social e impactar a definição da agenda. Esse foi o caso do aconselhamento sobre cuidados infantis descrito por Chalmers (2003). O autor descreveu que, depois de 1950, a comunidade científica britânica, incluindo pediatras, costumava recomendar que os pais deixassem seus bebês dormirem de barriga para baixo, em vez de de costas, porque isso evitaria mortes por asfixia. Posteriormente, os resultados de pesquisas provaram que essa afirmação não só estava errada como também era muito letal para os bebês, os quais estariam em maior risco de Síndrome da Morte Súbita Infantil (SIDS) (Parkhurst 2017).
Essas descobertas mobilizaram os pais que perderam seus filhos e outras partes da sociedade para defender um método seguro de colocar os bebês para dormir, culminando na campanha “Back to Sleep”, lançada pelo governo do Reino Unido para prevenir a SMSL. Como resultado, estima-se que a nova propaganda levou à redução de 50% na taxa de mortalidade infantil (Chalmers, 2003). Esse segundo caso mostra a relevância da avaliação para mobilizar a opinião pública e definir quais problemas devem ser priorizados na arena de formulação de políticas.
Conclusão
A visão geral das discussões anteriores reforça que a avaliação é a linha condutora do ciclo de vida da política. Ela permite que os governos e os formuladores de políticas compreendam os efeitos que suas intervenções têm sobre a sociedade, bem como a adequação do processo de implementação.
A condução de avaliações de políticas também exige uma teoria de programa bem estabelecida e coerência com os princípios científicos para beneficiar as políticas públicas. Como resultado, o processo de avaliação leva ao aprendizado e à mudança de políticas, aumentando a transparência do governo e a qualidade da definição da agenda pública.
Há muitas razões para os governos investirem em avaliações desde a concepção dos seus programas, especialmente considerando a necessidade de otimizar recursos limitados e garantir a eficácia das iniciativas criadas em resposta a desafios coletivos. Há também muitas limitações para a implementação de avaliações de políticas no setor público, como a capacidade técnica e a impossibilidade de usar o sorteio aleatório para escolher os beneficiários de um programa. No entanto, projetar intervenções que possam ser medidas do início ao fim é a melhor solução para tentar controlar e prever os resultados dos programas públicos.
Assim, a avaliação não é mais o último estágio do ciclo de vida da política, mas uma parte indissociável das soluções de formulação de políticas.
Bochel, H. M., & Duncan, S. (2007). Making Policy in Theory and Practice. Policy Press.
Cairney, P. (2011). Understanding Public Policy : Theories and Issues. Palgrave Macmillan.
Chalmers, I. (2003). Trying to do more good than harm in policy and practice: the role of rigorous, transparent, up-to-date evaluations. The Annals of the American Academy of Political and Social Science, 589(1), 22-40.
Fischer, F., & Miller, G. J. (Eds.). (2006). Handbook of public policy analysis: Theory, politics, and methods. Taylor & Francis Group.
Greve, B (2017). Handbook of social policy evaluation. Edward Elgar Pub.
Hassel, A., & Wegrich, K. (2022). How to do public policy. Oxford University Press.
Haynes, L., Goldacre, B., & Torgerson, D. (2012). Test, learn, adapt: developing public policy with randomised controlled trials. Cabinet Office-Behavioural Insights Team.
Lasswell, H.D. (1956). The Decision Process: Seven Categories of Functional Analysis. College Park: University of Maryland Press.
Olsson, T. M. (2007). Reconstructing evidence-based practice: an investigation of three conceptualisations of EBP. Evidence & Policy, 3(2), 271-285. Retrieved Nov 2, 2023, from https://doi.org/10.1332/174426407781172153
Parkhurst, Justin (2017). The politics of evidence: from evidence-based policy to the good governance of evidence. Routledge Studies in Governance and Public Policy. Routledge, Abingdon, Oxon, UK. ISBN 9781138939400.
Vedung, E. (2017). Public policy and program evaluation. Routledge.
Vigoda-Gadot, & Vashdi, D. R. (Eds.). (2020). Handbook of research methods in public administration, management and policy. Edward Elgar Publishing.
