Não tratamos pessoas como cobaias! Foi essa a resposta que uma pesquisadora húngara (professora de um dos autores deste texto) recebeu de um funcionário do governo brasileiro no Amazonas. O motivo da resposta foi uma proposta de estudo de impacto de políticas públicas. A suposta polêmica da proposta era que, para o estudo funcionar, o governo brasileiro teria que testá-la somente com um grupo aleatoriamente selecionado de famílias. Coletar-se-iam dados das famílias agraciadas e das famílias azaradas, antes e depois da implantação das medidas tomadas. Assim, quaisquer diferenças entre os dois grupos poderiam ser interpretadas como efeito da política em questão e o programa seria replicado com maior eficiência para todas as famílias.
O que é estudo randomizado controlado?
O método, executar uma política num grupo de famílias e observar os resultados em relação a outro é importado da medicina e atende pelo nome de Randomized Controlled Trial (ou RCT na sigla comumente usada). Isso consiste em designar, aleatoriamente, um tratamento para um grupo ou, no caso da economia, uma política econômica e observar os resultados, comparando-os ao grupo de controle. Ao distribuir o tratamento aleatoriamente para grandes grupos, tenta-se garantir que os mesmos são homogêneos e comparáveis em outras dimensões, fatores que podem afetar o resultado do tratamento.
Para melhor compreender o funcionamento do método, consideremos o seguinte exemplo: no México, década de 1990, o governo decidiu criar um programa de transferência de renda às famílias mais pobres do país. Contudo, ao invés de mandar um helicóptero distribuindo notas de pesos mexicanos aos paupérrimos ricões do país, o governo optou por uma estratégia gradual onde famílias eram sorteadas, aleatoriamente, para receber o benefício e testar se a transferência de renda condicional (algo parecido com o Bolsa Família) deu certo. Essa fase do programa ocorreu em 1996 e funcionou como um piloto para avaliar impactos e fazer os ajustes necessários, buscando aproveitar todo o potencial da política em execução. Até que, sabendo quais aspectos funcionavam (ou não), o programa foi remodelado e passou a atender todas as famílias.
Essa forma de avaliar políticas públicas não é muito intuitiva e por isso nem sempre encontra bons ouvintes entre representantes governamentais. Políticas públicas, especialmente aquelas que lidam com situações de pobreza, visam evitar situações de penúria, nas quais as pessoas necessitam de auxílio imediato e urgente. Sendo assim, leva tempo para que uma política seja testada e aprovada. Depois disso, pode ser que o resultado não agrade muito aos políticos por uma série de motivos.
Imagine que o governo brasileiro deseja implantar política que leva médicos a vilarejos pobres e distantes, à guisa do Mais Médicos. Porém, preocupado com os cortes do orçamento do Levy, os funcionários do Ministério da Saúde desejam realizar uma avaliação do impacto dessa política, de maneira que poderão decidir pela expansão ou interrupção da mesma. Alguns economistas do IPEA são incumbidos da tarefa, e o governo lhes passa uma lista dos municípios que receberam os médicos cubanos.
Nessa situação, o objetivo do estudo é verificar o impacto do programa sobre a redução da mortalidade infantil. Porém, não é preciso ter um diploma de medicina na Universidade de La Habana para saber que muitos fatores influenciam o aumenta ou queda da mortalidade infantil. Logo, os médicos cubanos só representam uma parte da história. Um diferencial dos estudos randomizados é justamente conseguir isolar o efeito da política pública com razoável precisão, oferecendo uma estimativa segura sobre efeitos positivos, negativos ou nulos do programa.
Contudo, uma dificuldade em realizar esses estudos é convencer as autoridades de sua importância antes mesmo da de sua implementação. Em geral, o governo deseja começar o programa o mais rápido possível e adota algum critério para selecionar os primeiros beneficiados. Por exemplo, os municípios mais pobres receberão médicos antes dos outros. Se essa lógica é adotada, fica muito difícil isolar os efeitos do programa.
O método básico de estimação é medir o “antes” e “depois” nos municípios afetados e nos municípios não afetados seria: caso os municípios impactados melhoraram mais do que os municípios não impactados pela política, atribui-se a diferença aos médicos cubanos. Na tabela abaixo, considerando municípios afetados, a mortalidade caiu 15%, mas nos municípios não afetados ela caiu somente 10%. Logo, os médicos cubanos explicam os 5% de diferença!
No entanto, essa comparação é problemática devido ao critério inicial: começar a distribuição pelas cidades pobres. Isso faz com que o grupo de municípios impactados e não impactados sejam incomparáveis. Como foi dito acima, há muitos fatores que podem afetar mortalidade e, provavelmente, esses fatores estão também associados à renda dos municípios, por exemplo. Podemos imaginar que municípios mais pobres recebem mais ajuda do governo federal. Assim, mesmo sem os médicos, a mortalidade nos municípios afetados já teria caído mais. Podemos imaginar que os municípios mais ricos investiram mais em programas de mortalidade que os mais pobres, de forma que o real efeito dos médicos cubanos é muito maior do que 5%, pois os 15% são incomparáveis aos 10%.
Uma forma de evitar tais problemas é justamente aplicar tal política de forma aleatória. Os municípios afetados devem ser selecionados aleatoriamente, de forma que não existam diferenças sistemáticas entre os dois grupos. Haverá municípios pobres e ricos, mais urbanizados e menos urbanizados, em ambos os grupos. Consequentemente, na média, ambos serão idênticos e sujeitos às mesmas influências. Ou seja, a única diferença sistemática entre os dois será a presença ou não dos médicos cubanos.
Suponhamos que o governo tenha adotado o RCT. Agora sim, podemos interpretar os 5% da tabela como um efeito da política empregada. Os dois grupos são perfeitamente comparáveis e, embora múltiplos fatores causem a mortalidade, eles afetam os dois grupos igualmente. A única diferença é a presença da política, o que explica a diferença no desempenho observado.
RCT aplicado, problema resolvido?
Há algumas polêmicas em torno dessa maneira de avaliar políticas. A principal questão neste tipo de experimento é: podemos usar pessoas como cobaias, decidindo fria e aleatoriamente quem recebe ajuda e quem não recebe. Seria isso algo moralmente aceitável?
Além disso, mesmo com todas as precauções sendo tomadas, uma simples diferença na queda da mortalidade infantil entre os vilarejos pode ser enganosa. Por exemplo, se uma gestante do vilarejo de controle foi trabalhar e encontrou uma gestante do vilarejo que recebe os médicos e fica sabendo do programa, o que ela tentará fazer? Possivelmente, ela tentará se mudar para o vilarejo com médicos. Esse tipo de coisa impacta o resultado do estudo e distorce as medidas observados.
Por fim, caso a conclusão aponte para a efetividade do programa, será que podemos replicá-lo em grande escala e obtermos os mesmos resultados? Será que as causas da mortalidade infantil nos vilarejos no Sergipe são fáceis de tratar e os médicos podem facilmente reduzir os índices por lá, enquanto a mortalidade infantil no oeste de Santa Catarina tem outras causas e que requerem outras especializações dos médicos? Em última instância, o programa pode ser um fracasso total se replicado em outras regiões?
Os RCTs são grandes instrumentos para testar programas de baixo custo e com potencial grande impacto na vida das populações menos favorecidas. As questões técnicas de implementação desses experimentos são resolvidas de forma eficaz seguindo tal método. A teoria e a prática em algumas localidades já oferece um bom nível de conhecimento sobre o tema.
Na questão moral subjacente, por mais que saibamos da urgência em aliviar a vida de pessoas que vivem situação de pobreza extrema, é preciso abandonar a arrogância de acreditar que sabemos como resolver os problemas! Há séculos os economistas enfrentam a questão da pobreza sem sequer concordar sobre as suas causas. Se, por um lado, o método do RCT exige parcimônia, por outro lado é possível separar o joio do trigo e descobrir o que funciona, quais são os custos e sob quais condições uma política pública efetivamente funciona.
Há quem diga que os cientistas sociais, com planilhas e computadores, são incapazes de mudar a vida das pessoas, quem está no front do combate à pobreza, sem saber, pode estar desperdiçando dinheiro e recursos. Os estudos randomizados são uma maneira de aliar ciência econômica e boas intenções de milhões de policymakers e ativistas. Com um pouco de paciência, e muito rigor, é possível melhorar o impacto das políticas públicas e, com sorte, erradicar de vez a pobreza do mundo.
Alípio Cantisani (coautor deste artigo)
