Humanos como cobaias?

Cobaia

 

Terraço Econômico | Alípio Cantisani e Leonardo Palhuca

“Não tratamos pessoas como cobaias”. Esta foi a resposta que uma pesquisadora húngara (professora de um dos autores deste texto) recebeu de um funcionário do governo brasileiro no Amazonas, quando lhe propôs um estudo de impacto de políticas sociais. A polêmica da proposta da pesquisadora era que, para o estudo funcionar, o governo brasileiro teria que testar a política somente a um grupo aleatoriamente selecionado de famílias. Coletar-se-iam dados das famílias agraciadas e das famílias azaradas antes e depois da implantação da política: quaisquer diferenças entre os dois grupos poderia seriam interpretadas como efeito da política social e o programa seria replicado a todas as famílias.

O método de introduzir uma política para um grupo de famílias e observar os resultados em relação a outro grupo de famílias é importado da medicina e atende pelo nome de Randomized Controlled Trial (ou RCT na sigla comumente usada). O método consiste em designar aleatoriamente um tratamento para um grupo - ou no caso da economia, uma política econômica - e observar os resultados em comparação com um grupo de controle. Dai o nome da metodologia. Ao distribuir o tratamento aleatoriamente para grandes grupos, garante-se que os grupos são homogêneos e comparáveis em outras dimensões que podem afetar o resultado do tratamento.

Para que o leitor compreenda melhor como funciona esse método, vamos exemplificar com um caso concreto. No México da década de 1990, o governo federal decidiu criar um programa de transferência de renda às famílias mais pobres do país. Mas ao invés de enviar um helicóptero jogando notas de pesos mexicanos aos paupérrimos rincões do país, o governo optou por uma estratégia mais gradual: famílias eram sorteadas aleatoriamente para receber o benefício e testar se a transferência de renda condicional (algo como o Bolsa Família) funcionava. Essa fase do programa ocorreu em 1996 e funcionou como um piloto para avaliar os impactos da política e fazer os ajustes necessário para aproveitar todo o potencial da política. Até que, sabendo o que funcionava ou não, o programa foi remodelado e estendido a todas as famílias [1].

Essa maneira de avaliar políticas públicas não é muito intuitiva e nem sempre encontra bons ouvintes entre funcionários governamentais. Políticas públicas, especialmente aquelas que lidam com situações de pobreza, visam combater situações de penúria, nas quais as pessoas necessitam de auxílio imediato e urgente. Leva tempo para que uma política seja testada e aprovada e pode ser que o resultado não agrade muito aos políticos.

Imaginemos que o governo brasileiro deseja implantar política que leva médicos a vilarejos pobres e distantes, à guisa do Mais Médicos. Porém, preocupado com os cortes do orçamento do Levy, os funcionários do Ministério da Saúde desejam realizar uma avaliação do impacto dessa política, de maneira que poderão decidir se a expandem ou se a abortam.

Alguns economistas do IPEA são incumbidos da tarefa, e o governo lhes passa uma lista dos municípios que receberam os médicos cubanos. O objetivo do estudo é verificar o impacto do programa sobre a redução da mortalidade infantil. Porém, não é preciso ter um diploma de medicina na Universidade de La Habana para saber que muitas coisas podem concorrer para que a mortalidade infantil aumente ou diminua: os médicos cubanos são só uma parte da história. A graça dos estudos randomizados é que eles conseguem isolar o efeito da política com razoável precisão, oferecendo uma estimativa segura sobre se o programa ajudou, atrapalhou ou não serviu de nada.

A dificuldade em realizar esses estudos é justamente convencer as autoridades de sua importância antes de o programa ser implementado. E geral, o governo deseja começar o programa o mais rapidamente e usa algum critério qualquer para selecionar as primeiras famílias beneficiadas. Por exemplo: os municípios mais pobres receberão médicos antes dos outros. Se essa lógica é adotada, fica muito difícil isolar o efeito da política. O método básico de estimação é medir o “antes” e “depois” nos municípios afetados e nos municípios não afetados: se os municípios afetados melhoraram mais do que os municípios não afetados pela política, atribui-se aos médicos cubanos a diferença. Na tabela abaixo, damos um exemplo desses: nos municípios afetados, a mortalidade caiu 15%, mas nos municípios não afetados ela caiu somente 10%. Logo, os médicos cubanos explicam os 5% de diferença!

Tabela1

No entanto, essa comparação é problemática. Devido ao critério de começar a distribuição pelas cidades pobres, o grupo de municípios afetados e não-afetados não são comparáveis. Como dissemos acima, há muitos fatores que podem afetar mortalidade, e provavelmente esses fatores estão também associados à renda dos municípios. Podemos imaginar que municípios mais pobres recebem mais ajuda do governo federal, por exemplo. Assim, mesmo sem os médicos cubanos, a mortalidade nos municípios afetados já teria caído mais. Podemos imaginar que os municípios mais ricos investiram mais em programas de mortalidade do que os mais pobres, de forma que o real efeito dos médicos cubanos é muito maior do que 5%, pois os 15% não são comparáveis aos 10%.

A maneira de evitar esses problemas é justamente a randomização da aplicação da política. Os municípios afetados devem ser selecionados aleatoriamente, de forma que não haja diferenças sistemáticas entre os dois grupos. Haverá municípios pobres e ricos, mais urbanizados e menos urbanizados, em ambos os grupos: mas em média, ambos serão idênticos e sujeitos às mesmas intempéries. A única diferença sistemática entre os dois será a presença ou não dos médicos cubanos. Suponhamos que o governo tenha feito isso: agora sim, podemos interpretar os 5% da tabela como um resultado da política. Os dois grupos são perfeitamente comparáveis, e embora haja múltiplos fatores que causem mortalidade, esses fatores afetam igualmente os dois grupos. A única diferença é a presença da política, e é o que explica a diferença na performance.

Problema resolvido?

Há algumas polêmicas em torno dessa maneira de avaliar políticas. A principal questão neste tipo de experimento - o RCT - é se podemos usar pessoas como cobaias, decidindo fria e aleatoriamente quem recebe ajuda e quem não recebe. É moralmente aceitável?

Além disso, mesmo tomadas todas as precauções com relação à randomização, a simples diferença na queda da mortalidade infantil entre os vilarejos pode ser enganosa. Por exemplo: se uma gestante do vilarejo de controle foi trabalhar e encontrou uma gestante do vilarejo que recebe os médicos e fica sabendo do programa, o que ela tentará fazer? Exatamente o que você pensou: mudar para o vilarejo com médicos. Isso influencia o resultado e torna um pouco turvos os números de redução.

Por fim, caso a conclusão aponte para a efetividade do programa, será que podemos replicá-lo em grande escala e obtermos os mesmos resultados? Será que as causas da mortalidade infantil nos vilarejos no Sergipe são fáceis de tratar e os médicos podem facilmente reduzir os índices por lá, enquanto a mortalidade infantil no oeste de Santa Catarina tem outras causas que requerem outras especializações dos médicos e, portanto, o programa pode ser um fracasso total se replicado em outras regiões?

Os RCTs são grandes instrumentos para testarmos programas de baixo custo e com potencial grande impacto na vida das populações menos favorecidas. As questões técnicas de implementação dos experimentos são resolvidas de forma eficaz com esse método. A teoria e a prática em algumas localidades já nos dá um bom nível de conhecimento para os testes.

A questão moral subjacente ganha aqui contornos de resposta. Por mais que saibamos da urgência em aliviar a vida de pessoas que vivem situação de pobreza extrema, é preciso abandonar a arrogância de acredita que nós sabemos como resolver seus problemas. Há séculos economistas enfrentam a questão da pobreza sem sequer concordar com relação a suas causas. Se por um lado o método do RCT exige “baixar a bola” e começar projetos com calma e sem muita ambição, ele permite separar o joio do trigo e descobrir o que funciona, a que custo, e sob que condições.

Se por um lado os cientistas sociais com suas planilhas e computadores não são capazes de mudar diretamente a vida das pessoas, quem está no front combatendo a pobreza com a mão na massa pode estar, sem saber, desperdiçando dinheiro e recursos. Os estudos randomizados são uma maneira de aliar a ciência econômica às boas intenções de milhões de policy-makers e ativistas. Com um pouco de paciência, e muito rigor, é possível melhorar o impacto das políticas públicas e, com sorte, erradicar de vez a pobreza do mundo.

Alípio Cantisani e Leonardo Palhuca
Editores do Terraço Econômico

Notas:

[1] http://www.undp.org/content/dam/undp/library/Poverty%20Reduction/Participatory%20Local%20Development/Mexico_Progresa_web.pdf

Comentários

mm
Sobre Leonardo Palhuca 103 Artigos
Doutorando em Economia pela Albert-Ludwigs-Universität Freiburg. Interessado em macroeconomia - política monetária e política fiscal - e no buraco negro das instituições.

1 Comentário

1 Trackback / Pingback

  1. Clipping da Semana – dia 06/07 a 12/07 | Terraço Econômico 2.0

Faça um comentário

Seu e-mail não será divulgado.


*