O estudo, embora jamais tenha se tornado um trabalho muito citado de pesquisa econômica (de fato, seus dois autores já eram conhecidos por contribuições muito mais relevantes à pesquisa econômica, como pode ser observado por meio de uma rápida pesquisa no serviço de busca acadêmicas "Google Citations"), teve um grande impacto nas agências multilaterais e governos de todo o mundo. Os resultados de RR  foram - literalmente - usados pelo FMI, Banco Mundial e por governos da União Europeia e pelos Estados Unidos para justificar seguidos cortes no orçamento num período de crise econômica.

Primeiramente, RR usam uma seleção de países/anos arbitrária, que enviesa os resultados em direção favorável ao argumento defendido pelos autores. O banco de dados de RR cobre uma amostra de 44 países entre os anos de 1964 e 2009. Nessa amostra há 110 países/anos que apresentam uma razão dívida/PIB superior a 90%. Contudo, a análise econométrica de RR vale-se de apenas 96 países/anos, sem nunca especificar as observações excluídas ou justificar o motivo da exclusão dessas 14 observações. Herndon, Ash e Pollin (HAP) demostram que RR excluíram Australia (1946-1950), Nova Zelandia (1946-1949) e Canada (1946-1950), países/anos que apresentaram sólido crescimento econômico, apesar do alto endividamento público. Essa exclusão tem consequências relevantes, principalmente devido a atribuição de peso aos casos empregada por RR.

 

O segundo erro da análise de RR decorre dos critérios pouco claros (para dizer o mínimo) usados para atribuir pesos aos casos. Assim, por exemplo, O Reino Unido tem 19 anos (1946-1964) para os quais a rezão dívida/PIB é superior a 90%, com uma taxa de crescimento média de 2,4% para esses anos. A Nova Zelândia tem apenas um ano de sua amostra com dívida em relação ao PIB acima dos 90%, e uma taxa de crescimento de -7,6%. RR atribuem a esses dois números, 2,4% e -7,6% o mesmo peso no cálculo final, visto que os autores empregam a média de crescimento econômico dos países (com dívida acima de 90% do PIB), embora existam 19 anos para o Reino Unido e apenas um ano para a Nova Zelândia.

Em terceiro lugar, RR aparentemente cometeram um erro primário nas análises das planilhas de Excel, o que os levou a uma exclusão equivocada de cinco países da série histórica. Nas palavras de HAP "A coding error in the RR working spreadsheet entirely excludes five countries, Australia, Austria, Belgium, Canada, and Denmark, from the analysis. Reinhart-Rogoff averaged cells in lines 30 to 44 instead of lines 30 to 49...This spreadsheet error...is responsible for a -0.3 percentage-point error in RR's published average real GDP growth in the highest public debt/GDP category." A exclusão da Bélgica, em particular, que experimentou 26 anos de dívida acima dos 90% do PIB, e uma taxa de crescimento de 2,6% em média para o período (embora esses 26 anos de crescimento fossem contados como apenas um ponto, dada a regra de atribuição de pesos comentada acima) parece favorecer o argumento de RR.

Feitas as correções, os países com mais de 90% do PIB de endividamento apresentam crescimento médio de 2,2%, e não de uma queda de 0,1% como afirmavam RR. O que, efetivamente, enfraquece muito as conclusões de RR.

 

Mais importante, o trabalho de RR, apesar de bastante citado, nunca havia sido submetido a um processo de revisão por pares. Consequentemente, os autores nunca haviam compartilhado os dados usados no trabalho e tampouco os códigos da análise econométrica. Esse ponto é particularmente importante para o ponto que desejo defender; pois, apesar da excelente política de compartilhamento de dados da AER (que é um modelo para outras revistas de economia e, mais amplamente, para outros periódicos da área de ciências sociais; já que mantém um repositório de dados e códigos para TODOS os artigos publicados) o periódico da American Economic Association não conseguiu efetivamente fazer valer sua política de dados nesse caso. Por conseguinte, os dados e o código de Reinhart e Rogoff nunca se tornaram disponíveis para outros pesquisadores.

Finalmente, cabem duas observações. (1) Erros de codificação acontecem; e (2) controvérsias são fundamentais para o avanço da conhecimento científico. Assim, a revelação de erros metodológicos e de um equivoco de codificação em um estudo econométrico não deveria passar de um acontecimento trivial no mundo acadêmico. Contudo, o que causa estranheza nesse caso é a falta de transparência, que não estava permitindo que outros pesquisadores pudessem replicar e analisar os resultados de RR. Se os dados e o código tivessem sido disponibilizados após a publicação, em 2010, possivelmente não levaria três anos para demonstrar as falhas metodológicas do estudo de RR, o que pode ter influenciado as política econômicas em todo o mundo em direção a medidas de contração orçamentária mais rigorosas.

O compartilhamento de dados de pesquisa significa a possibilidade de replicar, analisar e discutir - assegurando o escrutínio - dos resultados da investigação por outros pesquisadores. Nesse sentido, uma política clara e rigorosa de compartilhamento de dados e códigos de pesquisa deveria ser adotadas por todos os periódicos científicos de maneira a assegurar a replicabilidade e validade das pesquisas publicadas. 

 

Essa situação, infelizmente, não me parece ser uma exclusividade das ciências sociais, embora nessas talvez a cultura de compartilhamento de dados e código seja ainda mais incipiente. Um seminário sobre "Reproducibility in Computational and Experimental Mathematics" realizado em dezembro passado pelo ICERM da Universidade de Brown (nos EUA) constatou que se faz necessária uma mudança nas políticas de compartilhamento de dados e código, tanto por parte dos editores de periódicos como pelos organizadores de conferências e reuniões científicas em favor de regras mais claras e rigorosas para publicização dos dados, criação de softwares e repositórios de dados e códigos, registros dos fluxos de análises de dados, softwares e hardwares. As recomendações do seminário estão disponiveis aqui.

Por último, um comentário (não irônico!) sobre o uso do MS Excel para análises de regressão em trabalhos científicos e uma defesa de softwares livres. Se Reinhart e Rogoff tivessem usado o R, uma linguagem para computação estatística e gráficos livre e aberta, provavelmente, não seriam alvo de piadas agora. Mas, se eles sequer sabem usar o Excel corretamente...

 

 

 

PPS: Parte do título dessa mensagem foi roubada de uma coluna do Paul Krugman sobre esse debate.