A grande mídia frequentemente veicula opiniões em favor da ciência contra o obscurantismo ameaçador produzido por fantasmas que ela mesmo inventa para rotular seus inimigos. Na realidade, a dinâmica da ciência é muito complexa de modo que pouquíssimos jornalistas estão realmente habilitados para analisar a qualidade e a credibilidade de resultados científicos.
Prova disso foi o famoso estudo fabricado pelo biólogo e jornalista científico John Bohannon em 2013 sobre os efeitos da dieta baseada em chocolate amargo. Sua idéia foi fabricar um estudo enviesado que corroborasse a tese frequentemente difundida por gurus da nutrição de que chocolate amargo faz bem para saúde. Com isso, ele queria verificar a extensão da difusão dos resultados pela mídia e testar a eficácia dos mecanismos de verificação de fatos e versões.
Com um pequeno orçamento à sua disposição, Bohannon conseguiu alguns voluntários para sua pesquisa. Com uma pequena amostra de quinze pessoas, 11 mulheres e 4 homens, três grupos de cinco pessoas foram formados; a um dos grupos foi dada a instrução de seguir uma dieta de baixo nível de carboídrato; ao segundo grupo foi dada a mesma diretiva mas com o acréscimo de 42 g de chocolate amargo na dieta diária; ao terceiro grupo, chamado controle, não foi dada nenhuma instrução quanto à dieta.
Todos os participantes tiveram que responder antes de iniciar o programa a um questionário para verificar se as dietas não poderiam lhes ser prejudiciais à saúde. O tempo de duração da dieta seria de 21 dias, durante os quais os participantes teriam que se pesar todos os dias ao menos uma vez, inclusive os do grupo controle. Ao término desse período, os participantes fizeram alguns exames de sangue e responderam a um novo questionário, perguntando, por exemplo, sobre a qualidade do sono durante a realização do programa.
Com a assistência de um estatístico conhecido seu, Bohannon estabeleceu uma metodologia calibrada para produzir falsos positivos. De acordo com essa metodologia, um total de 18 variáveis foram testadas, entre elas o peso ao final do programa, velocidade de perda de peso, qualidade do sono, bem estar, concentração de colesterol e sódio no sangue etc. Chegaram à conclusão de que o grupo da dieta com chocolate amargo perdeu peso a uma velocidade 10% maior. Além de essa diferença ter sido estatisticamente significativa, este grupo também apresentou menores níveis de colesterol e relatou maiores níveis de bem-estar.
Esses resultados caíram como uma luva em um contexto do jornalismo em que notícias sobre fatos nutricionais dão imensa audiência. Bohannon contou com a ajuda de uma jornalista para produzir uma matéria simplificada e pictórica do estudo, que acabou sendo utilizada como fonte primária dos jornais e agência de notícias que passaram a difundir os resultados. Muitos acreditaram no estudo e me lembro que na época ele chegou a ser difundido no Brasil.
Mas por que o resultado de Bohannon não merece credibilidade? De fato, o que pode ser afirmado é que com grande probabilidade o estudo dele produziu um falso positivo, afinal de contas, seu método foi desenhado para aumentar a chance de produzi-lo. Como foram testadas muitas variáveis em uma amostra pequena, existia uma probabilidade não desprezível de que uma variação aleatória produzisse diferenças estatisticamente significativas. Sempre que médias de certos parâmetros - como o peso e nível de colesterol - de grupos distintos são comparadas, é necessário estabelecer um certo nível de significância em testes de hipótese. Tipicamente, o nível de significância adotado é de 5%, ou seja, existe uma chance em 20 de que um determinado teste resulte em falso positivo. Como foram realizados 18 testes no total, já que foram estabelecidos 18 parâmetros, a chance de obter um falso positivo pode ser calculada em 60%. O próprio Bohannon disse que tiveram sorte de que o provável falso positivo tenha ocorrido em parâmetros de maior relevância, como a velocidade da perda de peso.
Se Bohannon não tivesse admitido a farsa, certamente cedo ou tarde a comunidade científica teria percebido o engodo. Mas este processo é lento, deixando tempo suficiente para que resultados mirabolantes sejam difundidos pela grande mídia. Durante a fase de maior divulgação dos resultados pela grande mídia, Bohannon foi contatado por grandes agências de notícias, e também pelos seus investigadores. No entanto, a verificação limitava-se a assegurar a existência de Bohannon, ou de que era ele mesmo quem estava respondendo às perguntas. Não houve nenhum esforço de fazer uma revisão mais profunda do estudo ou de consulta aos pares.
Portanto, nós temos todo o direito e dever de questionar e duvidar das afirmações da grande mídia. O próprio Bohannon reconhece que foi possível enxergar alguma luz de esperança ao ler os comentários críticos e bem fundamentados de leitores dos sites em que os resultados fabricados foram anunciados.
Não é sem razão que muitos acusam a grande mídia de produzir "fake news". Se neste caso se verificou tamanha displicência e preguiça, o que esperar da cobertura sobre política e economia, por exemplo? Há muito tempo que guardo fortes reservas quanto às opiniões veiculadas na grande mídia em geral. Muitas vezes verifico facilmente a tendenciosidade que beira à pura militância mal disfarçada. Haveria ainda muito mais a afirmar sobre os maus hábitos da grande mídia. Por enquanto me limito a comemorar a sua gradual perda de influência e credibilidade, esperançoso de que algum dia todos estejam vacinados contra os seus vícios.
Nenhum comentário:
Postar um comentário