Em um artigo recente, alertei para a importância de não se acreditar em qualquer resultado de teste ou “experimento científico” que se vê por aí. Mesmo que seja um experimento de um vencedor do Nobel (caso real).
Hoje, saiu uma matéria no O Globo (originalmente no NY Times) que ilustra muito bem um problema clássico de experimentos mal feitos.
Durante décadas, a mídia e a sabedoria popular vêm dizendo que vinho ou “um pouco de álcool” todo dia são benéficos para a saúde, embasados em ESTUDOS CIENTÍFICOS.
Enquanto isso, alguns cientistas, exercendo seu ceticismo (como todo ser humano deveria fazer sempre), já alertavam que esses estudos não eram lá muito confiáveis.
Tais estudos diziam que os grupos de pacientes que bebiam álcool todo dia tinham menos problemas cardíacos e viviam por mais tempo do que o outro grupo, de pacientes que não bebiam.
(Essa é uma “verdade” maravilhosa que todo mundo que bebe – e a indústria da bebida – adoram ouvir, né? Por isso ela viralizou tão fácil. Sem contar que é muito mais difícil ser cético em relação a uma “verdade” que nos agrada)
Mas os céticos que mencionei acima apontavam diversos problemas potenciais com os estudos. Entre eles:
E se o grupo que bebe vinho ou outras bebidas todo dia é composto por pessoas mais ricas? E se, por isso, elas têm uma dieta com mais verduras e fibras? Ou mais acesso a serviços de saúde?
E se o grupo de pessoas que não bebe tem pessoas que são ex-alcoólatras, que pararam de beber porque já desenvolveram problemas de saúde?
E por aí vai.
E não é que, hoje, estudos feitos com mais critério e menos patrocínio da indústria de bebidas demonstram que QUALQUER quantidade de álcool faz mal à saúde?
Pois é. Esquece o papinho reconfortante. Com o conhecimento que temos hoje, o mais preciso é afirmar que álcool não só é inútil para “cuidar do coração”, como, na verdade, aumenta suas chances de ter problemas cardíacos e ter câncer.
Ligando isso ao nosso mundo dos Testes AB online, esse tipo de problema nos lembra como é fundamental fazermos uma REAL randomização nos nossos grupos estudados em um experimento.
Se algo faz com que seu grupo Controle tenha mais chances de ser composto, por exemplo, por usuários com conexão mais rápida ou usuários retornantes, seu resultado provavelmente será inválido, mesmo que tenha significância estatística.
