E não é necessariamente por maldade de quem está compartilhando o conteúdo.
Infelizmente, a maior parte das pessoas que analisa resultados de testes não tem o conhecimento estatístico necessário para fazer isso do jeito certo.
Então, quando uma ferramenta de testes diz que uma variação foi “vencedora”, fica difícil resistir à tentação de compartilhar o case, certo?
Mas ferramentas de Testes AB têm total interesse na sua percepção de que houve um teste vencedor. Por isso, elas acabam declarando “vencedores” quando muitas vezes não é esse necessariamente o caso e o resultado é muito mais complexo do que o relatório simplificado faz parecer.
O objetivo deste post não é entrar nos pontos que precisam ser levados em conta para se garantir um resultado confiável. Precisaríamos de muito mais que um post.
Meu objetivo é abrir os olhos de todos para que tenhamos muito cuidado com os “cases” que vemos por aí.
O problema não é só com cases de CRO
Você sabia que possivelmente a maioria dos “estudos científicos” que você vê ou ouve falar por aí também não são confiáveis?
Pois é. Na imagem deste abaixo, temos um dado interessante.
Um estudo de 2015, publicado na Science.org, analisou 100 experimentos proeminentes na área da psicologia.
Cerca de 66% desses estudos FALHARAM em tentativas de replicá-los. Sim, a maioria dos resultados compartilhados por estudos científicos DE DESTAQUE não se comprovaram quando os estudos foram replicados.
E o problema é generalizado. Mesmo estudos de livros clássicos, escritos por VENCEDORES DO NOBEL, publicam estudos que não são confiáveis.
(Sabendo disso, pense duas vezes antes de sair compartilhando qualquer resultado de estudo de neuromarketing que você encontrar por aí também)
Veja bem: estudos científicos de destaque passam por um processo de planejamento e análise muito mais rigoroso do que, digamos, simples testes em Landing Pages, certo? E mesmo assim, temos a maioria desses estudos com conclusões duvidosas.
Então acho que agora você já entende o tamanho do buraco nos resultados de Testes AB que vemos por aí.
Conclusão
Por fim, um ponto importante: em geral, não acredito que quem publica um case de CRO ou estudo científico não confiável está “de sacanagem”. Eu mesmo cometi esse equívoco no começo da minha carreira, sem o entendimento de que estava apresentando algo duvidoso. Na minha cabeça, eu tinha algo tão cientificamente comprovado quanto o Darwinismo.
O entendimento aprofundado do que um resultado de teste ou estudo científico quer dizer, do ponto de vista estatístico, é complexo. Mais do que isso, às vezes não existe conclusão “certa” ou “errada” e sim um grande cinza dominado pelo “depende”.
Mesmo assim, assim como nos estudos científicos, existem algumas iniciativas interessantes para se definir uma “confiabilidade mínima” para cases de Testes AB publicados. Por exemplo, Ron Kohavi (ex-Microsft, Amazon e Airbnb) propõe algumas regras.
Provavelmente, mais de 90% dos cases na internet não passariam nessas regras, o que é triste. Aliás, lembre-se que o problema não é só com Testes AB. A quantidade de lixo que é apresentado em palestras em geral ou em sites jornalísticos com a falsa classificação de “ciência” é incontável.
Por outro lado, isso nos mostra como fazer Experimentação não é um passeio no parque. E se você quer realmente fazer uma empresa ou projeto seguir o caminho “data-driven”, você precisa ter consciência disso.
Afinal, como eu sempre digo, pior do que não ser data-driven é ACHAR que se está sendo data-driven embasado em dados mentirosos.
