Olá! Bem-vindo(a) à edição #2 da Growth & Experimentação!
É um grande facilitador começar um artigo com o Jeff Bezos defendendo o ponto que você vai defender. Eu deveria fazer isso mais.
E espero que ao final desta leitura você se junte ao nosso clube de fãs de Experimentação.
Você possivelmente tem ouvido o termo “experimentação” com uma frequência cada vez maior (ainda mais assinando esta newsletter). Mas talvez você não tenha total noção da importância dele no presente e futuro.
Na minha visão, Experimentação é o conceito mais importante de todo o mundo dos negócios atualmente.
Pense no termo, tendência ou abordagem que você quiser. Ele não tem o mesmo potencial de Experimentação.
Para exemplificar: o Avinash Kaushik, referência máxima de Digital Analytics (talvez um dos termos que você pensou no parágrafo anterior?), recentemente disse:
Mas por que essa empolgação de todos?
Para começar, é importante ficar claro que quem explorar Experimentação corretamente poderá dominar seu mercado (como alguns já fizeram). Ao mesmo tempo, quem confundi-lo com “só mais uma hype” e ignorá-lo, vai comer muita poeira.
Acha que eu estou exagerando? Alimentando a hype?
Então dê uma olhada neste gráfico:
Fonte: Experimentation Works, 2020
Na linha mais clara, você vê a evolução das ações da S&P 500. Se você não acompanha muito o mercado financeiro, saiba que a S&P 500 não é uma lista qualquer de ações. Ela é composta pelas ações das 500 empresas mais importantes do mundo.
Ainda assim, essas ações tem um desempenho ridiculamente inferior às ações da outra lista no gráfico, a “Experimenters index”.
E aí, você pergunta: quais são as ações da “Experimenters Index”?
São as ações de empresas reconhecidas por terem um cultura de Experimentação de altíssimo nível. Talvez, as melhores do mundo nisso.
Estamos falando de nomes como Microsoft, Google, Booking e Facebook.
Obviamente, elas não devem todo o seu sucesso à cultura de Experimentação. Mas elas jamais teriam alcançado tal sucesso sem essa cultura.
Vem comigo para entender.
Tem muita gente chamando qualquer coisa de “experimento”
Não passa um dia sem eu ver alguém dizendo por aí que fez “um experimento” (ou “um teste”), quando na verdade, mesmo sem saber, passou longe disso.
Evitando entrar demais nos detalhes do método científico, podemos tentar resumir da seguinte maneira:
Se você criou uma nova coisa ou explorou uma nova estratégia para melhorar seus resultados atuais, você precisa obrigatoriamente ter feito um Teste AB para chamar isso de “experimento” ou “teste”.
Caso contrário, você fez só uma coisa nova mesmo, sem direito de usar os termos acima para ela. 🥲
(Nota: existem vários formatos de experimentos/testes. Mas para facilitar, neste artigo, vamos nos referir ao mais simples de todos, o Teste AB)
Um Teste AB também pode ter um nome mais “técnico”, mas muito importante: Experimento Randomizado Controlado.
Esse nome é importante porque ele destaca uma regra fundamental para algo ser chamado de experimento: os seus usuários precisam ser distribuídos randomicamente entre (pelo menos) dois grupos:
- Um grupo, o “Controle”, é exposto à sua página / email / campanha / app / anúncio (ou seja lá o que você estiver mudando) na versão original, sem a sua alteração.
- Um outro grupo, o “Variante” ou “Tratamento” é exposto ao seu sistema com a alteração que você quer testar.
Desta forma, você está isolando todas as variáveis e medindo com precisão o efeito causado pelo que você está testando. Controle e Variante estão “lutando” nas mesmas condições, para audiências do mesmo perfil, no mesmo período, sob as mesmas influências externas, etc.
Não se engane: NADA é mais eficiente que experimentos para entender o resultado real dos seus esforços
Eu não quero invalidar os esforços de quem executa ações que não passam por testes. Até que, em alguns casos, existem sim formas de tentar entender, posteriormente, o impacto real aproximado gerado por elas.
Mas nenhuma delas sequer se compara à Experimentação. Tanto em questão de confiabilidade quanto de precisão.
Ron Kohavi, cientista que foi importante peça nos programas de Experimentação de empresas como Amazon, Microsoft e Airbnb, classifica os Testes AB (Randomized Controlled Experiments) como o “padrão ouro” para se atribuir causalidade a algo. Ou seja: entender o impacto causado por algum elemento ou ação.
Repare que, sob o olhar científico, exista grande vulnerabilidade em algumas abordagens como “estudos de especialistas”, que muitas empresas consideram serem satisfatórias para se entender fenômenos. Esse tipo de abordagem traz consigo grandes riscos de confusão entre correlação e causalidade.
Sim. Analisar dados isolados não é suficiente para se tirar conclusões seguras sobre causa e efeito. Quer ver?
Dê uma olhada nesse gráfico de 1949 mostrando a correlação entre as vendas de sorvete nos EUA e o número de casos de poliomielite:
Curioso né? Pois é. Com base na análise desses dados, especialistas em saúde pediram às pessoas para pararem de comprar sorvete para reduzir o número de casos de poliomelite…
Obviamente, com o tempo descobriu-se que não havia causalidade entre esses dois dados. A transmissão de poliomelite era mais comum em temperaturas mais altas (meses mais quentes do ano), assim como a venda de sorvetes.
Achou esse exemplo exagerado? Saiba que ainda hoje é muito comum vermos profissionais de Marketing fazerem coisas como, por exemplo, creditar a redução de churn de um produto ao uso de uma determinada feature sem nenhum experimento confiável para provar a afirmação.
É o exato mesmo erro, mais de 70 anos depois: supor uma causalidade onde possivelmente há apenas uma correlação.
As melhores empresas são fanáticas por experimentação. Mas por que?
Pense em qualquer empresa digital que é líder mundial de um segmento muito competitivo.
Muito, mas MUITO provavelmente você terá pensado em uma empresa fanática por experimentação, onde tudo que é possível passar por teste, irá passar. Mais do que isso, a empresa inteira acolhe e incentiva a execução do maior número possível de experimentos.
Airbnb, Amazon, Booking, Facebook, Google, Linkedin, Microsoft, Netflix, Spotify, Uber…
Fique à vontade para confirmar como funciona a inovação e tomada de decisões em cada uma delas e outras gigantes atualmente.
Vamos entender alguns dos motivos para essas empresas levarem experimentação tão a sério (e porquê você também deveria).
1. Experimentos economizam muitos erros caros
Não importa o quão bom você é, em vários momentos você vai errar nas suas previsões sobre qual será o resultado de uma determinada ação na sua empresa.
Também não importa o quão boa foi sua pesquisa ou discovery para justificar uma ação. Essa ação têm chances reais de dar errado.
Ao longo dos anos, presenciei diversas empresas (várias delas, excelentes) em apuros por terem feito mudanças que pareciam melhorias “óbvias” ou muito bem embasadas mas que acabaram trazendo um grande retrocesso.
Você sabia que apenas cerca de 10% dos testes feitos em empresas geniais como Google e Microsoft são vitoriosos?
Agora, já imaginou se essas empresas fizessem essas mudanças sem testes? Já pensou quanto tempo e dinheiro seria perdido com esses 90% de esforços que na verdade fariam a empresa andar para trás?
Uma das grandes belezas de experimentação é que ela evita que você implemente mudanças que farão você andar para trás (piorar seus KPIs). O pior que pode acontecer é você ter um teste perdedor e se manter no mesmo nível.
2. Experimentos aceleram sua inovação
Vamos aproveitar este momento para destruir um mito gigantesco (e muito comum) sobre experimentação.
Muitas pessoas acreditam que rodar experimentos vai fazer sua empresa andar mais devagar.
“Passar tudo por teste AB??? Inviável. Ficaríamos lentos demais! Isso não funcionaria aqui. A gente é super dinâmico.”
Quem nunca, certo?
Eu entendo e simpatizo com a preocupação válida. Afinal, na economia digital, quem não crescer rápido vai ser devorado pelos seus concorrentes.
Mas eu te garanto que ao adotar uma cultura de experimentação na sua empresa do jeito certo, você vai, na verdade, ficar mais ágil.
Realmente é verdade que antes de qualquer mudança ir para o ar em definitivo, você precisa colocá-la em regime de teste até que ela seja exibida para uma quantidade suficiente de usuários que a faça alcançar significância estatística. Isso pode levar dias, algumas semanas, um mês ou até um pouco mais.
Entretanto, quando você adota esse processo, esse tempo de espera pela significância estatística é mais do que compensado por fenômenos como:
- A experimentação acelera a tomada de decisões. A segurança de que uma iniciativa passará por uma validação confiável, faz com que aconteçam drásticas reduções nas discussões e burocracias para que ela ganhe vida.
- Medir os resultados de um esforço é muito mais fácil. Quando não há experimento, é comum vermos empresas precisando parar profissionais seniores ou até equipes inteiras para tentarem entender qual foi o impacto real gerado por uma mudança feita recentemente. Num teste AB, o resultado preciso está acessível a todos.
- Por último, uma das minhas favoritas: com experimentação, você não precisa implementar tudo que você faz de novo com “qualidade máxima” de código, traduzido para todas as línguas, perfeito em todos os dispositivos, com documentação pronta, etc. No experimento, você se preocupa em implementar o mínimo que você precisa para validar a sua hipótese. Você só vai investir em tudo necessário para uma entrega final se o experimento tiver mostrado que sua hipótese realmente funciona. Isso pode aumentar drasticamente a eficiência e produtividade de uma empresa.
3. Experimentos democratizam sua inovação
Numa empresa com uma boa cultura de experimentação, as barreiras para inovar são reduzidas. Com isso, mais pessoas tentarão inovar através de experimentos. E quanto mais pessoas experimentam na sua empresa… Bom, Jeff Bezos já falou logo no começo deste artigo: mais experimentos = mais crescimento.
É por isso que as empresas mais inovadoras se preocupam tanto em dar espaço para que todas as pessoas possam rodar seus experimentos.
Um caso curioso aconteceu no Booking.com, onde cerca de 75% dos seus milhares de funcionários nas áreas de tecnologia e produto usam ativamente a ferramenta de Experimentação da empresa.
Lá, em dezembro de 2017, um mês fundamental para sites do segmento, um designer propôs um teste com uma reformulação brutal da home. Os diversos elementos do topo da página que a empresa havia passado anos otimizando (listas de acomodações, ofertas, fotos, textos…) seriam substituídos por um simples formulário perguntando para onde o usuário queria ir, quando e com quantas pessoas.
A CEO da empresa e outros diretores duvidaram que a ideia funcionaria. Eles chegaram a apostar uma garrafa de champanhe, acreditando que a taxa de conversão seria reduzida.
Mas, ainda assim, o teste foi autorizado a rodar.
Afinal, eles estavam “all-in” na ideia de desenvolver a cultura de experimentação e democratizá-la ao máximo. O combinado com todos os times era de que qualquer pessoa poderia testar o que quisesse, sem a autorização das lideranças.
(E aí? Na sua empresa, um teste num contexto parecido iria para o ar?)
Isso é inovação em escala, onde todos participam, através de experimentação.
Ah, você quer saber se esse teste maluco deu certo? Bom… É só você dar uma olhada na home do Booking.com ainda hoje, anos depois, para descobrir. 🙂
4. Experimentação é a melhor forma de conhecer seu cliente
Não me entenda errado. Eu adoro (e pratico) técnicas como:
- Product Discovery
- Entrevistas com usuários
- Testes de Usabilidade
- Busca por oportunidades em ferramentas de Analytics
- Pesquisas com o público
Mas nenhuma delas tem a mesma precisão e confiabilidade de um experimento.
Por exemplo: alguns anos atrás, a Intuit, software de gestão financeira para empresas, fez 20 entrevistas com usuários para saber se eles teriam interesse em uma forma mais rápida de pagar os funcionários quando criavam suas contas. As entrevistas disseram que não. De forma unânime.
Entretanto, num Teste AB, essa opção de pagamento mais rápido funcionou melhor e se provou excelente no longo prazo, aumentando a receita da Intuit de forma consistente.
Sempre vão existir diferenças entre o que as pessoas dizem, o que experts entendem do que elas disseram e o que elas efetivamente fazem.
Experimentação foca no último item. Ela avalia, sem ruídos, o que o seu usuário efetivamente prefere, o que faz ele ficar mais, o que faz ele retornar mais, o que faz ele gastar mais, etc.
A cada resultado de teste, vencedor ou perdedor, você tem um valioso aprendizado sobre o seu cliente.
Experimentos são o soro da verdade aplicado diretamente nas veias dos seus clientes. 👀
É por isso que uma famosa máxima é a mais pura realidade:
Um visitante que não passou por nenhum Teste AB é uma oportunidade de aprendizado jogada fora.
Quem quer dominar seu mercado pra valer leva essa máxima muito a sério. É por isso que, segundo algumas informações internas, cada vez que você abre seu Facebook, você tem 99% de chances de estar participando de pelo menos 10 testes.
OK. Mas como eu começo a trazer Experimentação para minha empresa?
Ótimo ponto. Há muito o que se falar sobre como implantar e desenvolver experimentação em uma empresa. Eu trarei vários conteúdos relacionados a isso de tempos em tempos nesta newsletter. Mas, por enquanto, vamos focar em alguns importantes pontos gerais que você precisa saber.
Na minha visão, para conseguir trabalhar experimentação em alto nível, uma empresa precisa cuidar bem de 3 pilares: pessoas, tecnologia e cultura.
Pessoas
Infelizmente, Experimentação não é o assunto mais trivial do mundo e a sua aplicação com erros técnicos pode gerar erros caríssimos, já que as decisões da empresa passam a ser guiadas pelos resultados dos testes.
Por isso, é fundamental que você tenha pessoas capazes de guiar os esforços Experimentação da forma correta.
Ao mesmo tempo, como você viu neste artigo, a Experimentação só atinge seu potencial máximo quando ela é abraçada por toda a empresa, onde todos os times rodam seus testes.
É por isso que o modelo de organização de pessoas que melhor vejo funcionar nas empresas que são referência no assunto combina centralização e horizontalização:
Nesse modelo, existe um time de referência que centraliza a responsabilidade geral pelo bom funcionamento do programa de Experimentação: criação de processos, tecnologia, evangelização, comunicação, etc. Esse time pode ser terceirizado com um fornecedor especializado ou, se você já tem esses talentos internamente, pode uni-los nesse time centralizador.
Ele deve treinar e dar o suporte necessário para que todos os outros times/squads da sua empresa possam praticar a Experimentação.
Entenda que esse time talvez nem rode testes AB próprios. Essa não é a função principal dele. Ele existe para que todo o restante da empresa possa rodar seus próprios testes.
Uma das coisas mais legais dessa estrutura é que ela permite escala e foge da utopia que é acreditar que todos os times da sua empresa conseguirão, por conta própria, inserir Experimentação no coração de seus processos com eficiência.
(Se você quer que eu aprofunde este assunto pessoas / estruturação em edições futuras da newsletter, manifeste-se 🙂)
Tecnologia
Para ter testes com resultados confiáveis e para conseguir escalar seu programa de Experimentação, a atenção à sua plataforma de experimentação é fundamental.
Suas necessidades tecnológicas vão depender muito do estágio de maturidade onde você se encontra. Mas na área de tecnologia, você terá desafios como:
- Contratar uma ferramenta externa ou criar uma própria?
- Como integrar os dados do meu negócio com a ferramenta de testes? Muitas ferramentas de Teste AB populares (olá Google Optimize, tudo bem?) dificultam ou inviabilizam necessidades de várias empresas neste quesito.
- Como rodar testes server-side?
- Como rodar testes simultâneos de forma confiável?
Lembre-se: se sua plataforma te entregar resultados errados, você estará potencialmente condenando o futuro de toda a empresa com decisões erradas. Se ela não te permitir ser ágil, você pode ser presa fácil de concorrentes.
Por essas e outras, não subestime à atenção a um bom setup tecnológico.
Cultura
Um nome amplo para um quesito amplo. Cultura de Experimentação envolve diversas coisas. E nada funciona sem ela.
Por exemplo, sua empresa precisa ser data-driven de verdade. Os resultados dos testes precisam ser levados a sério e falar muito mais alto do que qualquer opinião de seja lá quem for. Ao mesmo tempo, precisam haver barreiras que impeçam decisões tomadas sem dados.
Também faz parte da cultura garantir que todos os times entendam a importância da experimentação e tenham liberdade para experimentarem. Lembrar do exemplo da home do Booking.com citado mais cedo?
E claro, outro ponto-chave da cultura é a comunicação. Como eu já disse, o aprendizado de experimentos é extremamente valioso. Às vezes, até mais do que o aumento registrado na taxa de conversão. Como os times trocam aprendizados entre si? Como eles discutem ideias de novos experimentos? Como eles priorizam? Uma boa cultura irá ter respostas para perguntas assim.
Conclusão
Espero que, após este artigo, você compartilhe a opinião que Jeff Bezos e eu temos sobre Experimentação e sua relevância para qualquer negócio.
Este foi um artigo introdutório sobre diversos fatores do mundo da Experimentação. Falaremos de muitos outros em edições futuras da Newsletter. Se algo específico te interessou ou faltou neste primeiro artigo, me conte!
Obrigado pelo começo empolgante!
Já na primeira edição, tivemos mais de 2.000 pessoas inscritas na newsletter, incluindo membros de empresas incríveis como:
B2W, Buser, Descomplica, Globo, Hostgator, Hotmart, iFood, Banco Inter, Itaú, Loft, Méliuz, Nubank, PicPay, Rappi, RD Station, Renner, Rock Content, SAP, Tim, Toptal, Uber, UOL, Vivo, XP Investimentos e muitas outras.
Muito obrigado pela confiança.
Se você está gostando do conteúdo, eu ficaria honrado com a sua indicação da newsletter para colegas. 🙂
