Uma crendice de muitas pessoas no mercado é que Testes AB e Experimentação deixam empresas “mais lentas”.
Afinal, a intuição leva a pensar que, se além de todas as coisas que a empresa já faz, ela ainda precisar rodar testes AB nessas coisas, ela vai ficar mais lenta.
Mas essa é uma visão simplória e leva a uma conclusão que é o exato oposto da realidade.
(Ou alguém vai questionar que empresas como Google, Netflix, Microsoft e Amazon – que têm Experimentação no centro de sua existência – inovam em seus produtos em ritmo mais rápido que o mercado em geral?)
Quando a cultura de Experimentação é abraçada da forma correta, as inovações ganham vida num ritmo mais rápido e num custo menor.
Veja este gráfico para entender os detalhes:
O que ilustrei nele é a representação do que vi diversas vezes nos meus mais de 10 anos trabalhando em Experimentação.
Vi muitas empresas em cada um dos dois cenários. E tive a alegria de ver empresas migrarem do primeiro para o segundo cenário.
Vamos às explicações do que está lá:
Num processo comum, existe uma burocracia inevitável para que uma nova ideia seja produzida e testada. Isso é normal, já que tentar algo novo envolve CUSTO de produção e RISCO de se mudar algo.
Imagine, por exemplo, como seria um processo para uma designer recém-chegada a uma grande empresa mudar radicalmente uma página crucial do site, testando uma nova abordagem aos usuários com base em uma ideia que ela teve.
Seria impossível pular etapas de múltiplas validações com lideranças, existiria um esforço razoável de design/dev (o que possivelmente faria a ideia apodrecer num backlog, já que nunca haveria espaço na sprint para a mesma), e por aí vai.
Já numa empresa que abraça uma cultura de Experimentação, ganha-se tempo nesse processo de diversas maneiras. Entre elas:
Burocracia
A burocracia para aprovação de lideranças é muito mais ágil. Isso ocorre porque o RISCO é reduzido. Afinal, se a mudança não funcionar, um Teste AB vai demonstrar isso em tempo real e de forma clara. Fica fácil dar um passo para trás. Aliás, em algumas empresas com uma forte cultura de Experimentação e inovação compartilhada, muitas ideias nem precisam da aprovação de alguma liderança para serem testadas. Então, para elas, o retângulo azul do quadro nem existe.
Desenvolvimento
O CUSTO também é menor. Como falei acima, quando você implementa uma mudança sem teste, essa mudança é um “ticket” como qualquer outro para designer e devs. O que significa que tudo precisará ser criado seguindo todos os requisitos da empresa de qualidade, documentação, etc.
Mas quando você valida a ideia via Teste AB, ela pode (deve) ser desenvolvida como um MVP, visando ter o menor custo possível para descobrir se a ideia funciona ou não.
Essa diferença filosófica no desenvolvimento é brutal e ajuda a explicar por que times reduzidos em empresas com cultura de Experimentação conseguem entregar uma variedade muito maior de mudanças do que um time igual numa empresa comum.
Validação de resultados
Quando você faz uma mudança em uma interface sem Teste AB, fica difícil (talvez impossível) saber se ela funcionou. Muitas vezes é necessário interromper algum recurso sênior (analista de dados, data scientist, etc.) para se tentar entender se a mudança deu certo. E mesmo assim, a conclusão muitas vezes não é precisa.
Entretanto, quando a mudança é feita via Teste AB, os resultados estão disponíveis, em detalhe, no relatório da sua ferramenta de Testes. Sem ninguém precisar parar por dias para cruzar meio mundo de dados.
Por fim, com um resultado claro em mãos, caso ele seja positivo, também fica muito mais fácil apresentá-lo às lideranças da empresa para que os aprendizados sejam escalados e implementados de forma definitiva.
