Como fazer CRO e Experimentação in-house

A popularidade de Otimização de Taxa de Conversão (CRO) tem crescido constantemente.

O Google Trends mostra que o volume de buscas por este tópico basicamente dobrou desde 2015:

Quando comecei a trabalhar com isso há 10 anos, “CRO” era só um nome estranho dado à tentativa de alguns nerds de aplicar o método científico na melhoria de interfaces digitais.

Hoje, é uma prática fundamental para profissionais de Marketing, Tecnologia e Produto, entre outros.

Outra forma de avaliar a popularidade de CRO é pelas milhares de vagas abertas somente no Linkedin:

Impressionante para algo tão específico que praticamente não existia há anos, certo?

Mas por que a popularidade crescente?

Bom, por várias razões. Uma delas sendo o fato de que CRO é sensacional e funciona, claro.

Mas mais uma explicação é que todo mundo quer ser o próximo Google, Amazon, Microsoft, Netflix, Spotify, Uber, ou praticamente qualquer líder de um mercado importante para a área de tech.

Todas essas empresas são conhecidas por terem CRO e Experimentação no centro de suas culturas, rodando testes em todos os níveis de seus negócios.

Como você pode já ter visto em uma edição anterior desta newsletter, Stefan Thomke, professor de Harvard, comparou a performance de ações de empresas conhecidas por investirem pesado em experimentação com a performance das empresas da S&P 500 (basicamente as maiores empresas do mundo). Os resultados são claros:

Obviamente, essas empresas não crescerem apenas porque rodam Testes AB. Mas é justo dizer que Experimentação é fundamental para todas elas.

Agência ou in-house?

Com empresas percebendo que CRO / Experimentação é uma área chave para a maioria dos líderes de alto crescimento, surge uma tendência de se tentar fazer CRO in-house ao invés de pagar uma agência para fazer isso.

Lembra daquelas milhares de vagas abertas acima? A maioria delas são oportunidades in-house.

Eu já estive em todos os lados possíveis nessa mesa do “agência X in-house e, acredite em mim, não há um lado necessariamente certo ou errado. Tudo depende do seu contexto.

O objetivo deste artigo não é te dizer se você deve contratar uma agência ou trazer tudo para dentro da sua empresa. Falaremos disso num outro dia.

Mas se você já está planejando montar seu próprio time de CRO, este guia é para você.

Eu vou mostrar o que você precisa para construir um time de experimentação capaz de acelerar a inovação e o faturamento do seu negócio.

Foco em começar as coisas

Você não começa um programa de experimentação e magicamente vira o novo Google, rodando mais de 100.000 experimentos por ano em todas as áreas do seu negócio.

Há uma estrada longa, cara e perigosa até lá. Hoje, meu foco está em mostrar como você começa a fazer CRO / Experimentação internamente.

Você vai aprender o que precisa para construir uma estrutura básica que, pela minha experiência, te dá as melhores chances de conseguir uma tração inicial que te levará aos maiores níveis de sucesso no longo prazo.

E só começar as coisas já suficientemente desafiador e vai exigir sua total atenção, como você verá abaixo.

Mas entenda que está será apenas sua primeira vitória. No fim do artigo, vou comentar um pouco sobre como continuar evoluindo seu programa.

Bom, mas para ser o novo Google um dia, primeiro temos que começar, certo? Então vamos lá!

Quem pode se beneficiar de CRO in-house

A maioria dos modelos de negócio pode fazer CRO de forma bem-sucedida tanto internamente quanto com uma agência. Desde que faça isso direito / que a agência seja boa.

Mas para alguns negócios, pode ser maios desafiador trabalhar com uma agência.

Se, por exemplo, você está em uma vertical altamente regulada que limita sua capacidade de compartilhar dados com um parceiro externo, você pode acabar fazendo o trabalho da sua agência quase impossível.

Assistência médica e grandes instituições financeiras enfrentam esse cenário com frequência. Mesmo que ainda seja possível compartilhar dados valiosos com parceiros para construir um programa de CRO nessas indústrias (e continuar estando 100% dentro das regras), é especialmente difícil conseguir aprovação para isso em algumas dessas empresas.

Outro cenário onde você pode querer fazer as coisas in-house é onde você tem uma quantidade enorme de tráfego (milhões de usuários por mês) para testar. Isso te dá o potencial de rodar um número de testes que a maioria das agências possivelmente não terá um time grande o suficiente para explorar (sim, para agências também é difícil achar talentos em CRO).

Isso não quer dizer que você não pode contratar uma agência para te ajudar a rodar o máximo de experimentos possível. Mas você provavelmente vai querer ter times internos rodando testes também para acelerar seu crescimento e aprendizado.

Como construir um programa de experimentação

Você vai precisar trabalhar em diferentes dimensões do negócio para aumentar suas chances de sucesso.

Então, vamos finalmente falar sobre elas.

Estes são 4 tópicos para se começar um programa de experimentação da forma correta.

Tenha a cultura certa na empresa

Em muitas empresas, esta tende a ser a parte mais difícil. Mas é impossível ter um bom programa de experimentação sem a cultura certa.

Afinal de contas, se os tomadores de decisão se recusarem a ser data-driven, para que você vai testar as coisas?

E para ser data-driven de verdade, não é o suficiente se limitar a usar o texto de anúncio que converte mais no Google Ads. É muito mais profundo que isso.

É sobre estar disposto a rodar experimentos que vão guiar as decisões em todos os níveis da empresa. Incluindo o nível estratégico.

Aliás, se os tomadores de decisão não forem humildes o suficiente para aceitar quando dados mostram que eles estão errados, um programa de experimentação não irá longe. Eu vi isso mais de uma vez. Mesmo vindo de líderes que palestram sobre “como ser data-driven”. Ego é um adversário complicado.

E líderes também precisam ser humildes o suficiente para democratizar a inovação.

Deixar qualquer pessoa na empresa rodar experimentos que guiarão o futuro significa “perder o controle” sobre muito da inovação que acontece na empresa.

Nas melhores empresas, isso é excelente. E eu acredito ser o único jeito de inovar rápido o suficiente para continuar relevante nos mercados mais competitivos.

Mas alguns líderes não estão dispostos a aceitar isso.

A cultura certa também é sobre ter um foco insano no cliente. Porque, no fim das contas, otimização é sobre aprender o que os clientes preferem ou o que torna as vidas deless mais fáceis.

Não há plataforma melhor para agradar seus clientes do que experimentação. Como o CEO da Expedia disse:

“A qualquer momento, estamos rodando centenas, se não milhares, de experimentos simultâneos, envolvendo milhões de visitantes. Por isso, não temos que adivinhar o que os clientes querem; nós temos a habilidade de rodar as maiores “pesquisas com clientes” que existem, de novo e de novo, para que eles nos digam o que querem”.

Às vezes, esse “feedback” do cliente não trará as melhores notícias para o negócio no curto prazo, talvez reduzindo a rentabilidade ou forçando times a pivotarem. Mas os melhores times entendem que mantendo o foco no usuário, eles vão vencer no longo prazo.

Por fim, é importante entender o motivo de um programa de experimentação precisar de 100% de apoio das lideranças.

Você precisa deles do seu lado para:

Conseguir influenciar os processos e pessoas que precisam se ajustar seus processos para que experimentação funcione. Se você é do Marketing, mas todos os times de produto se recusam a rodar testes AB nas mudanças que publicam, você não vai afetar os resultados de negócio como gostaria.
Conseguir a verba que precisa para o programa. Como você verá abaixo, há muitos custos envolvidos. E eles não são desprezíveis.
Criar uma cultura que valoriza e incentiva aprendizado tanto quanto testes vencedores. Sem uma real motivação cultural, financeira, e de carreira, é difícil fazer com que pessoas genuinamente persigam inovação como na Amazon, Google e outras grandes empresas de experimentação.

Mas eu sei que cultura pode ser um tema subjetivo. E, às vezes, quando não sabemos como nos comportar, benchmarks podem nos orientar.

Vejamos, por exemplo, o Booking.com, conhecido por ter uma ótima cultura de experimentação e rodando mais de 25.000 testes por ano.

Lá, qualquer membro do time pode rodar testes sem autorização de seu gerente. Na verdade, algumas das grandes vitórias que geraram milhões de dólares em receita por lá vieram de ideias de testes nas quais gerentes não acreditavam (mas deixavam acontecer de qualquer forma), como você pode ler em artigos como este.

Neste artigo, David Vismans, Chief Product Officer do Booking, resume o que experimentação demanda das lideranças:

“Se eu tenho um conselho para CEOs, é este: teste em larga escala não é uma questão técnica; é uma coisa cultural que você precisa abraçar totalmente. Você precisa se fazer duas grandes perguntas: o quanto você está disposto a ser confrontado diariamente com o quanto você está errado? E quanta autonomia você está disposto a dar para as pessoas que trabalham para você? E se as respostas forem que você não gosta de ver que está errado e não quer que seus funcionários decidam o futuro dos seus produtos, não vai funcionar. Você nunca terá os verdadeiros benefícios da experimentação.

2. Consiga as habilidades e pessoas

Agora, vamos para o lado mais prático e falar sobre o seu time de CRO/Experimentação.

Nós poderíamos falar sobre isso por dezenas de artigos, mas indo direto ao ponto, se você quer construir um time de CRO, você vai precisar ter pelo menos as seguintes habilidades cobertas pelos seus membros:

Copywriting
Design
User Experience
Digital Analytics (tracking e análise)
User Research
Estatística
Front-end (HTML, CSS e Javascript)
Comunicação
Gestão de projetos

Eu sei que é muito, mas acredite: ignore qualquer um desses e o seu time certamente terá problemas.

Levando em conta os profissionais disponíveis no mercado atualmente e o volume médio de trabalho, eu recomendaria ter ao menos 2 a 3 pessoas cobrindo essas habilidades para começar.

Claro que os detalhes podem mudar muito de empresa para empresa. Mas a estrutura poderia ser mais ou menos assim:

O custo para essa estrutura básica também pode variar muito. Não só devido ao nível senioridade que você buscará, mas também porque você não começar com todo o time dedicado em tempo integral.

E é importante lembrar que essa é a estrutura recomendada para começar com experimentação. Empresas mais maduras tendem a usar abordagens menos centralizadas e empoderar todos os times para rodarem experimentos. Falaremos mais disso depois.

3. Estabeleça um processo confiável

Com o time certo definido, é hora de garantir de que eles trabalharão de forma inteligente.

Este é mais um tópico sobre o qual poderíamos falar para sempre. Mas para o escopo deste artigo, vamos focar nos processos básicos que seu time precisará dominar. São eles:

Pesquisa

De onde os dados que vão embasar as ideias de teste virão? Qual é o processo para extrair insights dos dados? Como você irá rodar métodos de pesquisa qualitativa como testes de usabilidade ou entrevistas?

Bom diagnóstico é crucial para qualquer programa de CRO decente. Garanta que você tem um processo eficiente e claro para gerar insights. Se você errar aqui, suas ideias de teste provavelmente não serão muito boas e tudo que vier depois não vai fazer diferença.

Definir KPIs e métricas guardrail

Os melhores programas têm KPIs alinhados com as prioridades da empresa no momento. Use sempre um KPI relevante e gravite todo o seu programa ao redor dessa métrica.

Você também precisa definir e checar suas [métricas guardrail](https://www.split.io/glossary/guardrail-metrics/#:~:text=Guardrail metrics are business metrics,another area of the business.). Essas são métricas importantes para o negócio que podem não ser o seu KPI, mas devem ser medidas em todos os experimentos para garantir que você não está melhorando algo enquanto piora outra coisa. Essas métricas podem ser relacionadas, por exemplo, a Lifetime Value, satisfação do usuário ou performance do site.

Construir hipóteses

O time deve definir claramente o que é uma hipótese de teste aceitável, que tipo de informação precisa estar nela e onde documentá-la.

Priorizar

Sempre haverão mais ideias do que você consegue implementar. É por isso que priorização é fundamental. Começar isso com frameworks padrão como o ICE é aceitável. Mas o ideal é criar o seu próprio framework, considerando o contexto específico do seu negócio.

Implementar a mudança

Se esforce para o tempo entre a decisão do que será testado e o lançamento do teste seja o menor possível. Isso é crucial para atingir uma boa velocidade em um programa de Experimentação.

O processo precisa garantir que designers e desenvolvedores estejam prontos para começar seu trabalho assim que a ideia é definida e que você tenha um ótimo processo de QA (Quality Assurance) para evitar o lançamento de testes com algum problema, forçando reiniciar os mesmos.

Encerrar um teste

Defina claramente as regras que precisam ser seguidas para alguém encerrar um teste (declarar um vencedor/perdedor). Ignore isso e você provavelmente terá problemas clássicos como cherry-picking, colocando em risco toda a confiabilidade dos dados do programa.

Analisar um resultado de teste

Relatórios de testes AB podem ser muito perigosos se a pessoa analisando-os não entende as nuances estatísticas lá. Tenha um checklist ou alguma outra iniciativa de controle de qualidade para evitar o risco de times tomando decisões em cima de interpretações fantasiosas.

Compartilhar aprendizados

Às vezes, os aprendizados de testes podem ser mais valiosos do que o aumento na taxa de conversão em si. Por exemplo, se citar um novo benefício em uma Landing Page funcionou bem, por que não testar esse mesmo benefício no texto dos seus anúncios?

Experimentação ensina muito sobre o cliente (mais do que qualquer outro método que conheço). E se você realmente quer uma empresa “customer centric”, é preciso haver um processo para garantir que esses valiosos aprendizados cheguem a todos os times.

Documentar

Outro processo que ajuda a compartilhar aprendizados é documentação. Isso também ajuda muito no onboarding de novos membros. Você consegue imaginar um jeito melhor para novos funcionários aprenderem rapidamente sobre o que seu cliente gosta do que uma lista de testes que funcionaram e não funcionaram?

4. Configure seus stacks

Como você sabe, dados e tecnologia são a espinha dorsal de um programa de Experimentação. Algumas atividades cruciais neste pilar são:

Decidir se você deve criar ou contratar uma ferramenta de Testes AB.

A escolha certa vai depender do seu contexto. Dependendo do número de necessidades específicas ou a severidade das suas regras de compliance, você pode precisar criar sua própria ferramenta.

Mas, na maioria dos casos, é perfeitamente aceitável começar com uma das várias boas ferramentas de Testes AB disponíveis no mercado. E à medida que sua maturidade cresce, você terá um melhor entendimento de quais realmente são suas necessidades específicas. Então, você estará mais preparado para criar sua própria ferramenta, se isso fizer sentido.

Quando contratando uma ferramenta, só tome cuidado para escolher aquela que melhor se integra com seu atual stack.

Integrar com dados de clientes

Para alguns modelos de negócio, é muito limitador rodar testes apenas em métricas “web” (contatos, clicks, cadastros, etc).

Você tomará decisões muito melhores se também entender o impacto das mudanças nas métricas relativas ao seu cliente como receita, LTV ou satisfação.

Para fazer isso, você deve integrar sua ferramenta de Testes com sua CDP, ou seja lá onde os dados de seus clientes vivem.

Permitir testes em qualquer área do funil de conversão

Experimentação deve acontecer em qualquer área do negócio. Se limitar a testar apenas landing pages ou formulários de cadastro é uma péssima ideia. É como ter o Erling Häland no time e dizer a ele que não pode chutar.

Dê a seus times a habilidade de otimizar cientificamente cada passo possível da jornada do cliente. Carrinhos, produtos, plataformas de relacionamento… Tudo pode ser otimizado.

Medindo tudo que é necessário

Sem mensuração correta, você não tem dados. Sem dados, você não pode rodar testes sérios.

Mensure tudo relevante na jornada do cliente, nunca publique nada sem mensuração configurada e cheque regularmente se tudo continua funcionando.

Estimando custo e ROI

Você pode estar se perguntando: “OK. Isso parece caro. Quanto vai custar?”.

Para estimar seus custos anuais, você precisa considerar:

O custo do seu time de CRO, como mencionado acima.
Horas de outros membros que serão necessários para apoiar seu processo (PMs, devs, BI, lideranças…).
O custo total de seus necessidades de ferramentas, tech e dados (para Testes AB, pesquisas, etc.),

Eu sei que parece muito. E pode ser. E é por isso que você precisa fazer Experimentação do jeito certo.

Nunca esqueça que o impacto potencial na receita da empresa faz tudo valer a pena.

Se você quer um caminho simplificado para estimar esse retorno potencial, você pode brincar com o que você acredita que seu time pode conseguir usando esta fórmula:

Como a fórmula mostra, seu ROI depende fortemente de:

O quão rápido você consegue andar (o número de experimentos). Por isso você precisa de um ótimo processo.
O quão bom seus experimentos são (a porcentagem de vitórias e média de impacto financeiro). É por isso que você precisa de ótimas pessoas, com acesso a dados e em uma cultura que permite a todos inovarem.

Não pare

Como dito antes, tudo que você leu neste artigo abrange o setup básico para começar um programa interno de CRO / Experimentação.

Quando começar, você precisa continuar evoluindo para níveis mais altos de maturidade para um dia se tornar o próximo Google/Meta/Amazon/Netflix/Booking/Spotify/etc.

Por falar nisso, membros dos times de experimentação na Microsoft, Booking e Outreach.io escreveram um artigo com o conceito da “Experimentation Flywheel” que pode te ajudar a entender como evoluir.

Eles deixam claro que uma alta maturidade em experimentação é uma transformação tão grande para a maioria das empresas que ela deve acontecer de forma iterativa. Por isso, eu destaco que é muito importante começar do jeito certo. Vai levar um tempo para chegar no objetivo final.

Como fazer CRO & Experimentação in-houseMas à medida que sua maturidade aumenta, você precisará reinventar seu processo e estrutura algumas vezes.

Por exemplo, como eu disse, em algumas das melhores empresas, não há apenas um time específico testando. Todo mundo testa o tempo todo. Em um cenário assim, fará mais sentido ter um time “cento de excelência”.

Imagem original

Ao invés de rodar testes, esse centro de excelência será responsável por empoderar Experimentação para o resto da empresa ao criar processos, dar treinamentos e viabilizar as ferramentas necessárias.

Mas não vamos nos adiantar demais. Primeiro, garanta que você faz o básico direito com as dicas deste artigo.