Teste A/B

O Teste A/B é um método de teste de websites que consiste em exibir diferentes versões de uma mesma página para diferentes visitantes, podendo, assim, comparar a performance de cada página para atingir os objetivos dos usuários. Frequentemente, a métrica escolhida para o Teste A/B é a taxa de conversão, porém, é preciso considerar também outras medidas. Uma página que tenha taxa de conversão alta, mas pouco tempo de permanência pode indicar conversões canceladas futuramente.

Para minimizar o risco das alterações prejudicarem a métrica de sucesso do site, as versões alternativas costumam ser exibidas em pequenas porcentagens das visitas. Por exemplo: a versão B do site A é mostrada a apenas 5% dos visitantes. Pode-se ter mais versões da mesma página, porém, quanto maior a variação entre elas, mais difícil será interpretar os resultados.

O ideal é que as versões tenham pequenas alterações, para isolar o máximo possível as variáveis. Como exemplo, a página B tem um link a mais do que a página A. A mudança na performance se dará pelo efeito desse link extra.

A Google oferece uma ferramenta para gerenciar testes A/B e mensurar sua performance.

Crítica

A limitação principal do Teste A/B é que não dá pra saber o motivo do comportamento do usuário. Só se sabe que ele clicou ou foi embora, mas não dá pra saber porque. Analistas de métricas radicais vão dizer que não é necessário saber porque; só é preciso saber o que funciona e o que não funciona. Tal posicionamento pode ser adequado numa determinada situação, mas se isso for a estratégia de design, a experiência do usuário será medíocre.

Medíocre porque é formada por uma série de elementos que nada tem a ver um com o outro, que não compõem um todo agradável. A experiência do usuário será análoga a entrar no botequim da esquina, cheio de artigos que vendem muito (ovo de codorna, velho barreiro, pingado) mas que não combinam entre si.