O Produto Mais Difícil de Vender do Mundo
Product Ride #14 - O que a CIA pode nos ensinar sobre probabilidade de sucesso
👋 Olá, aqui é o Sulivan Santiago. Sair de 0 a 80% de conhecimento foi difícil, mas você chegou lá. Agora, o desafio é ir do 80 ao 90 e do 90 ao 100%. E aqui as coisas tomam uma proporção diferente. Por isso criei o 1º Cohort do Programa Product Ride , que está a todo vapor. O segundo cohort vai abrir em breve, será nos dias 14 e 15 de Outubro. Saiba mais sobre o programa. São apenas 6 vagas. Para aplicações, acesse aqui.
“É o completo oposto do cinema. Não há lutas, armas, explosões ou similares. A venda do produto mais difícil do mundo, que é a traição de um país, é feita em absoluta calma. Não é como nos filmes do 007”.
Este é Jason Hanson, ex-espião da CIA, falando sobre como é o processo para convencer alguém a trair o seu país em troca de segredos. Aqui não há margem para erros. Se a proposta vier de forma errada e no momento errado, o preço é alto: bem provável que seja preso no exterior ou até morto.
É por isto que a CIA treina muito bem suas pessoas para serem os melhores “vendedores” do mundo em campo. Pois, há apenas uma chance de conseguir um sim. Uma oportunidade perdida e o custo será absurdamente alto. Sendo assim, a pergunta que um espião se faz recorrentemente é: Qual a probabilidade dessa “venda” ser um sim?
Já na vida corporativa, em um menor grau, mas ainda com custo alto, vem a pergunta: Qual a probabilidade deste projeto (feature, produto ou negócio) dar certo? Diferentes cenários (negócio vs espionagem), mas a mesma busca pelo SIM. Se a probabilidade de sucesso do seu projeto é baixa, não há projeto que sobreviva a CFOs, investidores ou concorrentes. A consequência é dolorida. Vem em forma de demissões, layoffs, dívidas, perda de clientes, perda de market share e por aí vai.
Saber avaliar a probabilidade de sucesso, assim como um espião faz, é super importante. Espiões não encaram essa pergunta como: “É, talvez… quem sabe a pessoa aceita?” Saber acessar a probabilidade de sucesso é um skill de vida ou morte na espionagem, por que não usar esta habilidade nos negócios? E se pudessemos responder com confiança a pergunta: Como avaliar a probabilidade de sucesso de um projeto?
Qual a probabilidade de sucesso do seu projeto (feature, produto ou negócio)?
Se olharmos os dados de mercado vamos encontrar, no exemplo de uma startup, que a chance é de 1 em 10, ou 10%. Esse número tem o mesmo tom do “é… talvez” que o espião precisa evitar. Vamos tentar melhorar isso. Podemos aplicar a fórmula do teorema de Bayes para nos ajudar.
O Teorema de Bayes é um princípio fundamental na teoria da probabilidade e estatística. Ele descreve como atualizar nossas crenças sobre um evento, dado um novo conjunto de evidências. Em termos simples, o teorema de Bayes nos permite calcular a probabilidade de um evento condicional com base em informações prévias.
A fórmula do Teorema de Bayes é a seguinte:
Sulivan, mas isso é definitivamente assustador! Calma, nem tanto… fique comigo.
P(A|B) é a probabilidade de A acontecer dado que B ocorreu.
P(B|A) é a probabilidade de B ocorrer dado que A aconteceu.
P(A) é a probabilidade inicial de A.
P(B) é a probabilidade inicial de B.
Vamos construir o entendimento passo a passo.
P é de probabilidade. A ou B são eventos. Imagine que A seja o evento "chover” e B seja o evento “nublado”. P(B|A) é a combinação dos eventos, ou seja, a probabilidade (P) de estar nublado (B) dado* (|) um dia de chuva (A). Interpretamos o símbolo | dentro de P(B|A) como “dado*”.
Imagine que você vá sair de casa pela manhã para uma corrida no parque. Ao olhar o céu percebe que está nublado. Qual a probabilidade de chover dado que está nublado? Neste caso o que se procura é P(A|B). Temos então a probabilidade (P) de chover (A) dado (|) um dia nublado (B).
O símbolo ¬A (não-A) quer dizer o oposto de A. Por exemplo, se a probabilidade de termos um dia de chuva é 20% P(A) então P(¬A) é de 80%. É exatamente a conta inversa, que pode ser expressada como P(¬A) = 1 - P(A).
O P(B|¬A) é mais ardil. Mas a tabela abaixo pode deixar mais claro:
Vamos colocar alguns números e ver o resultado do cálculo:
P(A) = 0.2. Isso quer dizer que a probabilidade de chover em qualquer dia é de 20% (amarelo)
P(¬A) = 1 - P(A) = 1 - 0.2 = 0.8 (amarelo)
P(B|A) = 0.85 (verde)
P(B|¬A) = 0.25 (vermelho)
O resultado, de chover dado um dia nublado P(A|B), é de 0.46 ou 46%. Isso sim é uma resposta precisa como a de um espião 🕵️.
Voltando ao cálculo de uma startup… Diferente do cenário da chuva, que temos as informações dadas, a única coisa que sabemos no caso da startup é o P(A). Ou seja, a probabilidade de sucesso, que é 10% (1 em 10 startups). Como faremos para descobrir B, B|A e B|¬A?
Fica fácil se imaginarmos o seguinte, a fórmula de Bayes trabalha com eventos (A e B).
Se A é o evento “sucesso”, o que precisamos entender é: Qual evento leva ao sucesso? Aprendizado validado! Minha premissa é que a cada interação, validação, descoberta e pivot a startup chega mais perto do sucesso. A cada ciclo do lean (construir→medir→aprender) a startup ganha perspectiva sobre a jornada, o que funciona ou não e como ajustar sua rota para sobrevivência.
Portanto, uma startup está o tempo inteiro validando coisas. Este processo não é estático. A cada passo da jornada aparece uma nova necessidade de validação/aprendizado. Por exemplo, testes A/B, MVPs, Testes de fumaça, Validação de Persona, validação de canais e por aí vai são experimentos que a startup faz para validar suas hipóteses. Sendo assim, podemos considerar que B é o evento “experimentos”!
Para tornar mais tangível imagine que estejamos validando um problema. Planejamos a nossa entrevista e nossa hipótese é de que 20%, de um total de 100 pessoas, vão ter um problema. Nossa validação confirmou que a dor estava presente em 50% dos entrevistados. Neste caso, estamos mais perto do sucesso ou insucesso em nossa jornada? Ora, se minha meta era 20% e estou com 50%, isso é uma baita informação positiva.
Vamos calcular…
P(A) = 0.1 Ou seja, a cada 10 startups, 1 dá certo (amarelo);
P(¬A) = 1 - P(A) = 1 - 0.1 = 0.9 Ou seja, 90% das startups falham (amarelo)
P(B|A) = 0.7 Qual a probabilidade de, dado que tive sucesso, ver o resultado do experimento B? Poderíamos considerar, para este exemplo, que seja 0.7 ou 70%. Ou seja, eu preciso ver bons resultados de experimentos se eu tenho sucesso! Mais de onde saiu os 70%? O resultado de 50% dos respondentes com problemas excedeu em mais que o dobro da nossa hipótese (20%). Dessa forma, eu não diria que está 100% garantido, mas acho provável que este resultado seja positivo. Então, atribuí 70%.
P(B|¬A) = 0.15 Qual a probabilidade de, dado que tive insucesso, ver o resultado do experimento B? Poderíamos considerar, para este exemplo, que seja 0.15 ou 15%. Ou seja, eu preciso ver péssimos resultados de experimentos se eu tenho insucesso! Como o resultado do experimento foi mais que o dobro da hipótese, eu acho que a capacidade de fracasso é bem baixa… 15% me parece razoável.
Inserindo os números na fórmula temos:
O resultado é de 0.34 ou 34%. Baixo né? Isso porque a P(A) é de apenas 10%. Entretanto, em seu próximo ciclo de aprendizado, você não tem como ponto de partida 10% de chance de dar certo, e sim um pouco mais. Digamos que 20 ou 30%… Então, verá que a probabilidade aumenta. Ou seja, cada ciclo me leva um pouco mais perto ou para longe do sucesso. Observe o impacto de atualizar a chance de P(A) de 10% para 20% abaixo. O resultado sai de 34% para 54%.
Parece complicado, mas não é, até você se acostumar com as letrinhas. Vamos revisar mais uma vez:
P(A) é a informação que você sabe e tem hoje, que 1 em 10 tem sucesso;
P(B|A) é, dado que você teve sucesso, qual a probabilidade de ver o resultado mostrado pelo experimento? Outro jeito de interpretar seria, que tipo de resultado de experimento eu deveria ver se eu tivesse sucesso?
P(B|¬A) é, dado que você teve insucesso (fracasso), qual a probabilidade de ver o resultado mostrado pelo experimento? Outro jeito de interpretar seria, que tipo de resultado de experimento eu deveria ver se eu tivesse fracasso?
A cada novo ciclo de experimentos e aprendizados atualize o cálculo.
A parte desafiadora, mas não complexa, é atribuir o valor de P(B|A) e P(B|¬A). A solução elegante, proposta por Alberto Savoia, é simplificar e interpretar usando a tabela abaixo:
Vamos entender como aplicar a leitura da tabela. Por exemplo, vamos supor que nossa hipótese seja que 15% da base (100 pessoas) se converta ao MVP pago. O experimento mostrou um resultado de 5%. Neste caso, olhando a tabela, responda:
P(B|A): O resultado de 5% me deixa mais perto ou longe do sucesso? A resposta poderia ser Muito Improvável, ou seja, é muito improvável que eu tenha sucesso com um resultado de 5% frente aos 15%. Neste caso, o número utilizado por nós seria 0.1 (veja a tabela, linha Muito Improvável).
P(B|¬A): O resultado de 5% me deixa mais perto ou longe do fracasso? A resposta poderia ser Muito Provável, ou seja, é muito provável que eu fracasse com um resultado de 5% frente aos 15%. Neste caso, o número utilizado por nós seria 0.9
Sugiro que releia o texto algumas vezes, com muita calma e reflexão (e talvez uma calculadora aberta). Eu prometo uma coisa, o assunto é denso mas depois do “click” você percebe que é bem simples no final do dia. É porque a matemática é uma linguagem que a gente tem que se acostumar.
Uma vez dominando o entendimento da fórmula de Bayes conseguimos aplicar isso para features, produtos, projetos, negócios, startups… é muito poderoso. E melhor, ganhamos uma habilidade especial, assim como a dos espiões, de trazer mais certeza em nossas respostas.
E para finalizar, meus parabéns! Se você chegou até aqui é porque sabe o valor que é estar no clube dos 1% 😉
Até a próxima 👋
Se gostou, curta e compartilhe com seus amigos!
Um agradecimento super especial para as pessoas que me ajudaram com a revisão do texto:
Vamos nos conectar: LinkedIn
Grupo do WhatsApp da Product Ride (aberto, chega mais)
Muito bom, como de costume, Sulivan!
Eu gosto muito de trabalhar com probabilidades de sucesso.
Acredito que o jogo fique ainda mais interessante quando começamos a calcular a probabilidade dos EXPERIMENTOS darem certo.
Dessa forma conseguimos ter mais controle e consciência do que estamos priorizando e do impacto que teremos.
Eu pirei tanto em projetar o resultado de testes em 2022, que compilei várias referências e criei uma forma prática de calcular o impacto de um determinado experimento.
Inclusive é o post mais compartilhado e que me deu mais inscritos na Growth sem Hack até agora.
Peço licença para compartilha-la aqui também:
https://open.substack.com/pub/growthsemhack/p/e-por-isso-que-seus-testes-sao-uma?r=164qra&utm_medium=ios&utm_campaign=post