O paradoxo de Simpson e a importância da segmentação de dados na mentalidade Lean
Product Ride #2
Olá, aqui é o Sulivan Santiago, CTO da Lincon Health. Na minha caminhada ajudei milhares de empreendedores e intraempreendedores a lançarem seus produtos no mercado. Esta newsletter é um compilado de insights, análises, conteúdo e minhas próprias loucuras na jornada de zero a um.
Esse desafio matemático parou a internet quando foi descoberto que era aplicado aos alunos do primário (por volta de 11 anos de idade) da China. O desafio:
Se um navio tivesse 26 ovelhas e 10 cabras a bordo, quantos anos teria o capitão do navio?
Para deixar mais divertido o texto, por que você mesmo não tenta resolver? Vamos lá, valendo!
E então? Difícil, não é? Algumas respostas foram:
O peso total médio de 26 ovelhas e 10 cabras é 7.700kg. Se na China você precisa de uma licença mínima de 5 anos para transportar mais de 5.000kg em um barco, e a idade mínima para ter uma licença é 23 anos, então a idade é, no mínimo, 28 anos.
A maioria disse que era simplesmente 26 (ovelhas) + 10 (cabras) = 36
Alguns poucos disseram que era impossível de resolver
A resposta correta é “não existe informação suficiente”. Consigo sentir seu desapontamento daqui. Eu também fiquei… Entretanto, o objetivo da China era apenas testar as habilidades de pensamento crítico dos estudantes nas aulas de matemática. Bom, funcionou!
(…) Conectando os Pontos
É impressionante como o desafio acima tem semelhanças profundas com nosso dia a dia, mas não da forma direta como foi apresentado. Perceba que existiam poucas variáveis na pergunta, então é possível dizer que não existe informação suficiente. No dia a dia, na construção de startups, produtos e features, é diferente, temos muitos dados disponíveis. Ainda assim, é possível que a informação não seja suficiente! Como?
Veja um exemplo sob a ótica da Lincon Health. A Lincon Health é uma terapia digital que transforma a maneira que pessoas com diabetes e hipertensão lidam com a saúde. A jornada de quem tem uma ou ambas dessas doenças crônicas é bem desafiadora, repleta de dores e necessidades não atendidas. Ancorados na mentalidade Lean, de construir, medir e aprender, quando desenvolvemos nosso MVP a missão era responder a seguinte hipótese de risco: Mudamos o comportamento das pessoas com diabetes e hipertensão?
Como a hipótese endereçava comportamento e não tecnologia nosso MVP foi desenhado com ferramentas NoCode (Google Forms, Google Sheets, Google Data Studio, Whatsapp e GlideApps) para uma ida rápida ao mercado:
MVP da Lincon Health
A análise.
[os dados a seguir são fictícios para exemplificar o tema discutido]
Imagine que você seja a pessoa responsável por responder se a hipótese está sendo validada ou não e também encontrar o que não está funcionando para que haja novos experimentos e melhoria contínua. Você mergulha na primeira métrica, quantidade de pessoas que perderam peso, e encontra isso:
*Importante: Na Lincon Homens e Mulheres são coletados a partir do gênero que a pessoa se identifica.
Sua conclusão pode ser: “Excelente, temos sucesso em 90% da amostra. Porém, temos espaço para trabalhar a perda de peso em mulheres (hoje em 83%)”. Você corre no seu customer success ou na coach de saúde e diz: “Olha, precisamos melhorar o resultado em mulheres! Vamos revisar nosso produto/processo”.
Será mesmo? Após reflexão você percebe que peso, como número absoluto, não é um dado bom já que a amostra contém pessoas que partem de pesos muito diferentes. Então, decide fazer um recorte de % de peso corporal relativo perdido:
>=3% (este número pode ter saído de algum benchmark ou estudo clínico por exemplo)
Você pensa: “Wow, na verdade temos que melhorar o resultado nos homens! Ei, customer success, esquece o que eu falei anteriormente. Não é mais sobre mulheres, elas estão detonando. 66% delas perderam igual ou mais de 3% do peso corporal…”
O grande erro nas duas conclusões acima é que não se pode tomar decisões de pivotar ou perseverar em cima de métricas que não traduzem o JOB TO BE DONE do cliente.
Métricas como peso e % de peso perdido são correlacionadas à mudança de hábito mas não definem comportamento ou saúde final. A métrica que realmente é ouro aqui é a chamada Hemoglobina Glicada. Ela mostra redução ou aumento do nível de glicose no sangue nos últimos 3 meses (o fator tempo diz muito sobre hábito). Então, o cenário muda mais uma vez:
>=1% (este número pode ter saído de algum benchmark ou estudo clínico por exemplo)
Opa, agora sim. Voltamos novamente às mulheres. Percebeu como múltiplas segmentações podem apresentar respostas diferentes? Isso se chama paradoxo de simpson, quando dados segmentados apresentam tendências diferentes de quando estão agrupados. Super recomendo ver este post da Mixpanel sobre.
Resumindo, sua decisão teria sido totalmente equivocada se você parasse na primeira ou segunda análise.
Lições importantes:
Números não sabem o que é verdade, isto quem decide é você. Existem diversas falácias que podemos evitar, aqui estão algumas para aprofundar;
Não há nada de errado em trabalhar com métricas correlacionadas (peso e % de peso perdido neste exemplo), mas não esqueça que decisões de pivotar ou perseverar devem ser sempre em cima da métrica que reflete seu job to be done final, que define o sucesso do seu cliente;
Segmentação, segmentação e segmentação quando for analisar dados. O paradoxo de Simpson está em tudo, na aquisição, em canais, no churn, em indicadores organizacionais... Esteja ciente e cubra este ponto cego 😉
Cada vez mais as decisões têm impacto exponencial por causa da tecnologia. Um erro e você pode parar longe de onde gostaria. Esta é uma verdade enorme em produtos digitais.
Curiosidade😳: Se você errar em 1° grau para direita a rota de Congonhas para Lisboa, você vai parar em Marrocos! E se você errar em 1° sua decisão?
“É notável quantas vantagens a longo prazo pessoas como nós ganharam tentando ser consistentemente não estúpidas, em vez de tentarem ser muito inteligentes.”
- Charlie Munger
Se gostou, não esqueça de encaminhar essa edição para seus amigos e parceiros.
Li e #recomendo: The Decision Checklist: A Practical Guide to Avoiding Problems.
Sam Kyle traz dicas práticas e acionáveis sobre como tomar boas decisões e tornar o processo de melhoria em algo sistemático. Um livro curto, rápido e cheio de conhecimento.
Obrigado por ler até aqui. Fique à vontade para comentar abaixo ou me responder este e-mail contando o que achou.
Abraço,😉
Muito bom Sulivan!! Ótimo conteúdo!!
Parabéns, camarada! Sigo acompanhando! Abraço!