🗝️ A Chave Mestra Chamada Signal-to-Noise Ratio
Product Ride #15 - O melhor modelo mental quando assunto é métrica
👋 Oi, aqui é o Sulivan.
✈️ Aplicação aberta para o Cohort #2 do Programa da Product Ride.
“…Afirmo, com tranquilidade, que a qualidade, o conteúdo e o know-how que ele possui e transmite ao longo das mentorias é de causar inveja nos demais cursos que já fiz. Sulivan ultrapassa o mundo de produtos, expandindo temas de negócios e traçando correlações ímpares entre ambos. Por ser uma grande colecionadora de cursos de produto, asseguro uma experiência nota 1000 a todos que estão buscando o próximo passo na carreira de gestão e liderança…” - Tais Reis (participante do Cohort #1)
Leucemia mielóide, era este o diagnóstico de uma senhora de 60 anos feita por médicos em Tokyo. Apesar do problema ter sido identificado ela não respondia ao tratamento. Todos estavam encabulados: “Por que não há melhora?”.
Então, o caso foi levado para universidade da cidade onde pôde ser comparado a mais de 20 milhões de exames clínicos oncológicos com a ajuda da inteligência artificial e… voilá. Descobriram! Não era leucemia mielóide, e sim um tipo de leucemia rara. A história tem um final feliz. O tratamento foi revisto e a paciente respondeu bem à administração dos novos medicamentos.
Isto só foi possível por algo chamado SNR, ou signal to noise ratio (relação sinal-ruído, criado por Taguchi). Na relação sinal-ruído, o "sinal" representa a qualidade desejada, enquanto o "ruído" representa a parte indesejada ou interferência.
No caso da senhora acima o sinal é o diagnóstico correto (qualidade desejada) e o ruído o diagnóstico incorreto. Ao ajustar o ferramental (uso da IA), que é uma variável de controle disponível aos médicos para aumentar o sinal, o ruído diminuiu e o diagnóstico foi possível.
Vamos para um exemplo visual.
Observe as imagens abaixo capturadas por microscópio com diferentes configurações de sinal e ruído. As 4 imagens são a mesma, só que cada coluna tem uma qualidade diferente. Na coluna da esquerda a qualidade é maior, na da direita, pior (mais ruído).
Observe como os pontos brancos da imagem 1 ainda são detectáveis (veja a imagem 2) quando o sinal é bom. Agora, repare na imagem 3. O nível de ruído é tamanho que impossibilita a detecção de todos os pontos da imagem 1 (veja a imagem 4).
Ou seja, o resultado final, que é a capacidade de identificar todos os pontos, é determinado pela relação sinal-ruído. Quanto maior a diferença entre os dois, melhor.
A forma de endereçar a diferença é atuando nos chamados inputs. Inputs são "coisas” que podemos fazer/implementar para prevenir e reduzir ruídos ao mesmo tempo que elevamos a qualidade do sinal.
Vamos voltar ao exemplo da leucemia rara para ver o input em ação e o SRN calculado.
Cenário 1: Aqui o SNR é calculado para os humanos
Signal ou sinal são diagnósticos corretos. Noise ou ruído será diagnóstico incorreto. Vamos supor que a cada 100 diagnósticos, 85 são corretos e 15 incorretos. Neste caso, o SNR = 85:15 ou melhor, 5,6:1 (lê-se 5,6 para um, eu apenas dividi os dois lados por 15). Ou seja, a cada 6 diagnósticos aproximadamente (5,6), um é incorreto.Cenário 2: Aqui o SNR da IA
Aqui vamos introduzir um novo input que pode melhorar o sinal. Poderia ser um melhor treinamento dos médicos, mas vamos usar a Inteligência Artificial como ferramental. Vamos supor que a cada 100 diagnósticos, 95 são corretos e 5 incorretos. Neste caso, o SNR = 95:5 ou melhor, 19:1 (lê-se dezenove para um, eu apenas dividi os dois lados por 5). Ou seja, a cada 19 diagnósticos corretos, um é incorreto.
Por isso dizemos que o SNR foi a chave para o caso da leucemia. Graças à IA o ruído diminuiu e portanto vemos melhor qualidade e desfecho no diagnóstico.
Concluindo, para lidar com SNR precisamos entender:
Sinal é o resultado esperado, a qualidade desejada;
Ruído é o resultado inesperado, a qualidade indesejada;
Input são coisas que podemos fazer para aumentar a qualidade desejada;
GAP é o que queremos diminuir na relação SNR.
O SNR é poderosíssimo, pode-se aplicar a tudo. É praticamente a chave mestra que tem poder para melhorar qualquer coisa. É uma métrica universal e que fala um idioma comum, o que é bom versus o que é ruim. Veja alguns exemplos:
Em Vendas:
(sinal)Número de negócios fechados
(ruído) negócios perdidos
(inputs) design da proposta, melhor precificação, qualidade de leads…
Performance da minha newsletter:
(sinal) leram minha newsletter via email
(ruído) não abriram o email
(inputs) qualidade do texto, frequência, dias de publicação…
Indo passear com doguinho:
(sinal) passeios sem brigas na rua
(ruído) passeios com brigas
(inputs) mudar horário do passeio, socialização do pet…
Uso de feature: exportar relatório para CSV (essa é tricky, porque estamos supondo que o comportamento desejado é sempre exportar o relatório)
(sinal) exportações feitas ao visitar a página de relatório
(ruído) visitas à página de relatório sem uso da feature exportar
SRN no Youtube
A cada visita ao YouTube, uma nova home é construída do zero para nós, baseada no interesse atual. Do ponto de vista de qualidade, o que esperamos é que esses vídeos recomendados sejam, de fato, assistidos. Aqui, há uma oportunidade incrível para aplicação do SNR. Neste caso, teríamos algo como:
(sinal) Quantidade de vídeos listados vistos (por visita)
(ruído) Número total de vídeos listados na home (por visita, imaginando que o usuário ainda possa fazer scroll down e piorar a relação sinal-ruído)
Olha como o SNR é poderoso, se a relação for a pior possível, ou seja, nenhum vídeo listado é assistido, então a barra de busca deveria virar prioridade (por exemplo).
Em cada um dos exemplos acima, a relação sinal-ruído se revela como uma ferramenta crucial para avaliar e melhorar a qualidade do resultado desejado. A história da paciente com leucemia rara é um testemunho do poder da SNR. Ao ajustar os inputs, seja na área médica, na produção de bens ou na execução de tarefas cotidianas, somos capazes de maximizar o sinal desejado e minimizar o ruído indesejado.
Em última análise, a relação sinal-ruído é mais do que uma métrica; é uma filosofia de otimização e aprimoramento constante. É o meio pelo qual identificamos o que está funcionando e o que precisa ser ajustado, impulsionando-nos em direção a resultados mais consistentes e de alta qualidade (e aqui vale muito ser orientado por jobs to be done) em todas as áreas da vida. Portanto, ao entender e aplicar este conceito, estamos armados com uma chave mestra para desbloquear o potencial máximo em tudo o que fazemos.
Minha pergunta que fica é: Que porta você vai abrir 🗝️ ?
Até a próxima 👋
Se gostou, curta e compartilhe com seus amigos!
Um agradecimento super especial para as pessoas que me ajudaram com a revisão do texto:
Sulivan Santiago(sobre mim)
Vamos nos conectar pelo LinkedIn
Grupo do WhatsApp da Product Ride(aberto)