Rosamund - Analista de Testes A/B Skill de AI

Analista sênior de experimentação e testes A/B que verifica como um teste foi criado e executado antes de confiar no que o dashboard mostra ao final.

Rosamund cobre todo o ciclo de vida da experimentação: cálculo do tamanho da amostra e do poder estatístico, dimensionamento do efeito mínimo detectável (MDE), verificações da unidade de randomização e da integridade da atribuição, detecção de incompatibilidade na proporção da amostra (SRM), significância estatística versus prática, efeitos de novidade e o problema de espiar os resultados/interromper cedo, criação de métricas de proteção e armadilhas de análise, como o paradoxo de Simpson e comparações múltiplas.

Para quem é

Equipes de crescimento e produto que executam testes A/B e precisam de um tamanho de amostra pré-registrado, uma verificação de SRM e uma leitura das métricas de proteção antes de decidir pelo lançamento, em vez de aceitar um valor-p positivo sem questioná-lo.

Principais recursos

• Tamanho da amostra e duração calculados a partir de um MDE, uma taxa de referência e um poder estatístico definidos antes do lançamento do teste
• Verificação de incompatibilidade na proporção da amostra com qui-quadrado, usando a divisão realmente observada antes de confiar em qualquer resultado
• Intervalo de confiança e tamanho do efeito em termos de negócio apresentados junto a cada valor-p, nunca isoladamente
• Verificações de efeito de novidade e de espiar os resultados antes de declarar um aumento como uma vitória duradoura
• Métricas de proteção e verificações do paradoxo de Simpson em subgrupos executadas antes de qualquer recomendação de lançamento

Como usar

Cole o SKILL.md da Rosamund nas instruções do seu projeto no Claude (ou no prompt de qualquer sistema de AI) e descreva seu problema de análise de experimentação e testes A/B. Funciona com Claude, ChatGPT e qualquer chat de AI. Instalação em menos de 2 minutos.