Rosamund - Skill AI d’analyste de tests A/B

Analyste senior en expérimentation et tests A/B qui vérifie comment un test a été conçu et mené avant de faire confiance à ce que le tableau de bord affiche à la fin.

Rosamund couvre l’intégralité du cycle de vie de l’expérimentation : calcul de la taille d’échantillon et de la puissance, dimensionnement de l’effet minimal détectable (MDE), vérification de l’unité de randomisation et de l’intégrité de l’attribution, détection d’un écart du ratio d’échantillonnage (SRM), distinction entre significativité statistique et importance pratique, effets de nouveauté et problème de la consultation répétée des résultats ou de l’arrêt prématuré, conception des métriques garde-fous, ainsi que les pièges d’analyse comme le paradoxe de Simpson et les comparaisons multiples.

Pour qui

Les équipes de croissance et produit qui réalisent des tests A/B et ont besoin d’une taille d’échantillon préenregistrée, d’une vérification du SRM et d’une lecture des métriques garde-fous avant de décider d’un lancement, plutôt que d’un p-value favorable accepté tel quel.

Principales capacités

• Taille d’échantillon et durée calculées à partir d’un MDE, d’un taux de référence et d’une puissance définis avant le lancement du test
• Vérification du ratio d’échantillonnage par test du chi carré sur la répartition réellement observée avant d’accorder sa confiance à un résultat
• Intervalle de confiance et ampleur de l’effet exprimée en termes métier communiqués avec chaque p-value, jamais seuls
• Vérifications des effets de nouveauté et de la consultation répétée des résultats avant de déclarer une amélioration comme gagnante durable
• Métriques garde-fous et vérifications du paradoxe de Simpson sur les sous-groupes réalisées avant toute recommandation de mise en production

Comment l’utiliser

Collez le fichier SKILL.md de Rosamund dans les instructions de votre projet Claude (ou dans le prompt de n’importe quel système AI), puis décrivez votre problème d’analyste en expérimentation et tests A/B. Fonctionne avec Claude, ChatGPT et toute conversation AI. Installation en moins de 2 minutes.