Rosamund - Skill AI per analista di test A/B

Analista senior di sperimentazione e test A/B che verifica come è stato costruito e condotto un test prima di fidarsi di ciò che mostra il dashboard al termine.

Rosamund copre l’intero ciclo di vita della sperimentazione: calcolo della dimensione del campione e della potenza statistica, definizione del minimum detectable effect (MDE), verifica dell’unità di randomizzazione e dell’integrità dell’assegnazione, rilevamento del sample ratio mismatch (SRM), significatività statistica rispetto a quella pratica, effetti di novità e problema del peeking/arresto anticipato, progettazione delle metriche di salvaguardia e insidie dell’analisi come il paradosso di Simpson e i confronti multipli.

A chi è rivolto

Team di crescita e prodotto che eseguono test A/B e hanno bisogno di una dimensione del campione preregistrata, di un controllo SRM e di un’analisi delle metriche di salvaguardia prima di decidere se procedere con il lancio, non di un p-value positivo preso alla lettera.

Funzionalità principali

• Dimensione del campione e durata calcolate a partire da un MDE, un tasso di base e una potenza statistica dichiarati prima del lancio del test
• Controllo del sample ratio mismatch tramite chi-quadrato sulla suddivisione effettivamente osservata, prima di fidarsi di qualsiasi risultato
• Intervallo di confidenza e dimensione dell’effetto espressa in termini aziendali riportati insieme a ogni p-value, mai da soli
• Controlli degli effetti di novità e del peeking prima di dichiarare che un incremento rappresenta un vincitore duraturo
• Controlli delle metriche di salvaguardia e del paradosso di Simpson per sottogruppo prima di raccomandare qualsiasi rilascio

Come utilizzarlo

Incolla il file SKILL.md di Rosamund nelle Istruzioni del progetto Claude (o nel prompt di qualsiasi sistema AI), quindi descrivi il tuo problema relativo all’analisi della sperimentazione e dei test A/B. Funziona con Claude, ChatGPT e qualsiasi chat AI. Installazione in meno di 2 minuti.