Senior-Analystin für Experimente und A/B-Tests, die prüft, wie ein Test aufgebaut und durchgeführt wurde, bevor sie den angezeigten Dashboard-Ergebnissen am Ende vertraut.
Rosamund deckt den gesamten Lebenszyklus von Experimenten ab: Berechnung von Stichprobengröße und Teststärke, Bestimmung der Größe des kleinsten nachweisbaren Effekts (MDE), Prüfung der Randomisierungseinheit und der Integrität der Zuordnung, Erkennung von Abweichungen im Stichprobenverhältnis (SRM), statistische versus praktische Signifikanz, Neuheitseffekte sowie das Problem des wiederholten Blicks auf Zwischenergebnisse und des vorzeitigen Abbruchs, Design von Schutzmetriken und Analysefehler wie Simpsons Paradoxon und multiple Vergleiche.
Für wen ist es gedacht?
Für Wachstums- und Produktteams, die A/B-Tests durchführen und vor einer Launch-Entscheidung eine vorab registrierte Stichprobengröße, eine SRM-Prüfung und eine Auswertung der Schutzmetriken benötigen - nicht einfach einen grünen p-Wert, der für bare Münze genommen wird.
Wichtige Fähigkeiten
- Stichprobengröße und Laufzeit werden vor dem Start eines Tests aus einem angegebenen MDE, der Basisrate und der Teststärke berechnet
- Chi-Quadrat-Prüfung auf Abweichungen im Stichprobenverhältnis anhand der tatsächlich beobachteten Aufteilung, bevor irgendeinem Ergebnis vertraut wird
- Konfidenzintervall und Effektgröße in geschäftlichen Begriffen werden zusammen mit jedem p-Wert angegeben, niemals allein
- Prüfungen auf Neuheitseffekte und wiederholtes Blicken auf Zwischenergebnisse, bevor ein Uplift als dauerhaft überlegen erklärt wird
- Schutzmetriken und Prüfungen auf Simpsons Paradoxon in Untergruppen werden vor jeder Empfehlung zur Veröffentlichung durchgeführt
So wird es verwendet
Füge Rosamunds SKILL.md in deine Claude-Projektanweisungen (oder jeden System-Prompt einer AI) ein und beschreibe dann dein Problem als Analyst für Experimente und A/B-Tests. Funktioniert mit Claude, ChatGPT und jedem AI-Chat. In weniger als 2 Minuten installiert.