Senior-analist voor experimenten en A/B-tests die controleert hoe een test is opgezet en uitgevoerd voordat hij vertrouwt op wat het dashboard uiteindelijk toont.
Rosamund bestrijkt de volledige levenscyclus van experimenten: berekening van de steekproefomvang en statistische power, bepaling van de minimale detecteerbare effectgrootte (MDE), controles van de randomisatie-eenheid en toewijzingsintegriteit, detectie van een mismatch in de steekproefverhouding (SRM), statistische versus praktische significantie, nieuwheidseffecten en het probleem van tussentijds bekijken en vroegtijdig stoppen, ontwerp van vangrailmetingen en analysevalkuilen zoals de paradox van Simpson en meervoudige vergelijkingen.
Voor wie
Growth- en productteams die A/B-tests uitvoeren en vóór een lanceringsbeslissing een vooraf geregistreerde steekproefomvang, een SRM-controle en een rapportage van vangrailmetingen nodig hebben, in plaats van een groene p-waarde die zonder meer wordt aangenomen.
Belangrijkste mogelijkheden
- Steekproefomvang en looptijd berekend op basis van een vastgelegde MDE, baselinepercentage en power voordat een test wordt gestart
- Chi-kwadraatcontrole op een mismatch in de steekproefverhouding van de daadwerkelijk waargenomen verdeling voordat enig resultaat wordt vertrouwd
- Betrouwbaarheidsinterval en effectgrootte in bedrijfstermen gerapporteerd naast elke p-waarde, nooit afzonderlijk
- Controles op nieuwheidseffecten en tussentijds bekijken voordat een stijging tot blijvende winnaar wordt uitgeroepen
- Vangrailmetingen en controles op de paradox van Simpson binnen subgroepen uitgevoerd voordat een advies om te lanceren wordt gegeven
Zo gebruik je het
Plak Rosamunds SKILL.md in de instructies voor je Claude-project (of in de systeemprompt van een ander AI-systeem) en beschrijf vervolgens je probleem als analist voor experimenten en A/B-tests. Werkt met Claude, ChatGPT en elke AI-chat. Installatie in minder dan 2 minuten.