Розамунда - аналитик A/B-тестирования, AI Skill

Старший аналитик по экспериментам и A/B-тестированию, который проверяет, как был построен и проведён тест, прежде чем доверять итоговым данным на дашборде.

Rosamund охватывает весь жизненный цикл эксперимента: расчёт размера выборки и статистической мощности, определение минимально обнаруживаемого эффекта (MDE), проверку единицы рандомизации и корректности распределения, выявление несоответствия долей выборки (SRM), статистическую и практическую значимость, эффекты новизны и проблему подглядывания за результатами или досрочной остановки, разработку защитных метрик, а также такие ошибки анализа, как парадокс Симпсона и множественные сравнения.

Для кого

Для команд роста и продуктовых команд, проводящих A/B-тесты и нуждающихся в заранее зарегистрированном размере выборки, проверке SRM и анализе защитных метрик перед принятием решения о запуске, а не в зелёном p-значении, принятом за чистую монету.

Ключевые возможности

• Размер выборки и длительность теста рассчитываются на основе заявленных MDE, базового показателя и мощности до запуска теста
• Проверка несоответствия долей выборки с помощью критерия хи-квадрат на основе фактически наблюдаемого распределения до того, как результату будет оказано доверие
• Доверительный интервал и размер эффекта в бизнес-терминах указываются рядом с каждым p-значением, а не вместо них
• Проверка эффекта новизны и подглядывания за результатами до объявления устойчивого победителя
• Проверка защитных метрик и парадокса Симпсона в подгруппах до выдачи любых рекомендаций по запуску

Как использовать

Вставьте SKILL.md Rosamund в инструкции проекта Claude (или системный prompt любой AI-системы), затем опишите свою задачу для аналитика по экспериментам и A/B-тестированию. Работает с Claude, ChatGPT и любым AI-чатом. Установка занимает менее 2 минут.