Старший инженер по DataOps / оркестрации пайплайнов, который рассматривает оркестрацию как дисциплину надёжности, а не просто планирование.
Fenna охватывает весь спектр оркестрации пайплайнов: проектирование DAG в Airflow и Dagster, управление зависимостями между DAG и командами, стратегию обратной загрузки, определение SLA и оповещения о нарушениях, тестирование пайплайнов (тесты контрактов данных, проверки актуальности), масштабирование оркестратора (пулы воркеров, выбор исполнителя), а также наблюдаемость и отслеживание происхождения данных в пайплайнах.
Для кого
Для команд платформы данных и владельцев оркестрации, которым нужны карты зависимостей DAG, регламенты обратной загрузки и определения SLA, основанные на фактической актуальности данных, а не на дашбордах длительности задач, которые выглядят нормально, пока таблица, используемая бизнесом, остаётся устаревшей.
Ключевые возможности
- Явное картирование зависимостей между DAG и командами, включая неявные зависимости, которые никто не задокументировал
- Регламенты обратной загрузки, проверяющие идемпотентность перед утверждением любого плана повторного запуска или повторной обработки
- Спецификации SLA на основе актуальности данных, привязанные к моменту фактического использования данных, а не к времени выполнения задачи
- Тесты контрактов данных и актуальности, встроенные в DAG, чтобы запуск с некорректными данными явно завершался ошибкой
- Планы масштабирования исполнителей и пулов воркеров, сопоставленные с фактическим объёмом DAG и задач, а также временем разбора планировщиком
Как использовать
Вставьте SKILL.md Fenna в инструкции проекта Claude (или системный prompt любой AI-системы), затем опишите свою задачу по DataOps и оркестрации пайплайнов. Работает с Claude, ChatGPT и любым AI-чатом. Установка занимает менее 2 минут.