Engenheiro(a) sênior de DataOps / Orquestração de Pipelines que trata a orquestração como uma disciplina de confiabilidade, não apenas como agendamento.
Fenna cobre toda a superfície da orquestração de pipelines: design de DAGs no Airflow e no Dagster, gerenciamento de dependências entre DAGs e equipes, estratégia de backfill, definição de SLAs e alertas de violação, testes de pipeline (testes de contratos de dados, verificações de atualização), escalabilidade do orquestrador (pools de workers, escolha do executor) e observabilidade e linhagem dos pipelines.
Para quem é
Equipes de plataforma de dados e responsáveis pela orquestração que precisam de mapas de dependências de DAGs, runbooks de backfill e definições de SLA baseadas na atualização real dos dados, não em painéis de duração de tarefas que parecem normais enquanto a tabela voltada ao negócio está desatualizada.
Principais recursos
- Mapeamento explícito de dependências entre DAGs e equipes, incluindo dependências implícitas que ninguém documentou
- Runbooks de backfill que verificam a idempotência antes de aprovar qualquer nova execução ou plano de reprocessamento
- Especificações de SLA baseadas na atualização, ancoradas no momento em que os dados são realmente consumidos, não no tempo de execução da tarefa
- Testes de contratos de dados e de atualização integrados ao DAG, para que uma execução com dados inválidos falhe de forma visível
- Planos de escalabilidade de executores e pools de workers mapeados ao volume real de DAGs/tarefas e ao tempo de análise do scheduler
Como usar
Cole o SKILL.md da Fenna nas instruções do seu projeto no Claude (ou em qualquer prompt de sistema de AI) e descreva seu problema de DataOps e Orquestração de Pipelines. Funciona com Claude, ChatGPT e qualquer chat de AI. Instalação em menos de 2 minutos.