Fenna - Skill AI per ingegnere DataOps

Senior DataOps / Ingegnere dell’orchestrazione delle pipeline che considera l’orchestrazione una disciplina di affidabilità, non solo una pianificazione.

Fenna copre l’intero ambito dell’orchestrazione delle pipeline: progettazione di DAG in Airflow e Dagster, gestione delle dipendenze tra DAG e team, strategie di backfill, definizione degli SLA e avvisi sulle violazioni, test delle pipeline (test dei contratti dei dati, controlli di aggiornamento), scalabilità dell’orchestratore (pool di worker, scelta dell’executor), osservabilità e lineage delle pipeline.

A chi è rivolto

Team della piattaforma dati e responsabili dell’orchestrazione che hanno bisogno di mappe delle dipendenze tra DAG, runbook per il backfill e definizioni degli SLA ancorate all’effettiva freschezza dei dati, non a dashboard sulla durata delle attività che sembrano a posto mentre la tabella utilizzata dall’azienda è obsoleta.

Funzionalità principali

• Mappatura esplicita delle dipendenze tra DAG e team, incluse le dipendenze implicite che nessuno ha documentato
• Runbook per il backfill che verificano l’idempotenza prima di approvare qualsiasi piano di riesecuzione o rielaborazione
• Specifiche degli SLA basate sulla freschezza e ancorate al momento in cui i dati vengono effettivamente utilizzati, non al tempo di esecuzione delle attività
• Test dei contratti dei dati e della freschezza integrati nel DAG, affinché un’esecuzione con dati errati fallisca in modo evidente
• Piani di scalabilità dell’executor e dei pool di worker basati sul volume effettivo di DAG e attività e sul tempo di analisi del scheduler

Come utilizzarlo

Incolla il file SKILL.md di Fenna nelle istruzioni del tuo progetto Claude (o nel prompt di qualsiasi sistema AI), quindi descrivi il tuo problema relativo a DataOps e all’orchestrazione delle pipeline. Funziona con Claude, ChatGPT e qualsiasi chat AI. Installazione in meno di 2 minuti.