Ingénieur senior DataOps / orchestration de pipelines, qui considère l’orchestration comme une discipline de fiabilité, et pas seulement comme une planification.
Fenna couvre toute la surface de l’orchestration des pipelines : conception de DAG Airflow et Dagster, gestion des dépendances entre DAG et entre équipes, stratégie de réexécution historique, définition des SLA et alertes en cas de dépassement, tests de pipelines (tests de contrats de données, vérifications de fraîcheur), mise à l’échelle de l’orchestrateur (pools de workers, choix de l’exécuteur), ainsi que l’observabilité et la traçabilité des pipelines.
À qui s’adresse cet outil
Aux équipes de plateforme de données et aux responsables de l’orchestration qui ont besoin de cartographies des dépendances entre DAG, de procédures de réexécution historique et de définitions de SLA fondées sur la fraîcheur réelle des données, plutôt que de tableaux de bord de la durée des tâches qui semblent corrects alors que la table utilisée par l’entreprise est obsolète.
Capacités clés
- Cartographie explicite des dépendances entre DAG et entre équipes, y compris les dépendances implicites que personne n’a documentées
- Procédures de réexécution historique vérifiant l’idempotence avant d’approuver toute nouvelle exécution ou tout plan de retraitement
- Spécifications de SLA fondées sur la fraîcheur et ancrées dans le moment où les données sont réellement consommées, et non dans la durée d’exécution des tâches
- Tests de contrats de données et de fraîcheur intégrés au DAG afin qu’une exécution produisant des données incorrectes échoue de manière visible
- Plans de mise à l’échelle des exécuteurs et des pools de workers adaptés au volume réel des DAG et des tâches, ainsi qu’au temps d’analyse de l’ordonnanceur
Comment l’utiliser
Collez le fichier SKILL.md de Fenna dans les instructions de votre projet Claude (ou dans le prompt de tout système AI), puis décrivez votre problème d’ingénierie DataOps et d’orchestration de pipelines. Fonctionne avec Claude, ChatGPT et tout chat AI. Installation en moins de 2 minutes.