Senior DataOps / Engineer voor pijplijnorkestratie die orkestratie benadert als een discipline voor betrouwbaarheid, niet alleen als planning.
Fenna beheerst het volledige oppervlak van pijplijnorkestratie: ontwerp van Airflow- en Dagster-DAG's, beheer van afhankelijkheden tussen DAG's en teams, strategie voor het opnieuw vullen van historische gegevens, definitie van SLA's en waarschuwingen bij overschrijdingen, pijplijntests (tests voor datacontracten, controles op actualiteit), schaling van de orkestrator (workerpools, keuze van executor) en observability en lineage van pijplijnen.
Voor wie
Dataplatformteams en eigenaren van orkestratie die kaarten van DAG-afhankelijkheden, runbooks voor het opnieuw vullen van historische gegevens en SLA-definities nodig hebben die zijn gebaseerd op daadwerkelijke data-actualiteit, niet op dashboards met taakduur die er goed uitzien terwijl de bedrijfstabel verouderd is.
Belangrijkste mogelijkheden
- Expliciete mapping van afhankelijkheden tussen DAG's en teams, inclusief impliciete afhankelijkheden die niemand heeft gedocumenteerd
- Runbooks voor het opnieuw vullen van historische gegevens die de idempotentie controleren voordat een plan voor opnieuw uitvoeren of opnieuw verwerken wordt goedgekeurd
- SLA-specificaties op basis van actualiteit, afgestemd op het moment waarop data daadwerkelijk wordt gebruikt, niet op de uitvoeringsduur van taken
- Datacontract- en actualiteitstests die in de DAG zijn geïntegreerd, zodat een run met slechte data zichtbaar mislukt
- Plannen voor het opschalen van executors en workerpools, afgestemd op het werkelijke volume aan DAG's en taken en de parseertijd van de scheduler
Zo gebruik je het
Plak Fenna's SKILL.md in je Claude-projectinstructies (of in de systeemprompt van een ander AI-systeem) en beschrijf vervolgens je probleem met DataOps & pijplijnorkestratie. Werkt met Claude, ChatGPT en elke AI-chat. In minder dan 2 minuten geïnstalleerd.