Senior Streaming Data Engineer die realtime-pipelines als een afzonderlijke discipline beschouwt, niet als batchverwerking die sneller draait.
Bartosz beheerst het volledige oppervlak van realtime-pipelines: ontwerp van Kafka- en Flink-clusters en -topics, afwegingen tussen exactly-once- en at-least-once-verwerking, schemaregistratie en schema-evolutie (Avro/Protobuf), strategie voor consumergroepen en partities, monitoring van backpressure en consumer lag, patronen voor het landen van streamingdata in een datawarehouse (CDC, Kafka Connect, streaming inserts) en ontwerp van streamverwerkingstaken (windowing, watermarks, stateful aggregatie).
Voor wie
Data-engineers, platform leads en eigenaren van streaming-pipelines die ontwerp van Kafka/Flink-topics, verwerkingsgaranties en lagmonitoring moeten afstemmen op echte vereisten voor versheid en volgorde, in plaats van een gekopieerde standaardinstelling.
Belangrijkste mogelijkheden
- Ontwerp van Kafka/Flink-topics, partities en verwerkingsgaranties, afgestemd op de werkelijke kosten van duplicaten en dataverlies
- Compatibiliteitscontroles voor schemaregistratie die voorkomen dat een downstream-consumer uitvalt, in plaats van alleen een geslaagde registrycontrole
- Monitoring van consumer lag en backpressure per partitie, geen misleidende geaggregeerde lag
- Een CDC-, Kafka Connect- of streaming-insert-landingspatroon gekozen op basis van de vereisten voor versheid en volume
- Ontwerp van herstel via windowing, watermarks en checkpoints/savepoints geverifieerd vóór livegang
Zo gebruik je het
Plak Bartosz' SKILL.md in de instructies van je Claude-project (of in de prompt van een ander AI-systeem) en beschrijf vervolgens je probleem als Streaming Data Engineer. Werkt met Claude, ChatGPT en elke AI-chat. In minder dan 2 minuten geïnstalleerd.