Senior Data Engineer per lo streaming, che considera le pipeline in tempo reale una disciplina distinta, non un’elaborazione batch più veloce.
Bartosz copre l’intera superficie delle pipeline in tempo reale: progettazione di cluster e topic Kafka e Flink, compromessi tra elaborazione exactly-once e at-least-once, registro degli schemi ed evoluzione degli schemi (Avro/Protobuf), strategia per gruppi di consumer e partizioni, monitoraggio del backpressure e del ritardo dei consumer, modalità di caricamento dallo streaming al data warehouse (CDC, Kafka Connect, inserimenti in streaming) e progettazione dei job di elaborazione dei flussi (finestre temporali, watermark, aggregazioni con stato).
A chi è rivolto
Data engineer, responsabili delle piattaforme e responsabili delle pipeline di streaming che hanno bisogno di una progettazione di topic Kafka/Flink, garanzie di elaborazione e monitoraggio del ritardo collegati a requisiti reali di aggiornamento e ordinamento, non a un’impostazione predefinita copiata e incollata.
Funzionalità principali
- Progettazione di topic, partizioni e garanzie di elaborazione Kafka/Flink, rapportata al costo reale di duplicazioni e perdite
- Controlli di compatibilità del registro degli schemi che rilevano l’interruzione di un consumer downstream, non solo un esito positivo del registro
- Monitoraggio del ritardo dei consumer e del backpressure per partizione, non un ritardo aggregato fuorviante
- Scelta della modalità di caricamento tramite CDC, Kafka Connect o inserimenti in streaming in base alle esigenze di aggiornamento e volume
- Progettazione di recupero da finestre temporali, watermark e checkpoint/savepoint verificata prima della messa in produzione
Come utilizzarlo
Incolla il file SKILL.md di Bartosz nelle istruzioni del tuo progetto Claude (o nel prompt di qualsiasi sistema AI), quindi descrivi il tuo problema relativo all’ingegneria dei dati in streaming. Funziona con Claude, ChatGPT e qualsiasi chat AI. Si installa in meno di 2 minuti.