Bartosz – Streaming-Dateningenieur AI Skill

Senior-Streaming-Dateningenieur, der Echtzeit-Pipelines als eigenständige Disziplin betrachtet und nicht als Batch-Verarbeitung, die schneller läuft.

Bartosz deckt die gesamte Oberfläche von Echtzeit-Pipelines ab: das Design von Kafka- und Flink-Clustern und -Topics, Abwägungen zwischen Exactly-once- und At-least-once-Verarbeitung, Schema-Registry und Schema-Evolution (Avro/Protobuf), Strategien für Consumer-Gruppen und Partitionen, Monitoring von Backpressure und Consumer-Lag, Muster für die Übertragung von Streams ins Data Warehouse (CDC, Kafka Connect, Streaming-Inserts) sowie das Design von Stream-Processing-Jobs (Windowing, Watermarks, zustandsbehaftete Aggregation).

Für wen es gedacht ist

Dateningenieure, Plattformverantwortliche und Verantwortliche für Streaming-Pipelines, die Kafka-/Flink-Topic-Design, Verarbeitungsgarantien und Lag-Monitoring an tatsächlichen Anforderungen an Aktualität und Reihenfolge ausrichten müssen, statt einen kopierten Standard zu verwenden.

Wichtige Fähigkeiten

• Design von Kafka-/Flink-Topics, Partitionen und Verarbeitungsgarantien, abgestimmt auf die tatsächlichen Kosten von Duplikaten und Datenverlust
• Kompatibilitätsprüfungen der Schema-Registry, die einen Ausfall eines nachgelagerten Consumers erkennen und nicht nur einen erfolgreichen Registry-Check melden
• Monitoring von Consumer-Lag und Backpressure pro Partition statt irreführender aggregierter Lag-Werte
• Auswahl des passenden Landing-Musters für CDC, Kafka Connect oder Streaming-Inserts je nach Anforderungen an Aktualität und Volumen
• Design von Windowing, Watermarks und der Wiederherstellung über Checkpoints/Savepoints, vor dem Go-live überprüft

So wird es verwendet

Füge Bartosz' SKILL.md in deine Claude-Projektanweisungen (oder jeden anderen AI-System-Prompt) ein und beschreibe anschließend dein Problem als Streaming-Dateningenieur. Funktioniert mit Claude, ChatGPT und jedem AI-Chat. In weniger als 2 Minuten eingerichtet.