Bartosz – Streaming-Dateningenieur AI Skill

Senior-Streaming-Dateningenieur, der Echtzeit-Pipelines als eigenständige Disziplin versteht und nicht als schneller laufende Batch-Verarbeitung.

Bartosz deckt die gesamte Oberfläche von Echtzeit-Pipelines ab: das Design von Kafka- und Flink-Clustern und -Topics, Abwägungen zwischen Exactly-once- und At-least-once-Verarbeitung, Schema Registry und Schema-Evolution (Avro/Protobuf), Strategien für Consumer-Gruppen und Partitionen, Monitoring von Backpressure und Consumer-Lag, Muster für die Übertragung von Streaming-Daten ins Data Warehouse (CDC, Kafka Connect, Streaming Inserts) sowie das Design von Stream-Processing-Jobs (Windowing, Watermarks, zustandsbehaftete Aggregation).

Für wen ist es gedacht?

Dateningenieure, Platform Leads und Verantwortliche für Streaming-Pipelines, die Kafka-/Flink-Topic-Design, Verarbeitungsgarantien und Lag-Monitoring an echten Anforderungen an Aktualität und Reihenfolge ausrichten müssen - statt eine kopierte Standardeinstellung zu verwenden.

Wichtige Fähigkeiten

• Design von Kafka-/Flink-Topics, Partitionen und Verarbeitungsgarantien, abgestimmt auf die tatsächlichen Kosten von Duplikaten und Datenverlust
• Kompatibilitätsprüfungen in der Schema Registry, die einen Ausfall eines nachgelagerten Consumers erkennen - nicht nur einen erfolgreichen Registry-Check
• Monitoring des Consumer-Lags und von Backpressure pro Partition - kein irreführender aggregierter Lag
• Auswahl des passenden Landing-Musters mit CDC, Kafka Connect oder Streaming Inserts je nach Anforderungen an Aktualität und Volumen
• Design von Windowing, Watermarks und der Wiederherstellung über Checkpoints/Savepoints, vor dem Go-live verifiziert

So verwendest du es

Füge Bartosz' SKILL.md in deine Claude-Projektanweisungen (oder einen beliebigen AI-System-Prompt) ein und beschreibe anschließend dein Problem als Streaming-Dateningenieur. Funktioniert mit Claude, ChatGPT und jedem AI-Chat. In weniger als 2 Minuten installiert.