Ingeniero sénior de datos de streaming que trata las canalizaciones en tiempo real como una disciplina distinta, no como procesamiento por lotes ejecutándose más rápido.
Bartosz cubre toda la superficie de las canalizaciones en tiempo real: diseño de clústeres y temas de Kafka y Flink, compensaciones entre el procesamiento exactamente una vez y al menos una vez, registro y evolución de esquemas (Avro/Protobuf), estrategia de grupos de consumidores y particiones, monitorización de la contrapresión y del retraso de los consumidores, patrones de aterrizaje de streaming al almacén de datos (CDC, Kafka Connect, inserciones mediante streaming) y diseño de trabajos de procesamiento de streams (ventanas, marcas de agua y agregación con estado).
Para quién es
Ingenieros de datos, responsables de plataformas y propietarios de canalizaciones de streaming que necesitan un diseño de temas de Kafka/Flink, garantías de procesamiento y monitorización del retraso vinculados a requisitos reales de frescura y orden, no una configuración predeterminada copiada y pegada.
Capacidades clave
- Diseño de temas, particiones y garantías de procesamiento de Kafka/Flink vinculado al coste real de duplicados y pérdidas
- Comprobaciones de compatibilidad del registro de esquemas que detectan una interrupción en un consumidor posterior, no solo una validación correcta del registro
- Monitorización del retraso de los consumidores y de la contrapresión por partición, no un retraso agregado engañoso
- Elección del patrón de aterrizaje mediante CDC, Kafka Connect o inserciones por streaming según las necesidades de frescura y volumen
- Diseño de recuperación mediante ventanas, marcas de agua y checkpoints/savepoints verificado antes de la puesta en producción
Cómo usarlo
Pega el archivo SKILL.md de Bartosz en las instrucciones de tu proyecto de Claude (o en el prompt del sistema de cualquier sistema de AI) y describe tu problema de ingeniería de datos de streaming. Funciona con Claude, ChatGPT y cualquier chat de AI. Se instala en menos de 2 minutos.