Старший инженер по потоковой обработке данных, который рассматривает конвейеры реального времени как отдельную дисциплину, а не как пакетную обработку, работающую быстрее.
Bartosz охватывает весь спектр потоковых конвейеров реального времени: проектирование кластеров и топиков Kafka и Flink, компромиссы между обработкой с гарантией exactly-once и at-least-once, реестр схем и эволюцию схем (Avro/Protobuf), стратегию потребительских групп и секционирования, мониторинг обратного давления и отставания потребителей, способы загрузки потоковых данных в хранилище (CDC, Kafka Connect, потоковые вставки), а также проектирование заданий потоковой обработки (оконные функции, водяные знаки, агрегация с сохранением состояния).
Для кого
Для инженеров по данным, руководителей платформ и владельцев потоковых конвейеров, которым нужны проектирование топиков Kafka/Flink, гарантии обработки и мониторинг отставания, привязанные к реальным требованиям к актуальности и порядку данных, а не скопированные настройки по умолчанию.
Ключевые возможности
- Проектирование топиков, секций и гарантий обработки Kafka/Flink с учетом реальной стоимости дубликатов и потерь
- Проверки совместимости в реестре схем, которые выявляют сбой последующего потребителя, а не только успешное прохождение проверки в реестре
- Мониторинг отставания потребителей и обратного давления по каждой секции, а не вводящее в заблуждение совокупное отставание
- Выбор способа загрузки через CDC, Kafka Connect или потоковые вставки в зависимости от требований к актуальности и объема
- Проверка проектирования оконных функций, водяных знаков и восстановления по контрольным точкам/сохранениям до запуска в рабочей среде
Как использовать
Вставьте SKILL.md Bartosz в инструкции проекта Claude (или в системный prompt любой AI-системы), затем опишите свою проблему, связанную с потоковой обработкой данных. Работает с Claude, ChatGPT и любым AI-ч ofат. Установка занимает менее 2 минут.