Realtime Analytics
Авторская программа
Игоря Мосягина
После DLC вы сможете собрать и отладить полноценный пайплайн для realtime analytics: забрать изменения из Postgres через CDC, передать их в Kafka, посчитать метрики в ClickHouse и отдать их через API — а также диагностировать типовые поломки по лагу, свежести и контрактам данных.
Скидка 33% • До 31 августа
Концентрированная практика
6 недель и 8 занятий — специализированная программа без лишней теории
Комьюнити инженеров
Вы учитесь с практикующими инженерами уровня middle и выше
4 лабы и проект
End-to-end realtime analytics service, который вы покажете на интервью
Первый запуск = скидка
Ранние участники получают максимальную скидку
Подойдёт или нет
Подойдёт
- Выпускникам core-программы, которые хотят следующий практический шаг.
- Middle и middle+ Data Engineer, которые уже сталкиваются с Kafka, CDC, ClickHouse или realtime-метриками.
- Backend- и data-инженерам, которым начали отдавать realtime-задачи.
- Инженерам, которым важно не только «поднять стек», но и понимать, как он ломается.
Не подойдёт
- Тем, кто только начинает заниматься data engineering.
- Тем, кто хочет курс по BI, дизайну или дашбордингу.
- Тем, кто ищет глубокий курс по Flink или теории стриминга.
- Тем, кто не готов регулярно дебажить локальное окружение и читать логи.
Что вы сможете после DLC
Собрать полный процесс обработки realtime-данных
Вы соберёте сквозной пайплайн от источника до API и сможете объяснить каждое звено: зачем оно нужно и как влияет на остальные.
Проектировать метрики для freshness и SLA
Вы научитесь определять, насколько свежи данные, и строить метрики, по которым видно, выполняется ли SLA по задержке и качеству.
Дебажить инциденты в проде
Дубли, пропущенные события, lag, schema drift, неверные данные — вы научитесь находить причину и восстанавливать пайплайн.
Сквозной пайплайн обработки данных в реальном времени
Вы соберёте полный стек, который собирает, обрабатывает и анализирует данные с минимальной задержкой. Вместо ночных батч-обработок данные обрабатываются 24/7.
Архитектура пайплайна
PostgreSQL
Debezium
Kafka
ClickHouse
FastAPI
Change Data Capture
Перехватываем все изменения в PostgreSQL и отправляем их в Kafka как события в реальном времени
Event Streaming
Kafka управляет потоком событий: гарантирует доставку, масштабируется, обрабатывает миллионы сообщений в секунду
Real-time Aggregations
ClickHouse считает метрики по горячим данным и отдает их с минимальной задержкой для дашбордов
API Layer
FastAPI фронтенд получает метрики из ClickHouse через REST API с кешированием и обработкой ошибок
4 лабораторные работы
Каждая лаба — это код, который вы пишете и отлаживаете сами.
CDC основы на PostgreSQL
Настроите Debezium коннектор с логической репликацией PostgreSQL. Снимете initial snapshot, пройдетесь по insert/update/delete событиям, разберётесь с event envelope и keys. Первый опыт обработки schema evolution без downtime.
Что проверяет чекер
- ✓Connector создан с правильными параметрами
- ✓Kafka topics содержат ожидаемые события
- ✓Snapshot и новые изменения различимы
- ✓Update/delete отражаются корректно
Real-time агрегации в ClickHouse
Подключите Kafka events в ClickHouse через Kafka Engine. Создадите raw events table и materialized views для бизнес-метрик. Посчитаете агрегаты по time window, entity и status. Добавите freshness timestamp и проверите задержку обновления.
Что проверяет чекер
- ✓Таблицы и materialized views созданы с ожидаемой структурой
- ✓Тестовые события попадают в raw layer
- ✓Агрегаты совпадают с expected values
- ✓Повторная отправка событий не ломает инварианты
FastAPI metric service
Реализуете FastAPI сервис поверх ClickHouse с endpoints для метрик. Добавите поддержку фильтров, time range, group by и pagination. Настроите кеширование для тяжелых запросов и freshness checks с правильной обработкой ошибок.
Что проверяет чекер
- ✓API возвращает expected JSON schema
- ✓Метрики совпадают с ClickHouse expected result
- ✓Фильтры и группировки работают корректно
- ✓Cache не отдает устаревший результат за пределами SLA
Ops drill: диагностика и восстановление
Получите заранее сломанный pipeline и найдете причины lag, schema drift и неправильных метрик. Напишете incident note с root cause analysis и recovery plan. Научитесь диагностировать проблемы как на боевой работе.
Что проверяет чекер
- ✓Pipeline восстановлен, проверки пайплайна проходят
- ✓Контрольные метрики совпадают с expected values
- ✓Freshness снова в пределах SLA
- ✓Schema drift не ломает downstream на тестовом наборе
Темы 8 занятий
Неделя 1: Realtime mindset, локальный стенд, CDC
Architecture kickoff
CDC basics
Результат недели
Студент понимает архитектуру курса, запускает стенд и умеет поднять CDC из Postgres в Kafka.
Неделя 2: Kafka ingestion, надежность событий
Kafka refresher
Результат недели
Студент понимает Kafka не как очередь, а как основную часть realtime пайплайна и как наблюдать за состоянием ingestion.
Неделя 3: ClickHouse, ingestion, realtime-агрегации
OLAP
Результат недели
Студент умеет превратить stream событий в serving-ready метрики в ClickHouse.
Неделя 4: FastAPI metric service и начало проекта
API
Результат недели
Студент умеет отдавать realtime-метрики через API и понимает границы итогового проекта.
Проект
Выбрать домен: e-commerce events, payments, delivery/logistics или product analytics. Зафиксировать source model, 3-5 бизнес-метрик и API contract. Начать перенос решений из лабораторок в единый проект.
Неделя 5: Ops drill и продолжение проекта
Дебаг
Результат недели
Студент умеет диагностировать production-like проблемы и доводит capstone до финального состояния.
Проект
Собрать source → CDC → Kafka → ClickHouse → API в одном репозитории. Добавить freshness/SLA checks. Добавить минимальный runbook и monitoring notes. Подготовить demo dataset и сценарий воспроизводимой поломки.
Неделя 6: Проверка проекта, демо и защита
Финальная подготовка
Защита проектов
Результат недели
У студента есть end-to-end project и история, которую можно обсуждать на интервью или внутри компании.
Как устроена программа
6 недель, 8 практических занятий, 4 лабы и финальный проект.
Лекции
8 живых занятий с разбором и live coding
Лабы
4 практические работы, которые вы пишете сами
Чекеры
Автоматическая проверка решений
Q&A
Вопросы в чате и разборы с Игорем
Проект
Финальный end-to-end сервис для портфолио
Что нужно знать заранее
Программа рассчитана на инженеров уровня middle и выше. Базовые знания трёх областей помогут сразу включиться в работу.
Python
Вы будете писать сервисы и обработчики на Python. Пригодится уверенное владение синтаксисом, классами, исключениями и асинхронным кодом (async/await).
SQL
Вы будете писать запросы к PostgreSQL и ClickHouse. Нужно понимать join'ы, агрегации и оконные функции на практическом уровне.
Linux и Docker
Вы будете поднимать локальное окружение в Docker и работать через командную строку: заходить по ssh, читать логи, разбираться в конфигах.
Самопроверка: вам точно подойдёт, если
- Вы писали хотя бы один сервис на Python и понимаете, что такое async/await.
- Вы можете самостоятельно поднять docker-compose и разобраться, почему контейнер не стартует.
- Вы хотя бы раз сталкивались с Kafka, CDC, ClickHouse или realtime-метриками — пусть и поверхностно.
- Вы готовы тратить 8-12 часов в неделю на протяжении 6 недель и регулярно дебажить.
End-to-end Realtime Analytics Service
Финальный проект, который вы собираете с нуля и показываете на собеседовании как реальный кейс.
Вы соберёте полный цикл и научитесь объяснять каждое звено — как оно работает и как ломается в проде.
Частые вопросы
Нужна ли основная программа Data Engineer перед DLC?
Это follow-up программа, которая углубляет знания инженеров. Если у вас уже есть практический опыт (Kafka, ClickHouse, Python) — вам подойдёт и без core-программы. Если сомневаетесь, напишите нам в Telegram, поможем сориентироваться.
Какие знания нужны до программы?
Уверенный Python (async, классы, исключения), SQL, базовое понимание Linux, ssh и Docker. Если вы выпускник core-программы — у вас уже есть всё необходимое.
Сколько времени нужно тратить на обучение?
Программа требует 8-12 часов в неделю на протяжении 6 недель. Это 8 занятий по 2-3 часа плюс самостоятельная работа на лабах и проекте. Интенсивно, но реально совмещать с работой на полный день.
В каком формате проходят занятия?
Занятия проходят в Zoom. Видеозаписи доступны на следующий день с тайм-метками — пропустить занятие не страшно. Вопросы задаёте в общем чате, есть поддержка Игоря и координаторов.
Как устроены лабораторные работы?
4 лабы, каждая по своей теме: CDC, Kafka, ClickHouse, обработка ошибок. Вы выполняете их в облачной инфраструктуре, решения проверяются автоматическими чекерами и разбираются на занятиях. Все лабы готовят вас к финальному проекту.
Что за финальный проект?
Вы собираете end-to-end realtime analytics service с нуля: PostgreSQL → Debezium → Kafka → ClickHouse → FastAPI → мониторинг. Это реальный кейс, который можно показать на собеседовании или применить на работе.
Сколько стоит и как оплатить?
Базовая стоимость — 60 000₽. До 31 августа 2026 действует спецстоимость 40 000₽ (скидка 33%). Можно разбить оплату на 2-3 части без комиссии или оплатить через работодателя. По вопросам пишите в Telegram.
Будет ли сертификат?
Да, по итогам программы вы получаете сертификат. Но главное — это портфолио (финальный проект), код на GitHub и практические навыки. Работодателей в первую очередь интересует, что вы умеете делать.
Я живу за границей. Подойдёт ли мне программа?
Да. Занятия идут на русском языке, среди участников есть инженеры из разных стран. Принимаем оплату в разных валютах, все материалы остаются с вами. Часть занятий записывается, так что разница в часовых поясах не критична.
Инвестиция в свой рост
Realtime Analytics
6 недель • 8 занятий • 4 лабы + проект • Поддержка в чате
✓ Первый набор: скидка 33% всем, кто зарегистрируется до 31 августа.
📅 7 сентября – 16 октября 2026
Запись закрывается: 31 августа
Обучение может оплатить компания
Многие работодатели оплачивают realtime-апскилл сотрудников. Мы готовим документы для оплаты по счёту и можем оформить обучение сразу на нескольких инженеров из команды.