Очередной ИТ дайджест - Kafka и вокруг нее
Дайджест выполнен для личного употребления в 2020-ом году на основании следующей литературы:
Neha Narkhede, Gwen Shapira, Todd Palino "Kafka: The Definitive Guide"
Jakub Korab "Understanding Message Brokers"
Dylan Scott "Kafka in Action"
Yeva Byzek "Best Practices forDeveloping ApacheKafka® Applicationson Confluent Cloud"
Всяческие статьи, главным образом с Habr и Medium
Отражает исключительно субъективный взгляд автора. Бесплатен для любого некоммерческого использования. Все вопросы, замечания и предложения на krocodl@gmail.com
1. Введение
1.1. Основные понятия
1.2. Основные виды API
1.3. Основные этапы эволющии
1.4. Общие решения
2. Установка
2.1. Apache ZooKeeper
2.2. Установка Kafka
2.3. Выбор железа
2.4. Настройка кластера для реальной эксплуатации
3. Producers
3.1. Создание KafkaProducer
3.2. Сериализация
3.3. TimeStamp
3.4. Обработка ошибок
3.5. Упорядоченность сообщений
3.6. Ручное управление разделами
3.7. Интерцепторы
3.8. Работа с транзакциями
4. Consumers
4.1. Перебалансировка разделов
4.2. Потребление записей
4.3. Тюнинг потребителей
4.4. Адресация сообщений
4.5. Подтверждение потребляемых записей
4.6. Участие в перебалансировке
4.7. Ручное управление смещениями
4.8. Автономный (без группы) потребитель
4.9. Масшибируемость чтения
4.10. Ошибки обработки сообщений
4.11. Интерцепторы
4.12. Транзакции
5. Внутреннее устройство
5.1. Основные действующие лица
5.2. Обработка запросов
5.3. Физическое хранение
6. Надежность доставки данных
6.1. Настройка брокера
6.2. Настройка производителей
6.3. Настройка потребителей
6.4. Однократная доставка данных (EOS, exactly-once semantics)
7. Оптимизация
7.1. Пропускная способность (Throughput)
7.2. Время отклика (Latency)
7.3. Надежность хранения (Durability)
7.4. Доступность(Availability)
8. Интеграция
8.1. Основные функциональные требования
8.2. Использование
8.3. Архитектура
8.4. Альтернативы
9. Зеркалирование кластеров
9.1. Мульти кластерные архитектуры
9.2. Mirror Maker
10. Тестирование
10.1. Проверка конфигурации
10.2. Тестирование производительности
11. Администрирование
11.1. Операции с темами
11.2. Группы потребителей
11.3. Управление смещениями
11.4. Динамическое управление конфигурацией
11.5. Управление разделами
11.6. Анализ журналов
11.7. Потребление / генерация из командной строки
11.8. Управление доступом клиентов
11.9. Ручные операции через ZooKeeper
11.10. Обслуживание собственно кластера
11.11. Программное администрирование
12. Безопасность
12.1. Защита взаимодействия
12.2. Права доступа
12.3. Квоты
12.4. Шифрование данных
13. Мониторинг
13.1. Показатели брокеров
13.2. Собственные логи (которые через log4j)
13.3. Показатели производителей
13.4. Показатели потребителей
13.5. Квоты
13.6. Мониторинг отставания
13.7. Сквозной мониторинг
13.8. Комплексные системы мониторинга
14. Обработка потоков данных
14.1. Таблично-потоковый дуализм
14.2. Некоторые сценарии
14.3. Основные понятия
14.4. Шаблоны проектирования
14.5. Типовые сценарии
14.6. Введение в Kafka Stream DSL
14.7. Введение в KSQL
15. Kafka vs JMS (на примере ActiveMQ)
15.1. Хранение сообщений
15.2. Общая архитектура
15.3. Отправка сообщений
15.4. Потребление сообщений
15.5. Масштабирование и отказоустойчивость
15.6. Итого
16. Приложения
16.1. Приложение I: MQ и ActiveMQ
Скачивать где обычно - twirpx