Apache Kafka

Kafka — это сервис, позволяющий в реальном времени и с высокой пропускной способностью передавать сообщения между различными системами. Его используют для различных целей — передача данных в хранилище, потоковая аналитика, взаимодействие между сервисами и т. д.

Если вы хотите работать в проектах обработки больших данных или проектах построения микросервисной архитектуры, то вам будет полезно освоить эту технологию. На курсе мы будем на практике решать рабочие задачи, связанный с Kafka, разберем проблемы, с которыми чаще всего сталкиваются разработчики и инженеры данных при работе с сервисом. Также вы научитесь разрабатывать комплексные системы обработки данных.

Для кого этот курс?

• Разработчики, которые хотят научиться грамотно организовать работу микросервисов и повысить общую надежность системы;
  
• Инженеры данных, которые хотят научиться строить комплексные системы обработки данных;
  
• DevOps, SRE Engineer, архитекторы, которые хотят использовать всю мощь Kafka в работе.

После обучения вы сможете:

• Развернуть Kafka;
• Настроить брокеры и темы;
• Использовать базовые API;
• Разрабатывать программы на высокоуровневых фреймворках Kafka Streams, Spring, Akka;
• Интегрировать Kafka с другими системами;
• Настроить мониторинг и безопасность (аутентификация, авторизация).

Дополнительно на курсе вы:

• Познакомитесь с работой с топиками на SQL (ksqlDB);
• Научитесь работать со Schema Registry;
• Познакомитесь с REST API для работы с Kafka.

Как Kafka упрощает жизнь разработчикам и инженерам данных

Kafka позволяет унифицировать протокол обмена данными между разными системами, выступает временным хранилищем между источником и приемником, а также выступает “буфером” для нагрузки. Если источник внезапно выдал большой объем данных, система-приемник может упасть под нагрузкой.

Kafka жизненно важна аналитикам в режиме реального времени, так как позволяет доставлять данные с очень низкими задержками. При попытке использовать обычную СУБД в качестве промежуточного хранилища для потоков данных, вы очень быстро столкнетесь с высокой нагрузкой на базу и долгими задержками доставки данных. Kafka же была изначально создана именно для поставки потоков данных в режиме реального времени и позволяет добиться задержек в несколько миллисекунд.