- Scala
- Spark API (RDD, DataFrame, Dataset)
- Apache Arrow и Pandas API
- Форматы данных
- Интеграцию Spark с различными источниками данных
- Разработку собственных коннекторов
- Потоковую обработку данных
- SparkML
- Работу с графами
- Spark в Hadoop
- Spark в Kubernetes
- Hive
- Оркестрация
- Тестирование и Мониторинг приложений
и т.д.

Научитесь применять все это на практике и закрепите с помощью интересных и сложных домашних заданий и выпускного проекта.

После прохождения курса вы сможете:

- Разрабатывать приложения Spark
- Искать "узкие" места приложений и оптимизировать их
- Разрабатывать модели ML на Spark и выводить их в Production
- Запускать Spark в Hadoop и Kubernetes
- Писать тесты для Spark-приложений
- Использовать Spark для обработки табличных, потоковых, гео-данных и графов
- Настраивать мониторинг Spark-приложений

Карта курсов направления Data Science в OTUS

Необходимые знания

Опыт написания кода хотя бы на одном из следующих языков: Python, Java, Scala
Базовое знание SQL и опыт работы с любой реляционной базой данных
Компьютер или виртуальная машина на Linux с ОЗУ не менее 8 Гб

Корпоративное обучение для ваших сотрудников

Поможем вашей компании развивать команду! Профиты данного курса для компании: Подробное изучение самых популярных баз данных с возможностью сосредоточиться на тех, которые используются в компании / Оптимизированные стабильные системы / Работа над промышленными задачами во время практики

Подробнее

Получить план обучения для сотрудников

Нажимая кнопку, я принимаю условия Политики обработки персональных данных

Мы обещаем не присылать вам спам

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

Программа обучения

В процессе обучения вы получите комплексные знания и навыки.

Модуль 1 Введение

Тема 1. Что такое Spark

Тема 2. Первые шаги в Scala

Тема 3. Дальнейшие шаги в Scala

Тема 4. Практика работы со Scala

Модуль 2 API

Тема 5. RDD

Тема 6. DataFrame

Тема 7. UDF и UDAF

Тема 8. Dataset, SparkSQL

Тема 9. Apache Arrow в PySpark

Тема 10. Pandas API

Модуль 3 Источники данных

Тема 11. Файлы и их форматы

Тема 12. Базы данных, Hive

Тема 13. Собственный источник данных

Тема 14. Structured Streaming

Модуль 4 Промышленное использование

Тема 15. Hadoop, HDFS

Тема 16. Spark в Hadoop, YARN

Тема 17. Spark в Kubernetes

Тема 18. Оркестрация процессов обработки данных

Тема 19. Мониторинг Spark приложений

Тема 20. Методы оптимизации приложений Spark

Тема 21. Тестирование приложений Spark

Модуль 5 Дополнительные возможности

Тема 22. Spark ML

Тема 23. Работа с графами

Тема 24. Обзор Hive

Тема 25. HiveQL

Модуль 6 Проектная работа

Тема 26. Выбор темы и организация проектной работы

Тема 27. Консультация по проектам и домашним заданиям

Тема 28. Защита проектных работ

Скачать подробную программу

Получить подробную программу обучения

Нажимая кнопку, я принимаю условия Политики обработки персональных данных

Мы обещаем не присылать вам спам

Получить подробную программу обучения

Скачать подробную программу

Выпускной проект

В качестве выпускного проекта будет построена ETL-система на основе Hadoop, включающая в себя:
- Загрузку данных из источников
- Простой Data Lake на основе этих данных с использованием Hive
- Лямбда-архитектуру для реалтайм-аналитики на основе Spark

Процесс обучения

Образовательный процесс происходит ONLINE в формате вебинаров (язык преподавания — русский). В рамках курса слушателям предлагаются к выполнению домашние задания, которые позволяют применить на практике знания, полученные на занятиях. По каждому домашнему заданию преподаватель дает развернутый фидбек. В течение всего учебного процесса преподаватель находится в едином коммуникационном пространстве с группой - Slack, т.е. при обучении слушатель может задавать преподавателю уточняющие вопросы по учебным материалам.

Получить консультацию

Наш специалист свяжется с вами в ближайшее время. Если у вас возникли трудности в выборе курса или проблемы технического плана, то мы с радостью поможем вам.

Я принимаю условия Политики обработки персональных данных и Пользовательского соглашения

Спасибо!

Мы получили Вашу заявку, в ближайшее время с Вами свяжется наш менеджер.

заберете с собой полный комплект обучающих материалов: видеозаписи всех вебинаров, презентации к занятиям, а также решение задач и проектов в виде кода на github и другие дополнительные материалы;

получите сертификат о прохождении курса;

Ваш сертификат

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Spark Developer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Зам. директора департамента образования
ООО “Отус Онлайн-Образование”
Вдовиченко М.M.

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

онлайн-образование

Сертификат №0001

Константин Константинопольский

Успешно закончил курс «Spark Developer»
Выполнено практических заданий: 16 из 16

Общество с ограниченной ответственностью “Отус Онлайн-Образование”

Город:
Москва

Зам. директора департамента образования
ООО “Отус Онлайн-Образование”
Вдовиченко М.M.

Лицензия на осуществление образовательной деятельности
№ 039825 от 28 декабря 2018 года.

Прошедшие открытые вебинары

Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.

Spark UDAF: разрабатываем свой агрегатор

День открытых дверей

8 декабря 2021 года в 20:00

Оставьте заявку, чтобы получить доступ к записям прошедших мероприятий. Записи всех мероприятий появятся в этом блоке