Углубленный курс по анализу данных с использованием современного Apache Spark.
1. Обзор Apache Spark Архитектура Spark. Обзор компонентов Spark и их назначения 2. Основные абстракции Apache Spark Трансформации и действия, Lazy Evaluation 3. Знакомство с Dataframes Structured API и основная абстракция Spark – Dataframe 4. Знакомство со Spark RDD Low Level API, использование Resilient Distributed Dataset 5. Apache Spark SQL Получение данных из SQL-источников и обработка данных с помощью Spark SQL Отправка данных в SQL СУБД и работа с Hive QL Spark SQL и Hadoop 6. Работа с источниками данных Ввод и вывод в Apache Spark Работа с файлами и базами данных 7. Производительность и параллелизм в Apache Spark Планы выполнения запроса: логические и физические 8. Конфигурирование Apache Spark Принципы конфигурирования и основные настройки 9. Spark Streaming и Structured Streaming Виды потоковой обработки в Apache Spark Особенности исполнения streaming кода Checkpoint в Spark Streaming 10. GraphX и ML Место и особенности графовых моделей в программировании Задачи машинного обучения и проблематика больших данных Основные возможности Spark ML 11. Обработка слабоструктурированных данных Работа с JSON и XML файлами, особенности и возможности 12. Современный Spark pandas API в spark Spark Connect: долгоживущие сессии Spark on Kubernetes (будущее в настоящем) Delta Lake – технологическая основа LakeHouse Подробна яинформация о программе: https://bigdataschool.ru/courses/apache-spark-sql
Описание — Timepad
Билеты и регистрация ↗ 📡 В Радар через Telegram 💬 В Радар через MAXРадар напомнит о мероприятии и сохранит билет.
Источник: shkola-bolshih-dannyh.timepad.ru · обновлено 22 ноября, вс · нашли ошибку? напишите в бот
Это ваше мероприятие? Подтвердите его и продвигайте в Радаре — бесплатно.
«SPARK: Анализ данных с помощью современного Apache Spark» — мероприятие онлайн, 14 декабря, пн, начало в 14:00. Формат — онлайн, ссылку на трансляцию даёт организатор. Участие: от 96000 ₽. Регистрация — на странице организатора, ссылка выше.
23ноя
23ноя
24ноя
24ноя
24ноя
24ноя