Бесплатный курс для тех, кто хочет взять от первого курса максимум
Зарегистрироваться
Назад к поиску
Ссылка скопирована!

Data Engineer Python Spark

Обязанности

  • разрабатывать и оптимизировать Spark-пайплайны обработки данных в масштабе 200+ млн строк в день;
  • настраивать хранение и доступность данных в DWH;
  • автоматизировать интеграцию продаж, акций, цен, остатков, погоды и календарей;
  • работать вместе с Data Science, обеспечивая поток данных для моделей;
  • развивать платформу прогнозирования спроса.

Требования

  • PySpark / Spark SQL, Hadoop, Hive, Trino, S3, ClickHouse, Postgres, Greenplum;
  • Airflow, Python 3, Docker, YARN или Kubernetes, pytest.

Условия

  • официальное оформление, удаленный или гибридный формат;
  • ДМС со стоматологией, страхование жизни и здоровья;
  • обучение и сертификация за счет компании;
  • скидки в магазинах Х5 и программа Prime-zone;
  • премии по результатам работы.