Data Engineer

Обязанности

• разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно);
• настраивать хранение и доступность данных в DWH;
• автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари;
• работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей;
• участвовать в развитии платформы прогнозирования спроса, делая ее более надежной, масштабируемой и удобной.

Требования

• владение PySpark{2,3} / Spark SQL;
• владение Hadoop / Hive / Trino / S3 / ClickHouse / Postgres / Greenplum;
• владение Airflow;
• владение Python3;
• владение Docker, YARN / Kubernetes;
• владение pytest.

Условия

• официальное оформление с белой ЗП;
• полугодовые премии по результатам работы;
• удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»;
• гибкий график работы (с 8/9/10 утра) / график работы: 5/2, с 9:00 до 18:15 (в пятницу — до 17:00);
• возможность работать удаленно или в гибридном формате;
• широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
• возможность учиться и развиваться за счет компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое;
• программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов;
• обмен опытом через сообщества: 12 технических комьюнити от Java до DevOps;
• яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge;
• помощь в обучении и развитии;
• внутренняя школа спикеров и авторов;
• возможность участвовать в крупнейших конференциях страны и прокачать личный бренд;
• корпоративный университет, онлайн-библиотека, программы развития управленческих навыков;
• дистанционные курсы на образовательных платформах;
• тренинги, митапы и вебинары;
• предоставление социального пакета;
• онлайн-психотерапия от «Ясно»;
• скидки сотрудника: «Пятерочка», «Перекресток», «Много лосося», «Перекресток Впрок», а также программа привилегий Prime-zone;
• организация встреч с топ-менеджментом: слышим и открыто делимся планами и результатами;
• поощрение активности сотрудников: за участие в жизни компании награждаем ачивками и баллами, на которые можно купить классный мерч;
• развитие корпоративных сообществ: технические, лайфстайл, спортивные или все сразу;
• организация благотворительных ярмарок, выезды в приюты и субботники;
• корпоративное предпринимательство X5 Idea Challenge;
• организация масштабных праздников: корпоративы, день рождения компании, Новый год, день IT-специалиста, день спасибо.