Дата-инженер по прайсингу продуктов

Обязанности

• разработка, поддержка и доработка batch-пайплайнов данных;
• поддержка и развитие DAG’ов в Airflow;
• работа со Spark и Hadoop: настройка, запуск и оптимизация расчетов, разбор проблем производительности и стабильности;
• разработка выгрузок, витрин данных и внутренних утилит для аналитиков и Data Science-команды;
• рефакторинг существующего кода: упрощение, повышение читаемости, надежности и взаимозаменяемости;
• техническая коммуникация с аналитиками и Data Science: уточнение деталей реализации, оценка рисков, предложение оптимальных решений.

Требования

• высшее техническое образование;
• опыт работы python-разработчиком/дата-инженером;
• уверенный Python 3: написание поддерживаемого production-кода, работа с файлами, конфигурациями, логированием, обработкой ошибок;
• опыт работы с Hadoop-экосистемой;
• практический опыт работы со Spark: DataFrame API, джойны, партиционирование, понимание причин медленной работы задач и базовые способы оптимизации;
• практический опыт работы с Airflow: создание и сопровождение DAG’ов, зависимости, расписания, перезапуски, обработка ошибок;
• уверенное владение Git: ветки, pull request / code review, разрешение конфликтов, работа в командном репозитории;
• умение читать и писать SQL для аналитических и ETL-задач;
• способность самостоятельно разобраться в новом коде, пайплайне или технологии и довести задачу до рабочего результата.

Условия

• стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования;
• удаленный формат работы;
• среда для вашего неизбежного развития: вас ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у вас будет доступ к бесплатным корпоративным библиотекам Альпины и бизнес-изданий, скидки на курсы иностранных языков;
• карьерный рост: вы будете понимать, что нужно сделать для перехода на другой уровень;
• чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с вами экспертизой;
• забота о вашем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества;
• фитнес-зал в офисе;
• возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.