ГУП «Московский метрополитен» 5 дней назад
Data Engineer
179 000 – 331 000 ₽в месяц
- Москва
- В офисе
- Полная занятость
PythonSQLETLAirflowSparkDWHApache SparkELTData LakeTrino
Описание
Responsibilities
- Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
- Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
- Развивать архитектуру Data Lake / DWH
- Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов
Requirements
- Практический опыт разработки и сопровождения пайплайнов данных
- Опыт работы с PySpark, Python и SQL
- Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
- Понимание принципов распределённой обработки данных
Nice to have
- Опыт работы с Trino+S3
- Опыт оркестрации пайплайнов с помощью Airflow
- Знакомство с Data Vault 2.0
- Знание Scala и опыт её использования для обработки данных
- Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения
We offer
- Трудоустройство и работа в соответствии с ТК РФ
- Компенсация проезда в пригородных электропоездах
- Льготы на отдых в оздоровительном комплексе метрополитена
- Детский оздоровительный лагерь и детский клуб
- Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата