Data Engineer

179 000 – 331 000 ₽в месяц
  • Москва
  • В офисе
  • Полная занятость
PythonSQLETLAirflowSparkDWHApache SparkELTData LakeTrino

Описание

Responsibilities

  • Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
  • Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
  • Развивать архитектуру Data Lake / DWH
  • Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов

Requirements

  • Практический опыт разработки и сопровождения пайплайнов данных
  • Опыт работы с PySpark, Python и SQL
  • Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
  • Понимание принципов распределённой обработки данных

Nice to have

  • Опыт работы с Trino+S3
  • Опыт оркестрации пайплайнов с помощью Airflow
  • Знакомство с Data Vault 2.0
  • Знание Scala и опыт её использования для обработки данных
  • Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения

We offer

  • Трудоустройство и работа в соответствии с ТК РФ
  • Компенсация проезда в пригородных электропоездах
  • Льготы на отдых в оздоровительном комплексе метрополитена
  • Детский оздоровительный лагерь и детский клуб
  • Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата