Action tech 12 дней назад

Data Engineer

  • Moscow
  • Удалённо
  • Опыт от 1 года
  • Полная занятость
PythonSQLPostgreSQLDockerGitLinuxETLAirflowDWHHadoopGreenPlumDataHub

Описание

Action tech занимается развитием и масштабированием инфраструктуры, запуском потокового получения данных, увеличением количества подключенных источников, развитием ETL и Reverse ETL, работой с качеством данных и развитием Data Catalog и Data Lineage.

Обязанности

  • Разрабатывать и дорабатывать ETL-процессы в Airflow
  • Подключать новые источники данных
  • Создавать и дорабатывать витрины
  • Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
  • Работать с большими объемами данных
  • Развивать процессы контроля качества данных

Требования

  • Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных
  • От 1 года опыта работы с данными
  • Отличное знание SQL: JOIN, оконные функции, процедуры
  • Умение профилировать и оптимизировать запросы, понимать план выполнения
  • Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
  • Практический опыт работы с Airflow и ETL-процессами
  • Python на базовом уровне
  • Знание Linux и умение работать с командной стровой
  • Опыт работы с Git
  • Понимание принципов работы Docker
  • Опыт работы с большими данными (>100 GB)
  • Опыт работы с DataHub

Условия

  • Полная занятость
  • Можно удалённо