Action tech 12 дней назад
Data Engineer
- Moscow
- Удалённо
- Опыт от 1 года
- Полная занятость
PythonSQLPostgreSQLDockerGitLinuxETLAirflowDWHHadoopGreenPlumDataHub
Описание
Action tech занимается развитием и масштабированием инфраструктуры, запуском потокового получения данных, увеличением количества подключенных источников, развитием ETL и Reverse ETL, работой с качеством данных и развитием Data Catalog и Data Lineage.
Обязанности
- Разрабатывать и дорабатывать ETL-процессы в Airflow
- Подключать новые источники данных
- Создавать и дорабатывать витрины
- Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
- Работать с большими объемами данных
- Развивать процессы контроля качества данных
Требования
- Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных
- От 1 года опыта работы с данными
- Отличное знание SQL: JOIN, оконные функции, процедуры
- Умение профилировать и оптимизировать запросы, понимать план выполнения
- Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
- Практический опыт работы с Airflow и ETL-процессами
- Python на базовом уровне
- Знание Linux и умение работать с командной стровой
- Опыт работы с Git
- Понимание принципов работы Docker
- Опыт работы с большими данными (>100 GB)
- Опыт работы с DataHub
Условия
- Полная занятость
- Можно удалённо