Назад к списку вакансий



Data Engineer

Москва

Описание:

  1. Подготовка данных и разработка агрегатов, необходимых для проектов офиса аналитики больших данных. Создание прототипов объектов (структур, витрин) внутри слоев DDS/BDS хранилища EDW (Teradata), и внутри стека Hadoop (HDFS, Hbase).
  2. Организация пайплайнов (процессов) обработки данных для Data Scientists. Разработка и внедрение шаблонов цепочки обработки данных: предоставление инструментов, инструкций, схем и пр.
  3. Подключение новых источников данных из внешних и внутренних систем с целью быстрого прототипирования и оценки полезности данных для задач BDO. Участие в подготовке технической документации (ТЗ) на разработку постоянных потоков данных.
  4. Постановка разработанных математических моделей на регулярный расчет. Имплементация решений, обеспечивающих лучшую скорость внедрения, максимальную производительность и безотказность работы – перенос созданных Data Scientists ML моделей (скрипты R, Python, Spark и др) в продуктивную среду – разработка на инструментах Teradata, Apache Hadoop (Java, Scala) и Kubernetes и других фреймворках. Цель – создать «Фабрику скоринга» Построение системы контроля качества моделей (сигнализация о полноте, необходимости обновления) и автоматизации их обновления.
  5. Разработка конечных продуктов для заказчиков (приложений, интерфейсов) которые позволят использовать разработанные алгоритмы.
  6. Внедрение и тестирование новых инструментов обработки и анализа данных (библиотек машинного обучения, фреймворков Hadoop и пр) в рамках задачи повышения эффективности работы Data Scientists.

 

Требования:

Высшее техническое образование

 Уверенное знание экосистемы Apache Hadoop и Spark (фреймворки и инструменты), знание flume как преимущество

 Уверенное знание систем контейнеризации Kubernetes, Docker

 Знания SQL

 Уверенное знание систем совместной разработки и хранения кода (GitLab)

 Опытный пользователь ОС Linux

 Языки программирования Scala, Python

 Java, R опционально

 английский – upper intermediate

 Опыт разработки на инструментах Apache Hadoop (Java, Scala)

 Опыт работы с NoSQL базами Hbase, Cassandra, Aerospike, Redis, MongoDB, Elasticsearch

 Опыт работы с инструментами CI/CD Jenkins, Ansible, Nexus/JFrog, Sonarqube

 Опыт работы с инструментами мониторинга Prometheus, Grafana, Graylog

 Опыт самостоятельной разработки и поддержки потоков данных

 Опыт разработки API, веб-интерфейсов (как плюс)

 Опыт работы в телекоммуникационной отрасли (как плюс)

 

Резюме просьба направлять на info@mmbusiness.ru c указанием вакансии