Подготовка данных и разработка агрегатов, необходимых для проектов офиса аналитики больших данных. Создание прототипов объектов (структур, витрин) внутри слоев DDS/BDS хранилища EDW (Teradata), и внутри стека Hadoop (HDFS, Hbase).
Организация пайплайнов (процессов) обработки данных для Data Scientists. Разработка и внедрение шаблонов цепочки обработки данных: предоставление инструментов, инструкций, схем и пр.
Подключение новых источников данных из внешних и внутренних систем с целью быстрого прототипирования и оценки полезности данных для задач BDO. Участие в подготовке технической документации (ТЗ) на разработку постоянных потоков данных.
Постановка разработанных математических моделей на регулярный расчет. Имплементация решений, обеспечивающих лучшую скорость внедрения, максимальную производительность и безотказность работы – перенос созданных Data Scientists ML моделей (скрипты R, Python, Spark и др) в продуктивную среду – разработка на инструментах Teradata, Apache Hadoop (Java, Scala) и Kubernetes и других фреймворках. Цель – создать «Фабрику скоринга» Построение системы контроля качества моделей (сигнализация о полноте, необходимости обновления) и автоматизации их обновления.
Разработка конечных продуктов для заказчиков (приложений, интерфейсов) которые позволят использовать разработанные алгоритмы.
Внедрение и тестирование новых инструментов обработки и анализа данных (библиотек машинного обучения, фреймворков Hadoop и пр) в рамках задачи повышения эффективности работы Data Scientists.
Требования:
Высшее техническое образование
Уверенное знание экосистемы Apache Hadoop и Spark (фреймворки и инструменты), знание flume как преимущество
Уверенное знание систем контейнеризации Kubernetes, Docker
Знания SQL
Уверенное знание систем совместной разработки и хранения кода (GitLab)
Опытный пользователь ОС Linux
Языки программирования Scala, Python
Java, R опционально
английский – upper intermediate
Опыт разработки на инструментах Apache Hadoop (Java, Scala)
Опыт работы с NoSQL базами Hbase, Cassandra, Aerospike, Redis, MongoDB, Elasticsearch
Опыт работы с инструментами CI/CD Jenkins, Ansible, Nexus/JFrog, Sonarqube
Опыт работы с инструментами мониторинга Prometheus, Grafana, Graylog
Опыт самостоятельной разработки и поддержки потоков данных
Опыт разработки API, веб-интерфейсов (как плюс)
Опыт работы в телекоммуникационной отрасли (как плюс)
Резюме просьба направлять на info@mmbusiness.ru c указанием вакансии
Напишите нам
Получите индивидуальную консультацию в течение 20 минут
Задайте вопрос, оставьте сообщение или закажите обратный
звонок, заполнив эту форму
Нажимая на кнопку «Отправить», Вы даете согласие на
обработку персональных данных
Напишите нам
Получите индивидуальную консультацию в течение 20 минут
Задайте вопрос, оставьте сообщение или закажите обратный
звонок, заполнив эту форму
Нажимая на кнопку «Отправить», Вы даете согласие на
обработку персональных данных