В Одноклассниках логируются любые действия пользователей, любой вызов классов и методов, любые взаимодействия компонентов системы. Через несколько минут эти данные уже видны на графиках системы статистики. Данные собирает, хранит и обрабатывает хранилище данных, построенное на базе Hadoop. Для администраторов, разработчиков и менеджеров построены интерактивные графики. Эти графики можно настроить так, чтобы они показывали любую подвыборку данных, агрегированных по периодам, начиная с 5 минут и заканчивая годом. На основе графиков составлены тематические страницы (дэшборды), которые наглядно показывают состояние всего сайта или его отдельной подсистемы.

Для развития описанной системы мы ищем Hadoop-разработчика / Big Data-аналитика.

Задачи:

• разработка скриптов для выгрузки / загрузки данных больших объемов (сотни миллиардов записей и сотни терабайтов по объему);
• разработка алгоритмов обработки больших объемов данных;
• поддержка и развитие среды для анализа данных;
• создание отчетов, консультирование сотрудников компании.

Требования:

• опыт программирования на Java;
• знание Hadoop, Hive, MapReduce;
• углубленные знания SQL и его расширений;
• знание Tez, Spark ― будет плюсом;
• высшее / неоконченное высшее образование в области IT.

Условия работы:

• работа в профессиональной команде с серьёзным опытом, создающей популярный российский проект;
• при обоюдном интересе мы предложим такие условия сотрудничества, от которых не захочется отказываться;
• регулярно пересматриваемая зарплата, годовые бонусы, социальный пакет (питание, спорт, дмс, английский язык);
• дополнительные мониторы, мощное железо и макбуки;
• комфортный офис с парковкой, душем и зонами отдыха в паре минут от станции метро «Площадь Александра Невского»;
• дополнительное обучение за счет компании, участие в профессиональных конференциях и форумах по всему миру;
• корпоративные мероприятия и Team Building Events в России и за рубежом;
• дружный коллектив профессионалов.