010. Миграция аналитики видео платформы из on-prem в Amazon EMR

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.

Таймкоды:
00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM

00:01:47 - Что мигрировали и почему

00:08:25 - С чего начинали миграцию

00:12:23 - Не удачная структура хранения данных

00:15:50 - MapReduce с помощью Jenkins-а

00:20:00 - Проблемы при миграции

00:22:33 - Почему множество Amazon EMR кластеров

00:26:33 - Что сделал бы сейчас по другому

00:29:40 - Инструменты для создания инфраструктуры

00:34:00 - Советы для других


Ссылки

• Архитектурные разговоры - EMR + Glue + Lambda