Apache Spark Streaming - потоковая обработка событий клиентов и их отображение на интерактивной карте

BackEnd Доклад 1 час Александр Сербул Backend(зал Конструктор) :   Jun 17 14:45
Александр Сербул
В «1С-Битрикс» курирует направление контроля качества интеграции и внедрений, активно участвует как архитектор и разработчик в проектах компании, связанных с высокой нагрузкой и отказоустойчивостью («Битрикс24»), консультирует партнеров и клиентов по вопросам архитектуры высоконагруженных решений, эффективному использованию технологий кластеризации продуктов «1С-Битрикс» в контексте современных облачных сервисов (Amazon Web Services и др.).
Эксперт в области BigData, разработки программного обеспечения, системного анализа и проектирования.
Постоянный спикер отраслевых конференций и семинаров по интернет-тематике («РИФ+КИБ», RIW, HighLoad, РИТ++, CodeFest, FailOver Conference и др.).

Расскажем о тонкостях проектирования и реализации высоконагруженного лямбда-сервиса потоковой обработки хитов (событий) клиентов Битрикс24 и их отображения на "живой карте" на основе API Яндекс.Карты. Поделимся опытом приручения Amazon Kinesis, непростым выбором между Apache Kinesis/Kafka/Storm/Flume и кейсами эффективного использования Apache Spark Streaming. Отдельно остановимся на реализации серверной кластеризации/растеризации для быстрой работы Яндекс.Карт. Ссылка на проект: https://www.bitrix24.ru/online-domains-map



Презентация
Постоянная ссылка на доклад: https://devconf.ru/offer/281