Разработка сервисов для поиска и хранения данных для системы безопасности корпоративных сетей SIEMless Threat Management

КЛИЕНТ

3 000
организаций используют решения компании
Разработка сервисов для системы безопасности корпоративных сетей Threat Manager
0
миллиард угроз предотвращаются ежегодно

Alert Logic разрабатывает, поставляет и поддерживает программно-аппаратные комплексы для контроля над безопасностью корпоративных сетей. Штаб-квартира компании: Хьюстон (штат Техас), США.

ЗАДАЧИ

Alert Logic и «Рексофт» сотрудничают с 2007 года. Ранее были разработаны сервисы для продуктов Threat Manager и Log Manager. Они анализировали соответственно пользовательские лог-файлы и входящий трафик в корпоративных сетях. На основании этого продукты выявляли уязвимости и обеспечивали безопасность.

В 2017 году Alert Logic потребовалось более масштабируемое и производительное решение.

Требования к обновленному решению:

Хранить большой объем пользовательских данных (свыше двух петабайт новых данных в месяц).
Обрабатывать более миллиона сообщений в секунду.
Обеспечить работу 24/7 нескольких тысяч заказчиков.

Было решено создать новую облачную архитектуру. «Рексофту» было получено разработать сервисы для поиска данных, хранения и доступа к ним.

РЕШЕНИЕ

Для разработки был использован функциональный язык Erlang. Он отлично подходит для создания распределенных систем и позволяет обновлять код, не прерывая работу сервера. Это особенно важно для Alert Logic, поскольку система безопасности должна работать 24/7.

Там, где требовались специализированные библиотеки с высоким быстродействием, были использованы языки C и C++.

Для обработки данных были использованы сервисы AWS Lambda, EC2, ECS и другие. Использование облачной инфраструктуры Amazon дало неограниченные ресурсы и возможности по масштабируемости системы.

Для хранения данных использован Amazon S3. Благодаря этому, Alert Logic, во-первых, может в любой момент получить дополнительное пространство для хранения информации. А во-вторых, компании не требуется создавать внутри собственной сети сложную и дорогую инфраструктуру для размещения десятков петабайт данных. Вся информация хранится на серверах Amazon.

«Рексофт» разработал 2 сервиса в составе обновленной системы:

Data Access

Высокопроизводительный и масштабируемый сервис для хранения данных в зашифрованном виде.

Search

Сервис для быстрого поиска данных пользователей.

Посмотрим, как это работает. Система собирает данные, анализирует их, генерирует различные события, создает на их основания инциденты и передает аналитикам. К примеру, пользователь ввел некорректный пароль n раз, затем получил привилегированный доступ и скачал какой-либо файл. Далее произойдет следующее:

На основании лог-файла система сгенерирует несколько событий: n раз введен неверный пароль, предоставлены особые права, скачан файл.
При совпадении подозрительных событий, как в нашем примере, система сформирует инцидент.
Аналитики проанализируют инцидент и определят степень угрозы.
При выявлении угрозы предотвратят ее и устранят уязвимость.

Итоги:

Использован функциональный язык Erlang

Он отлично подходит для создания распределенных систем и позволяет вносить обновления без остановки работы.

Обработку данных осуществляют AWS Lambda, EC2, ECS и другие

Они обеспечивают требуемую производительность и экономят средства.

Для хранения данных использован Amazon S3

Решение обеспечивает высокую масштабируемость и позволяет не тратить средства на покупку и поддержание сложной и дорогой инфраструктуры для хранения данных.

Разработаны сервисы Search и Data Access

Они позволяют осуществлять поиск, собирать данные о действиях пользователей из лог-файлов и на основе их анализа выявлять уязвимости.

РЕЗУЛЬТАТЫ

Обновленная система обрабатывает более миллиона сообщений в секунду. Клиентская база составляет более 4 000 заказчиков, на сервере хранится 30 петабайт информации.

Разработаны сервисы для обновленной системы безопасности

Они работают 24/7 и надежно защищает корпоративные сети от атак.

Разработана облачная архитектура

Она обеспечивает высокую производительность и масштабируемость без затрат на покупку, настройку и поддержание дополнительного оборудования.

ТЕХНОЛОГИИ

  • C/C++
  • Erlang
  • Amazon Web Services (EC2, ECS, Lambda, Kinesis, S3, SQS, DynamoDB)

ПОДХОДЫ, ПРАКТИКИ

  • Big Data,
  • High load
  • DevOps
  • CI/CD
  • Microservices Architecture