Большие данные, аналитика и высоконагруженные системы

Заполните поле
Пожалуйста, введите корректный адрес email.
Заполните поле
Заполните поле
Заполните поле
Вы должны согласиться с условиями для продолжения
17 + 9 = ?
Введите результат уравнения для продолжения

В числе основных направлений и компетенций «Рексофт» — платформа обработки больших данных, когнитивный анализ, искусственный интеллект; сквозная аналитика корпоративных данных и высоконагруженные системы обработки данных.

«Рексофт» предлагает кросс-отраслевую платформу обработки больших данных с открытым кодом на основе технологий Hadoop и Greenplum. Данная платформа может применяться в различных отраслях, например, в автотранспортной отрасли, энергетике, медицине и других отраслях.

НАШИ КОМПЕТЕНЦИИ

Платформа обработки больших данных

Сбор данных из различных источников, их проверка, очищение и рекомпоновка для дальнейшей бизнес-интерпретации

Платформа обработки больших данных

Кросс-отраслевая масштабируемая платформа обработки больших данных обеспечивает сбор, хранение и обработку данных, объемы которых могут превышать как единицы, так и десятки петабайт. Рексофт предлагает кросс-отраслевую платформу обработки больших данных с открытым кодом на основе технологий Hadoop и Greenplum. Платформа может применяться, например, в автотранспортной отрасли, энергетике, медицине и других отраслях. Компания опирается на широкий спектр функциональных компетенций и глубокую индустриальную экспертизу команды, на свои возможности по разработке и внедрению ИТ-решений любой сложности.

Использование платформы позволяет в разы сократить показатель time2market и существенно снизить риски сложных проектов за счет использование готовой технологической основы.

Платформа обработки больших данных представляет собой технологическую основу, реализующую следующие основные функции:

  • сбор и загрузка данных от большого количества разнородных источников в потоковом и пакетом режимах,
  • контроль качества данных и их нормализация;
  • обогащение и формирование логически связанных данных;
  • обработка данных интеллектуальными алгоритмами с использованием методов искусственного интеллекта.

Платформа включает в себя преднастроенные средства для проведения анализа данных, разработки, обучения моделей и их публикации в Платформу.

Встроенные в Платформу средства управления данными обеспечивают возможность настройки и ведения бизнес-глоссария, каталога данных, а также прослеживаемость пути движения данных от источника до потребителя, включая все точки их трансформации и обработки.

Платформа построена на следующих архитектурных принципах:

  • открытость
  • масштабируемость
  • отказоустойчивость
  • безопасность

Используемые при построении платформы архитектурные принципы и подходы позволяют легко и с минимальными затратами подключать новые источники данных, настраивать правила проверки качества и нормализации данных, внедрять в состав Платформы новые алгоритмы и модели обработки данных.

Платформа может быть развернута как в облачной инфраструктуре, так на инфраструктуре Заказчика. За счет использования подхода Infrastructure-As-Code (IaC) развертывание Платформы не превышает 3х недель.

Сегодня в бизнесе все активнее применяются искусственный интеллект (ИИ) и машинное обучение (МО). Они могут значительно улучшить процессы обработки данных и принятия решений, способствуют снижению затрат и повышению эффективности бизнес-процессов, применяются для решения как отраслевых задач, так и задач государственного управления. Одна из основных областей их использования — анализ больших данных. ИИ и МО помогают создавать и обучать модели, которые затем используются для получения конкретных бизнес-результатов. Это позволяет выявлять тенденции, определять потребности и предпочтения клиентов, прогнозировать будущие события и принимать более обоснованные решения. ИИ и МО также помогают оптимизировать производственные процессы, улучшать качество продукции и обслуживания. Это дает компаниям возможность значительно повысить эффективность своей работы, сократить издержки.

Хранилище данных и сквозная аналитика

Объединение, нормализация, обработка данных в едином хранилище для оптимизации бизнес-аналитики

Хранилище данных и сквозная аналитика

Построение корпоративных хранилищ данных для формирования расширенной аналитики по всем направлениям деятельности организации и поддержки принятия решений на основе интеллектуальной обработки данных.

Глубокие компетенции и многолетний опыт специалистов «Рексофт» позволили создать собственную референсную архитектуру и на ее основе реализовать технологическую платформу, обеспечивающую внедрение расширенной аналитики на основе корпоративного хранилища данных в кратчайшие сроки. Расширенная аналитика также помогает решать задачи BI (бизнес-аналитики) — анализировать данные и выявлять тенденции. Инструменты BI включают в себя дашборды, отчеты, аналитические средства и многое другое. Они позволяют прогнозировать будущие события, принимать обоснованные решения на основе данных.

Технологическая платформа для построения корпоративных хранилищ данных и расширенной аналитики обеспечивает следующие основные функции:

  • сбор данных от корпоративных информационных систем в потоковом и пакетном режимах;
  • проверку качества данных, их нормализацию и консолидацию НСИ;
  • приведение данных к единой модели данных на основе гибкой методологии;
  • возможность использования интеллектуальных алгоритмов обработки данных на основе методов искусственного интеллекта;
  • формирование преднастроенных стандартных и аналитических отчетов;
  • формирование ad-hoc отчетов.

Для проведения анализа данных предоставляются преднастроенные средства для проведения анализа данных, разработки, обучения моделей и их публикации в Платформу.

Встроенные в Платформу средства управления данными обеспечивают:

  • возможность настройки и ведения бизнес-глоссария;
  • возможность настройки каталога данных и связей с бизнес-глоссарием;
  • также прослеживаемость пути движения данных от источника до потребителя, включая все точки их трансформации и обработки (Data Lineage);
  • профилирование данных;
  • обеспечение качества данных.

Технологическая платформа обеспечивает подключение дополнительных корпоративных систем и внешних источников данных с минимальными затратами, настройку правил проверки качества и нормализации данных, внедрение новых алгоритмы и модели обработки данных, создание новых витрин и настройку аналитических отчетов.

Платформа построена на основе программного обеспечения с открытым кодом.

Высоконагруженные системы обработки данных

Проверенный фреймворк для нестандартных решений в области построения сложных платформ

Высоконагруженные системы обработки данных

Постоянно растущее использование «умных» устройств, передающих данные, в совокупности порождают колоссальные объемы данных и высокую интенсивность их поступления в системы обработки данных.

Системы обработки данных, построенные на основе классических подходов, не способны обеспечивать требующуюся производительность по получению и обработке таких объемов поступающих данных.

Специалистами компании «Рексофт» создана высоконагруженная (highload) платформа способная осуществлять прием данных от миллионов «умных» устройств в режиме близкому к реальному времени.

Высоконагруженная платформа обработки данных от «умных» устройств может применяться в различных отраслях, включая интернет вещей, финансы, медицину, телекоммуникации и другие, и предназначена для решения широкого круга задач, таких как мониторинг состояния объектов на основе передаваемых «умными» датчиками информации и выявления в ней сигнальных событий в режиме близкому к реальному времени, прогнозирование отказов оборудования и других. Накопленные в платформе данные также могут обрабатываться интеллектуальными алгоритмами с использованием методов искусственного интеллекта.

Построение высоконагруженных систем — комплексный и ответственный процесс, требующий высокой компетенции и профессионализма. Для их создания необходимы глубокие знания и компетенции в области разработки и архитектуры ПО, обработки больших данных и их хранения. Также нужно учитывать требования к отказоустойчивости, масштабируемости и производительности, аспекты безопасности и защиты данных.

Платформа обеспечивает получение и обработку данных, поступающих со скоростью в десятки тысяч сообщений в секунду. Высокая производительность платформы обеспечивается за счет автоматического горизонтального масштабирования ее компонентов при изменении нагрузки на систему.

Платформа не имеет единой точки отказа и концентрации нагрузки, что обеспечивает ее высокую отказоустойчивость.

Платформа построена на основе программного обеспечения с открытым кодом и имеет успешный опыт внедрения.

ПРИМЕРЫ РЕШЕНИЙ

Система мониторинга и управления автопарком Gaz Connect

Высокопроизводительная система обрабатывает данные от транспортных средств. Платформа GAZ Connect дает возможность гибко влиять на все параметры эксплуатации и оптимизировать их с целью получения дополнительного экономического эффекта. Создан эффективный механизм предоставления коммерческих телематических сервисов, повышены показатели эффективности и безопасности за счет использования технологий машинного обучения и предиктивной аналитики.

Платформа «Автодата»

Разработана с целью объединения и структурирования всех данных дорожно-транспортной сферы РФ, повышение качества транспортной инфраструктуры и безопасности дорожного движения, формирования условий для создания прикладных цифровых сервисов на основе накопленных данных. Для этого создана высокопроизводительная система сбора и обработки данных непосредственно от автомобиля и от десятков государственных и коммерческих систем-источников. Также создан маркетплейс «Биржа данных». Платформа стала центральным звеном экосистемы, объединяющей поставщиков данных, разработчиков сервисных и облачных решений, а также конечных потребителей сервисов.

НАГРАДЫ И ПРЕМИИ

ComNews Award — 2020

Проект федеральной сервисной навигационно-телематической платформы «Автодата» получил премию ComNews Awards 2020 в номинации «Лучший проект экосистемы на основе отраслевых цифровых платформ».

Подробнее

Национальная премия «Приоритет-2021»

Проект маркетплейса «Биржа данных», независимой торговой площадки данных автотранспортной сферы в рамках федеральной сервисной навигационно-телематической платформы «Автодата» стал лауреатом Национальной Премии в области эффективного применения передовых технологий «Приоритет-2021» в номинации «Информационные технологии»

Подробнее

ComNews Award — 2022

Система мониторинга и управления парком автомобилей ГАЗ, поддерживаемая специалистами «Рексофт», стала лауреатом премии «ComNews Awards. Лучшие решения для цифровой экономики» в номинации «Лучшая платформа цифровых сервисов в сфере транспортной телематики». Подробнее

НОВОСТИ И ПУБЛИКАЦИИ В СМИ

Интересуют детали?

Мы проконсультируем по всем вопросам.

Заполните поле
Пожалуйста, введите корректный адрес email.
Заполните поле
Заполните поле
Заполните поле
Вы должны согласиться с условиями для продолжения
27 - 3 = ?
Введите результат уравнения для продолжения