Система автоматизированного сбора и анализа больших данных (Big Data)

Платформа 7TECH SPIDER позволяет в короткие сроки реализовать заточенную под нужды и интересы конкретного Заказчика систему, которая будет предоставлять клиенту своевременную, полную и достоверную информацию, а также комплексно проанализирует события и проблемы по заданным темам, необходимым для принятия управленческих решений.

Задачи, которые можно решать с помощью нашей платформы:

Управление репутацией

  • Оценка уровня репутации (медиарейтинг, индекс популярности) бренда, компании или ключевых персон

  • Оценка осведомленности и узнаваемости о бренде или компании

  • Оповещения о негативных инфоповодах о компании, бренде или ключевых персонах

Маркетинг и продажи

  • Выявление потребностей (генерация новых услуг на основе потребностей общества)

  • Карта распространения публикаций - указатель для оптимизации рекламных площадок

  • Исследование популярности продуктов

  • Таргетированная реклама (поиск в автоматическом режиме новых клиентов, заинтересованных в товаре или услуге)

  • Оценка эффективности рекламной или PR компании

Управление рисками

  • Конкурентная разведка (мониторинг активности конкурентов)
  • Противодействие конкурентным атакам (выявление и нейтрализация «черного PR»)
  • Мониторинг ключевых клиентов (анализ лояльности, контроль инфоповодов (негатив), оказывающих влияние на взаимоотношения с Компанией)
  • Прогноз возникновения потенциально опасных ситуаций
Обеспечение информационной безопасности

  • Поиск сотрудников
  • Фильтрация резюме

  • Проведение рыночных исследований

Наше решение обеспечивает:

  • Автоматический мониторинг активности и нетипичного поведения («категоризация») источников (объектов мониторинга)
  • Автоматический поиск новых источников (объектов мониторинга);

  • Работу с различными источниками данных для сбора информации;

  • Deep Learning-алгоритмы анализа текста и изображений

  • Кластеризацию текстовых сообщений и изображений

  • Семантическую фильтрацию, устранение дубликатов, выделение важного;

  • Выделение именованных сущностей (имена физлиц, организаций и т.п.)

  • Кастомизируемую классификацию контента

  • Связанную обработку структурированных (статистика, отчеты и пр.) и неструктурированных данных (соцсети, новости и пр.)

  • Географическую привязку на уровне регионов

  • Независимость от языка (мультиязычность);

  • Гибкую настройку аналитического инструментария и бизнес-процессов


Общий принцип работы:

2019-02-10_22-28-09.png

 

Основано и использует:

  • Технологии искусственного интеллекта (нейронные сети, Deep learning, «обучение без учителя»)

  • Онтологии для описания предметной области

  • Мощную систему сбора данных (более 11 000 документов в секунду) 

 

Преимущества:

  •  Полная автоматизация процессов мониторинга

  • Максимальная глубина поиска информации

  • Полностью анонимный мониторинг

  • Автоматическое получение результатов

  • Легкое создание новых тем поиска

  • Простота в использовании, не требующая работы аналитиков

  • Самообучающаяся математическая модель оценки и реагирования

  • Позволяет в короткие сроки создавать уникальные системы, решающие конкретные бизнес-задачи


Архитектура:

архитектура.png

Стек технологий:

Мы имеем большой опыт в решении задач машинного обучения, таких как классификация, кластеризация, регрессия и т. п.

  • Tensorflow – фреймворк для построения и обучения нейронных сетей с поддержкой GPU)

  • SciPy – библиотека, охватывающая большое количество алгоритмов машинного обучения, • XGBoost – библиотека градиентного бустинга с возможностью запуска в распределенной вычислительной среде (Hadoop, SGE, MPI)

  • CatBoost – продвинутая библиотека градиентного бустинга на деревьях решений с открытым исходным кодом от Яндекс

Для решения задач обработки текста, таких как лемматизация, морфологический анализ, выделение именованных сущностей и др. мы применяем:

  • NLTK – фреймворк позволяющая решать большинство задач связанных с обработкой естественного языка

  • SpaCy – фреймоврк для обработки естественного языка основанный на нейронных сетях

  • MyStem – технология Яндекс для обработки текста на русском языке

 

Результат от внедрения:

  •  Своевременная информация о происходящих  событиях и проблемах

  • Точная оценка состояния, тенденция развития  и остроты проблем

  • Наглядное представление информации средствами интерактивной визуализации данных

  • Поддержка статистической информацией и результатами мониторинговых исследований

  • Готовая информационная база реестров НКО,  СМИ и других источников

  • Настроенная гибкая автоматическая аналитическая отчетность

 

Уже внедрена:

  • Федеральное агентство по делам национальностей: Мониторинг интернет-пространства для предотвращения межнациональных и межконфессиональных конфликтов
  • Корпорация Роскосмос: Поддержка работы PR-службы

Вернуться в решения

Group 36 Group 36 Group 16 ic_8 ic_9