Обработка потоковых данных и онтологии
Мы реализовали программный комплекс для обработки потоковых данных на платформе АрхиГраф. Задача комплекса - обрабатывать json-сообщения, поступающие через очереди MQ, преобразовывать содержащиеся в них сведения в соответствии с онтологической моделью, применять логические правила обработки и записывать результат в SQL или noSQL-хранилище.
Преимущества комплекса - неограниченные возможности масштабирования, изменение структуры получаемых данных и логики их обработки по ходу работы системы без перезапуска, возможность изменения места и структуры физического хранения информации. Производительность - сотни сообщений в секунду (в зависимости от сложности логики обработки).
Некоторые подробности архитектуры и способа решения можно увидеть в презентации.