Тезисы выступления на конференции «Технологии управления данными-2018», посвященного архитектуре и функциональности логической витрины данных, основанной на онтологиях.
Для не технических, совершенно верно. Цель - донести мысль о том, что решение такой задачи вообще возможно.
Весь рассказ "основан на реальных событиях", то есть две подобных витрины мы довели до промышленной эксплуатации на практике.
В презентации была и пара чуть-технических картинок, например такая:
Суть: 1) есть графовая БД, в которой хранится - онтологическая модель предметной области, - НСИ, - правила сопоставления элементов структуры модели и структур данных систем-источников (грубый пример: объекты класса "Прибор учета" лежат в таблице devices реляционной базы tech, причем серийный номер лежит в колонке serial_number). Редактор модели позволяет все это редактировать через визуальный интерфейс.
2) есть адаптеры преобразования данных систем-источников, которые умеют обращаться к источникам (в роли которых могут выступать любые хранилища или сервисы) посредством ESB или напрямую, извлекать оттуда данные и приводить их структуру в соответствие модели, используя правила сопоставления.
3) есть хранилище индексов (на практике это mongo), в котором сохраняются сведения о блоках и некоторых объектах данных из систем-источников для ускорения поиска.
4) есть портал для конечного пользователя, в котором он при помощи разного рода конструкторов строит запросы в терминах модели предметной области. Запросы фактически вводятся в выполняются путем извлечения необходимой информации из источников, сборки ее в единый временный граф и применения запроса к этому графу.
О такой архитектуре витрины на уровне прототипа я писал аж в 2016 году: https://serge-gorshkov.livejournal.com/41734.html Главное, что изменилось с тех пор - мы перешли с уровня прототипов к практической реализации в промышленных проектах.
Весь рассказ "основан на реальных событиях", то есть две подобных витрины мы довели до промышленной эксплуатации на практике.
В презентации была и пара чуть-технических картинок, например такая:
Суть:
1) есть графовая БД, в которой хранится
- онтологическая модель предметной области,
- НСИ,
- правила сопоставления элементов структуры модели и структур данных систем-источников (грубый пример: объекты класса "Прибор учета" лежат в таблице devices реляционной базы tech, причем серийный номер лежит в колонке serial_number).
Редактор модели позволяет все это редактировать через визуальный интерфейс.
2) есть адаптеры преобразования данных систем-источников, которые умеют обращаться к источникам (в роли которых могут выступать любые хранилища или сервисы) посредством ESB или напрямую, извлекать оттуда данные и приводить их структуру в соответствие модели, используя правила сопоставления.
3) есть хранилище индексов (на практике это mongo), в котором сохраняются сведения о блоках и некоторых объектах данных из систем-источников для ускорения поиска.
4) есть портал для конечного пользователя, в котором он при помощи разного рода конструкторов строит запросы в терминах модели предметной области. Запросы фактически вводятся в выполняются путем извлечения необходимой информации из источников, сборки ее в единый временный граф и применения запроса к этому графу.
О такой архитектуре витрины на уровне прототипа я писал аж в 2016 году: https://serge-gorshkov.livejournal.com/41734.html
Главное, что изменилось с тех пор - мы перешли с уровня прототипов к практической реализации в промышленных проектах.
Reply
Leave a comment