Графовая аналитика. Ютуб-канал Data Fusion. Модератор: Андрей Райгородский.

[akokov]

Из презентации доклада Андрей Леонидов, д.ф.-м.н. и преподаватель кафедры дискретной математики, МФТИ Boost then Convolve: Gradient Boosting Meets Graph Neural Networks:

Архитектура программного комплекса: Схема

• Данные -> Модуль агнета обработки данных -> Графовая база данных (neo4j)
• Текстовое описание схем -> База знаний -> Модуль агента поиска схемы <-> Графовая база данных (neo4j)
• Графовая база данных (neo4j) -> Интерфейс 

Алгоритм автоматической генерации запросов к графовой базе данных (презентация на видео).

Из презентации доклада Артем Летин, Виталий Малыгин (ВТБ) «...Предобработка транзакций Процесс предобработки транзакций состоит из 6 шагов:

1. Предобработка текста
2. Нормализация
3. Токенизация
4. Синонимы 
5. Создание словаря
6. Обучение модели / правила

Используемые библиотеки:

• pySpark.sql.function,
• pySpark.sql.feature (шаги 1,3,4),
• pymorphy2 (нормализация)
• sklearn,
• xgboost (моделирование)

Графовые эмбединги

Для построения эмбедингов транзакционного графа был использован алгоритм Node2Vec (Aditya Grover, Jure Leskovec).

Данный алгоритм основывается на случайных блужданиях второго порядка. Параметры алгоритма p и q позволяют контролировать направлегние обхода.

Этапы

1. Построение ориентированного взвешенного транзакционного графа

2. Определение возможных значений параметров {p,q}

3. Вычисление эмбедингов для каждой пары параметров {p,q}

4. Тестирование эмбедингов на существующей разметке ГСЛ.

Из презентации доклада Сергея Иванова  (Criteo) GBDT (Gradient boosted decision tree).

Click to view