Language models, knowledge graphs, relational models -- всюду жизнь

[ailev]

Моя любимая статья этой недели -- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding от Google AI Language (https://arxiv.org/abs/1810.04805). BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural

Comments

[justy_tylor]

"Это всё не снимает задачи нахождения нормального представления для knowledge graph" - нет такой задачи, мы уже обсуждали это лет 5 назад. Оптимальное представление это дерево с модальностями. Туда помещается как вся FOL, так и любые "с вероятностью 80%", "по мнению Васи", "в документе N123", etc.

Чего сейчас нет, так это полноценных расширений FOL для работы с событиями, состояниями и транзакциями. Есть узконишевые DSL в областях https://en.wikipedia.org/wiki/Business_rule_management_system и https://en.wikipedia.org/wiki/Action_description_language Но для цельного описания систем они непригодны.

[ailev]

Ага, возвращаемся к недоговорённым вопросам про модальности из https://thpectrum.livejournal.com/10771.html -- "нет инструментов работы с некоторыми классами высказываний про возможные миры и предпочтения на них

[justy_tylor]

Там же в комментариях я дал пример описания с модальностями (но ближе к синтаксису FOL, чтобы не смущать логиков и онтологов). Деревом это выглядит так же, только вместо бинарных (A & B & C) используются N-арные комбинаторы (all: A, B, C). А документ с ранними версиями текстового и бинарного представлений для деревьев я рассылал в почту участникам .15926 (1 июля 2013).

Что касается сложности (как машинной, так и когнитивной), то весь мир десятилетиями использует FOL в виде SQL, и это работает, это позволяет многие вещи автоматизировать, предоставив машине решать задачу трансляции высокоуровневых правил в эффективный план запроса. И когнитивные проблемы там есть, но порождённые не FOL, а изначальной COBOLоподобностью (и, как следствие, нерасширяемостью) стандарта, который далее всё же пришлось расширять. Именно на SQL стоит в первую очередь ориентироваться и как на пример успеха, и как на продукт, содержащий недостатки, которые могут быть исправлены в альтернативных решениях.

[vvagr]

А у меня в табах давно валяется немного безумный, но информативный обзор по эмбеддингу графов на русском: https://habr.com/company/ods/blog/418727/

[ext_4111504]

А вот движение самой мысли - какова его логика? Можно ли задать форму этого движения так, чтобы оно было не блужданием впотьмах, а осознанным и осмысленным движением вперед?"
Вопрос, который меня все время мучает. Я даже пытаюсь осознать, как я прихожу к решениям)) Пока без видимого результата, но похоже действительно это что то связано с вероятностным подходом + психтипом. Почему другие не умеют находить очевидные ответы? Или главное в поиске решения это коллективность мышления? Можно ли сделать открытие находясь только в замкнутой сфере своего мышления? Если суть открытия в логическом анализе и весь вопрос только в удачной перестановке кубика Рубика, то да можно остаться в рамках своего мышления. Во всех остальных случаях - только выход в коллективное мышление.

[vvagr]

И как раз программная работа вышла от серьёзных людей https://arxiv.org/pdf/1806.01261.pdf

We explore how using relational inductive biases within deep learning
architectures can facilitate learning about entities, relations, and rules for composing them. We
present a new building block for the AI toolkit with a strong relational inductive bias-the graph
network-which generalizes and extends various approaches for neural networks that operate
on graphs, and provides a straightforward interface for manipulating structured knowledge and
producing structured behaviors. We discuss how graph networks can support relational reasoning
and combinatorial generalization, laying the foundation for more sophisticated, interpretable,
and flexible patterns of reasoning. As a companion to this paper, we have also released an
open-source software library for building graph networks, with demonstrations of how to use
them in practice.

[ailev]

Ну да. Это всё направление главного удара. В этом месте будут расцветать сто цветов, а потом победит какой-нибудь лишайник из соседней эко-системы )))