(no subject)
По-моему, эта мысль - невероятная крутотa, уже третий пост про нее пишу за три дня. Как семантика умещается в ИИ, у нас в голове, да и в языке вообще? Оказывается, понятия не совсем независимы друг от друга, а немного друг в друга перетекают! Скажем, "ворона" и "письменный стол" - это два вектора в очень многомерном пространстве смыслов. Или "лодка" и "ложка". Они никак друг с другом не связаны. Потому что ворона - это не письменный стол, ничего похожего. Поэтому эти векторы ортогональны, перпендикулярны друг другу в пространстве смыслов, никак не коррелируют.
Однако, они не на сто процентов ортогональны. А, скорее, на 99%. Потому что иногда бывают контексты, когда ворон вдруг имеет нечто общее с письменным столом. Поэтому в пространстве смыслов они не совсем перпендикулярны, а только на 89 градусов. И вот оказывается, что если в N-мерное пространство, по определению, можно поместить N перпендукулярных векторов, то почти отрогональных векторов можно поместить exp(N), когда N большое! Почему - смотрите лекцию про Трансформеров от 3blue1brown. (Мне сказали, что это лемма Джонсона - Линденштрауса 1984 года.)
ChatGPT-3 использует 12244-мерное пространство смыслов (на самом деле оно как-то иначе называется, но это не важно). И таким образом в него можно поместить огромное количество, exp(12244) понятий, слабо связанных друг с другом, таких как лодки, ложки, вороны и письменные столы. Векторы в этом пространстве (если оно правильно натренировано на текстах) можно складывать и вычитать. Скажем "man" - "woman" даст то же направление, что "uncle" - "aunt". Прилагательные модифицируют значения, подобно умножению векторов на тензоры в физике. Глаголы тоже ничем принципиально не отличаются. То есть речь идет о реальном пространстве смыслов, в котором хранятся знания о мире, точнее, о соотношнии понятий, стоящих за словами. То есть вся семантика.
Почему это (на мой взгляд) так круто? По двум причинам.
Во-первых, это открытие последних 10 лет. В ХХ веке ни один живой человек ничего этого не знал. Часто ли вам удается прикоснуться к совeршенно новому, фундаментальному знанию об устройстве мира? Но это эмоции.
Во-вторых, помните чем отличается хомскианская теория языка, генеративистика (середины ХХ века) от пост-хомскианской, когнитивной (с 1980х годов и уже в нашем веке)? Для хомскианцев важен тезис о независимости синтаксиса (грамматики) от семантики. Синтаксис живет в своем мире по своим правилам, и семантика на грамматику не влияет. Когнитивисты, такие как Лакофф, ближе к концу прошлого века это опровергли. Точнее, показали, что есть редкие но очень важные ситуации, когда синтаксис зависит от семантики. У Лакоффа в его книгие ("Женщины, огонь, опасные вещи") это показано на примере английского слова "there", и доказательству и разборы этого тезиса с этим несчастным словом посвящена глава под сто страниц. Слово вроде не очень важное, но проблема неустранимая. В 99% случаев синтаксис независим от семантики, но 1% когда зависим, оказывается очень важным.
Есть и другие подобные ситуации, к которым пришла наука конца ХХ века. Сергей Чебанов рассказывает про идиографические и номотетические науки (это термины баден-баденской :) школы нeокантианства, или вроде того, которые упрощенно можно пояснить как описательные и дедуктивные науки). Знание как список и знание как правило. Оказывается, это не два полностью независимых способа изложения знания! Они смыкаются, перетекают друг в друга! У списка есть свои правила (з-н Бенфорда, Ципфа и т.п.). Конечно, это практически актуально в машинном обучении - оно представляет закономерности алгоритмом, а не формулой.
А рассмотренная выше ситуация показывает, что чтобы функционировать как система понятий, понятия (их смыслы) не должны быть полностью ортогональны друг другу. Они должны быть почти ортогональны, на 99%, но все же оставлять 1% для смычки. Разве это не крутое новое знание о том, как устроен наш мир, точнее, как устроено наше понятийное мышление, через которое мы понимаем, как устроен мир?
Однако, они не на сто процентов ортогональны. А, скорее, на 99%. Потому что иногда бывают контексты, когда ворон вдруг имеет нечто общее с письменным столом. Поэтому в пространстве смыслов они не совсем перпендикулярны, а только на 89 градусов. И вот оказывается, что если в N-мерное пространство, по определению, можно поместить N перпендукулярных векторов, то почти отрогональных векторов можно поместить exp(N), когда N большое! Почему - смотрите лекцию про Трансформеров от 3blue1brown. (Мне сказали, что это лемма Джонсона - Линденштрауса 1984 года.)
ChatGPT-3 использует 12244-мерное пространство смыслов (на самом деле оно как-то иначе называется, но это не важно). И таким образом в него можно поместить огромное количество, exp(12244) понятий, слабо связанных друг с другом, таких как лодки, ложки, вороны и письменные столы. Векторы в этом пространстве (если оно правильно натренировано на текстах) можно складывать и вычитать. Скажем "man" - "woman" даст то же направление, что "uncle" - "aunt". Прилагательные модифицируют значения, подобно умножению векторов на тензоры в физике. Глаголы тоже ничем принципиально не отличаются. То есть речь идет о реальном пространстве смыслов, в котором хранятся знания о мире, точнее, о соотношнии понятий, стоящих за словами. То есть вся семантика.
Почему это (на мой взгляд) так круто? По двум причинам.
Во-первых, это открытие последних 10 лет. В ХХ веке ни один живой человек ничего этого не знал. Часто ли вам удается прикоснуться к совeршенно новому, фундаментальному знанию об устройстве мира? Но это эмоции.
Во-вторых, помните чем отличается хомскианская теория языка, генеративистика (середины ХХ века) от пост-хомскианской, когнитивной (с 1980х годов и уже в нашем веке)? Для хомскианцев важен тезис о независимости синтаксиса (грамматики) от семантики. Синтаксис живет в своем мире по своим правилам, и семантика на грамматику не влияет. Когнитивисты, такие как Лакофф, ближе к концу прошлого века это опровергли. Точнее, показали, что есть редкие но очень важные ситуации, когда синтаксис зависит от семантики. У Лакоффа в его книгие ("Женщины, огонь, опасные вещи") это показано на примере английского слова "there", и доказательству и разборы этого тезиса с этим несчастным словом посвящена глава под сто страниц. Слово вроде не очень важное, но проблема неустранимая. В 99% случаев синтаксис независим от семантики, но 1% когда зависим, оказывается очень важным.
Есть и другие подобные ситуации, к которым пришла наука конца ХХ века. Сергей Чебанов рассказывает про идиографические и номотетические науки (это термины баден-баденской :) школы нeокантианства, или вроде того, которые упрощенно можно пояснить как описательные и дедуктивные науки). Знание как список и знание как правило. Оказывается, это не два полностью независимых способа изложения знания! Они смыкаются, перетекают друг в друга! У списка есть свои правила (з-н Бенфорда, Ципфа и т.п.). Конечно, это практически актуально в машинном обучении - оно представляет закономерности алгоритмом, а не формулой.
А рассмотренная выше ситуация показывает, что чтобы функционировать как система понятий, понятия (их смыслы) не должны быть полностью ортогональны друг другу. Они должны быть почти ортогональны, на 99%, но все же оставлять 1% для смычки. Разве это не крутое новое знание о том, как устроен наш мир, точнее, как устроено наше понятийное мышление, через которое мы понимаем, как устроен мир?