Невидимые последствия хайпа с ChatGPT для отечественной науки

[kelijah]

Весь шум вокруг ChatGPT, на мой взгляд, скрывает некоторые более важные последствия революции LLM и RLFH в NLP. О них никто не говорит, но мне почему-то они кажутся более существенными для нашего (программистского) бытия.

Во-первых, ChatGPT красиво выводит из области практического интереса значительную часть лингвистики. Поясню этот печальный

Comments

[right_to_cry]

Ну как сказать насчет настроений. Как раз слышала, как свеженькие магистры компьютерной лингвистики мрачно говорили, что теперь они уже и не нужны будут.

[kelijah]

А вот это плохой подход.

Пришел Коперник и показал, что старые птолемеевы эпициклы оказались чепухой. Все накопленные человечеством умные мысли за 2000 оказались полным бредом мрачного греческого ума.

Это что, повод уходить из астрономии?

Наоборот, появляется замечательная возможность на гребне волны найти новые, свободные поляны в лингвистике.

Вот только боюсь, что консерватиная публика, всякие завлабы, завкафедрами и проректоры по науке не способны признать, что все старое представляет интерес только для историков науки :(

[right_to_cry]

Я им так и сказала.

Сферы обязательно найдутся, потому что лингвистика, к счастью, это не только NLP, точнее, чем дальше, тем меньше в NLP лингвистики (как вы и написали). Ну станет это частью другой науки - ничего страшного.

[vashu11]

> Наоборот, появляется замечательная возможность на гребне волны найти новые, свободные поляны в лингвистике.

Например - ИИ, это пожалуй единственный способ попытаться экспериментально воссоздать возникновение языка.

На детях экспериментировать не дадут по соображениям гуманности, да и долго. А на ИИ глядишь еще увидим.

[p2004r]

Тут всю эволюционную теорию (со всеми последствиями из неё) можно описывать матаппаратом оптимизационных процессов. И это никак "сложившуюся онтологию общения" в данной области не подвинет. Некий "рефакторинг в науке" крайне редкий процесс. И выглядит он действительно скорее как "полный демонтаж с последующим захватом освободившейся строительной площадки" (впрочем так выглядит любая докторская в педнауках :)))).

Вообще надо просто веса из эмбендинга в моделях успешных просто анализировать и привязывать к теоретическим всем этим понятиям лингвистики. Вполне возможно что можно будет и выстроить некий "формальный движок вывода". В конце концов нейросеть дает "понимаение даоса" (даже когда вывод решения объясняет), а тут надо "понимание философа западного разлива" (с построением "качественного объяснения ИПФ анализируемой системы", а еще лучше спекуляций откуда ИПФ пошла и почему такая и из чего состоит).

[kelijah]

>Некий "рефакторинг в науке" крайне редкий процесс.

Тем интереснее оказаться в самой гуще такого рефактоинга.

Правда я очень пессимистичен относительно компетенций административного слоя науки (тех самых завкафедрами и завлабов). Эти будут делать вид, что ничего не изменилось, до последнего. В конце концов, в лингвистике есть убежище, куда никакие ChatGPT не добрались (пока) - всякий сбор анекдотов про Чапаева в отдаленных деревнях, полевая лингвистика типа :)

>Вообще надо просто веса из эмбендинга в моделях успешных просто анализировать и привязывать к теоретическим всем этим понятиям лингвистики.

Да, что-то такое пытаются делать. Называется "probing". Изучают, как связаны активации на скрытых слоях и аттеншены с лингвистическими категориями.

[azonips]

Мне кажется все ровным счетом наоборот обстоит.
Индустрия только-только освоила наконец перцептрон розенблатта из 60-х и продемонстрировала применение в неспецифических областях.
Грамматики, которые и в предыдущей итерации были полезны, стоят на запасных путях.
До онтологий вообще не добрались ещё толком.
Хотя всякие графовые модели, МЛ на графах это где-то близко уже.

[kelijah]

Возможно, да.

Но все это сделают увы не лингвисты. Потому что для академических лингвистов всё, что пахнет ML'ем это бесовщина и достойно лишь презрения. Ну покрайней мере из общения с тру лингвистами у меня сложилось такое впечатление :(

[denisgordeevnlp]

Не совсем с вами соглашусь. Именно ChatGPT (а не просто GPT-3) основан на вручную размеченных датасетах. Датасеты же часто включают в себя какие-то лингвистические знания (хотя бы из теории категорий). ChatGPT неплохо решила часть этических проблем более ранних моделей, для этого тоже нужно соответствующее понимание проблемы хотя бы на уровне постановки задачи аннотаторам. И многие проблемы нынешних моделей, вероятно, могли бы решиться более качественными и продуманными датасетами. Хотя не уверен, что существующей лингвистической теории для этого достаточно.

Кроме того, вклад ученых из России в GPT-3, так скажем, являлся не основным. И современная лингвистика также во многом (тоже мягко говоря) делается учеными из других стран. В 2021 году на NeurIPS (даже не ACL) статья "Is automated topic model evaluation broken? the incoherence of coherence" произвела фурор. Мне кажется, она вполне лингвистическая по духу и подходу.

[kelijah]

> Именно ChatGPT (а не просто GPT-3) основан на вручную размеченных датасетах. Датасеты же часто включают в себя какие-то лингвистические знания (хотя бы из теории категорий).

Я уверен, что среди тех 40 человек, которые (если верить статье от open.ai) ранжировали генерации модели на стадии RLHF, собственно лингвистов не было. Ну если только случайно кто-то затесался :)

>И современная лингвистика также во многом (тоже мягко говоря) делается учеными из других стран.

Да, и это печально :(

Я вот сейчас еще вспомнил. При всем моем скептицизме о значимости философии, я все-таки нашел для себя парочку интересных статей современных американских философов, где они весьма компетентно и с интересного угла говорили о ИИ и смежных темах. Об отечественных философах я такого сказать не могу вообще. Понятно, что я дилетант и не особо отслеживаю тему, но в целом картина видится так: достаточно живая движуха в западной философской мысли vs какое-то местечковое замкнутое запустение. Сильно подозреваю, что в лингвистике ситуёвина похожа :(

[akor168]

Мне тоже кажется что все скорее наоброт - все эти накопленные теории можно прогнать через эту штуку и выяснить что из них полезно и в какой степени и возможно даже приложить к работе новых версий. Человек очевидно не может в одиночку работать сл всем языком, а эта модель легко. То есть использовать накопленную лингвистами инфу для файн-тюнинга и сжимания моделей с сохранением качества. Если конечно выяснится что ничего из этого не полезно тогда просто можно сделать вывод что вот такая печальная история - этот кусок науки оказался тупичком.

[kelijah]

В каком-то смысле те, кто сейчас тыкает в chatgpt всякие хитрые запросы и выясняет, что она может и чего нет, работают такими полевыми лингвистами. Бессистемно и стихийно, но массово :)