"Конец ABBYY - это конец большой мечты. .... Мечты о том, что лингвистическая теория - то есть все те способы моделировать язык, которые придумали ученые-лингвисты, - поможет сделать наиболее точные инструменты автоматической обработки языка. ..... На самом деле нет...."
_______________________________
А ведь эта ситуация -- в первую очередь приговор самой лингвистике.
Если реальный язык может быть промоделирован на основе обучения на большом количестве реальных текстов -- что это значит? Это значит, что реальный язык имеет внутреннюю упорядоченность, структуру, которая может быть выявлена, зафиксирована и воспроизведена. Ну, типа морозных узоров.
А дальше вот что: морозные узоры прекрасно объясняются термодинамическими процессами в неравновесных системах, с учётом стохастических эффектов. И мы можем обучить ИИ на картинках морозных узоров, и попросить нарисовать такой же. А можем запустить программу, визуализирующую решение системы уравнений, описывающей неравновесный термодинамический процесс при генераторе случайных чисел. И, о чудо, эти картинки в целом совпадут. Это всего лишь потому, что теория неравновесной термодинамики описывает реальный процесс, происходящий в природе.
Если лингвистика не предсказала внутреннюю упорядоченность языка, выявленную языковыми моделями, значит эта лингвистика не сватила чего-то по настоящему важного. Она красиво описывала змей, верёвки и колоннны, но как будто чего-то не приметила.
Стоит ли плакать о такой лингвистике? (Может быть, несите новую?)
Мне кажется, речь о разных типах знания. Лингвистика была направлена на отыскание закономерностей. И пока продвинулась недостаточно. А автоматический переводчик направлен на совсем иное - достижение результата, создание понятного перевода по множеству образцов. После прохождения этой работы мы так же не знаем закономерностей, как и прежде. То есть это вовсе не одно и то же, не победа в неком соревновании. Это две разные задачи. Посчитать их одной можно лишь в том случае, если считать, что познание языка нам не нужно, а нужен практический результат - перевод. Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Это очень интересная тема. Наука конца XX-XXI вв. состоит в получении даров. Кроме лингвистики, можно найти и другие примеры. Наука старалась отыскать законы и понять некое явление. Ей это не удалось, ее заделы невелики. А вместо этого получен результат - в обход понимания. Просто готовый результат - на, бери, пользуйся. Мне кажется, это очень важный симптом.
Про разные типы знания - согласен с Вами. Но когда эти типы знания касаются одноо предмета, между ними должна быть смычка. А задача эту смычку найти лежит на той области знания, что ищет закономерности. Если нет смычки, значит и какие-то закономерности не найдены. Нейросети, по моему, оказываются новым методом наблюдения. Типа левенгуковского микроскопа. Штука созданная для забавы. Глядишь - а там анималькули. И их сначала просто рисуешь, и думаешь, ну вот, зверьки мелкие. А потом вся система природы вокруг них меняется. Так и языковые модели - чисто практические инструменты, ничего не объясняют. Но из них ясно, что стихия языка - не неупорядоченный хаос, где каждый говорит, что хочет, а закономерный космос, где все вроде бы говорят, что хотят, а на самом деле говорят, "что надо". Настолько "что надо", что неразумный аппарат легко вычленяет это "надо" и сам начинает говорить так же. А вот с этим вопросом уже можно прийти к лингвистике: "ну ка, дорогая лингвистика, объясни нам, почему это язык, где каждый говорит, что хочет, настолько закономерен?" Может через этот вопрос и для лингвистики откроются новые возможности.
Нет, тут Вы не правы. Погуглите, как обучаются нейросети. Ну и очень сложная закономерность на самом деле закономерностью по факту не является. Собственно, нейросети как раз и работают именно так: моделируют очень сложную закономерность, не пытаясь ничего упростить (как делают люди в процессе понимания).
Слово "закономерность"имеет два значения: 1) нечто, регулярно повторяющееся; 2) некий описуеиый принцип, вызывающий регулярно наблюдаемые явления. С закономерностями второго рода нейросети не работают, они ничего не объясняют, да. А вот закономерности первого рода они как раз и выявляют. Да, они ничего не упрощают по-человечески, но вычленяют регулярные паттерны, например в словоупотреблении. Там где нет регулярных паттернов, не может быть и моделирования. А вот дальше вопрос уже не к нейросетям: Откуда в языке регулярные паттерны словоупотребления? Не стоит ли за ними некоторая закономерность второго рода? Может быть, кроме инструментов грамматики, язык обладает ещё какими-то инструментами управления? По аналогии с биологией, где кроме генетического кода и аминокислотных последовательностей есть ещё экспрессия генов и ее регуляция. Может в языке есть закономерности экспрессии словоформ?
/// Там где нет регулярных паттернов, не может быть и моделирования.
Ну, видите ли. В любой достаточно длинной СЛУЧАЙНОЙ последовательности всегда можно найти сколько угодно регулярных паттернов. Это ничего не значит.
В том смысле, что если у Вас есть формула длинной в километр (если писать 12-ым кеглем в строку) - вполне рабочая и учитывающая всё-всё-всё на том поле, откуда она получена - можно ли считать, что Вы нашли закономерность? Вот нейросети как раз так и делают: в процессе обучения собирают такую формулу. "Если А, то В, однако в случае если ещё и С, тогда Х, причём если С обладает свойством У, тогда...". Этакий брутфорс вычислительной мощью. Для некоторых полей ничего иного и не нужно (типа задачи сортировки мусора на конвейере распознаванием образов). Но их класс уже, чем кажется; применение такого подхода там, где это неуместно, чревато большими проблемами.
"Наука конца XX-XXI вв. состоит в получении даров. Кроме лингвистики, можно найти и другие примеры. Наука старалась отыскать законы и понять некое явление. Ей это не удалось, ее заделы невелики. А вместо этого получен результат - в обход понимания."
С Вами и согласен, и не согласен. Думаю, наука слегка ошалела от обилия новых методов наблюдения. И да, был значимый период, когда новых идей было мало, а в основном собирались конструкции из фактов. Но вот, физики сейчас зарубились: Что такое ускоренное расширение вселенной? Реально ли тёмная энергия всё расталкивает? Или между галактиками время течёт быстрее, а тёмной энергии и нет никакой? Ну и биологи, насмотрелись на обилие секвенированых геномов и метаболических путей, и задумались: а что должно было быть у нашего первопредка? И где он вообще из грязи собрался? Кажется, наука верна себе. Просто периодически фокус переводит: то на мысли, то на факты, но потом возвращается.
/// Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Не даром, конечно. Человечество очень долго развивалось в основном именно так: конкретные ноу-хау ремёсел тому самый типовой пример; средневековые цеха, зубрение латыни, переписывание Аристотеля на древнегреческом и т.д., и т.п. Да и как/чему всегда обучались и обучаются малыши? Подражают маме и папе, делают так, как сказано родителями, не задаваясь вопросом, почему, зачем и нельзя ли лучше. Запоминая и повторяя, а не понимая. Какое понимание у трёхлетки, собственно?
Три века назад начался прорыв понимания - понимания, следует заметить, КОНКРЕТНОГО ТИПА - породивший всю современную НТР. К середине века предыдущего казалось, что этот новый источник никогда не иссякнет, им можно упиться вдоволь и получить всё, что только захочешь. Но к началу века нынешнего выяснились две вещи:
1) Этот источник не такой уж неиссякаемый и общедоступный - и/или там, дальше у него живительная влага уже сильно не для всех (а люденов в расчёт не берём, не завезли их или они возиться с человечеством не желают)
2) Мощь современного компьютерного железа вполне позволяет во многих задачах обходиться без понимания, просто вытаскивая похожие примеры с достаточной скоростью
В связи с последним пунктом китайская комната быстро превратилась в огромный дворец, населённый философскими зомби. И дворец этот продолжает поспешно достраиваться - и будет это делать, покуда есть куда расти вычислительным мощностям. Новое Средневековье с его новым феодализмом триумфально шествует по планете и остановить его пока некому: умники-понимауки, наконец-то перестали быть незаменимы (ну, так кажется новым феодалам), с ними можно больше не цацкаться. Нейросети справляются лучше - если не везде и сейчас, то уже много где и совсем скоро.
Так что ничего удивительного. Краткий период НТР, основанной на понимании, закончился - во всяком случае, в головах у власть имущих планеты всё именно так. Теперь снова всё решает не качество мозгов умников, а количество оперативки и согласованно работающих видюх. А это дело не капризное и ценник у него вполне приемлемый.
Ну, то есть, понятно, что это на самом деле тупик. Но понятно тем, кто всё-таки ещё не разучился понимать и это дело любит. Однако большинство уже не такие: или не могут понять, или просто не хотят, ибо радует их иное.
> ...Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Классная формулировка. Но. Скорее, не даром, а бонусом. Данные для науки собирали всегда, а пригодились они заодно и для бигдаты. И стоили данные жутких денег. Я помню ряды испытательных машин, каждая из которых стоила стотыщ баксов, в каждой образец, и испытывают его сутками. Образец - чудо мех.обработки. При институте - цеха для изготовления образцов.
Вообще, хороший пример перехода количества в качество. Каждое остановленное (и затем пройденное) мгновение внезапно приобрело вечную ценность точки на графике. Началось кмк с изучения климата.
Предположим - экзамен. Вы трудитесь, задача не решается. Вы вспоминаете, прикидываете - никак. На телефон звяк - за некую сумму будет выслано решение. В этом смысле даром. Да, деньги вы потратите (если согласитесь). Не даром - по деньгам. Но по отношению к вашим усилиям выучить математику - даром. Вы учили зря. Могли и не учить, даром достался готовый ответ.
Даром - это когда помимо усилий, направленных на достижение.
Помните? Некий человек мечтал уехать в Америку, работал изо всех сил, экономил, побирался, собирал обертки конфет, бумажки, старые башмаки, всякий мусор - и копил. На отъезд. И усилия его увенчались успехом - в Америке померла его престарелая тетушка и завещала ему 20 миллионов. Это и значит - даром.
Я бы так сказал: Даром - когда лежишь. Бонусом - когда делаешь (всё равно что, но в конкретных целях)
Главное, что чувак хотел в Америку и делал для этого что умел. Возможно, тётушка завещала именно ему потому, что старался. At least I tried, как сказал Макмёрфи.
Как-то непонятно, зачем при таком уровне навыка общения с лоа нужна старушка-процентщица-миллионерша и какая-то там америка вообще. Видимо, обострённая сентиментальность.
"Конец ABBYY - это конец большой мечты. .... Мечты о том, что лингвистическая теория - то есть все те способы моделировать язык, которые придумали ученые-лингвисты, - поможет сделать наиболее точные инструменты автоматической обработки языка. ..... На самом деле нет...."
_______________________________
А ведь эта ситуация -- в первую очередь приговор самой лингвистике.
Если реальный язык может быть промоделирован на основе обучения на большом количестве реальных текстов -- что это значит? Это значит, что реальный язык имеет внутреннюю упорядоченность, структуру, которая может быть выявлена, зафиксирована и воспроизведена. Ну, типа морозных узоров.
А дальше вот что: морозные узоры прекрасно объясняются термодинамическими процессами в неравновесных системах, с учётом стохастических эффектов. И мы можем обучить ИИ на картинках морозных узоров, и попросить нарисовать такой же. А можем запустить программу, визуализирующую решение системы уравнений, описывающей неравновесный термодинамический процесс при генераторе случайных чисел. И, о чудо, эти картинки в целом совпадут. Это всего лишь потому, что теория неравновесной термодинамики описывает реальный процесс, происходящий в природе.
Если лингвистика не предсказала внутреннюю упорядоченность языка, выявленную языковыми моделями, значит эта лингвистика не сватила чего-то по настоящему важного. Она красиво описывала змей, верёвки и колоннны, но как будто чего-то не приметила.
Стоит ли плакать о такой лингвистике? (Может быть, несите новую?)
Reply
только нынешней модели, будут и другие
Reply
/А ведь эта ситуация -- в первую очередь приговор самой лингвистике./
Существование египетских пирамид не приговор физике
Reply
То есть это вовсе не одно и то же, не победа в неком соревновании. Это две разные задачи. Посчитать их одной можно лишь в том случае, если считать, что познание языка нам не нужно, а нужен практический результат - перевод.
Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Это очень интересная тема. Наука конца XX-XXI вв. состоит в получении даров. Кроме лингвистики, можно найти и другие примеры. Наука старалась отыскать законы и понять некое явление. Ей это не удалось, ее заделы невелики. А вместо этого получен результат - в обход понимания. Просто готовый результат - на, бери, пользуйся.
Мне кажется, это очень важный симптом.
Reply
Нейросети, по моему, оказываются новым методом наблюдения. Типа левенгуковского микроскопа. Штука созданная для забавы. Глядишь - а там анималькули. И их сначала просто рисуешь, и думаешь, ну вот, зверьки мелкие. А потом вся система природы вокруг них меняется.
Так и языковые модели - чисто практические инструменты, ничего не объясняют. Но из них ясно, что стихия языка - не неупорядоченный хаос, где каждый говорит, что хочет, а закономерный космос, где все вроде бы говорят, что хотят, а на самом деле говорят, "что надо". Настолько "что надо", что неразумный аппарат легко вычленяет это "надо" и сам начинает говорить так же.
А вот с этим вопросом уже можно прийти к лингвистике: "ну ка, дорогая лингвистика, объясни нам, почему это язык, где каждый говорит, что хочет, настолько закономерен?" Может через этот вопрос и для лингвистики откроются новые возможности.
Reply
Reply
С закономерностями второго рода нейросети не работают, они ничего не объясняют, да. А вот закономерности первого рода они как раз и выявляют. Да, они ничего не упрощают по-человечески, но вычленяют регулярные паттерны, например в словоупотреблении. Там где нет регулярных паттернов, не может быть и моделирования.
А вот дальше вопрос уже не к нейросетям: Откуда в языке регулярные паттерны словоупотребления? Не стоит ли за ними некоторая закономерность второго рода? Может быть, кроме инструментов грамматики, язык обладает ещё какими-то инструментами управления?
По аналогии с биологией, где кроме генетического кода и аминокислотных последовательностей есть ещё экспрессия генов и ее регуляция. Может в языке есть закономерности экспрессии словоформ?
Reply
Ну, видите ли. В любой достаточно длинной СЛУЧАЙНОЙ последовательности всегда можно найти сколько угодно регулярных паттернов. Это ничего не значит.
В том смысле, что если у Вас есть формула длинной в километр (если писать 12-ым кеглем в строку) - вполне рабочая и учитывающая всё-всё-всё на том поле, откуда она получена - можно ли считать, что Вы нашли закономерность? Вот нейросети как раз так и делают: в процессе обучения собирают такую формулу. "Если А, то В, однако в случае если ещё и С, тогда Х, причём если С обладает свойством У, тогда...". Этакий брутфорс вычислительной мощью. Для некоторых полей ничего иного и не нужно (типа задачи сортировки мусора на конвейере распознаванием образов). Но их класс уже, чем кажется; применение такого подхода там, где это неуместно, чревато большими проблемами.
Reply
С Вами и согласен, и не согласен. Думаю, наука слегка ошалела от обилия новых методов наблюдения. И да, был значимый период, когда новых идей было мало, а в основном собирались конструкции из фактов.
Но вот, физики сейчас зарубились: Что такое ускоренное расширение вселенной? Реально ли тёмная энергия всё расталкивает? Или между галактиками время течёт быстрее, а тёмной энергии и нет никакой?
Ну и биологи, насмотрелись на обилие секвенированых геномов и метаболических путей, и задумались: а что должно было быть у нашего первопредка? И где он вообще из грязи собрался?
Кажется, наука верна себе. Просто периодически фокус переводит: то на мысли, то на факты, но потом возвращается.
Reply
Не даром, конечно. Человечество очень долго развивалось в основном именно так: конкретные ноу-хау ремёсел тому самый типовой пример; средневековые цеха, зубрение латыни, переписывание Аристотеля на древнегреческом и т.д., и т.п. Да и как/чему всегда обучались и обучаются малыши? Подражают маме и папе, делают так, как сказано родителями, не задаваясь вопросом, почему, зачем и нельзя ли лучше. Запоминая и повторяя, а не понимая. Какое понимание у трёхлетки, собственно?
Три века назад начался прорыв понимания - понимания, следует заметить, КОНКРЕТНОГО ТИПА - породивший всю современную НТР. К середине века предыдущего казалось, что этот новый источник никогда не иссякнет, им можно упиться вдоволь и получить всё, что только захочешь. Но к началу века нынешнего выяснились две вещи:
1) Этот источник не такой уж неиссякаемый и общедоступный - и/или там, дальше у него живительная влага уже сильно не для всех (а люденов в расчёт не берём, не завезли их или они возиться с человечеством не желают)
2) Мощь современного компьютерного железа вполне позволяет во многих задачах обходиться без понимания, просто вытаскивая похожие примеры с достаточной скоростью
В связи с последним пунктом китайская комната быстро превратилась в огромный дворец, населённый философскими зомби. И дворец этот продолжает поспешно достраиваться - и будет это делать, покуда есть куда расти вычислительным мощностям. Новое Средневековье с его новым феодализмом триумфально шествует по планете и остановить его пока некому: умники-понимауки, наконец-то перестали быть незаменимы (ну, так кажется новым феодалам), с ними можно больше не цацкаться. Нейросети справляются лучше - если не везде и сейчас, то уже много где и совсем скоро.
Так что ничего удивительного. Краткий период НТР, основанной на понимании, закончился - во всяком случае, в головах у власть имущих планеты всё именно так. Теперь снова всё решает не качество мозгов умников, а количество оперативки и согласованно работающих видюх. А это дело не капризное и ценник у него вполне приемлемый.
Ну, то есть, понятно, что это на самом деле тупик. Но понятно тем, кто всё-таки ещё не разучился понимать и это дело любит. Однако большинство уже не такие: или не могут понять, или просто не хотят, ибо радует их иное.
Reply
/китайская комната быстро превратилась в огромный дворец, населённый философскими зомби./
дом, который построил ЧатГПТ
Reply
> ...Удивительным явилось лишь то, что можно достичь результата в обход познания, познания так и не получив. В некотором смысле - даром.
Классная формулировка. Но.
Скорее, не даром, а бонусом. Данные для науки собирали всегда, а пригодились они заодно и для бигдаты. И стоили данные жутких денег. Я помню ряды испытательных машин, каждая из которых стоила стотыщ баксов, в каждой образец, и испытывают его сутками. Образец - чудо мех.обработки. При институте - цеха для изготовления образцов.
Вообще, хороший пример перехода количества в качество. Каждое остановленное (и затем пройденное) мгновение внезапно приобрело вечную ценность точки на графике. Началось кмк с изучения климата.
Reply
В этом смысле даром. Да, деньги вы потратите (если согласитесь). Не даром - по деньгам. Но по отношению к вашим усилиям выучить математику - даром. Вы учили зря. Могли и не учить, даром достался готовый ответ.
Даром - это когда помимо усилий, направленных на достижение.
Помните? Некий человек мечтал уехать в Америку, работал изо всех сил, экономил, побирался, собирал обертки конфет, бумажки, старые башмаки, всякий мусор - и копил. На отъезд. И усилия его увенчались успехом - в Америке померла его престарелая тетушка и завещала ему 20 миллионов.
Это и значит - даром.
Reply
Я бы так сказал:
Даром - когда лежишь. Бонусом - когда делаешь (всё равно что, но в конкретных целях)
Главное, что чувак хотел в Америку и делал для этого что умел. Возможно, тётушка завещала именно ему потому, что старался. At least I tried, как сказал Макмёрфи.
Reply
/собирал обертки конфет, бумажки, старые башмаки, всякий мусор...
И усилия его увенчались успехом - в Америке померла его престарелая тетушка/
Мужик в совершенстве владел культом вуду
Reply
Reply
Leave a comment