Плохое понимание плохого понимания компьютеров
Общение с людьми, исповедующими ситуацию в области искусственного интеллекта, лингвистики, работы со знаниями и прочих подобных материй всего навсего трёх-четырехлетней давности (конкретно: до 2012 года) напоминает общение квантового физика со спецами в теории флогистона. Квантовый физик даже не знает, как ответить на обвинение его в том, что нарезка флогистона маленькими порциями (это же главная идея квантовости!) ничего не решит ни в теории, ни в эксперименте. И правда, ведь не решит! Как объяснить людям, что deep learning в лингвистике это не про частотные словари и не про задачи классификации, я не знаю. См. длииинный тред в группе нейронета в фейсбуке, я там ввязался в разговор -- https://www.facebook.com/groups/nevronet/permalink/598668460299479/
Другая крайность -- это демонстрация, что компьютер делает примерно такие же ошибки, как мой тринадцатилетний сын и утверждение "ничерта эти ваши компьютеры не умеют, не понимают они языка!". Ну да, эти компьютеры явно пока не доктора филологии. Но state-of-the-art изменился за последние три года кардинально, и это измеримо. Так, повод для треда в группе нейронета чудесный: на датасете в 1млрд. слов было получено в публикации от 7 февраля 2016г. снижение perplexity до 24.2 -- http://arxiv.org/abs/1602.02410. Хотя сама мера perplexity (грубо: вероятность того, что ваша модель не путает слова в предложениях) вызывает крайнее раздражение у всех её использующих, альтернативу ей трудно придумать: http://nlpers.blogspot.ru/2014/05/perplexity-versus-error-rate-for.html. Снижение perplexity означает, что языковые модели стали точнее. Много, много точнее. И это подтверждается не для крошечного набора текстов, а для набора текстов из миллиарда слов.
Критикующие же все эти новинки лингвистики люди демонстрируют ровно те качества, которые приписывают компьютеру: мало понимают, о чём идёт речь и каков state-of-the-art. Лингвистический флогистон у них, понимаешь, от порезки на маленькие кванты... дальше я уже писал в первом абзаце этого поста.
Мой пойнт в том, что люди и сами несовершенны в коммуникации и понимании текстов, но за компьютером достижения какие-то признают только тогда, когда он победит "чемпиона мира" -- скажем, в мировой олимпиаде переводчиков, или совершит ещё какой-то аналогичный подвиг. А если это будет победа не над чемпионом мира, а чемпионом Европы, то опять будет смачно зафиксировано "отсутствие прогресса в компьютерной лингвистике". И никакие метрики и бенчмарки не будут засчитаны за аргумент. Пичалька.
Ну, что я могу тут сказать? Не всех лингвистических извозчиков возьмут в лингвистические таксисты. А потом и лингвистических таксистов заменят безлюдные сервисы. Очень, очень быстро заменят. Лингвистическая модель учится за неделю и потом быстро копируется. Лингвист учится десять лет, а потом не копируется. Обновления к лингвистической компьютерной модели могут поступать дважды в сутки (над ней могут работать, скажем, полсотни человек full time), а лингвист после студенческих своих лет обновляется крайне медленно и над ним странно представить себе работающих полсотни человек. Впрочем, я тут не только про лингвистов. К остальным это тоже относится.
Другая крайность -- это демонстрация, что компьютер делает примерно такие же ошибки, как мой тринадцатилетний сын и утверждение "ничерта эти ваши компьютеры не умеют, не понимают они языка!". Ну да, эти компьютеры явно пока не доктора филологии. Но state-of-the-art изменился за последние три года кардинально, и это измеримо. Так, повод для треда в группе нейронета чудесный: на датасете в 1млрд. слов было получено в публикации от 7 февраля 2016г. снижение perplexity до 24.2 -- http://arxiv.org/abs/1602.02410. Хотя сама мера perplexity (грубо: вероятность того, что ваша модель не путает слова в предложениях) вызывает крайнее раздражение у всех её использующих, альтернативу ей трудно придумать: http://nlpers.blogspot.ru/2014/05/perplexity-versus-error-rate-for.html. Снижение perplexity означает, что языковые модели стали точнее. Много, много точнее. И это подтверждается не для крошечного набора текстов, а для набора текстов из миллиарда слов.
Критикующие же все эти новинки лингвистики люди демонстрируют ровно те качества, которые приписывают компьютеру: мало понимают, о чём идёт речь и каков state-of-the-art. Лингвистический флогистон у них, понимаешь, от порезки на маленькие кванты... дальше я уже писал в первом абзаце этого поста.
Мой пойнт в том, что люди и сами несовершенны в коммуникации и понимании текстов, но за компьютером достижения какие-то признают только тогда, когда он победит "чемпиона мира" -- скажем, в мировой олимпиаде переводчиков, или совершит ещё какой-то аналогичный подвиг. А если это будет победа не над чемпионом мира, а чемпионом Европы, то опять будет смачно зафиксировано "отсутствие прогресса в компьютерной лингвистике". И никакие метрики и бенчмарки не будут засчитаны за аргумент. Пичалька.
Ну, что я могу тут сказать? Не всех лингвистических извозчиков возьмут в лингвистические таксисты. А потом и лингвистических таксистов заменят безлюдные сервисы. Очень, очень быстро заменят. Лингвистическая модель учится за неделю и потом быстро копируется. Лингвист учится десять лет, а потом не копируется. Обновления к лингвистической компьютерной модели могут поступать дважды в сутки (над ней могут работать, скажем, полсотни человек full time), а лингвист после студенческих своих лет обновляется крайне медленно и над ним странно представить себе работающих полсотни человек. Впрочем, я тут не только про лингвистов. К остальным это тоже относится.