Десятилетия ярких побед

[giovanni1313]

Специальный проект Стэнфордского университета, “AI100”, выпустил свежий отчет о нынешнем состоянии дел в сфере искусственного интеллекта. Отчёт, второй в рамках проекта, выделяется среди других публикаций по нескольким параметрам. Например, он издаётся раз в 5 лет. Число 100 в названии проекта указывает на амбициозную цель: отслеживать развитие

Comments

[ktoshik]

Очень интересно! Не знал про формулировку "вызовов"

[ext_5636751]

куды все водилы в ближайшие годы работать ?

[giovanni1313]

В ближайшие годы - там же, за баранкой. Лет через 15 мест за баранкой уже будет не хватать.

Ну вопрос простой, на самом деле - куда душа будет лежать, туда и пойдут работать. Крутить баранку - не самая вдохновляющая и развивающая работа. Есть и получше.

[xentik]

Не справились со старым списком - пофиг, накатаем еще более эпический новый. Решение в духе анекдота о буряке и долгоносиках.

[vladimir690]

Microsoft и NVIDIA натренировали языковую модель MT-NLG на 0.53 триллиона параметров (x3 по сравнению с подобными текущими моделями, прежде всего GPT-3 на 0.175 триллиона параметров). В этой сетке 105 слоёв на базе трансформер-архитектуры -- https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/. Сетка, конечно, выдаёт SoTA по большинству моделей (zero-, one-, few-shot) в самых разных задачах, но текст содержит оговорки -- что там насколько улучшилось, не очень понятно. И, конечно, стандартные заявления про bias, суть которых сводится к "модель научена на знаниях человечества, а эти знания уже biased, и мы работаем над тем, как исправить эту проблему". Грубо говоря, "учиться на опыте человечества нельзя, а нужно

[giovanni1313]

>>что там насколько улучшилось, не очень понятно

Ну вот для того, чтобы было понятней, как раз и существуют бенчмарки. Которые автор критикует (качество он не понимает, количество его не устраивает).

Создание MT-NLG не было SoTA-ориентированным. Челлендж был скорее в росте параметров - и исследователям банально было интересно, получится ли из этого что-нибудь.