Конструкторы и Трансформеры
Теория конструкторов - это новый подход к формулировке фундаментальных законов физики. Вместо описания мира в терминах траекторий, начальных условий и динамических законов, в теории конструкторов законы касаются того, какие физические преобразования возможны, а какие невозможны и почему.
С момента своего появления Трансформеры стали предпочтительной моделью для решения многих проблем обработки естественных языков, заменив старые модели рекуррентных нейронных сетей, такие как долговременная краткосрочная память (LSTM). Поскольку модель Transformer способствует большему распараллеливанию во время обучения, она дает возможность обучения на больших наборах данных, чем это было возможно до того. Внедрение Transformer выявило тот факт, что механизмы внимания сами по себе являются мощными и что последовательная периодическая обработка данных не является необходимой для достижения прироста производительности RNN с вниманием.