Написал "ии" в заголовке, мне т9 отЖЖ исправил на Иисус ( Read more... )

Сиолошная ( Read more... )

The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits ( Read more... )

У нас есть хороший способ обучения для таких систем -- это другая тема, давно разрабатываемая Хинтоном, дистилляция. В двух словах, дистилляция это обучение “студента” воспроизводить вероятностное распределение “учителя”. Плюс дистилляции в том, что распределение содержит намного больше информации, чем метка класса -- для 1024 классов это 10 бит ( Read more... )