научпоп от 3blue1brown про тарнсформеров

[duchifat]

Прекрасный научпоп от 3blue1brown про тарнсформеров и про внимание (в машинном обучении)! Семантика в современных болталках-переводилках все же существует, но она скрывается в 12244-мерном пространстве! В N-мерное пространство помещается не N, а exp(N) почти отрогональных векторов, когда N большое!

https://www.youtube.com/watch?v=KJtZARuO3JY

Click to view