о чем молчит Сэм Альтман

[golos_dobra]

Сэм Альтман в конце последнего года истории человечества сорвался с петель и горько вскричал

-аааа-суки-гады, украсть легко, ты попробуй сам разработать все с нуля...

Почему?

Вот почему.

Comments

[leymil]

Adam у нас в SGD входит?

[golos_dobra]

Его добавили в тензофлоу где-то в 2015-ом, когда вышла первая открытая версия на публику. Адам несколько улучшенная версия SGD с попыткой сделать нечто вроде доверительных регионов в полноценных решателях, но очень грубо исполненная.

Суть осталась прежней.

[leymil]

Помню гугл ИИ нашел пару новых правил обучения, тоже для SGD, но потерял все ссылки :(

Вообще интересно как лучше утилизировать вторую производную...

[golos_dobra]

https://ru.wikipedia.org/wiki/Квазиньютоновские_методы

Но можно и без них, если пользовать либо автоматические производные, либо производные с шагом в комплексную область - очень и очень впечатляющий метод.

У суцковеров очень плохо со знанием настоящей математики.

[leymil]

Огромнейшее спасибо.
Вот как раз что-то по типу комплексного пространства как-будто и нужно. Я опираясь на свои наивные знания думал представить градиент матрицей.
Потому что напрямую не идет как-будто.
И взрывается ещё градиент то понятно от чего, пока чисто в лоб пытаюсь его приструнить.

[divan_919]

Вот Михайлов вполне матан знает хорошо, но он ушел из математики, ибо она его заебала и даже немного начала ехать крыша.