Снова про оптимизацию.

[thesz]

Итак, при оптимизации сложных функций наподобие современных сетей есть проблема исчезающе малого изменения (vanishing gradient problem). Современные методы градиентного спуска справляются с ней путём изменения весов при коэффициентах - после вычисления вектора градиента он поэлементно домножается на вектор весов, который в разных вариантах

Comments

[alll]

"Скорость света" в нашем физическом мире меняется сплошь да рядом - см. "коэффициент преломления" и, внезапно, эффект Вавилова-Черенкова. :)

[thesz]

Для программистов - меняется скорость света в вакууме?

[filonov]

Скорость света у нас - расстояние которое свет проходит в единицу времени.
Эталон расстояние- расстояние, которое свет проходит за эталонное время.
Т.е. при неизменном ходе времени, даже если скорость света и меняется - "изнутри" это никак не определить.

[thesz]

Неа.

Есть ещё эталон массы и релятивистская энергия покоя.

[deep_econom]

про отрицательные значения
возводите в квадрат, потом извлекайте корень, а потом используйте

[filonov]

Есть более простые способы получения абсолютного значения

[deep_econom]

конечно

[thesz]

Нету. Для степенных рядов нету.