• k-armed бандит и 𝜺-greedy алгоритм
• k-armed бандит и 𝜺-greedy алгоритм. Нестационарная проблема.
• k-armed бандит и 𝜺-greedy алгоритм. Оптимистичная инициализация переменной.

На результат работы алгоритма оказывает влияние изначальная инициализация переменной оценочного вознаграждения Q. В статистике это влияние называется bias.
Для методов с переменным ( Read more... )

• k-armed бандит и 𝜺-greedy алгоритм. Оптимистичная инициализация переменной.
• k-armed бандит и 𝜺-greedy алгоритм. Нестационарная проблема.
• k-armed бандит и 𝜺-greedy алгоритм

Представим, что ситуация немного поменялась и началась флуктуация реальных ожидаемых наград, то есть они перестали быть стационарными, как в предыдущем случае.
Допустим, исходные ( Read more... )

В процессе логистической регрессии данные проходят через три этапа: линейная функция, сигмоида и loss function.

Для простоты представим, что у нас есть два признака x1, x2 и, соответственно, параметры w1, w2 и b. Признаки и параметры используются для вычисления параметра z, который отправляется на вход сигмоиде и далее, результат, который она ( Read more... )

Для понимания в общих чертах, как работает градиентный спуск, представим, что у нас есть функция с одним параметром J(w), которую нужно минимизировать. Например, она может выглядеть вот так:


( Read more... )

Для того, чтобы натренировать параметры w и b для логистической регрессии, нужа cost function.

У нас есть m примеров {(x(1), y(1)), ..., (x(m), y(m))}, на которых будет тренироваться функция и нужно, чтобы параметры w и b были такими, чтобы предсказание ŷ(i) было максимально близко к правильному ответу y(i), то есть ŷ(i) ≈ y(i)То есть для каждого ( Read more... )

Логистическую регрессию можно использовать в тех случаях, когда нужно произвести бинарную классификацию, то есть, алгоритм на выходе должен выдать 1 или 0.

Допустим, есть некий вектор x, который содержит в себе информацию об изображениях. Глядя на эти данные, нужно распознать, например, есть ли на картинке машина или нет. Алгоритм на выходе должен ( Read more... )

Для начала следует ознакомиться со статьями:
Exponentially weighted averages
Bias correction in exponentially weighted averages

Возьмем значение β равное 0.9 и поглядим внимательно на формулу для V100, V99 и V98:


( Read more... )

На левой части картинки из предыдущей статьи видно, что в самом начале графика есть весьма очевидная неточность отображения exponentially weighted averages. Слишком сильно отклоняются кривые от скоплений точек.


( Read more... )

Для того, чтобы разобраться, как работают алгоритмы, ускоряющие градиентный спуск, нужно понять, что из себя представляют exponentially weighted averages. Если быть точным, в статистике это называется exponentially weighted moving averagesНа графике ниже отображена средняя ежедневная температура в Москве в 2016 году, измеренная на метеостанции, ( Read more... )