Все любители цифровой обработки сигналов приглашаются в пост :).

[dlinyj]

Есть любопытная задачка анализа данных.  Есть такие вот полученные данные измерения скорости.

Comments

[eddy_em]

Возьми лучше скользящую медиану.
Следующий вариант - подобрать КИХ-фильтр какой-нибудь. Но все равно, у тебя есть какие-то совсем ненормальные выбросы, даже плавающая медиана по 9 точкам их бы подчистила. А дальше - уже любой аналитический фильтр.

[dlinyj]

Самое забавное, что это реальные цифры, то есть оно в действительности скорость в один момент была такая, а в другой другая.

[eddy_em]

Биения что ли какие-то?
А какая точность измерения скорости?
Тьфу, не посмотрел сразу, что это скорость upload/donload…

[dibr]

А почему бы и не скользящее среднее? Оно плохо в основном тем, что плохо отрабатывает ступеньки и короткие одиночные импульсы, превращая первые в "трамплины", а вторые - в "тумбочки", но в исходных данных вроде бы ничего такого нет. Можно ещё взвешенное скользящее среднее взять, с конечного размера "колокольчиком" в качестве весовой функции, у него артефактов меньше, но на таких данных это скорее всего не нужно. Насчёт "правильно" - среднее имеет понятный физический смысл - это реальное отношение объёма прокачанных данных к времени на промежутке усреднения, у других функций с "физическим смыслом" обычно сложнее

[5kopejek]

А для чего нужно получить усредненную кривую? Какой ее смысл?
Если чтоб оценить эффективность канала в целом то проще замерять не мгновенную скорость а отправить большой обьем замерить время и поделить. Вот и усредненная скорость. И усреднять уже эту скорость.
А на графике этом мы видим мне кажется не эффективность канала а график загруженности линии в зависимости от времени. Все имхо.

[dlinyj]

>> А для чего нужно получить усредненную кривую? Какой ее смысл?
Смысл в лучшей визуальной оценке сигнала.

>>Если чтоб оценить эффективность канала в целом то проще замерять не мгновенную скорость а отправить большой обьем замерить время и поделить. Вот и усредненная скорость. И усреднять уже эту скорость.
На графике каждая точка снята таким образом. Это не помогает.

>>А на графике этом мы видим мне кажется не эффективность канала а график загруженности линии в зависимости от времени. Все имхо.
В данном случае нас не интересует линии или канала, мы как конечный потребитель иммеет такой график скорости.

[aterentiev]

У тебя данные уже есть, это хорошо. Хорошо, что тебе не надо делать расчет в реальном времени. А потому ты можешь натравить на этот график любой цифровой фильтр, хоть КИХ, хоть БИХ.

Что я виду на графике - это наличие как высоко-, так и низкочастотных составляющих. Тебе нужна низкочастотная, чтобы ее вычесть из сигнала и оставить высокочастотную, по которой считать сигмы.

Я бы, наверное, прогнал данные через FFT, посмотрел граничные частоты "шума" и наложил ФНЧ какого-нибудь Баттерворта, он, помнится, считается проще других. А уж посчитать по нормализованным данным СКО - дело одной формулы...

ПыСы: Кстати, отклонение отличаться почти не будет в очень большом диапазоне фильтров, от умеренного скользящего среднего до более умных фильтров более высоких порядков. Только если начнешь давить и низкочастотные колебания - тогда уползет.

[dlinyj]

Скользящее среднее меня смущает тем, что оно слижет немного горбы и может сигнал сдвинуть. А этого бы не хотелось. Но вообще ты прав, надо подумать.

[aterentiev]

тогда делай нормальный БИХ-фильтр (как минимум, его аппроксимацию) "с захватом будущего" на пост-обработке, но любой фильтр будет слегка задерживать волны, так или иначе, и придется эту задержку математически компенсировать

[casamusa]

Ваще не математик, но чего б не так: 2*log(x)*sin(x)?

[dlinyj]

Подскажи мне, что делать с этой формулой?

[casamusa]

Выдернул из прода, где графики рисуем.
Уже второй час я пытаюсь осознать как же всё-таи мы их рисуем.