программерское

[alex14san]

Увлечение Scala можно считать серьёзным - нашёл в нёй первую ошибку (Add: и исправил, Add2: commit#17380). Очень приятный язык. Если 5 лет назад, когда я увлекался Scheme (и даже написал её компилятор в JavaScript), была возможность в одном крупном проекте использовать любые языки и средства - я всё-таки не рискнул, а сейчас в такой же ситуации

Comments

[alex14san]

1) insert на страницу - абсолютно не дело, по уму надо иметь некий буфер, в котором накапливаются данные для вставки, и периодически вставлять в базу сразу всю пачку.

2) в оракле есть такое понятие - materialized view. которая может автоматически обновляться. и содержать всяческие group by.

3) в недобазах где этого нет но есть триггера делается так: заводится табличка campaign_report с первичным ключём, например (день,номер), и триггер при вставке в табличку log делает update campaign_report set x=x+1, y=y+log.y, ... при этом у тебя всегда под рукой данные для отчёта, не требущие никаких group by.

соответственно, если нужны сложные отчёты с детальной разбивкой - все ключи (fromsearchengine и другие), по которым может быть разбивка, добавляешь в campaign_report. или создаешь несколько групповых таблиц для разных отчётов.

80к это 1 запрос в секунду? баловство. даже учитывая что "ровных слоёв" не бывает, и будет 0.1 запрос ночью и 3-5 в час пик. на "рабочих" сайтах - днём, с 8 утра до 8 вечера, на развлекательных типа ннм-клуба он приходится на 10-11 вечера.

[alex14san]

если нет триггеров то обновления этих агрегированных таблиц делается ручным запросами там же где и пишется log

[alex14san]

если нужна разбивка по времени - делаешь заранее группировку по часам, или по 10-минутным интервалам, и в отчете можно выбрать не произвольный временной диапазон а только по заранее выбранной гранулярности

[alex14san]

ну и составные индексы - наше всё

[cathody]

, по уму надо иметь некий буфер,

Есть проблема: доступа к кронду нет, согласно ТЗ.

баловство

Ага. И очень обидно, когда из-за отчёта лог теряется.

По п.3 - по ТЗ минимальная гранулярность - 10 минут, в чём вся засада.

[alex14san]

если у пхп есть APC буфер можно хранить в нём. 10 минут вполне нормальная гранулярность, в чём проблема-то?

[cathody]

Число записей не сильно снижается, но можно попробовать (хотя поиметь 10-15 INSERT-ов на 1 track - это больно) APC буфер - в PHP4 он есть? (ТЗ не я писал, если чо).

[alex14san]

так тебя число записей волнует или 10-40 секундные select-ы?

[cathody]

Нащёт записей я ступил - там один доп. инсёрт возникает. Но больше волнуют 10-40 секундные селекты

[alex14san]

ну и создай для них таблицы с precalculated данными