Забыл сказать, что описанное в прошлом посте, реализовано и просто работает.

• Локальный клиент по расписанию собирает дельту и шлёт на сервер. 
• Сервер вычитывает очередную пачку данных и кладёт их в табличку базы. 
• Локальный клиент умеет возобновлять свою работу с места падения/остановки, хотя этим мало кого сейчас удивишь.
• С фантомом on- ( Read more... )

Собрал из исходников PhantomJS.

• Версия 2.1.1 не собирается. В зависимостях Xcode.
• Текущий релиз Xcode не совместим с системой. Предлагается апгрейд. Xcode 9.2 взлетает.
• Установка тащит с собой qtbase 5.5. И падает на этой баге. Сделал бэкпорт коммита для 5.6 в 5.5. PhantomJS собран.
• Запускаю phantomjs в режиме --webdriver=8910 --webdriver- ( Read more... )

Так уж получилось, что джва года назад начал писать сайт на Yesod. Потом столкнулся с рядом трудностей, связанных с интеграцией с целевым ресурсом (который перепиливался очень долго и мучительно). Потом надо было прикручивать ролевой доступ с деревьями условий (от которого пришлось отказаться в связи с обработкой персональных данных). В итоге ( Read more... )

Так получилось, что я сдался. Антибот победил. Целевой ресурс ушёл в глухую оборону. Результат оказался плачевным.

• Запиливание самопального кукистора не помогло, целевой ресурс всё равно меня банит.
• Целевой ресурс запоминает всё, даже таймстемпы и сверяет их из кук с четырьмя хостами. Уровень паранойи зашкаливает.
• Перелез на фантомжс. Думал, что буду ( Read more... )