Web Scraper 6: yet another client
В общем, теперь есть ещё один клиент. Замечательно. Его оказалось даже легче интегрировать с основной системой, чем я думал с самого начала. Дольше собирался.
Параметры запросов, что под целевой ресурс, что под его API оказались ожидаемо одинаковыми, поэтому одного простого датафикса и небольшой миграции оказалось достаточно для того, чтобы завести всю систему с нуля.
- wreq
- phantomjs
- webdriver
- servant-client
Нормально насобирал за всё это время. Прикрутить MAS, distributed computations к этому делу, и можно заниматься ботоводством в промышленных масштабах.
Тем не менее, всё это временно. Как и планировалось, соберу все таргеты удаленно, запилю джобу, которая будет принимать техзадания по метаданным и данным, собирать текущие результаты по метаданным, сравнивать их с предыдущими, и делать опрос по данным в случае расхождения лишь меты, остальное - без изменений. Как только соберу урожай, отключаю интеграцию с целевым ресурсом, а в оффлайне просто переключаю протокол и клиента, оставляя опросник прежним.