Российские провайдеры сливают все HTTP-запросы своих пользователей третьим лицам?
Нет, речь не о СОРМе.
Некоторые внимательные юзеры заметили, что вслед за [почти] каждым их нешифрованным HTTP-запросом GET по тому же урлу приходит некий бот "WebIndex" с адреса 92.242.35.54. Причём повторяет все параметры GET'а. И ходит он даже по никому не известным сугубо приватным урлам: http://lleo.me/dnevnik/2015/01/29.html
Никаких троянов и вирусов обнаружить не удалось, и выходит, что трафик сливают сами провайдеры..
Вроде бы ходит он только по урлам, запрошенным обычными браузерами, за wget'ом не ходит.
Обсуждение: http://sporaw.livejournal.com/347832.html
Некоторые детали: http://sporaw.livejournal.com/347832.html?thread=8735416#t8735416
Пишут также, что отслеживает оно не только урлы, но и реальные IP, на которые отправляются запросы, даже если они не соответствуют имени сервера: http://sporaw.livejournal.com/347832.html?thread=8769720#t8769720
Upd: пошёл посмотреть в логи нескольких своих сайтиков - в натуре приходит. В частности, вслед за запросами из питерского и нижегородского ЕР-Телекома, Ростелекома, и прочих. Впервые замечен в июле 2014 года, раньше у меня логов нету.
Спрашивает тот же урл, что нормальный клиент, и иногда /robots.txt
Upd2: однажды бот с таким именем приходил из Китая, с 117.78.13.110. Тоже спросил / и robots.txt. И тоже немедленно вслед за обычным пользовательским запросом, тоже из Китая, но с другого адреса: 116.226.83.217
Upd3: статья на Хабре о компании imarker: http://habrahabr.ru/post/247465/
Некоторые внимательные юзеры заметили, что вслед за [почти] каждым их нешифрованным HTTP-запросом GET по тому же урлу приходит некий бот "WebIndex" с адреса 92.242.35.54. Причём повторяет все параметры GET'а. И ходит он даже по никому не известным сугубо приватным урлам: http://lleo.me/dnevnik/2015/01/29.html
Никаких троянов и вирусов обнаружить не удалось, и выходит, что трафик сливают сами провайдеры..
Вроде бы ходит он только по урлам, запрошенным обычными браузерами, за wget'ом не ходит.
Обсуждение: http://sporaw.livejournal.com/347832.html
Некоторые детали: http://sporaw.livejournal.com/347832.html?thread=8735416#t8735416
Пишут также, что отслеживает оно не только урлы, но и реальные IP, на которые отправляются запросы, даже если они не соответствуют имени сервера: http://sporaw.livejournal.com/347832.html?thread=8769720#t8769720
Upd: пошёл посмотреть в логи нескольких своих сайтиков - в натуре приходит. В частности, вслед за запросами из питерского и нижегородского ЕР-Телекома, Ростелекома, и прочих. Впервые замечен в июле 2014 года, раньше у меня логов нету.
Спрашивает тот же урл, что нормальный клиент, и иногда /robots.txt
Upd2: однажды бот с таким именем приходил из Китая, с 117.78.13.110. Тоже спросил / и robots.txt. И тоже немедленно вслед за обычным пользовательским запросом, тоже из Китая, но с другого адреса: 116.226.83.217
Upd3: статья на Хабре о компании imarker: http://habrahabr.ru/post/247465/