На Google ботам доступ закрыт
По-видимому не только у меня произошла такая фигня с Google. При попытке содрать страничку гугля в автоматическом режиме (без браузера) в ответ с сервера я получаю недостающие Cookies и другие заголовки без самого содержимого странички. Если делаю тот же запрос обычным браузером то с данными всё нормально, приходят все и без задержек. В чем прикол - ещё не понял, только понял что это не только у меня и что дело не в User-agent...