Чудеса

[alec_v]

Необъяснимое

Comments

[alec_v]

Ни lookup ни ident там нету, голые IP-шники и FTP (как вариант - SMB)

Я тоже к склоняюсь к варианту что TCP соединение просто не разгоняется.

Качнул 100Mb файло - явно видно что скорость выходит на плато примерно через 3 секунды.

[_slw]

ну правильно, тебе надо 3000 раз провести TCP хэндшейк.
странно только, что не 5 минут тормозит.

[_slw]

а не фигню спорол

[dmarck]

хендшейк, кстати, может и не столько, если keepalive есть, а вот HTTP хедерами обмениваться 5 тыщ раз -- это да.

[_slw]

там ftp...

[dmarck]

TCP Slow start в первую голову. Плюс заголовки: у тебя же на *каждый* файл идёт HTTP обмен. rsync был бы самым оптимальным, если это можно настроить

[alec_v]

rsyc -e ssh было бы здорово, но сервера виндовые и в центре стоит гигантское R/O образцовое дерево SMB/CIFS на пару гиг мелкого файла. Все началось именно с того, что заказчики стали качать это с себе в регионы и обнаружили, что а) качается крайне медленно б) канал при этом не загружен.

Вывод - говно этот ваш TCP ;) [[trollface]]

О! NFS/UDP

[dmarck]

Тогда уж NFSv4/TCP, он лучше к большим RTT относится, но не факт, что есть свободные реализации

[alec_v]

Полагаю, что эффект long pipe для TCP варианта может быть тот же. Завтра попробую UDP.

P.S. Годится похоже любое TCP соединение которое на разрывается. В голову уже лезут мысли о IP-IP туннеле, которуму не надо разгоняться и т.д. :)

[alec_v]

Там все настолько плохо, что я даже нафигачил генератор контента, похожего на целевой. Кому не лень, можно попробовать рекурсивно стянуть разными протоколами.

http://pastebin.ca/2159037

Создает случайный каталог с набором подкаталогов и файлами.

Интересно потягать дерево на разные расстояния разными протоколами.

[mtve]

45 ms в одну сторону * 3000 файлов = 135 секунд = 2 мин 15 сек?