Comments | ru_highload: bnx2+sphinx

sa_chernomor in ru_highload

bnx2+sphinx

Mar 31, 2011 17:51

Есть 4 сервера DL360 G7 с 2 x X5650 и 4 x HP NC382i DP Multifunction Gigabit Server Adapter (он же Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet) на борту. Centos5, последнее ядро (2.6.18-194.32.1.el5). Драйвер сетевой - bnx2 ( Read more... )

Comments 17

vlad_rulez March 31 2011, 16:20:16 UTC

Если есть возможность поставить другие сетевые платы от Интела или 3Com - ставьте их.

И на HP и на Dell серверах постоянные проблемы с броадкомами и на центосе и на фрибсд.

sa_chernomor March 31 2011, 17:22:48 UTC

ну вот сейчас ждем пару интеловских карт

shodan_ru March 31 2011, 16:33:18 UTC

есть один адский чит

если нагрузка в бою настолько суриозная, можно проспонсировать разработку pconns между мастером и агентами на стороне сфинкса

sa_chernomor March 31 2011, 17:28:00 UTC

можно, только если проблемы вызвана только broadcom'ом, то pconnect только замаскирует проблему - потери-то все равно будут. собственно, они кое-где наблюдаются, но пока нет 100% подтверждения вины нынешних карт. приедут интелы - будем смотреть

shodan_ru March 31 2011, 18:22:53 UTC

однако думаю решит, а не замаскирует. Коннекты станут условно раз в сутки, вместо 1000 раз в секунду. Это в предположении, что проблема именно в коннектах, а не траффике по установленным соединениям, конечно.

sa_chernomor March 31 2011, 19:26:39 UTC

в changelog'е bnx2 есть несколько записей о фиксах производительности на мелких пакетах. это, в частности, SYN'ы. и ACK'и думаю тоже туда попадают. т.е. сейчас мы видим проблемы с SYN'ами просто потому, что их тупо больше чем остальных. будут pconnect'ы - начнем замечать пропажу ACK'ов, например.

а еще есть memcached, у него тоже pconnect'ов нету. ну и другой софт

Thread 6

faerion March 31 2011, 16:34:53 UTC

меняйте на igb

sa_chernomor March 31 2011, 17:28:53 UTC

сейчас ждем пару интеловских карт

faerion March 31 2011, 17:50:58 UTC

данных, кстати, маловато
интересно - какой рейт соединений в итоге получается и какой при этом трафик
ну и ппс надо бы посмотреть

sa_chernomor March 31 2011, 18:04:00 UTC

со сфинксами ~ 50 Mbps / 40 Kpps

в тесте с nginx ~ 72 Mbps / 270 Kpps и проблем было существенно меньше

Thread 5

(The comment has been removed)

sa_chernomor April 2 2011, 14:18:01 UTC

а они разве не нужны для net.ipv4.tcp_max_syn_backlog?
где-то я встречал упоминание, что без синкук он не работает

sa_chernomor April 2 2011, 14:19:43 UTC

http://www.frozentux.net/ipsysctl-tutorial/chunkyhtml/tcpvariables.html#AEN398

(The comment has been removed)

Thread 7