Как за сутки построить в чистом поле сеть на сотню пользователей и заставить всех себя ненавидеть
Давненько я тут ничего не писал :) Мыслей за это время накопилось, буду выкладывать примерно хронологически.
Собственно этот текст зрел в голове давно, еще с осени 2013, но сначала слишком свежи были болезненные воспоминания участников, а потом было не до того. Так что сразу извиняюсь перед всеми, кому я этот пост обещал и так сильно задержался. Вступление EOF
Началось все с того, что для некоторых целей оказалось необходимо за ограниченное время - не более двух суток - создать на ровном месте довольно разветвленную компьютерную сеть. Некоторый опыт имелся, предварительные набеги с замерами и прикидами тоже, сложностей не ожидалось совсем.
[А зря ...]
Итак, что было на старте. Два здания, с полностью отсутствующей инфраструктурой, расположенные на расстоянии примерно 40 метров. То есть - никаких кабель-каналов, никаких кабельных вводов, ничего. Электричество эпизодически.
Задача, как она была изначально - сеть, охватывающая два здания плюс может быть что-то в округе, проводная, примерно 20-25 точек подключения в каждом здании, крайне желательно - проводная (типа - надежность), с выходом в интернет. Желательно - несколько сегментов, для групп пользователей с разным доступом. Желательно - в довесок к этому WiFi на хотя бы существенную часть обоих зданий.
Осложняющие факторы:
1. После использования сеть должна быть демонтирована, без особых видимых следов что что-то вообще происходило
2. Серверную часть можно подготовить заранее (теоретически, гыгы), клиентскую - уже на месте, в ходе тех же самых двух суток максимум, реально - часов за 8
3. Интернет - только если мобильный и если повезет. В результате - почти повезло
Кроме того, имелись достаточно точные планы обоих зданий (одинаковые, по 2 этажа) с обмерами и довольно точное понимание куда и сколько хвостов заводить.
В целом - все еще задача не выглядела даже сложной. Так, средне, разве что много физической работы - в человекочасах.
Что же получилось в реальности ? В реальности получилась вторая часть темы :)
Прежде всего, оказалось что интернет мобильный есть только если выкинуть в определенное окно модем с усилителем. Взятые три симки разных операторов не помогли от слова совсем - интернет был только Мегафон. Взятый специально роутер помог, но лишь частично. За единственный работающий модем была драка, потому что нужен он был и тем до кого сеть дотянулась совсем не сразу. Вывод - первым делом надо делать хоть какой-то, но общий интернет. И заранее думать как его усиливать (надо было заранее подумать про длинный USB кабель, установку модема на крыше и все такое). На месте такие вопросы решать нельзя категорически. К старту работ должно быть уже работающее, проверенное решение. Симка должна быть завязана исключительно на людей, которые заведуют сетью. Денег надо положить заранее и с троекратным запасом. "Безлимитные" тарифы - говно, 64 Кбит - это совсем не то что было когда-то на диалапе, это - отсутствие интернета совсем. Я не шучу - когда скорость срезали, канал не выдерживал одновременно два pingа с разных компов. Ну и до кучи - желательно иметь роутер соответствующий задачам. Если речь хотя бы заходит о сегментах сети - роутер должен понимать VLAN и все такое. Иметь НОРМАЛЬНО настраивающийся DHCP, если от него это требуется. Штатные прошивки - не катят. Об этом дальше, но - не катят
Второе разочарование было от закупленного 4-х жильного провода. Да, он был существенно дешевле. Да, обычная проводная сеть по нему отлично ходила. Но - зарубка на будущее. Использование неполноценного, не 4-х парного кабеля лишает множества бесценных фишек. Как то:
1. Возможность диагностики хорошими устройствами. Рефлектометры не понимают как такое может быть. Тестеры разводки пар - в основном тоже.
2. PoE по таким проводам не ходит. Совсем. Хотя теоретически - должно, но нет
3. Современные клещи и джеки не рассчитаны на такой кабель. Процент брака - велик
4. Обжимать 4 провода в восьмижильный джек - задача для сильно опытного человека. 80% обжатых не мной проводов я был вынужден переобжать. Это не камень ни в чей огород - это вопрос нехилого опыта
5. Сам кабель гораздо более хилый, учитывая проводку через щели в косяках дверей - это бывало критично. В этот раз обошлось, но было стремно
6. Что-то еще, сходу не вспомню.
Стоит ли экономия в деньгах такого количества проблем - хз. В предыдущих подобных проектах такого количества проблем не возникало, поэтому я счел такую экономию возможной. Зря.
Третье разочарование было связано с неверной конвертацией словесного ТЗ в техническое. Главное правило - в неизвестной ситуации умножай на три. Не сделал - получил проблемы.
Количество клиентов в сети превысило изначальные 50 практически сразу. Более того - зашкалило за 100. WiFi - зло, все мыслимые поправочные коэффициенты летят к чертям. Тут было все - и куча подключенных смартфонов, и бОльшее чем предполагалось количество ноутов, и добавившиеся по ходу развертывания точки проводного подключения, и неожиданно большое количество клиентов на раннем этапе. Повторюсь - в итоге превышение планируемого количества в 2.5 - 3 раза. Я был к этому не готов.
Первым умер сервер TeamSpeak. Тупо кончились лицензии. Бесплатную лицензию которая решает проблему - ждать три недели. Повезло - интернет еще был, нашелся чужой ключик. Кстати про ТимСпик отдельная история - сценарий его использования был весьма туманен, что привело к необходимости придумывать многое в режиме аврала. См выше - приезжать надо с готовыми, протестированными решениями.
Вторым, как ни смешно, умер DHCP. Поскольку (см выше) роутер был на штатной прошивке, для того чтобы он мог раздавать адреса, сервером должен был быть он сам. Поскольку предполагалось 50 клиентов - пул DHCP был на 80 адресов, остальное - под сервера, оборудование и прочее. Поиск проблемы отваливающихся от сети компов занял почти час.
Четвертое разочарование непосредственно со мной связано небыло, просто оказался катастрофически неготов софт. От меня это потребовало другого ритма разворачивания сети, других приоритетов и решения нескольких появляющихся по ходу задач. Постарался помочь чем мог, надеюсь что не сделал хуже. Не моя зона ответственности, поэтому на этом про софт закончу.
На этом с проблемами наверное все. Большая часть времени эксплуатации сети была заполнена проблемами на уровне отвалившихся джеков, обычная рутина. Все работало настолько хорошо, насколько могло - но заработало намного позже чем должно было. По вышеуказанным причинам
Теперь о позитивных моментах
1. Использование SOHO устройств в сети более чем на 10 клиентов - В ТОПКУ. В очередной раз ставка была сделана на профессиональное оборудование, и это невероятно помогло. Собственно из этого -
2. Управляемое сетевое оборудование - наше все. Проводной сегмент сети был развернут на свичах не ниже L2, и единственная проблема - один из свичей отказался настраиваться без подключения по консоли, поэтому работал в режиме неуправляемого. Но даже при этом - НИ ОДНОГО сбоя проводного сегмента небыло. Все свичи отработали безукоризненно. Диагностика проблем с помощью веб-интерфейсов оборудования экономит массу времени и сил. Даже просто проверить что все поднялось как надо - можно не вставая из-за ноута. Учитывая нынешнюю разницу в цене между обычным оборудованием и L2 - выбор однозначен
3. Уже говорил выше - минимум двукратный запас портов. Там где он был - проблем небыло. Там где было "тонко" - не порвалось, но было неуютно. Когда 8-ми портовый свич забит целиком - ощущения плохие. Тем более когда видишь что (см выше :))) количество клиентов существенно выше предполагаемого
4. PoE - технология будущего. Повесить точку доступа посреди коридора под потолком чтобы она накрыла 80% здания ? Да легко. Берем и вешаем. Один провод в точку, а на стороне свича воткнуть PoE адаптер не проблема. Та точка, что работала на нормальном 8ми жильном кабеле - отработала на ура. Та, которую пришлось вешать на скрутку двух 4х жильных работала отвратительно. Точки одинаковые - делаем выводы. Собственно - про это выше было :)
5. Опять-таки - использование профессиональных точек доступа, пусть и не экстра класса, но корпоративных, позволило вообще не беспокоиться о наплыве беспроводных клиентов. Ни одного сбоя, кроме проблем с кабелем/PoE - небыло. Используем правильные провода и радуемся жизни
6. Ставка на проводной сегмент - абсолютно оправданна. Там, где не удалось убедить людей втыкать проводки - проблем было больше. Как назло, правда, там была та самая криво подключенная точка. Ну, впрочем, логично. Где тонко - там рвется.
7. Запас провода в стиле "округлим в бОльшую сторону и умножим на 1.5" - может перебор, но зато вселяет уверенность. Да, провода осталось много, вроде как больше бухты. Зато хватило. ИМХО - меньшая из возможных проблем
Наверняка я что-то забыл. Напоминайте - буду добавлять
UPD1. При разговоре про сервер вспомнил еще одну мысль.
Если ставить комп с ролью сервера - на него надо ставить СЕРВЕРНУЮ систему. Однозначно, без вариантов. Мысли типа - "у меня там просто постоит XP Pro и ее хватит" - душить в зародыше. Если винда - Windows Server, если винда не обязательная - любой линуксовый сервер который хватит умений поднять и настроить.
Конкретные проблемы, в частности - невозможность одновременной отладки разных частей серверного софта, поскольку RDP-сеанс ОДИН. Это доставило очень много проблем.
В целом, я очень рад что все это со мной произошло. Я получил бесценный опыт. Я поработал плечом к плечу с замечательными людьми, которые очень много помогали и очень сильно поддерживали. Без этого я бы не справился
И еще, отнесу это к плюсам. Моя самоуверенность, которой я был полон после постановки задачи, существенно поугасла. То, что осталось - стало осмысленным и подтвержденным суровым опытом. Я однозначно отношу все что я описал к своим провалам - потому что то, чего я хотел - я не добился. Я могу лучше, и теперь я лучше знаю как. И если я не буду делать лучше сам - я смогу помочь кому-то, и от этого уже легче :)
Как говорят в Южном Парке - "мне кажется, сегодня мы многому научились" :)
Собственно этот текст зрел в голове давно, еще с осени 2013, но сначала слишком свежи были болезненные воспоминания участников, а потом было не до того. Так что сразу извиняюсь перед всеми, кому я этот пост обещал и так сильно задержался. Вступление EOF
Началось все с того, что для некоторых целей оказалось необходимо за ограниченное время - не более двух суток - создать на ровном месте довольно разветвленную компьютерную сеть. Некоторый опыт имелся, предварительные набеги с замерами и прикидами тоже, сложностей не ожидалось совсем.
[А зря ...]
Итак, что было на старте. Два здания, с полностью отсутствующей инфраструктурой, расположенные на расстоянии примерно 40 метров. То есть - никаких кабель-каналов, никаких кабельных вводов, ничего. Электричество эпизодически.
Задача, как она была изначально - сеть, охватывающая два здания плюс может быть что-то в округе, проводная, примерно 20-25 точек подключения в каждом здании, крайне желательно - проводная (типа - надежность), с выходом в интернет. Желательно - несколько сегментов, для групп пользователей с разным доступом. Желательно - в довесок к этому WiFi на хотя бы существенную часть обоих зданий.
Осложняющие факторы:
1. После использования сеть должна быть демонтирована, без особых видимых следов что что-то вообще происходило
2. Серверную часть можно подготовить заранее (теоретически, гыгы), клиентскую - уже на месте, в ходе тех же самых двух суток максимум, реально - часов за 8
3. Интернет - только если мобильный и если повезет. В результате - почти повезло
Кроме того, имелись достаточно точные планы обоих зданий (одинаковые, по 2 этажа) с обмерами и довольно точное понимание куда и сколько хвостов заводить.
В целом - все еще задача не выглядела даже сложной. Так, средне, разве что много физической работы - в человекочасах.
Что же получилось в реальности ? В реальности получилась вторая часть темы :)
Прежде всего, оказалось что интернет мобильный есть только если выкинуть в определенное окно модем с усилителем. Взятые три симки разных операторов не помогли от слова совсем - интернет был только Мегафон. Взятый специально роутер помог, но лишь частично. За единственный работающий модем была драка, потому что нужен он был и тем до кого сеть дотянулась совсем не сразу. Вывод - первым делом надо делать хоть какой-то, но общий интернет. И заранее думать как его усиливать (надо было заранее подумать про длинный USB кабель, установку модема на крыше и все такое). На месте такие вопросы решать нельзя категорически. К старту работ должно быть уже работающее, проверенное решение. Симка должна быть завязана исключительно на людей, которые заведуют сетью. Денег надо положить заранее и с троекратным запасом. "Безлимитные" тарифы - говно, 64 Кбит - это совсем не то что было когда-то на диалапе, это - отсутствие интернета совсем. Я не шучу - когда скорость срезали, канал не выдерживал одновременно два pingа с разных компов. Ну и до кучи - желательно иметь роутер соответствующий задачам. Если речь хотя бы заходит о сегментах сети - роутер должен понимать VLAN и все такое. Иметь НОРМАЛЬНО настраивающийся DHCP, если от него это требуется. Штатные прошивки - не катят. Об этом дальше, но - не катят
Второе разочарование было от закупленного 4-х жильного провода. Да, он был существенно дешевле. Да, обычная проводная сеть по нему отлично ходила. Но - зарубка на будущее. Использование неполноценного, не 4-х парного кабеля лишает множества бесценных фишек. Как то:
1. Возможность диагностики хорошими устройствами. Рефлектометры не понимают как такое может быть. Тестеры разводки пар - в основном тоже.
2. PoE по таким проводам не ходит. Совсем. Хотя теоретически - должно, но нет
3. Современные клещи и джеки не рассчитаны на такой кабель. Процент брака - велик
4. Обжимать 4 провода в восьмижильный джек - задача для сильно опытного человека. 80% обжатых не мной проводов я был вынужден переобжать. Это не камень ни в чей огород - это вопрос нехилого опыта
5. Сам кабель гораздо более хилый, учитывая проводку через щели в косяках дверей - это бывало критично. В этот раз обошлось, но было стремно
6. Что-то еще, сходу не вспомню.
Стоит ли экономия в деньгах такого количества проблем - хз. В предыдущих подобных проектах такого количества проблем не возникало, поэтому я счел такую экономию возможной. Зря.
Третье разочарование было связано с неверной конвертацией словесного ТЗ в техническое. Главное правило - в неизвестной ситуации умножай на три. Не сделал - получил проблемы.
Количество клиентов в сети превысило изначальные 50 практически сразу. Более того - зашкалило за 100. WiFi - зло, все мыслимые поправочные коэффициенты летят к чертям. Тут было все - и куча подключенных смартфонов, и бОльшее чем предполагалось количество ноутов, и добавившиеся по ходу развертывания точки проводного подключения, и неожиданно большое количество клиентов на раннем этапе. Повторюсь - в итоге превышение планируемого количества в 2.5 - 3 раза. Я был к этому не готов.
Первым умер сервер TeamSpeak. Тупо кончились лицензии. Бесплатную лицензию которая решает проблему - ждать три недели. Повезло - интернет еще был, нашелся чужой ключик. Кстати про ТимСпик отдельная история - сценарий его использования был весьма туманен, что привело к необходимости придумывать многое в режиме аврала. См выше - приезжать надо с готовыми, протестированными решениями.
Вторым, как ни смешно, умер DHCP. Поскольку (см выше) роутер был на штатной прошивке, для того чтобы он мог раздавать адреса, сервером должен был быть он сам. Поскольку предполагалось 50 клиентов - пул DHCP был на 80 адресов, остальное - под сервера, оборудование и прочее. Поиск проблемы отваливающихся от сети компов занял почти час.
Четвертое разочарование непосредственно со мной связано небыло, просто оказался катастрофически неготов софт. От меня это потребовало другого ритма разворачивания сети, других приоритетов и решения нескольких появляющихся по ходу задач. Постарался помочь чем мог, надеюсь что не сделал хуже. Не моя зона ответственности, поэтому на этом про софт закончу.
На этом с проблемами наверное все. Большая часть времени эксплуатации сети была заполнена проблемами на уровне отвалившихся джеков, обычная рутина. Все работало настолько хорошо, насколько могло - но заработало намного позже чем должно было. По вышеуказанным причинам
Теперь о позитивных моментах
1. Использование SOHO устройств в сети более чем на 10 клиентов - В ТОПКУ. В очередной раз ставка была сделана на профессиональное оборудование, и это невероятно помогло. Собственно из этого -
2. Управляемое сетевое оборудование - наше все. Проводной сегмент сети был развернут на свичах не ниже L2, и единственная проблема - один из свичей отказался настраиваться без подключения по консоли, поэтому работал в режиме неуправляемого. Но даже при этом - НИ ОДНОГО сбоя проводного сегмента небыло. Все свичи отработали безукоризненно. Диагностика проблем с помощью веб-интерфейсов оборудования экономит массу времени и сил. Даже просто проверить что все поднялось как надо - можно не вставая из-за ноута. Учитывая нынешнюю разницу в цене между обычным оборудованием и L2 - выбор однозначен
3. Уже говорил выше - минимум двукратный запас портов. Там где он был - проблем небыло. Там где было "тонко" - не порвалось, но было неуютно. Когда 8-ми портовый свич забит целиком - ощущения плохие. Тем более когда видишь что (см выше :))) количество клиентов существенно выше предполагаемого
4. PoE - технология будущего. Повесить точку доступа посреди коридора под потолком чтобы она накрыла 80% здания ? Да легко. Берем и вешаем. Один провод в точку, а на стороне свича воткнуть PoE адаптер не проблема. Та точка, что работала на нормальном 8ми жильном кабеле - отработала на ура. Та, которую пришлось вешать на скрутку двух 4х жильных работала отвратительно. Точки одинаковые - делаем выводы. Собственно - про это выше было :)
5. Опять-таки - использование профессиональных точек доступа, пусть и не экстра класса, но корпоративных, позволило вообще не беспокоиться о наплыве беспроводных клиентов. Ни одного сбоя, кроме проблем с кабелем/PoE - небыло. Используем правильные провода и радуемся жизни
6. Ставка на проводной сегмент - абсолютно оправданна. Там, где не удалось убедить людей втыкать проводки - проблем было больше. Как назло, правда, там была та самая криво подключенная точка. Ну, впрочем, логично. Где тонко - там рвется.
7. Запас провода в стиле "округлим в бОльшую сторону и умножим на 1.5" - может перебор, но зато вселяет уверенность. Да, провода осталось много, вроде как больше бухты. Зато хватило. ИМХО - меньшая из возможных проблем
Наверняка я что-то забыл. Напоминайте - буду добавлять
UPD1. При разговоре про сервер вспомнил еще одну мысль.
Если ставить комп с ролью сервера - на него надо ставить СЕРВЕРНУЮ систему. Однозначно, без вариантов. Мысли типа - "у меня там просто постоит XP Pro и ее хватит" - душить в зародыше. Если винда - Windows Server, если винда не обязательная - любой линуксовый сервер который хватит умений поднять и настроить.
Конкретные проблемы, в частности - невозможность одновременной отладки разных частей серверного софта, поскольку RDP-сеанс ОДИН. Это доставило очень много проблем.
В целом, я очень рад что все это со мной произошло. Я получил бесценный опыт. Я поработал плечом к плечу с замечательными людьми, которые очень много помогали и очень сильно поддерживали. Без этого я бы не справился
И еще, отнесу это к плюсам. Моя самоуверенность, которой я был полон после постановки задачи, существенно поугасла. То, что осталось - стало осмысленным и подтвержденным суровым опытом. Я однозначно отношу все что я описал к своим провалам - потому что то, чего я хотел - я не добился. Я могу лучше, и теперь я лучше знаю как. И если я не буду делать лучше сам - я смогу помочь кому-то, и от этого уже легче :)
Как говорят в Южном Парке - "мне кажется, сегодня мы многому научились" :)