It's about time

[klink0v]

Музычка в тему поста.

... Я не всегда администрировал только Linux. В частности, вот один из вопросов, который я любил задавать на собеседованиях кандидатам. "У вас есть выделенный файловый сервер в AD-домене. В какой-то момент он перестал авторизовывать пользователей, хотя никто ничего не делал и никакие изменения в конфигурацию не вносил. Куда

Comments

[khmurik]

Да нормально в среднем ходит время на виртуалках, мониторинг не даст соврать. Если только начинается злобная миграция туда-сюда, тогда да, немного сбивается (единицы секунд) и быстро поправляется от исходника.

Но ИНОГДА... Есть у меня пара серверов, на которых время непредсказуемо съезжало на месяц вперед. От балды. И только на двух серверах. Потом так же прыгало назад, но у сервисов крышу уже срывало. При этом источник NTP отдавал нормальное время (разные пробовал, и железные и виртуальные), с хостом синхронизацию и включал и выключал (на хосте нормальное было время), винду переставлял - пофиг. Пока не отрубил нафиг службу времени, так и прыгало.

Случайно нашел источник проблем - долбаный Microsoft сделал ещё одну технологию синхронизации, не по ntp, а "определяет приблизительное текущее время от исходящих SSL-подключений" Windows Secure Time Seeding . Приблизительное. Время. На сервере. .....ллля! Ещё не проверял, больно уж сервис критичный и так по башке уже наполучал за него, если не поможет (хотя должно) будет очень больно и обидно.

[klink0v]

> Да нормально в среднем ходит время на виртуалках

Зависит от конкретной технологии виртуализации, настроек, синхронизировано ли время на хост-машине (и если да, то с какого источника) и от того, насколько хост-машина в целом загружена по CPU и Disk I/O.

Но в общем случае, доверять ходикам внутри виртуалки нельзя. Особенно если там бегает какая-нибудь СУБД, чувствительная ко времени (да хоть та же кассандра). Тоже влетали в это, и не раз.

[khmurik]

Нууууууу у нас хосты обычно не перегружены, виртуализация - в основном Hyper-V (2016/2019/2022). Кроме глюков с "Windows Secure Time Seeding" я влетал когда w32time начинала глючить (а может быть та же "Windows Secure Time Seeding" гадила, не знаю, лечилось перезапуском службы и /resync) и на когда Варе забывали синхронизацию с хостом отключить, а на хосте - включить. На виндах ещё были забавности со временим при снапшотах и паузе виртуалок, но это уже не совсем продакшн :) Чувствительного до секунды у нас нет, слава богу, может поэтому и не так заметно было...

[dennis_chikin]

Ну вот у нас и прыгало на всех контроллерах +- 30 минут. И, соответственно, на всех АРМах, но на много веселее.

[khmurik]

Жесть. У нас единицы секунд, может действительно зависит от нагрузки и прочего...

[klink0v]

У нас недавно было. Во всем офисе время на 25 минут "уехало". Просто "центральный" сервер синхронизации в офисе случайно наткнулся на какой-то кривой NTP-источник. Бывает. Прописали NTP-сервера лапами по IP-адресу, отобрали из них самые вменяемые, перезапустили. Всё вернулось на круги своя.

[dennis_chikin]

Не, там именно смешнее. Сеть вся из себя такая "Вертикальная", источник времени один, и в какой-то момент я так и не понял, не то сломался, не то к нему по рЫгламенту доступ зарубили всем. Если до этого на "вертикальных" 100+ контроллерах разбег времени был секунд в 5, то вот тут-то оно началось...

Именно что примерно на каждом за сутки на примерно 30 минут туда-сюда. Каждый по-своему. Не смотря на всю "вертикальность".

Ну, то есть, тут еще сыграло рояль, что за корректностью записей srv должен пушкин александр сергеевич следить, так что не смотря на наличие некоего Самого Вертикального Контроллера они там каждые 15 минут синхронизировались кто попало с кем получится, и соответствующие результаты оказались на лице.

См. выше про "новую технологию".

[khmurik]

Если реально было дело в Windows Secure Time Seeding - она и на физике точно так же отработает :(

[dennis_chikin]

Поскольку все контроллеры ну очень Вертикальные, и по сему логи доступны только Наивертикальнейшему же одмину, сложно сказать, что там было и в каких пропорциях. Доступное мне выглядело так:
делаем ntpq -c "rv 7821"
получаем:
associd=7821 status=9014 conf, reach, sel_reject, 1 event, reachable,
srcadr={censored}, srcport=123, dstadr={censored},
dstport=123, leap=00, stratum=2, precision=-6, rootdelay=0.000,
rootdisp=10768.875, refid={censored},
reftime=e7bc0266.f17c9653 Wed, Mar 15 2023 13:37:58.943,
rec=e7bd00a2.27913e3b Thu, Mar 16 2023 7:42:42.154, reach=377,
unreach=0, hmode=3, pmode=4, hpoll=6, ppoll=6, headway=0,
flash=400 peer_dist, keyid=0, offset=+106.073, delay=24.652,
dispersion=16.497, jitter=10.939, xleave=0.043,
filtdelay= 24.65 25.05 24.82 24.71 24.72 24.93 24.65 24.77,
filtoffset= +106.07 +114.55 +107.74 +119.68 +114.32 +110.57 +124.18 +118.79,
filtdisp= 15.63 16.59 17.55 18.54 19.51 20.50 21.51 22.48
с лихорадочным скаканием каждые 15 минут стратум от 2 до 6 и собственно времени везде, до куда получалось достучаться, при заблэкхоленом железном.

[klink0v]

А-ха-ха. Отлично. Люблю такое.

[kvazimoda24]

25 секунд же. Или было ещё и про 25 минут?

[klink0v]

Старый стал. Всё путаю уже.