nocproject.org
06:56
06:56
NOCом мониторить систему мониторинга)
06:59
у микросервисов очень даже развитые средства самодиагностики
06:59
:)
07:00
он при развертывании telegraf поднимает для мониторинга самого себя
07:00
А еще у нас желание плюшек борется со здравым смыслом
07:00
думаем, впилить или нет ELK для сбора и анализа логов
07:08
но при таком раскладе под башню нужно серьезную виртуалку
07:09
дооооооо
07:09
а мы то думали что нок избавился от процессоропотребления
07:19
он избавился
07:19
но злая жаба может все выжрать
07:19
народю подскажите, как в питоне из:
07:19
sstext
07:19
[' 136 oezikovairina GE7/0/1.1400 100.66.47.144 fc75-16cd-5517',
07:19
'']
07:19
выковырять user-id, который в данном случае 136
07:21
s.strip().split()[1]
07:21
[0]
07:23
а может и не жаба выжрен
07:23
но какая-то тулза, которая вытащит логи с нод и проанализирует - нужна
07:23
а таких я штуки 3 знаю
07:24
splunk, graylog и E+L+K
07:24
а что мешает логи запихать в psql \ mysql
07:24
и свести задачу к известной ?
07:24
а ты представляешь с какой скоростью их фигачит один процесс discovery?
07:24
:)
07:24
graylog и elastic?)
07:25
как логи потом анализировать и поиск по ним осуществлять?
07:25
elk конечно интереснее, у нас он используется
07:29
прикрутить journald
07:29
да
07:34
а ты докажи (с)
07:34
посрамить поттеринга это +100 к ЧСВ
07:34
ну или найти очередной баг.
07:35
вспомним историю когда начали писькомерить греп и джорнал первый внезапно ускорился на порядок
07:36
любите вы педиков из RH
07:36
и они вас любят
07:53
Как у меня mac flap сменился с info на critical?
08:19
e_zombie, сравнивать елк с mysql/postgres сильно не корректно.
08:19
елка почти продуктовый стандарт
08:26
педики - это из mono и sendmail
08:31
а может в башню вделать механизм удаления ноды ?
08:31
или компонентов.
08:32
если будут конфликтующие обновки и надо будет откатываться обратно
08:38
потыркайего палочкой - оно ваще работает ?
08:38
да0
08:39
)
08:46
%(?:ASA|PIX)-4-113019: Group = (?P<group>\\S+), Username = (?P<user>\\S+), IP = (?P<src_ip>\\S+), Session disconnected. Session Type: (?P<type>\\S+), Duration: (?P<duration>\\S+), Bytes xmt: (?P<bytes_xmt>\\S+), Bytes rcv: (?P<bytes_rcv>\\S+), Reason: (?P<reason>\\S+)
08:46
После "=" пусто, как поправить?
08:53
Нашел, \\
09:34
хз, path mtu discovery включить
09:37
Apr 05 12:32:50 noc2host telegraf[24964]: 2016/04/05 12:32:50 Error: procstat getting process, exe: [] pidfile: [/var/lib/pgsql/9.4/data/postmaster.pid] pattern: [] user: [] Failed to read pidfile '/var/lib/pgsql/9.4/data/postmaster.pid'. Error: 'open /var/lib/pgsql/9.4/data/postmaster.pid: permission denied'
09:44
Лимиты на кол-во префиксов
09:48
clear ip bgp 10.10.10.1 out сделать на ISP1
09:51
У меня были косяки с tcp-mss, но тогда очереди росли, тут по 0 0
10:15
freeseacher нормально, что в логах web сыпется 404 GET /mon/ т.к. мониторинг ещё не доделан?
10:17
ок... а то наткнулся, пока другую проблему искал
10:28
смену пароля поломали в микросервисах
13:21
Failed to get credentials fields
13:21
что то кривовато встало.
13:21
не даёт сменить рутовый пароль
13:54
14:08
14:48
да чтобы подсказали как это гавно запустить
14:49
запущенное говно сначала летит по параболе, а потом по инерции
14:50
как заставить работать сервисы. вот они стоят. хосты загружены. нихуя не происходит.
14:50
тчк.
14:50
zi_rus видел новую задачку на циске ?
14:50
да
14:50
это пиздец
14:50
никто не знает
14:51
похуй на ваши задачи. скажите как заставить работать .
14:51
померяться членами успеете
14:53
zi_rus коллега задумался, а потом говорит, что мол возможно порт на коммутаторе просто падает ;)
14:53
да еще мне duplex mismatch предлагали
14:54
на само деле я не вижу вот что, продолжают ли роуты литься или оно стопорится в определенный момент
14:55
тут сходу без дебага и предположить-то пока ничего не могу..
14:55
да
14:55
и показан show ip bgp summ
14:55
вот что-то в нем и должно настрожить
14:55
но какого хера
14:58
zi_rus: как поглядеть какого хрена не запустились активаторы ?
14:58
./noc-activator.py -f start
14:59
./scripts/noc-activator.py -f start
14:59
Точнее
14:59
не?
14:59
c]# ./scripts/noc-activator.py -f start
14:59
bash: ./scripts/noc-activator.py: No such file or directory
15:00
[root@noc2host noc]# pwd
15:00
/opt/noc
15:00
тогда про микросервисы я нихуя не знаю
15:01
вон dvolodin поеби мозги
15:01
ты какие компоненты ставил ?
15:01
мы тут пиписьками меряемся
15:01
я ничего не ставил
15:01
у меня обычный нок
15:07
e_zombie: var/log/activator*.log
15:07
нету такого
15:08
2016-04-05 18:03:19,343 INFO spawned: 'sae' with pid 1873
15:08
2016-04-05 18:03:19,377 INFO spawned: 'correlator' with pid 1878
15:08
2016-04-05 18:03:20,412 INFO spawned: 'omap' with pid 1901
15:08
2016-04-05 18:03:20,431 INFO spawned: 'web-000' with pid 1902
15:08
2016-04-05 18:03:20,476 INFO spawned: 'scheduler' with pid 1903
15:08
2016-04-05 18:03:24,831 INFO success: sae entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:24,831 INFO success: correlator entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:26,137 INFO success: omap entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:26,137 INFO success: web-000 entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:26,138 INFO success: scheduler entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:09
и всё
15:34
надо это
15:34
поставить активаторы
15:34
в башне
15:35
там сделано 2 набора сервисов (непонятно зачем)
15:35
надо в обоих пройтись и каждый активировать
15:36
а потом деплой снова
15:36
и ещё, в мониторе теперь пусто (его уберут). Я сначала думал, что у меня активаторы не работают, но это не так.
15:41
я не вижу активаторов в башне
15:41
или долблюсь не туда
15:43
там 2 набора
15:44
global и defaul
15:44
или чё-то такое
15:44
я башню снёс
15:44
в одном наборе база - коррелятор сае итп
15:44
в другом наборе активаторы и прочее
15:44
у меня только глобал.
15:45
а не, не снёс
15:45
ща попробую посмотреть, если не наебнутся ничего
15:46
у меня пулс не был заполнен
15:46
и когда его делаешь там есть это гавно
15:46
там как-то всё неинтуитивно
15:46
нихуя
15:47
Не знаю. Я на прошлой неделе качал и было именно 2 набора. Мб, сейчас всё в одном.
15:48
спасибо за наводку
15:49
блять блять блять РРРРРРР БЛЯТЬ
15:49
ага, не за что
15:49
Ты просто позырыть качаешь?
15:50
я в итоге снёс и девелоп поставил
15:50
ip-discovery не работает
15:50
ну в целом я хожу нахуй девелоп убить. на моих объёмах оно жрёт ресурсы и нихуя не делает.
15:50
ну почти.
15:51
поэтому хочу смигрировать к лету и старую ноду убить.
15:51
и уже с новой ебстись по полной в нужном русле.
15:52
ттем более скоро будет накат системы управления на спд и надо быть готовым к тому что всю сеть будут перетряхивать и не делать этого руками.
15:54
ну да. а то ваще свихнусь тут от безнадёги и безделия
16:14
e_zombie: кстати, у меня перестали собираться конфиги с железа
16:14
нуууууу
16:14
у меня оно не встаёт ещё
16:15
короче если сделать инсталяцию . продеплоить её .
16:15
а потом сделать пулл и там добавить дискавери. оно не встаёт на центоси
16:16
dnf remove influ* mongo* postg*
16:16
чудодейственное действо
16:17
так в начале сделать пулл надо
16:17
или ты имеешь в виду после измений + пулл?
16:26
16:26
Не проходит тест в ноке, но при этом хочу сохранить "->", как лучше сделать?
16:30
это лучше завтра. все уже в гавно и спят
16:50
fatal: [noc2host]: FAILED! => {"changed": false, "cmd": ["/opt/noc/scripts/deploy/apply-pools"], "delta": "0:00:01.397589", "end": "2016-04-05 19:45:24.786026", "failed": true, "rc": 1, "start": "2016-04-05 1
Share this page
Share this page: