About Forum Blogs NOC Docs Downloads KB Issues Code CI Registration

nocproject.org

#nocproject.org at irc.freenode.net log.
Back to nocproject.org Back to IRC log index
Date: 05.04.2016
SomovIS_ #
06:56
http://www.juniper.net/techpubs/en_US/junos-space15.2/platform/topics/task/configuration/junos-space-application-self-monitoring.html
06:56
NOCом мониторить систему мониторинга)
dvolodin #
06:59
у микросервисов очень даже развитые средства самодиагностики
06:59
:)
07:00
он при развертывании telegraf поднимает для мониторинга самого себя
07:00
А еще у нас желание плюшек борется со здравым смыслом
07:00
думаем, впилить или нет ELK для сбора и анализа логов
e_zombie #
07:03
,,
dvolodin #
07:08
но при таком раскладе под башню нужно серьезную виртуалку
e_zombie #
07:09
дооооооо
07:09
а мы то думали что нок избавился от процессоропотребления
PavelGloba #
07:12
кек
evyscr #
07:14
топ кек
dvolodin #
07:19
он избавился
07:19
но злая жаба может все выжрать
ufir #
07:19
народю подскажите, как в питоне из:
07:19
sstext
07:19
[' 136 oezikovairina GE7/0/1.1400 100.66.47.144 fc75-16cd-5517',
07:19
'']
07:19
выковырять user-id, который в данном случае 136
dvolodin #
07:21
s.strip().split()[1]
07:21
[0]
07:23
а может и не жаба выжрен
07:23
но какая-то тулза, которая вытащит логи с нод и проанализирует - нужна
07:23
а таких я штуки 3 знаю
07:24
splunk, graylog и E+L+K
e_zombie #
07:24
а что мешает логи запихать в psql \ mysql
07:24
и свести задачу к известной ?
dvolodin #
07:24
а ты представляешь с какой скоростью их фигачит один процесс discovery?
07:24
:)
SomovIS_ #
07:24
graylog и elastic?)
07:25
как логи потом анализировать и поиск по ним осуществлять?
07:25
elk конечно интереснее, у нас он используется
e_zombie #
07:29
прикрутить journald
07:29
да
dvolodin #
07:33
подохнет бобик
e_zombie #
07:34
а ты докажи (с)
07:34
посрамить поттеринга это +100 к ЧСВ
07:34
ну или найти очередной баг.
07:35
вспомним историю когда начали писькомерить греп и джорнал первый внезапно ускорился на порядок
dvolodin #
07:36
любите вы педиков из RH
07:36
и они вас любят
e_zombie #
07:37
https://pp.vk.me/c629505/v629505151/3a6dc/YVYo4KbjBdk.jpg
07:37
не. вот эта https://pp.vk.me/c626224/v626224928/300/c_vm44FIsSA.jpg
SomovIS_ #
07:53
Как у меня mac flap сменился с info на critical?
freeseacher #
08:19
e_zombie, сравнивать елк с mysql/postgres сильно не корректно.
08:19
елка почти продуктовый стандарт
evyscr #
08:26
педики - это из mono и sendmail
e_zombie #
08:31
а может в башню вделать механизм удаления ноды ?
08:31
или компонентов.
08:32
если будут конфликтующие обновки и надо будет откатываться обратно
SomovIS_ #
08:37
Нормально нок ресурсов потребляет теперь, мне нравится https://usercontent.irccloud-cdn.com/file/eTtQ5ONl/
e_zombie #
08:38
потыркайего палочкой - оно ваще работает ?
SomovIS_ #
08:38
да0
08:39
)
08:46
%(?:ASA|PIX)-4-113019: Group = (?P<group>\\S+), Username = (?P<user>\\S+), IP = (?P<src_ip>\\S+), Session disconnected. Session Type: (?P<type>\\S+), Duration: (?P<duration>\\S+), Bytes xmt: (?P<bytes_xmt>\\S+), Bytes rcv: (?P<bytes_rcv>\\S+), Reason: (?P<reason>\\S+)
08:46
После "=" пусто, как поправить?
08:53
Нашел, \\
ufir #
09:19
а вот вам новая чюдо-предумка https://supportforums.cisco.com/ru/document/12953031
PavelGloba #
09:34
хз, path mtu discovery включить
e_zombie #
09:37
Apr 05 12:32:50 noc2host telegraf[24964]: 2016/04/05 12:32:50 Error: procstat getting process, exe: [] pidfile: [/var/lib/pgsql/9.4/data/postmaster.pid] pattern: [] user: [] Failed to read pidfile '/var/lib/pgsql/9.4/data/postmaster.pid'. Error: 'open /var/lib/pgsql/9.4/data/postmaster.pid: permission denied'
SomovIS_ #
09:44
Лимиты на кол-во префиксов
John-eak #
09:48
clear ip bgp 10.10.10.1 out сделать на ISP1
SomovIS_ #
09:51
У меня были косяки с tcp-mss, но тогда очереди росли, тут по 0 0
lexus-omsk #
10:15
freeseacher нормально, что в логах web сыпется 404 GET /mon/ т.к. мониторинг ещё не доделан?
freeseacher #
10:16
да нормально
lexus-omsk #
10:17
ок... а то наткнулся, пока другую проблему искал
10:28
смену пароля поломали в микросервисах
freeseacher #
10:46
это известно да
e_zombie #
13:21
Failed to get credentials fields
13:21
что то кривовато встало.
13:21
не даёт сменить рутовый пароль
13:54
http://www.opennet.ru/opennews/art.shtml?num=44177
14:08
https://pp.vk.me/c543104/v543104170/10692/_vTB2fDdE2A.jpg
[Marael] #
14:09
хе-хе
e_zombie #
14:32
есть кто живой ?
ufir #
14:46
а смысл
e_zombie #
14:48
да чтобы подсказали как это гавно запустить
zi_rus #
14:49
запущенное говно сначала летит по параболе, а потом по инерции
e_zombie #
14:50
как заставить работать сервисы. вот они стоят. хосты загружены. нихуя не происходит.
14:50
тчк.
SomovIS_ #
14:50
))))
ufir #
14:50
zi_rus видел новую задачку на циске ?
zi_rus #
14:50
да
14:50
это пиздец
14:50
никто не знает
e_zombie #
14:51
похуй на ваши задачи. скажите как заставить работать .
14:51
померяться членами успеете
ufir #
14:53
zi_rus коллега задумался, а потом говорит, что мол возможно порт на коммутаторе просто падает ;)
zi_rus #
14:53
да еще мне duplex mismatch предлагали
14:54
на само деле я не вижу вот что, продолжают ли роуты литься или оно стопорится в определенный момент
ufir #
14:55
тут сходу без дебага и предположить-то пока ничего не могу..
zi_rus #
14:55
да
14:55
и показан show ip bgp summ
14:55
вот что-то в нем и должно настрожить
14:55
но какого хера
e_zombie #
14:58
zi_rus: как поглядеть какого хрена не запустились активаторы ?
zi_rus #
14:58
./noc-activator.py -f start
14:59
./scripts/noc-activator.py -f start
14:59
Точнее
14:59
не?
e_zombie #
14:59
c]# ./scripts/noc-activator.py -f start
14:59
bash: ./scripts/noc-activator.py: No such file or directory
zi_rus #
15:00
cd /opt/noc
e_zombie #
15:00
[root@noc2host noc]# pwd
15:00
/opt/noc
zi_rus #
15:00
тогда про микросервисы я нихуя не знаю
15:01
вон dvolodin поеби мозги
e_zombie #
15:01
ты какие компоненты ставил ?
zi_rus #
15:01
мы тут пиписьками меряемся
15:01
я ничего не ставил
15:01
у меня обычный нок
dvolodin #
15:07
e_zombie: var/log/activator*.log
e_zombie #
15:07
нету такого
15:08
2016-04-05 18:03:19,343 INFO spawned: 'sae' with pid 1873
15:08
2016-04-05 18:03:19,377 INFO spawned: 'correlator' with pid 1878
15:08
2016-04-05 18:03:20,412 INFO spawned: 'omap' with pid 1901
15:08
2016-04-05 18:03:20,431 INFO spawned: 'web-000' with pid 1902
15:08
2016-04-05 18:03:20,476 INFO spawned: 'scheduler' with pid 1903
15:08
2016-04-05 18:03:24,831 INFO success: sae entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:24,831 INFO success: correlator entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:26,137 INFO success: omap entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:26,137 INFO success: web-000 entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:08
2016-04-05 18:03:26,138 INFO success: scheduler entered RUNNING state, process has stayed up for > than 5 seconds (startsecs)
15:09
и всё
PavelGloba #
15:34
надо это
15:34
поставить активаторы
15:34
в башне
15:35
там сделано 2 набора сервисов (непонятно зачем)
15:35
надо в обоих пройтись и каждый активировать
15:36
а потом деплой снова
15:36
и ещё, в мониторе теперь пусто (его уберут). Я сначала думал, что у меня активаторы не работают, но это не так.
e_zombie #
15:41
я не вижу активаторов в башне
15:41
или долблюсь не туда
PavelGloba #
15:43
там 2 набора
15:44
global и defaul
15:44
или чё-то такое
15:44
я башню снёс
15:44
в одном наборе база - коррелятор сае итп
15:44
в другом наборе активаторы и прочее
e_zombie #
15:44
у меня только глобал.
PavelGloba #
15:44
ээ
e_zombie #
15:44
сае ьам есьб
PavelGloba #
15:45
а не, не снёс
15:45
ща попробую посмотреть, если не наебнутся ничего
e_zombie #
15:45
блять
PavelGloba #
15:46
не, не могу
e_zombie #
15:46
у меня пулс не был заполнен
PavelGloba #
15:46
я базу снёс
e_zombie #
15:46
и когда его делаешь там есть это гавно
PavelGloba #
15:46
там как-то всё неинтуитивно
15:46
нихуя
15:47
Не знаю. Я на прошлой неделе качал и было именно 2 набора. Мб, сейчас всё в одном.
e_zombie #
15:48
спасибо за наводку
15:49
блять блять блять РРРРРРР БЛЯТЬ
PavelGloba #
15:49
ага, не за что
15:49
Ты просто позырыть качаешь?
15:50
я в итоге снёс и девелоп поставил
15:50
ip-discovery не работает
e_zombie #
15:50
ну в целом я хожу нахуй девелоп убить. на моих объёмах оно жрёт ресурсы и нихуя не делает.
15:50
ну почти.
15:51
поэтому хочу смигрировать к лету и старую ноду убить.
15:51
и уже с новой ебстись по полной в нужном русле.
15:52
ттем более скоро будет накат системы управления на спд и надо быть готовым к тому что всю сеть будут перетряхивать и не делать этого руками.
PavelGloba #
15:53
удачи, чо
e_zombie #
15:54
ну да. а то ваще свихнусь тут от безнадёги и безделия
SomovIS_ #
16:14
e_zombie: кстати, у меня перестали собираться конфиги с железа
e_zombie #
16:14
нуууууу
16:14
у меня оно не встаёт ещё
16:15
короче если сделать инсталяцию . продеплоить её .
16:15
а потом сделать пулл и там добавить дискавери. оно не встаёт на центоси
16:16
dnf remove influ* mongo* postg*
16:16
чудодейственное действо
SomovIS_ #
16:17
так в начале сделать пулл надо
16:17
или ты имеешь в виду после измений + пулл?
e_zombie #
16:19
угу
SomovIS_ #
16:26
"subject_template": "ACL Deny {{name}}: {{proto}} {{src_ip}}:{{src_port}} {{src_interface}} {{src_mac}} -> {{dst_ip}}:{{dst_port}} {% if count %} Count {{count}}{% endif %}", https://usercontent.irccloud-cdn.com/file/3kkdTaiX/
16:26
Не проходит тест в ноке, но при этом хочу сохранить "->", как лучше сделать?
e_zombie #
16:30
это лучше завтра. все уже в гавно и спят
16:50
fatal: [noc2host]: FAILED! => {"changed": false, "cmd": ["/opt/noc/scripts/deploy/apply-pools"], "delta": "0:00:01.397589", "end": "2016-04-05 19:45:24.786026", "failed": true, "rc": 1, "start": "2016-04-05 1
Tweet
Share this page
Share this page: Tweet