About Forum Blogs NOC Docs Downloads KB Issues Code CI Registration

nocproject.org

#nocproject.org at irc.freenode.net log.
Back to nocproject.org Back to IRC log index
Date: 26.12.2013
lexus-omsk #
03:47
dvolodin: обновился, проверил, вроде работает get_ivnetory на zyxel, только один момент вылез: таблички там иногда кривоватые получаются и парсятся соответственно
03:47
Index Vendor PN SN
03:47
----- ---------- -------------------------------- --------------------------------
03:47
1 AODevices AODM-PG131-LN G0511295
03:48
т.е. часть PN улетает в серийник
03:49
'part_no': ['AODM-PG131'], 'serial': 'N G0511295'
dvolodin #
04:57
да, железки с оптикой оно потрошит
05:04
а насчет таблички думать нужно
lexus-omsk #
05:09
можно регекспом опять сделать, как было, тогда легко разделяет по пробелам
zi_rus #
05:37
dvolodin, а что ты на linkmeup на сайте ссылок не повесишь, ты там нормально так рассказал как работает нок, для intro сойдет, чтобы народ понимал вообще во что он впрыгивает
dvolodin #
05:39
повешу
05:39
раздел сделать про NOC в интернете?
zi_rus #
05:41
если так то и топик на наге туда же запихнуть
05:41
а вообще я хз
05:41
это не технический вопрос
05:41
скорее маркетологический
dvolodin #
05:42
мракобесный, говоришь
05:42
:)
B_M #
05:52
Приветствую!
05:52
Кто то реализовывал сбор конфига через хттп?
zi_rus #
05:52
да
05:53
смотри ALcatel.7324
05:53
но это не я
B_M #
05:54
да, видел. но тут немного другая ситуация. тут пост и кидать железке нужно xml
dvolodin #
06:01
lexus-omsk: а GS2200 у тебя есть?
06:01
B_M: для Mediant2000 так
06:01
ssh у них виснет
B_M #
06:03
dvolodin: там тоже гет, насколько я вижу.
06:04
тут вопрос в другом, у метода пост, params какого типа должно быть?
06:04
self.http.post(params=)
lexus-omsk #
06:11
dvolodin: у меня только ES-2108-G, ES-2024A и GS-4012F в наличии
hartmy_ #
06:37
продолжу вчерашний вопрос по поводу pubkey authentication, ключ из id_rsa.pub скопировал на циску .. теперь в логах вываливает ошибка
06:37
%SSH-3-BUFF_GET_FAIL: Tried to get more bytes than in SSH Buffer. кто нибудь сталкивался с такой ?
06:39
вроде в инете пишут что нужно перепроверить ключ, пробелы и др. спец символы
06:39
скопировал всю строку вида ssh-rsa {key} noc@noc1 в блокнот и оттуда всю строку на циску
06:40
все равно ничего не работает
e_zombie #
07:31
dvolodin:
07:31
2013-12-26 11:26:57,599 REPORT: elapsed: 23.7969s, speed: 42.0ev/s, events: 1000, failed: 0, deleted: 3, suppressed: 0, unknown: 278, classified: 526, disposed: 47, duplicated: 146
07:31
2013-12-26 11:27:34,878 REPORT: elapsed: 37.2789s, speed: 26.8ev/s, events: 1000, failed: 0, deleted: 2, suppressed: 0, unknown: 424, classified: 285, disposed: 82, duplicated: 207
07:31
2013-12-26 11:28:14,415 Failed to process event 52bbc604989fcf0923827f04
07:31
2013-12-26 11:28:23,801 Failed to process event 52bbc604989fcf0923827f0b
07:31
2013-12-26 11:31:00,696 Failed to process event 52bbc608989fcf0923827ff1
07:31
2013-12-26 11:31:00,711 Failed to process event 52bbc608989fcf0923827ff2
07:31
2013-12-26 11:31:05,703 REPORT: elapsed: 210.8246s, speed: 4.7ev/s,
07:31
походу производительности не хватает на серьёзное количество эвентов со стороны сети.
07:32
или какая то бага
zi_rus #
07:32
e_zombie, unknown: 424 - это проблема
07:32
чем меньше таких тем быстрее
e_zombie #
07:33
удолбаемся писать правила.
zi_rus #
07:33
их придется писать
e_zombie #
07:33
оборудование у всех разное
zi_rus #
07:34
илть в нок сообщения о которых он ничего не знает это бесполезное занятие, он их не сохранит и не обработает
e_zombie #
07:34
что?
zi_rus #
07:34
и не обязательно до нуля снижать, хотя бы понизить это число
e_zombie #
07:35
а анализ как ты собрался делать инцедента?
zi_rus #
07:35
при архивации нок все подропает
e_zombie #
07:35
ты делаешь выборку по времени и смотришь что там происходило
07:35
если это не пихать в бд то фиг ты разберёшься в проблеме
07:36
надо будет лезть на сислог сервер и смотреть сырой лог
zi_rus #
07:36
я тебе говорю
07:36
пиши правила
e_zombie #
07:36
тогда возникает вопрос - нахрена нужен нок если для расследования надо парсить голый текст на сислог сервере
07:36
тут вопрос концепции
zi_rus #
07:37
без правил он весь unknown будет дропать
e_zombie #
07:37
если у тебя система встаёт раком на незнакомом железе - надо менять систему а не делать костыли
07:37
я уже проходил такое дело. закончилось тем что фирма разарилась нахрен изза подхода - делаем костыли.
zi_rus #
07:37
Dmitry11, слышишь че говорят
Dmitry11 #
07:39
да
07:40
Поэтому кидайте сислоги с разных железок. А то у нас 80% занимают cisco+dlink
e_zombie #
07:40
тебе сколько гигабайт?
Dmitry11 #
07:41
желательно в формате JSON
e_zombie #
07:41
фига. голые архивы
Dmitry11 #
07:41
e_zombie: Сильно экзотическое железо?
e_zombie #
07:42
нет. стандартные хуавеи кютечи эйджкоры на доступе
07:42
ну счас ещё джунипера
07:42
мх80 пошли
Dmitry11 #
07:43
и все как unknown?
e_zombie #
07:45
а хз
07:45
# grep "Dec 26 11:45" snet.log | wc -l
07:45
736
zi_rus #
07:46
e_zombie, ./noc events -c "Unknown | Syslog"
Dmitry11 #
07:46
Надо додавить dvolodin'а, чтобы ветки слил, потому как я в develop уже понакидал кучу правил
zi_rus #
07:48
Dmitry11, не поможет, ты же только длинки и циски туда писал, а пользователи других вендоров слишком гордые чтобы присылать неизвестные сообщения или сами написать правила
Dmitry11 #
07:48
вот-вот
dvolodin #
07:49
e_zombie: для начала посмотри, что именно у тебя в unclassified валится
07:49
там отчеты есть
07:49
unknown trap oids
Dmitry11 #
07:49
dvolodin: слей ветки, плиз
dvolodin #
07:52
слил
07:53
e_zombie: я думаю, у тебя link up/link down там валятся
e_zombie #
07:53
и это тоже
dvolodin #
07:53
с этого и начни
07:54
производительность на нормальном железе должна быть на порядок выше
e_zombie #
07:54
16 ядерный сервак и8 гигаме оперативы?
07:54
плохой?
dvolodin #
07:55
смотри монгу
07:55
mongostat
07:55
и загрузку проца классификатором
zi_rus #
07:55
да, тухленько
07:55
2013-12-26 11:55:52,707 REPORT: elapsed: 10.9959s, speed: 90.9ev/s, events: 1000, failed: 0, deleted: 0, suppressed: 0, unknown: 1000, classified: 0, disposed: 0, duplicated: 0
e_zombie #
07:56
insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time
07:56
55 496 42 29 1 98|0 0 5.53g 11.8g 1.25g 10 noc:6.7% 0 0|0 2|0 130k 253k 28 11:56:10
07:56
48 383 *0 *0 1 49|0 0 5.53g 11.8g 1.31g 2 noc:3.4% 0 0|0 1|0 86k 329k 28 11:56:11
07:56
46 442 1 1 0 48|0 0 5.53g 11.8g 1.28g 1 noc:4.8% 0 0|0 1|0 90k 163k 28 11:56:12
07:56
38 411 2 2 0 42|0 0 5.53g 11.8g 1.29g 1 noc:2.7% 0 2|0 0|1 80k 147k 28 11:56:13
07:56
30 14 *0 *0 0 31|0 0 5.53g 11.8g 1.25g 0 noc:21.2% 0 2|0 1|0 14k 6k 28 11:56:14
07:56
28 26 1 1 0 30|0 0 5.53g 11.8g 1.28g 2 noc:22.5% 0 2|0 0|1 14k 9k 28 11:56:15
07:56
24 37 7 3 0 33|0 0 5.53g 11.8g 1.24g 0 noc:40.6% 0 2|0 1|0 15k 13k 28 11:56:16
Night_Snake #
08:05
Всем здрасьте. А подскажите пожалуйста такую вещь. Завел в ipam новый адрес, прописал fqdn, поставил галку "автообновление mac". Однако мак не обновляется, поле остается пустым, хотя роутер регулярно опрашивается, ошибок нет. нужная запись в arp-таблице ро
zi_rus #
08:07
Night_Snake, main > setup > schedules > ip.sync_macs
e_zombie #
08:12
такс. инвентори слили с деволопом?
Night_Snake #
08:12
zi_rus, включена, успешна
e_zombie #
08:12
теперь в апдейте конф надо ставить девелом?
zi_rus #
08:13
e_zombie, наоборот сливалось
e_zombie #
08:13
аа
zi_rus #
08:13
Night_Snake, тогда хз, я не пользуюсь ей, попробуй логи посмотреть
Night_Snake #
08:21
zi_rus в том и дело, что в логах чисто :(
e_zombie #
08:23
включить дебаг?
misak #
08:31
день добрый
08:33
никак не могу настроить, чтобы игнорировать падение некоторых видов интерфейсов
08:33
кто делал ?
zi_rus #
08:33
только вчера обсуждали
08:33
посмотри в логе
misak #
08:33
к
08:33
пасиба
hartmy_ #
08:35
а есть какие-нибудь параметры у ./noc generate-ssh-keys чтобы сгенерить ключ 2048 бит ?
e_zombie #
08:36
cvjnhb juи от вчерашнего дня. этk
HaLVeR #
08:38
у нас снова наплыв с хабра?)
zi_rus #
08:38
а там что случилось?
e_zombie #
08:38
анонс был
_4ePTeHok #
08:38
вторую часть подкаста выложили вчера
zi_rus #
08:39
вчера должны были наплыть
e_zombie #
08:39
это как в стиме сегодня начали раздавать l4d2 бесплатно - всё и полегло
08:39
админы читают новости по утрам
_4ePTeHok #
08:39
ну кто играет..
08:39
по вечерам бузают)
08:40
есть у кого то в экасплуатации esxi с distributed vswitch?
misak #
08:48
zi_rus: там вроде другое обсуждали
zi_rus #
08:48
там все обсуждали
misak #
08:49
мне надо игнорить евенты в FM для МПЛС интерфейсов
zi_rus #
08:49
как странно
08:49
а я наоборот делаю
08:49
но это ничего не меняет
_4ePTeHok #
08:50
а мплс интерфейсу можно профиль присобачить?
misak #
08:50
тоесть ?
_4ePTeHok #
08:50
он есть отдельно в inventory - interfaces - physical
08:50
?
misak #
08:50
они динамические в случае джунов и создаются/дохнут пачками
_4ePTeHok #
08:51
ну значит механизм профиля не сработает
misak #
08:51
в инвентори их нет
_4ePTeHok #
08:51
если только(тадаааам!) - взять и дефолт поставить в игнор. Но сработает ли это для логических - вопрос
misak #
08:51
надо игнор евент рул писать
08:52
а я его не умею, нигде не написано как
hartmy_ #
08:53
лабуда какая-то, получилось настроить автоматический заход по rsa ключу из putty , делаю все тоже самое только для нока и ошибки вываливаются
misak #
08:53
пробовал так - Left RE : ^IF-MIB::ifName.+$ Right RE: Link down: lsi.+ не работает
hartmy_ #
08:54
только в путти ключ 2048 бит, а в ноке 1024
misak #
08:54
dvolodin: помогите дяденька ^ :)
08:56
e_zombie: l4d2 тоже с утра качаю :)
Night_Snake #
09:21
причем ведь странное дело. Если удалить запись и снова обновить - то адрес в ipam появляется с правильным маком.
09:21
т.е. это похоже на фичу, а не баг
lexus-omsk #
09:28
Night_Snake: если интересно покопаться: /opt/noc/ip/periodics/sync_macs.py
Dmitry11 #
09:32
dvolodin: Некоторые файлы не смержились. В частности noc/fm/collections/eventclassificationrules/Cisco/IOSXR/Security/Audit.json
09:33
https://bitbucket.org/nocproject/noc/src/31c97ceb46ba33345d3dbed9ae5a3b7544fb06af/fm/collections/eventclassificationrules/Cisco/IOSXR/Security/?at=develop
09:33
и
09:33
https://bitbucket.org/nocproject/noc/src/6c613b2581d0ca05b4404172304dcc801fd8f3c0/fm/collections/eventclassificationrules/Cisco/IOSXR/Security/?at=feature%2Finventory
MinskSNV #
09:46
есть большой опыт работы с DSLAM Zhone/Paradyne через telnet/ssh и очень небольшой через snmp (хотя необходимые OIDs знаю). Наставьте на путь истинный, как писать шаблоны?
zi_rus #
09:48
открываешь любой существующий и правишь под свои нужды или пишешь с нуля опираясь на существующий
MinskSNV #
09:50
оки, я думал м.б. дока есть
zi_rus #
09:51
MinskSNV, раз ты с дсламами общался, может сможешь на пальцах объяснить сообщения которые они в сислог кидают, их есть 3 типа, loss of ... signal/power/frame. про power я знаю, это dying-gasp, а вот чем отличается frame от signal не понимаю
MinskSNV #
09:52
а о каких DSLAMах ы говоришь?
09:53
а о каких DSLAMах ты говоришь?
zi_rus #
09:53
у меня Алкатель 7324
09:53
но это не важно
09:53
это стандартные сообщения описанные в rfc
MinskSNV #
09:54
хм, сча свои посмотрю
zi_rus #
09:55
MinskSNV, вот тут вся история проблемы NOC-1193
MinskSNV #
09:59
zi_rus: пощелкал счетчики на портах клиентов. У меня LOS = LOF
zi_rus #
10:00
а у меня не всегда так
10:01
MinskSNV, а ты вообще в курсе что это значит? я просто думаю, у циски есть такая авария, как line protocol down, можно ли приравнять его к lof
10:02
а link down к los
MinskSNV #
10:05
по логике LOF должен прилетать раньше
10:06
и в принципе наверное его можно сравнить с link protocol down
10:07
а LOS уже как следствиеговорит о том что пропада связь совсем
zi_rus #
10:07
ну да, у меня они так и прилетают
MinskSNV #
10:07
хотя если честно никогда даже не задумывался чем они отличаются... потеря связи и всё тут
zi_rus #
10:15
просто если дслам готов предоставить градацию уровней проблемы то пусть будет
MinskSNV #
10:19
делай хорошо, плохо оно само получится (с) не помню
h4wk #
10:20
на сколько я помню Е1 los lof не совсем еквивалентны
10:20
лоф кажется потеря синхронизации
10:20
и при потере сигнала она тоже происходит
zi_rus #
10:24
но мы про адсл говорим
10:24
хм
Night_Snake #
10:25
кстати а есть у кого-нибудь такая проблема, что если в MO profile сделать профиль с ipam sync, а потом завести какую-то железку с таким профилем, то вывалится трейсбэк?
_4ePTeHok #
10:32
трейс на пастебин выложи
MinskSNV #
10:38
h4wk:h4wk: я Е1 потоками не занимаюсь, но в Е1 и фреймов помоему нет. Таймслоты и сигнализация
10:42
хотя википедия меня обломала
h4wk #
10:42
я уже тоже им не занимаюсь. Но тем не менее, есть там фреймы, есть 2 варианта потока фреймед и анфреймед
MinskSNV #
10:47
кста, хорошая идея. Надо попробовать детектить фрод ноком.
Night_Snake #
10:49
_4ePTeHok: http://pastebin.con/DeNSMcKE
10:50
_4ePTeHok: http://pastebin.com/DeNSMcKE -- сорри
zi_rus #
10:53
Night_Snake, если я правильно понял, ты вбил dns имя вмсето ip. не надо так
Night_Snake #
10:56
zi_rus... странно... и правда, прошло. Хоть бы написали где про это :)
zi_rus #
10:57
ну там русским по белому написано адрес, а днс это имя
Night_Snake #
10:57
не согласен :) адрес может быть как симольный (dns) так и ip
zi_rus #
10:58
это философский вопрос
_4ePTeHok #
10:59
надо там проверку на формат заебенить.
10:59
тем более я ее делал уже там где то
zi_rus #
11:03
давно пора, не первый раз уже такое происходит
_4ePTeHok #
11:05
я давно уже делал, когда только массово на экст переписывали приложения. Только вот ушел тот коммит в текущую ветку - надо проверитью.
hartmy_ #
11:16
у кого нибудь работает аутентификация по ключу с asr1k ? у меня закончились идеи почему не работает
11:19
если копирую содержимое id_rsa.pub (все три поля, или только ключ) на циску , то циска ругается Pubkey Authentication failed for user
dvolodin #
11:19
misak: left re сделай .+
11:24
коллеги, у меня возникла уникальная по тупости и дурацкистости идея
e_zombie #
11:24
ась?
dvolodin #
11:24
сделать табличку ObjectLevel
zi_rus #
11:25
не убедил
11:25
не делай
e_zombie #
11:25
эээээ не оценил левел упоротости
dvolodin #
11:25
с записями вроде - уровень доступа, уровень аггрегации, ядро
11:25
и навесить соотвествующее поле на managed object
zi_rus #
11:25
зачем?
e_zombie #
11:25
для разграничения доступа по железкам.
dvolodin #
11:25
хотя, может и в профиль пихнуть
11:25
не
11:25
не только
e_zombie #
11:25
давно такого надо дслетаь
dvolodin #
11:26
там можно приоретет железок держать
11:26
и alarm severity при падении
zi_rus #
11:26
приоритет надо по топологии высчитывать
e_zombie #
11:26
ну в целом да. тогда пойдёт.
zi_rus #
11:27
а руками установленные уровни имеют свойство терять актуальность
e_zombie #
11:28
это слишком абсрактно и сложно
dvolodin #
11:28
или включить приоритет и alarm severity прямо в ObjectProfile
zi_rus #
11:28
а еще на иные свичи, которым надо давать уровень access, у меня приходит больше чем не аггрегаторы
11:28
severity уже в профиле
11:28
ты научись по топологии приоритет считать
11:29
остальное это дело десятое
dvolodin #
11:39
а, down severity в профиле есть, в fm только игнорируется
11:40
правила FM тоже нужно на новую схему синхронизации переводить :-/
zi_rus #
11:40
правила надо в отдельное репо
11:40
чтобы не приходилось обновлять все чтобы достать правила
_4ePTeHok #
11:51
хыхы, я сделал get_inventory для edgecore)))
11:51
по сути - get_ver)))
dvolodin #
11:54
_4ePTeHok: давай с модельками
_4ePTeHok #
11:54
погоди, трансиверы надо
11:54
там сам понимаешь - китайское веселье на всю катушку)
zi_rus #
11:58
я вот тоже никак не доберусь сделать для алкателевких дсламов
11:58
там тоже просто
11:59
только regexp налабать
dvolodin #
12:03
e_zombie: noc-classifier насколько проц у тебя грузит?
e_zombie #
12:06
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12:06
2350 noc 20 0 351m 78m 4940 S 22.6 1.4 326:29.52 /opt/noc/bin/python ./scripts/noc-classifier.py launch -c etc/noc-classifier.conf -i 0
12:06
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
12:06
2351 noc 20 0 411m 140m 5000 R 77.5 2.5 959:23.19 /opt/noc/bin/python ./scripts/noc-correlator.py launch -c etc/noc-correlator.conf -i 0
_4ePTeHok #
12:08
dvolodin, а как отдифференцировать такое - "Port Type: 1000Base SFP" ?
12:08
т е стандарт неясен LX или чото другое
12:09
unknown | 1G | SFP?
dvolodin #
12:09
если только сделать модель-затычку
_4ePTeHok #
12:10
okaay
dvolodin #
12:13
e_zombie: а в логах коррелятора что?
12:13
просто поток alarm'ов?
e_zombie #
12:13
2013-12-26 16:14:12,765 [fm.correlator] Scheduling job check_link(52bc1d85989fcf092f68c9e2) id=52bc1d94989fcf092f68c9e3 at 2013-12-26 16:15:12.407474
12:13
2013-12-26 16:14:12,787 [fm.correlator] Job dispose(52bae51b989fcf092369bac6) is completed successfully (15.319778sec)
12:13
2013-12-26 16:14:12,788 [fm.correlator] Removing job dispose(52bae51b989fcf092369bac6)
12:13
2013-12-26 16:14:13,240 [fm.correlator] Running job dispose(52bae51b989fcf092369bac7)
12:13
2013-12-26 16:14:13,283 [fm.correlator] Job dispose(52bae51b989fcf092369bac7) is completed successfully (0.042166sec)
12:13
2013-12-26 16:14:13,283 [fm.correlator] Removing job dispose(52bae51b989fcf092369bac7)
12:13
2013-12-26 16:14:13,434 [fm.correlator] Running job dispose(52bae51c989fcf092369bad4)
12:13
2013-12-26 16:14:29,532 [fm.correlator] Scheduling job check_link(52bc1d95989fcf092f68c9e4) id=52bc1da5989fcf092f68c9e5 at 2013-12-26 16:15:29.285767
12:13
2013-12-26 16:14:29,543 [fm.correlator] Job dispose(52bae51c989fcf092369bad4) is completed successfully (16.108138sec)
12:13
2013-12-26 16:14:29,544 [fm.correlator] Removing job dispose(52bae51c989fcf092369bad4)
12:13
2013-12-26 16:14:30,099 [fm.correlator] Running job dispose(52bae51c989fcf092369bad7)
12:13
2013-12-26 16:14:30,150 [fm.correlator] Job dispose(52bae51c989fcf092369bad7) is completed successfully (0.049854sec)
12:13
2013-12-26 16:14:30,150 [fm.correlator] Removing job dispose(52bae51c989fcf092369bad7)
12:13
2013-12-26 16:14:30,408 [fm.correlator] Running job dispose(52bae51c989fcf092369bad8)
12:17
ну и тд
_4ePTeHok #
12:21
Temperature : 123.67 degree C ыыы
12:21
оно там похоже плавится на морозе
12:23
Eth Compliance Codes : 1000BASE-SX, 1000BASE-T, 100BASE-FX, BASE-BX10
12:23
это в sh int transc
zi_rus #
12:32
_4ePTeHok, а что не так
h4wk #
12:32
объясните, плз, что за...
12:32
script upgrade-user падает на
12:32
Upgrading inv.objectmodels
12:32
со словами
12:32
cjson.DecodeError: cannot parse JSON description
12:32
upgrade-user: 56: collection --sync failed
_4ePTeHok #
12:34
zi_rus, откуда в sfp трансивере 1000base-t?
zi_rus #
12:34
от верблюда
Dmitry11 #
12:35
у меня по-циски таких трансиверов
12:35
пол-циски
e_zombie #
12:35
h4wk: сотри все файлы в local/collections/*
_4ePTeHok #
12:35
нене
12:35
это вполне конкретный трансивер
12:35
по маркировке на нем - 1000BASE LX
12:36
зачем мне железка пишет все подряд про конкретный трансивер мне непонять
zi_rus #
12:37
то есть медь тебя смутила, а bx10 нет?
h4wk #
12:37
e_zombie: не помогло....
dvolodin #
12:39
e_zombie: алармов у тебя изрядно прет
e_zombie #
12:39
это ещё херня. у меня пол сети не шлёт сислоги ваще
dvolodin #
12:39
отфильтровывай link events с абонентских портов
e_zombie #
12:40
тоесть ты ставишь крест на маштабируемости нока?
12:40
менее чем 500 эвентов в минуту
12:42
bash: OB: команда не найдена
12:42
[root@orangebox remote]# grep "Dec 26 16:40" snet.log | wc -l
12:42
2014
dvolodin #
12:42
алармов
12:42
покажи мне хоть одну сеть, в которой более 500 алармов в минуту?
12:43
2013-12-26 16:14:29,543 [fm.correlator] Job dispose(52bae51c989fcf092369bad4) is completed successfully (16.108138sec)
12:43
вот это жопа полная
zi_rus #
12:43
dvolodin, у него 500алармов в минуту
12:43
:)
12:44
на самом деле нельзя просто так игнорить клиентские алармы
12:44
вернее
dvolodin #
12:44
link up/link down?
zi_rus #
12:44
алармы надо игнорить
12:44
а ивенты нужны
12:44
по ивентам надо соответвсвующую реакцию делать
12:44
да, по link up/down надо в инвентори проставлять сооветствующий опер статус
dvolodin #
12:46
так там не игнор
12:46
а аларм не поднимается
e_zombie #
12:46
2013-12-26 16:45:51,666 [fm.correlator] Job dispose(52bae558989fcf092369c454) is completed successfully (0.059189sec)
12:46
2013-12-26 16:45:52,317 [fm.correlator] Job dispose(52bae558989fcf092369c464) is completed successfully (0.046326sec)
12:46
2013-12-26 16:45:53,086 [fm.correlator] Job dispose(52bae559989fcf092369c477) is completed successfully (0.089878sec)
12:46
2013-12-26 16:46:12,139 [fm.correlator] Job dispose(52bae559989fcf092369c485) is completed successfully (18.207047sec)
12:46
2013-12-26 16:46:12,611 [fm.correlator] Job dispose(52bae559989fcf092369c489) is completed successfully (0.052334sec)
12:46
2013-12-26 16:46:32,588 [fm.correlator] Job dispose(52bae559989fcf092369c48a) is completed successfully (19.646789sec)
12:46
2013-12-26 16:46:34,269 [fm.correlator] Job dispose(52bae55a989fcf092369c491) is completed successfully (0.114546sec)
12:46
2013-12-26 16:46:52,729 [fm.correlator] Job dispose(52bae55a989fcf092369c49e) is completed successfully (15.909512sec)
12:46
2013-12-26 16:47:09,527 [fm.correlator] Job dispose(52bae55a989fcf092369c4a1) is completed successfully (16.397043sec)
12:46
2013-12-26 16:47:25,086 [fm.correlator] Job dispose(52bae55b989fcf092369c4b6) is completed successfully (15.245768sec)
12:47
это идёт наплывами
12:47
точно так же как и локеддб в монге
12:47
от 7 процентов до 60-80%
12:47
insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time
12:47
56 420 42 21 0 99|0 0 7.53g 15.8g 1.48g 0 noc:7.7% 0 0|0 0|0 118k 154k 28 16:47:54
12:47
51 397 56 28 0 108|0 0 7.53g 15.8g 1.48g 1 noc:7.6% 0 0|0 1|0 120k 141k 28 16:47:55
12:47
11 385 15 7 0 24|0 0 7.53g 15.8g 1.48g 0 noc:0.6% 0 0|0 0|3 81k 156k 28 16:47:56
12:47
34 347 39 20 0 77|0 0 7.53g 15.8g 1.48g 0 noc:8.4% 0 0|0 0|0 97k 128k 28 16:47:57
12:47
82 514 57 28 0 139|0 0 7.53g 15.8g 1.49g 0 noc:11.0% 0 0|0 0|1 154k 188k 28 16:47:58
12:47
50 480 46 25 0 99|0 0 7.53g 15.8g 1.47g 0 noc:20.1% 0 2|0 1|0 129k 193k 28 16:47:59
12:47
38 444 11 20 0 64|0 0 7.53g 15.8g 1.48g 0 noc:47.9% 0 0|0 1|0 101k 181k 28 16:48:00
12:47
16 138 13 11 0 31|0 0 7.53g 15.8g 1.48g 0 noc:45.1% 0 3|0 0|3 37k 57k 28 16:48:01
12:47
19 31 28 20 0 56|0 1 7.53g 15.8g 1.49g 0 noc:186.8% 0 1|0 1|0 47k 13k 28 16:48:02
12:47
37 63 40 23 0 84|0 0 7.53g 15.8g 1.49g 4 noc:80.0% 0 2|0 1|0 46k 54k 28 16:48:03
12:47
insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time
12:48
у меня складывается предположение что изза постоянных локов бд оно и вытормаживает.
12:48
и это как я понимаю не лечится.
12:48
на уровне ОС WA нулевой.
12:49
файловый ОИ тоже нулевой почти
dvolodin #
12:50
ну да
12:50
а в логах ругани нет, что запрос выполняется слишком долго?
e_zombie #
12:51
в логах корелятора?
12:51
в логах корелятора только руннинг ремове
dvolodin #
12:52
e_zombie: http://pastie.org/8577111
12:52
попробуй такой патчик
12:52
и еще скажи, что показывает db.noc.events.new.count()
e_zombie #
12:53
> db.noc.events.new.count()
12:53
1796806
dvolodin #
12:54
ага
12:54
убей индекс на timestamp и проверь, что появился индекс на seq
e_zombie #
12:54
ээээ
dvolodin #
12:55
накати патчик, перезапусти классификатор
e_zombie #
12:55
накатил
12:56
> db.noc.events.new.dropIndex("Timestamp()");
12:56
{ "ok" : 0, "errmsg" : "index not found" }
12:56
,
12:56
так?
dvolodin #
12:57
"timestamp"
12:57
db.noc.events.new.getIndexes()
e_zombie #
12:58
> db.noc.events.new.getIndexes()
12:58
[
12:58
{
12:58
"v" : 1,
12:58
"key" : {
12:58
"_id" : 1
12:58
},
12:58
"ns" : "noc.noc.events.new",
12:58
"name" : "_id_"
12:58
},
12:58
{
12:58
"v" : 1,
12:58
"key" : {
12:58
"timestamp" : 1
12:59
"v" : 1,
12:59
"key" : {
12:59
"timestamp" : 1
12:59
},
12:59
"ns" : "noc.noc.events.new",
12:59
"name" : "timestamp_1",
12:59
"sparse" : false
12:59
}
12:59
]
dvolodin #
13:00
timestamp_1 убей
Dmitry11 #
13:00
(14:36:48) ibl: вот блин паразиты. подключаем клиента. по дороге кабеля ещё три фирмы. так они за доступ в свои помещения запросили халявный инет!
13:00
(14:36:53) ibl: итого 1 клиент и 3 паразита…
13:00
(14:37:57) dmn_: они собственники?
13:00
(14:38:02) dmn_: (помещений)
13:00
(14:38:33) alx0: сделай им prob 0.5 deny
13:00
(14:43:49) ibl: я рассматриваю другое решение - радиомост через эти перекрытия :)
13:00
(14:44:13) ibl: пусть теперь посещают курсы кройки и шитья шапочек из фольги
13:00
(14:48:58) Maugly: ibl: можно выложить твою предыдущую фразу в мой твиттер (с указанием авторства, разумеется)?
dvolodin #
13:00
и сделай индекс по seq
_4ePTeHok #
13:04
dvolodin, первая часть подкаста была убойная. А вот вторую как то на междусобойчик слили.
13:05
вроде как про реальную эксплуатацию интереснее было б услышать про автоматизацию, а про это - ни слова
13:05
дискавери тот же хотя бы
dvolodin #
13:05
_4ePTeHok: все постепенно
13:05
:)
_4ePTeHok #
13:06
эт понятно, я просто делюсь впечатлениями
13:06
ты верно сделал в первой части, что выстроил точки опоры - на что обратить внимание
13:07
вот про баду я бы послушал например)
e_zombie #
13:11
dvolodin: timestamp потом создават индекс?
dvolodin #
13:11
timestamp грохни
13:11
и сделай индекс seq
e_zombie #
13:11
сейчас
13:11
> use noc
13:11
switched to db noc
13:11
> db.noc.events.new.ensureIndex( {"seq": 1} );
13:11
> db.noc.events.new.ensureIndex( {"timestamp": 1} );
13:11
> db.noc.events.new.dropIndex( {"timestamp": 1} );
13:11
{ "nIndexesWas" : 3, "ok" : 1 }
13:11
>
dvolodin #
13:16
и еще накати патчи
13:16
оно будет текущую задержку писать
e_zombie #
13:17
ты забыл там запятую поствить
dvolodin #
13:18
где?
e_zombie #
13:18
аааа ступил
Night_Snake #
13:21
dvolodin: вот кстати да, про реальное боевое применение было бы интересно послушать. В том числе того же ФМ
13:22
dvolodin: а подскажите пожалуйста еще такую вещь. PaloAlto и Cisco IronPort планиуется добавить? или проще самому?
e_zombie #
13:22
... updating Cisco | Transceiver | 10G | X2-10GB-ER
13:22
... updating Cisco | ASR9010 | PWR-2KW-DC
13:22
... updating Cisco | Transceiver | 100M | GLC-FE-100LX
13:22
... updating Cisco | ME3400E | ME-3400E-24TS-M
13:22
Error: Checksum mismatch for file 'inv/collections/objectmodels/Cisco/ME3400E/ME-3400E-24TS-M.json'
13:22
upgrade-user: 56: collection --sync failed
13:22
Terminating
13:22
upgrade complete
13:24
[root@nocproject noc]# tail -f ./log/noc-correlator.log | grep succes
13:24
2013-12-26 17:24:11,364 [fm.correlator] Job dispose(52bae573989fcf092369c7fe) is completed successfully (0.119643sec)
13:24
2013-12-26 17:24:47,550 [fm.correlator] Job dispose(52bae574989fcf092369c80f) is completed successfully (35.552615sec)
13:24
2013-12-26 17:24:48,622 [fm.correlator] Job dispose(52bae574989fcf092369c817) is completed successfully (0.116409sec)
13:24
2013-12-26 17:25:09,256 [fm.correlator] Job dispose(52bae574989fcf092369c829) is completed successfully (20.041213sec)
13:24
^C
13:25
> db.noc.events.new.getIndexes()
13:25
[
13:25
{
13:25
"v" : 1,
13:25
"key" : {
13:25
"_id" : 1
13:25
},
13:25
"ns" : "noc.noc.events.new",
13:25
"name" : "_id_"
13:25
},
13:25
{
13:25
"v" : 1,
13:25
{
13:25
"v" : 1,
13:25
"key" : {
13:25
"seq" : 1
13:25
},
_4ePTeHok #
13:28
Night_Snake, их может добавить тот, у кого они есть в наличии..
13:29
без доступа к железу это большая проблема
dvolodin #
13:30
Да нет там никакой проблемы
13:30
self.cli(blablabla, file="......")
e_zombie #
13:30
dvolodin: лучше не стало
dvolodin #
13:30
подпихиваешь что надо, делаешь тушенку и убираешь file
13:30
e_zombie: что сейчас там?
h4wk #
13:31
e_zombie: тот еррор и у меня был
Night_Snake #
13:31
_4ePTeHok: доступ к железу у меня есть
e_zombie #
13:31
[root@nocproject noc]# tail -f ./log/noc-correlator.log | grep succes
13:31
2013-12-26 17:30:48,012 [fm.correlator] Job dispose(52bae582989fcf092369c99a) is completed successfully (21.521661sec)
13:31
2013-12-26 17:31:06,601 [fm.correlator] Job dispose(52bae582989fcf092369c99e) is completed successfully (17.733398sec)
13:31
2013-12-26 17:31:23,579 [fm.correlator] Job dispose(52bae582989fcf092369c9a2) is completed successfully (16.310853sec)
13:31
2013-12-26 17:31:42,109 [fm.correlator] Job dispose(52bae582989fcf092369c9b0) is completed successfully (17.628974sec)
13:31
2013-12-26 17:31:58,910 [fm.correlator] Job dispose(52bae582989fcf092369c9bf) is completed successfully (16.095627sec)
13:31
2013-12-26 17:31:59,521 [fm.correlator] Job dispose(52bae582989fcf092369c9c0) is completed successfully (0.041363sec)
Night_Snake #
13:31
так что видимо мне и придется
e_zombie #
13:31
insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time
13:31
21 327 20 12 0 43|0 0 7.53g 15.6g 458m 1 noc:31.8% 0 2|0 1|0 76k 137k 31 17:31:02
13:31
20 376 38 22 0 64|0 0 7.53g 15.6g 480m 1 noc:23.3% 0 0|0 2|0 97k 177k 31 17:31:03
13:31
38 380 22 11 0 61|0 0 7.53g 15.6g 448m 1 noc:6.4% 0 0|0 1|0 96k 155k 31 17:31:04
13:31
22 420 32 21 0 59|0 0 7.53g 15.6g 474m 1 noc:17.7% 0 0|0 1|0 104k 194k 31 17:31:05
13:31
25 487 37 18 0 61|0 0 7.53g 15.6g 479m 1 noc:6.1% 0 1|0 0|1 118k 205k 31 17:31:06
13:31
40 36 6 9 0 56|0 0 7.53g 15.6g 474m 3 noc:64.7% 0 0|0 1|0 25k 81k 31 17:31:07
13:31
42 451 44 22 0 87|0 0 7.53g 15.6g 474m 0 noc:6.3% 0 0|0 1|0 125k 184k 31 17:31:08
13:31
32 357 34 21 1 71|0 0 7.53g 15.6g 475m 0 noc:18.6% 0 0|0 1|0 98k 530k 31 17:31:09
_4ePTeHok #
13:31
Night_Snake, начни с get_version
dvolodin #
13:31
посмотри логи классификатора
13:32
performance report его
Night_Snake #
13:32
_4ePTeHok: а что вообще делать-то?
_4ePTeHok #
13:32
посмотри примеры в ./sa/profiles/Cisco/IOS
Night_Snake #
13:32
ага
dvolodin #
13:32
начни с __init__.py
13:32
потом get_version и get_config
_4ePTeHok #
13:32
get_version/get_config основа
13:32
оно и самое простое как правило
dvolodin #
13:32
затем переходи к get_inventory и get_interfaces
_4ePTeHok #
13:32
вопросы здесь задавай - быстрее отклик будет
dvolodin #
13:33
с get_interfaces все просто - либо ты его, либо он тебя
13:33
прямо в мозг
_4ePTeHok #
13:33
=)
13:33
даладно
Night_Snake #
13:33
=)
_4ePTeHok #
13:33
уж если я с нуля питон не зная писал get_interfaces..
e_zombie #
13:33
2013-12-26 17:33:38,843 REPORT: elapsed: 56.7895s, speed: 17.6ev/s, events: 1000, lag: 18643.843427s, failed: 0, deleted: 0, suppressed: 0, unknown: 464, classified: 201, disposed: 95, duplicated: 240
13:33
2013-12-26
Night_Snake #
13:33
я вот тож не знаю :) перл разумею, а питон не очень
_4ePTeHok #
13:33
питон проще
e_zombie #
13:34
2013-12-26 17:34:38,572 REPORT: elapsed: 59.7289s, speed: 16.7ev/s, events: 1000, lag: 18701.572808s, failed: 0, deleted: 0, suppressed: 0, unknown: 496, classified: 199, disposed: 101, duplicated: 204
_4ePTeHok #
13:34
примеры смотри - там очень интересные решения есть
13:34
у меня вот уже желание появилось старые скрипты свои переписать, ибо стыдно за то что два года назад строчил)
dvolodin #
13:34
о
Night_Snake #
13:35
чую будет чем заняться на новый год, ага
dvolodin #
13:35
всего на 6 часов задержка
13:35
:)
e_zombie #
13:35
для девушек это нормально
_4ePTeHok #
13:35
а для дальнего востока - так и вообще на час раньше.)
Night_Snake #
13:36
ДВ тож разный :)
_4ePTeHok #
13:36
+7 в основном
e_zombie #
13:36
(17:23:42) e_zombie: ... updating Cisco | Transceiver | 100M | GLC-FE-100LX
13:36
(17:23:42) e_zombie: ... updating Cisco | ME3400E | ME-3400E-24TS-M
13:36
(17:23:42) e_zombie: Error: Checksum mismatch for file 'inv/collections/objectmodels/Cisco/ME3400E/ME-3400E-24TS-M.json'
13:36
(17:23:42) e_zombie: upgrade-user: 56: collection --sync failed
13:36
(17:23:42) e_zombie: Terminating
13:36
(17:23:42) e_zombie: upgrade complete
Night_Snake #
13:36
ну... камчатка дальше, якутск ближе
dvolodin #
13:36
покажи мне ./noc events
e_zombie #
13:36
кстати вот это уже у двоих. ктото накосепорил
Night_Snake #
13:36
+7 тока владик и хабар
dvolodin #
13:36
с сотню записей на пасту
_4ePTeHok #
13:36
e_zombie, это походу с мерджем
13:36
сегодня ж сливали девелоп в инвентори
dvolodin #
13:37
какие objectmodels на develop?
_4ePTeHok #
13:37
а , недоглядел)
13:37
думал фм)
e_zombie #
13:38
а хуй знает
dvolodin #
13:38
e_zombie: вытаскивай фикс
13:38
покажи event'ы
e_zombie #
13:38
смотри личку
13:40
прокатило. обновилось
dvolodin #
13:47
52bbe694989fcf0923870627, 10.64.117.107, Unknown | Syslog, SYSLOG: Dec 26 11:19:32 10.64.117.107 chassism[907]: AN_BYPASS : Port ge-0/0/1 Current 771535500 Saved time 771534490
13:47
вот это, вроде, совсем несмысловое
zi_rus #
13:49
а чего тебе непонятно? :)
e_zombie #
13:49
это джунипер
dvolodin #
13:50
понятное дело, EX
zi_rus #
13:50
джунипер сохраняет время
e_zombie #
13:55
Juniper ex4200-24f
_4ePTeHok #
14:02
{'builtin': False,
14:02
'description': 'SFP Transceiver',
14:02
'number': '25',
14:02
'part_no': ['\xbcMS'],
14:02
'revision': '\xdc\xf5',
14:02
'serial': '\xb8MS\x88\x87\xa4',
14:02
'type': 'XCVR',
14:02
'vendor': 'NONAME'},
14:02
превед кетаес
dvolodin #
14:05
может это simplified chineese
14:05
а мы - глупые белые обезьяны, которые не могут прочитать то, что написано на трансивере?
_4ePTeHok #
14:05
ты лучше скажи чо с ним делать)
dvolodin #
14:06
part_no гласит о том, что дядя Ляй сунул х. в чай
14:06
завтра все
_4ePTeHok #
14:06
по if "\x" in pid отправлять в сторону "Unknown?"
14:48
ох бля.
14:48
я научился слать нахер юникод)
Dmitry11 #
15:28
http://novosibirsk.hh.ru/vacancy/9553680
_4ePTeHok #
15:43
чет дешево как то за 60к властелина выписывают
15:43
ну и как всегда и швец и жнец и в попу ебец
Dmitry11 #
15:44
ага. особенно мне понравилось: Так же приветствуется личное знакомство с Гомером Симпсоном, Владимиром Путиным, Дартом Вейдером ;)
_4ePTeHok #
15:46
думаю про второго они явно зря
Dmitry11 #
15:47
а третий на канале #bsd-unix обитает :)
15:48
И поскольку я лично с ним знаком, то меня терзают смутные сомнения...
_4ePTeHok #
15:51
совпадение думаю
15:51
иначе не стали бы писать первых двух
15:51
ъотя кто их знает креативщиков этих
Dmitry11 #
15:52
Ну, если пишут "знание Unix-систем ubuntu", то явно они от юниксов далекие
_4ePTeHok #
15:56
кто пишет то обычно)
15:57
опасно блин нок оставлять с включенным дискавери
15:57
на след день приходишь, а в unknown models 5 листов
16:00
как это все таки прекрасно
16:00
Vendor PN : ЮЗvxNSpл·
16:00
Vendor Rev :
16:00
Vendor SN : ЮЗvЛй·
16:00
дзен постигаешь
dvolodin #
16:28
_4ePTeHok: не будет так работать
18:33
http://pastie.org/8577848
18:33
навернул адский патч для классификатора
18:34
должен давить повторяющиеся события unknown | syslog
ufir #
20:21
dvolodin я тебя ненавижу ;)
dvolodin #
20:21
:)
20:22
по какому поводу?
ufir #
20:25
ты поломал мои надежды на то, что жунипер - это кошерно, работает, и вообще OK
20:26
в результате - почти 400 км езды, ебля с mx80, с интегратором, и прочий ералаш
dvolodin #
20:30
эээ
20:30
ты неправильно делаешь
20:30
нужно выебать интегратора, и пусть он едет за 400 км
20:30
а mx80 -- говно
ufir #
20:43
да хз. складывается впечатление, что это какой-то обрезок нормального МХ
Tweet
Share this page
Share this page: Tweet