nocproject.org

dvolodin, вопрос такой, что серьезно нок удаляет события Ping OK/Ping fail через какое-то время?

при архивации должен

плохо

не надо так

dvolodin: ай нид ё хелп :) http://dpaste.org/uu0nH/

есть подозрение, что там так не прокатит... или я что-то сломал

zi_rus: а зачем они, если есть outage report?

у меня архивация идет раз в неделю, если хочу узнать что было с железкой или вообще сетью еще раньше, то значит не получу всей информации

lexus-omsk: c[0].time_pattern.match(....)

прокатит

dvolodin, outage он покажет что оно падало, а если я открою список ивентов для анализа просто чтобы понять что за чем шло и когда все стало совсем плохо, то у меня не получится

смотря через какое время

alarm'ы ты увидишь

не все ивенты ведут к алармам, но некоторые алармы возможны из-за ивентов

алармы покажут только алармы

а когда я открываю список событий и выбираю интересную мне железку

то получается я вижу что падал роутинг, флапали маки, сдох БП, а то что пинг прерывался я не увижу

это не логично

в алармах есть ссылка на ивент, если он еще не зачищен

если уж было событие что пинг пропадал, пусть оно и останется в истории

а для незакрытого аларма ивенты не чистятся

клиент через неделю запросит причину отсутствия сервиса, а я посмотрю и увижу что ничего не вижу

это да

такое бывает

zi_rus: тут просто над отображением надо подумать

dvolodin, зачем отображение, я просто прошу не удалять из списка ивентов никаких ивентов

чтобы список был максимально полный

если вдруг эта информация понадобится

а алармы пусть как есть показывают только важное

тут кстати возникает второй вопрос

Dmitry1, что происходит с ивентом LINEPROTO_DOWN/UP ?

dvolodin: я немного по-другому обошёл, сейчас так попробую проверить и сделаю патч - надо ведь исправить

у меня тут была проблема что он падал, но при этом падения линка не происходит

открываю ивенты, и там тишина

как-будто тупо дропнули все сообщения

надо подумать над архивацией

dvolodin, issue нарисовать?

лучше конкретное предложение как сделать

текущий алгоритм -- в fm/periodics/archive.py

# Drop all events not contributing to alarms

это как понимать?

dvolodin, отсавить только

# Archive other events

n = 0

for e in ActiveEvent.objects.filter(timestamp__lte=border):

e.mark_as_archived("Archived by fm.archive task")

n += 1

if n:

self.info("%d active events are moved into archive" % n)

зачем дропаются какие-то сообщения

zi_rus: у меня за день миллион ивентов пролетает. Только пинга там больше половины. Если их копить будет жопа...

дропаются те классы, которые указано дропать в явной форме

у меня тоже порядка миллиона event'ов

это где-то указывается?

да, regexp'ами по классам

mikevlz|2, у тебя проблема в другом месте

dvolodin, совсем не кошерный вариант

надо бы приложение где это галочками отмечается

dvolodin, я бы не хотел никакие сообщения дропать, что и где надо для этого указать

там в конфиге время жизни

zi_rus: ты же знаешь мое предложение :)

дерево в три колонки

в каком конфиге? вот и в конфиги полезли

название класса, галочку -- дропать сразу, и поле - время жизни в архиве

dvolodin, не знаю, или не помню

и что мешает? где оно?

ты его еще не написал :)

можно, кстати, и без дерева

просто grid

dvolodin, но сейчас он дропает пинг ок и без этого приложения, я прошу прекратить сие безобразие

# Drop all events not contributing to alarms

dc = ActiveEvent.objects.filter(alarms__exists=False,

timestamp__lte=border).count()

if dc:

ActiveEvent.objects.filter(alarms__exists=False,

timestamp__lte=border).delete()

self.info("%d active events cleaned (no related alarms)" % dc)

вот это закомментируй

пока ничего другого не сделали

ок

http://kb.nocproject.org/pages/viewpage.action?pageId=7766325&focusedCommentId=7766331#comment-7766331 =)

mikevlz|2, лучше бы интерфейсы скрыл на скринфоте, картинка будет наглядней

не, в том и приколь, что мне важно знать, как пойдет путь. Я не верю в STP =)

mikevlz|2, тогда я не понимаю что значит эта картинка

путь между железками с авторасположением нод. Иначе будет столбик в котором хер что разберешь

mikevlz|2: кстати, тебе не пути надо искать

плюс список путей, которые будут подсвечиваться цветом

а дуги, удовлетворяющие условию

через одну дугу может проходить много путей

dvolodin: я не настоящий сварщик, я взял маску поносить

нормально все

в комбобоксе Path - пути, в качестве данных у каждого элемента комбобокса - список ID линков

для данного пути

так что я знаю ребра, по которым идет каждый путь, если ты об этом

mikevlz|2, путь через mpls облако не рассчитаешь?

mikevlz|2: аццкий сотона - почти пентаграмму нарисовал

lexus-omsk: это все mxGraph! я тут непричем, я просто разместил объяву

zi_rus: если в базе линки через твое облако есть - рассчитает.

или я не понимаю вопроса :)

mikevlz|2, л2 сегмент, vfi , л2 сегмент

чтобы он мог связять

сервис через облако

а не только тупо влан проключить

zi_rus: алгоритм расчета такой: выгружаются физические линки из базы НОК в граф. Дальше по графу ищутся все кратчайшие пути между начальным узлом и конечным, эти пути выгружаются в график. Если НОК не знает о физическом линке между двумя узлами = не буде

т пути. А если знает - то надо будет научить определять что там - л2 или облако, в соответствии с этим влан кидать или метки какие вешать

mikevlz|2, надо нок научить определять наличие мплс

и адекватно реагировать

у меня на сейчас единственная железка, знающая про Mpls - смартэдж. Может еще Brocade RX умеет что-то но мы этим не пользуемся, малы для этого и железок мало

выкачу - допишешь :)

zi_rus: интерфейсы позволяют выявлять MPLS'ные интерфейсы :)

как ?

по family MPLS на сабе

а, точно ж

так что вопросы к реализации get_interfaces

эк ты лихо отмазался

да уж

а вот что нужно -- это интерфейс для выцарапывания LSP

lsp или все же vc

как минимум - lsp

xconnect это все-таки совсем уж кисковская приблуда

для ущербных линейных карт

ну почему, на жуниперах тоже есть

ccc вроде называется

утро

ну да

dvolodin а как удалить все линки сделанные руками ?

ufir: у линка есть поле "метод", у ручных он будет пустой

mikevlz|2, а у меня у двух он пустой

Method Count

337

stp 297

udld 62

24

mac 17

rep 13

750

zi_rus: возможно, один из них None, а другой пустой =)

и в чем разница

один - ручные линки до введения поля mothod, другой - после

странно

я не делел столько линков руками

вернее раньше делал, возможно даже и столько, но потом базу интерфейсов пришлось дропнуть и эти линки канули в лету

не было поля - неизвестен метод

метод стал "хз что, считаем, что путо"

то есть туда и стпшные попали

да

так бы сразу и сказал

те. что были до введения поля - все туда попали

Dmitry1, что происходит с ивентом LINEPROTO_DOWN/UP?

вроде он игнорится

зачем?

вместо него используется line up/down

Dmitry1, line proto может падать а линк стоять

это проблема

нельзя игнорить

знаю

его коррелировать надо

но обычно так

с падением линка

а генерировать аларм можно с root-cause

поднимать аларм по lineproto

потом если приходит link down

то под него загонять

а для закрытия аларма у нас такого, как "root-cause" нету

Dmitry1, есть такой демон, noc-correlator, если не ошибаюсь это его работа

нужно только правило

я тебе сказал как их можно обрабатывать

закроется аларм по lineproto-up

А куда девать ивент link-up ?

Mar 11 09:26:33: %LINEPROTO-5-UPDOWN: Line protocol on Interface FastEthernet0/3, changed state to down

Mar 11 09:26:34: %LINK-3-UPDOWN: Interface FastEthernet0/3, changed state to down

Mar 11 09:26:36: %LINK-3-UPDOWN: Interface FastEthernet0/3, changed state to up

Mar 11 09:26:37: %LINEPROTO-5-UPDOWN: Line protocol on Interface FastEthernet0/3, changed state to up

сначала поднимается линк

потом протокол

На первые два я могу сделать root-cause

на вторые два - не могу

why

Если я закрою аларм по LINEPROTO-5-UPDOWN, то куда мне девать ивент LINK-3-UPDOWN ?

да не закроешь ты его

у тебя падает протокол

поднимаешь про это аларм

падает линк, аларм про протокол под аларм про линк засовываешь

поднимается линк, остается протокол

поднимается протокол

не-не

без линка не будет протокола

LINK-3-UPDOWN модет существовать отдельно от LINEPROTO-5-UPDOWN, как и наоборот

нет

падение линка всегда ведет к падению протокола

Mar 12 12:50:57: %LINK-3-UPDOWN: Interface Multilink1, changed state to down

Mar 12 12:50:58: %LINEPROTO-5-UPDOWN: Line protocol on Interface Serial1/2:0, changed state to down

Mar 12 12:50:58: %LINEPROTO-5-UPDOWN: Line protocol on Interface Serial2/0:0, changed state to down

Mar 12 12:50:58: %LINEPROTO-5-UPDOWN: Line protocol on Interface Multilink1, changed state to down

Mar 12 12:51:38: %LINK-3-UPDOWN: Interface Multilink1, changed state to up

Mar 12 12:51:39: %LINEPROTO-5-UPDOWN: Line protocol on Interface Serial2/0:0, changed state to up

Mar 12 12:51:39: %LINEPROTO-5-UPDOWN: Line protocol on Interface Serial1/2:0, changed state to up

Mar 12 12:51:39: %LINEPROTO-5-UPDOWN: Line protocol on Interface Multilink1, changed state to up

Это частные случаи

В идеале

для LINEPROTO-5-UPDOWN root-cause LINK-3-UPDOWN

да

если пришел линк даун

а на поднятие - наоборот

если не пришел то он таки остается

Dmitry1, куда наоборот

Сделать так, чтобы на снятие аларма тоже можно было какие-то root-cause делать

ты root-cause закрываешь и смотришь что под ним было чтобы тоже закрыть

На открытие будет много лишнего мусора

нельзя алармы которые под рутом, закрывать вместе с рутом

А должно быть одно сообщение

Смотри на счет всяких err-disabled

и что там

Там оно тоже линки и протоколы дергает

и что, нет закрывающих сообщений?

У нас получится LINEPROTO-5-UPDOWN без открывающего аларма

что значит без

он есть

только под рутом

dvolodin, кто дурак?

Смотри

%PM-4-ERR_DISABLE: loopback error detected on Gi4/1, putting Gi4/1 in err-disable state

%LINEPROTO-5-UPDOWN: Line protocol on Interface Gi4/1, changed state to down

%PM-4-ERR_RECOVER: Attempting to recover from loopback err-disable state on Fa0/24

%LINEPROTO-5-UPDOWN: Line protocol on Interface Gi4/1, changed state to up

В третей строчке интерфейс должен быть Gi4/1

ты ересь какую-то скопировал

какой-то левый интерфейс

Сейчас я игнорирую LINEPROTO-5-UPDOWN, а смотрю только PM-4-ERR_DISABLE и PM-4-ERR_RECOVER

Dmitry1 ну и как ты по падению 4/1 и поднятию 0/24 что-то видишь

line-proto везде правильные

а errdisable херню какую-то написал

так сойдет?

%PM-4-ERR_DISABLE: loopback error detected on Gi4/1, putting Gi4/1 in err-disable state

%LINEPROTO-5-UPDOWN: Line protocol on Interface Gi4/1, changed state to down

%PM-4-ERR_RECOVER: Attempting to recover from loopback err-disable state on Gi4/1

%LINEPROTO-5-UPDOWN: Line protocol on Interface Gi4/1, changed state to up

то есть ты еще и на ходу их правишь

что тут не так

да. с примеров FM правил дергаю

ты по %LINEPROTO-5-UPDOWN: Line protocol on Interface Gi4/1, changed state to down поднимаешь аларм

второй аларм

и сразу же его под root cause

А снять аларм как?

за крывается root cause

По %LINEPROTO-5-UPDOWN: Line protocol on Interface Gi4/1, changed state to up ?

да

остается только lineproto

А куда делось %PM-4-ERR_RECOVER: Attempting to recover from loopback err-disable state on Gi4/1 ?

его закрываешь по соотв сообщению

оно закрыло %PM-4-ERR_DISABLE

как %LINEPROTO-5-UPDOWN: Line protocol on Interface Gi4/1, changed state to up закроет %PM-4-ERR_DISABLE: loopback error detected on Gi4/1, putting Gi4/1 in err-disable state ?

возьми в руки матрешку

его закроет %PM-4-ERR_RECOVER

у тебя все алармы и открываются и закрываются

только некоторые находятся внутри других

а ползователю показывается верхний

который root cause

если у тебя падает железка - это root cause для падения всех остальных железок которые в сети за упавшей

но

нельзя закрывать падение всех только поднятием cause

должно быть подтверждение по каждому

если рут коз закрылся, значит алармы разворачиваются

и закрываются самостоятельно

у тебя есть линк, на линке роутинг, зап линком 100500 миллионов железок

падает линк

и у тебя остается куча аварий

пинги упали

линки пали

роутинг упал

рут коз - падение линка

линк поднялся

остался рут коз - нет роутинга

поднялся оспф

остались только пинг файлед

которые по одному сами закрываются

Dmitry1, мне повторить?

подумаю

кто что думает по поводу очеловечивания NOC, например отображать в grid лого вендора/дистриба линукса

и еще shape

в виде картинки

человеку проще работать со списком, если есть графические подсказки

и стиля немного добавляет

а то сейчас это продвинутый excel

=)

зато хороший эксель

конфиги сохраняет, днс ведет

где одна таблица сменяет другую

подскажите на железке get_interfaces проходит номально, а в inventory - interfaces ничего не показывает

как задебажить?

уже нашел - был выключен дискавери

у кого не захочет вдруг по какой-то причине запускаться активатор(точнее запускаться будет, но подключиться к SAE не сможет, в логах видно, что дальше коннекта дело не идет) - пробуйте в постгресе чистить sa_maptask, после этого все взлетает