nocproject.org

simba__: я просил потестить на Zyxel get_spanning_tree, выложенный в NOC-909

Закоммитил новую реализацию аццкой попингуйки

теперь активатор пингует железки сам через PingSocket, отслеживает текущее состояние

dvolodin, шедуль можно убивать?

сам помрет

вчера еще раз прошелся по логам discovery

dvolodin, как конфигурить пинговалку?

возникла идея, сделать что-то вроде protocol discovery

zi_nnov: там два параметра в конфиге активатора - ping_instance и ping_interval

в принципе они сконфигурированы

по protocol discovery идея такая -- собирать список протоколов, которые реально активированы на железке

dvolodin, в дефолтном конфиге комментариев нет, если не сложно в доку напиши что они значат

чтобы потом, скажем, не запускать lldp discovery на железке, которая умеет lldp, но он не включен

теперь вот думаю - либо отдельный скрипт сделать, либо из get_interfaces повыдирать

zi_nnov: поправил в доке

там разумные настройки по умолчанию

ок, а path deprecated?

да

еще, наверное, надо heartbeat'ы из ланчера выпилить

пинги все так же размазаны? и еще я все равно не понял про ping_instance, если не сложно, можешь написать пару примеров, что будет происходить при различных значениях, например 0 и 5, всем будет понятней и приятней

zi_nnov: смотри, ты запускаешь на одном хосте 4 автиватора в одном пуле

да

у них по умолчанию instance id будут 0, 1, 2, 3

а адрес один

чтобы сокеты для коллеторров трапов и сислога не подрались между собой, выбирается только один instance, который будет принимать трапы

по умолчанию - 0

то же и для пингов

чтобы они все вместе не пинговали те же объекты - выбирается один instance который занимается пропинговкой

ааа

есть смысл разносить функции по разным инстансам?

нет

пинг вынести на 2 истанс напрмимер

можешь, но вряд ли он настолько сильно грузит

просто может это распараллелит нагрузку

сейчас все процы много ядерные

пинги более-менее равномерно размазаны по времени

если fm.ping_check пускал их пачками каждые 6 секунд, тут просто равномерно рассыпаются

и новые пинги посылаются каждую секунду

3 пакета, таймаут - 5 секунд

железка считается живой, если дошел хоть один ответ

ок, это гуд

появлась моделька ObjectStatus и дополнительные методы ManagedObject.get_status(), ManagedObject.set_status()

то есть пинг - 1,5 сек ждем - пинг - 1,5 сек ждем - пинг - 1,5 сек ждем - нет ответа значит труп?

события PING OK и PING FAILED теперь генерируются только при смене состояния

для отработки alarm'ов

о. это хорошо

zi_nnov: нет, каждый пинг - ждем до 3 секунд

а частота запуска я так и не понял ? постоянно пинги идут ?

постоянно

раз в секунду пускается новая партия

то есть пинг пинг пинг - 5 сек ждем?

у меня по графику, после обновления нагрузна на сервер упала на 1 процент

было 3-4%, стало 2-3

из-за пингов?

судя по всему, а что еще обновилось с утра?

на классификатор меньше нагрузка, чуть поменьше на SAE

SAE в базу пишет

ну и коллекции не будут пухнуть так

в общем, во всех смыслах стало лучше

для большой сети разница наверняка стала ощутимей

хм. все время пинговать это на мой взгляд лишее. на icmp у меня выделена отдельная полоса на коробку

dvolodin, запиши себе где-нибудь, в release notes потом запишешь

тут получается нок будет постоянно жрать эту полосу

freeseacher, лучше непрерывный поток, чем спериодические скачки

сейчас у меня пинг опрос раз в 30000 секунд.

мне чаще с моей задачей и не надо.

это вообще дикость

с таким периодом ты мог бы вообще ничего не пинговать

ничего бы не изменилось

freeseacher: замени 60 на 3600

если с утра что-то навернулось, ты только к вечеру узнаешь

zi_nnov: да нет, все правильно

у нас на сети раз в 5 минут

я постоавил такой период что бы избавиться от сообщений пинг ок

их уже давно подавляет система

freeseacher: вот их теперь поменьше будет

они мгновенно съедали 20 гигов диска выделенные под монгу

да поменьше это хорошо

60 на 3600 это типа не каждую секунду а каждую минуту?

dvolodin, а еще у меня раньше пинги шли раз в 3 минуты, а теперь ты сделал 60 сек по дефолту, а нагрузка все равно снизилась, те эффект очень даже существенный

не каждую минуту, а каждый час

ага я понимаю что каждый час

просто у меня диссонанс

<dvolodin> раз в секунду пускается новая партия

<dvolodin> freeseacher: замени 60 на 3600

ну смотри

на активаторе 600 железок

пинг конкретной железки раз в час, а пинг следующей по списку через секунду

каждую секунду начинают проверяться 10 из них

ааааа

да. так пойдет.

icmp socket'ы - они без контекста

в принципе до 100 icmp пакетов в секунду можно слать без особого напряга

dvolodin, ну хорошо, с пингами разобрались, а понаблюдаю за наличием ложных срабатываний. что следующее?

еженедельная бюрократическая работа на благо чемпиона ;)

может кто сделает к карте поллинг статуса

хотя бы раз в минуту

серверный метод я сделаю

дальше у нас по планам - корреляция пингов по топологии

ага :)

discovery включенных протоколов

вот подумайте -- либо мы отдельным скриптом выдираем, что включено

либо пытаемся в interface discovery проанализиоровать enabled_protocols

не уверен в необходимости дискавери протоколов

протокол может быть выключен на порту но включен на коробке

у меня сейчас так работает Stp bpdu tunneling

на свитчах 3420

фукнкционально выгода сомнительна

глобально на свитче должен быть включен stp а на порту выключен

методы дискавери можно в профиле выставить, обычно железки по шаблону настраиваются

так что видимо надо делать отдельным скриптом

так enabled_protocols же на интерфейс ставится, так что в get_interfaces без проблем можно получить необходимую информацию

поэтому зачем отдельный скрипт?

народ, кто не голосовал, не стесняйтесь

http://forum.nocproject.org/index.php?topic=162.0

вот, теперь вроде всё своё там нашёл, проголосовал

lexus-omsk: вот я и думаю

zi_rus: а ты на nag.ru в теме про NOC ссылку кинь

другое дело, что большинство get_interfaces нужно доработать для этого

хм. а может надо мак-дискавери убирать на транках.. но как это сделать ?

профилями интерфейсов

а вообще есть смысл снимать дискавери с транков ?

в смысле?

get_spanning_tree на 3750 12.2(35)SE5 - иногда отрабатывает нормально, иногда валится в трейсбэк

что делать ?

наверное, смотреть, в каких случаях валится и на каком месте - и постить сюда трейс или патч, устраняющий проблему :)

ну я просто 5 раз запустил, три раза нормально отработало, два раза трейсбекнуло.

постить - много

25.01.2013 11:18 355 522 C3750-IPBASE-M-get_spanning_tree.NO_traceback

25.01.2013 11:18 302 869 C3750-IPBASE-M-get_spanning_tree.traceback

по поводу чего ругается-то?

в общих чертах

lexus-omsk первый кусок - отработавший, второй - трейс http://pastebin.com/MYmXHZiX

dvolodin, чего-то не контачит

а черт, он сбежал

пинговалка новая не работает

ufir: что-то я не пойму, содержимого переменных толком не видно в трейсе, что там в R[2]?

Похоже, в некоторых случаях что-то отличное от того, что там перечислено в скрипте... состояние порта же может быть разным во время разных запусков скрипта

так и я о том же... но как это отследить

а нет, работает

только алармы не поднимает

а у меня подняла несколько

странно

сейчас проверял

положил железку

в алармах только упавший eigrp

и уведомления на почту не пришло

у меня висят несколько NOC | Managed Object | Ping Failed

может это старые

ufir, ты обновлялся с утра?

да ;)

но они висят полтора часа уже

дважды странно

ufir: закоммитил исправление для Cisco.IOS.get_spanning_tree

ура, здОрово ;)

dvolodin, провел следственный эксперимент, положил железку на минуту, аларм не поднялся

tcpdump'ом посмотри, пинги идут на нее

и еще

в монго

а почему некоторые иконки стали блин оранжевыми ?

db.noc.cache.object_status.find()

ufir: упало

А в network map zoom работает? А то при уменьшении картинки он начинает "обрезать" иконку

вроде работал

dvolodin, tcpdump icmp вообще ничего не показывает

хотя некоторые железки он покрасил оранжевым (имхо, лучше красный, оранжевый для алармов оставить)

Я тоже помню, чт работал. Сейчас начал очень странно работать. При уменьшении картинки вместо масштабирования, начинает отрезать кусеи от нее

dvolodin, вопрос снят, я сам дурак

zi_rus: ?

в конфиге не ту секцию настройки прописал

не то отключил?

заработало?

да

ну чудно

дальше можем реализовать адаптивный интервал для пинга

и, абсолютно случайно и почти забесплатно - outage report

мы все равно отслеживаем изменение статуса в таблице

достаточно сделать еще одну таблицу с историей простоев

шикарно, этот репорт в новый UI сразу создать и возможность выгрузки в csv/html

типа <объект>, <статус>, <время>

или даже еще проще

<объект>, <время начала простоя>, <время окончания простоя>

zi_rus: держится попингуйка?

dvolodin, не понял, в смысле ложных аварий? они не так часто, надо хотя бы недельку. слушай, тут такой момент я не догнал, вот я поправил в конфиге свой косяк, рестартанул нок, он пропинговал и прислал кучу алармов, это все актуальные, железки еще не установ

лены, так вот по этим же железкам с СА и на карте отметки, что они недоступны, стоят еще с утра, когда я обновился но еще не испортил конфиг, но в ФМ алармов не было, потом я поправил, и перезапустил нок, поднялись алармы и пришли письма. как это понимать,

он при перезапуске не будет случайно переоткрывать все алармы или это просто какой-то глюк был?

он при перезапуске действительно переподнимет алармы

наверное, надо сделать типа галочки - что железка действительно должна лежать

типа плановых работ

или is_managed снимать с них

dvolodin, сделай сразу, я думаю это вещь решается где-то рядом, чтобы аларм не поднимался если по железке еще не было успешных пингов

хм

подумать надо

и что-то тест опять провалился, выбрал один свой свич кладу на него линк, ждал 5 минут, аларма нет, смтрю tcpdump, на этот ip пинги не идут

Trap source IP верный

в профиль общий, как у всех, включена проверка пингами

и эта похоже не одна такая железка

dvolodin, я нашел еще раз в чем косяк, когда я параметры ping_instance и ping_interval указываю в конфиге активатора в секции activator, он перестает пинговать, удаляю, все начинает работать

хм

а что ты указываешь в конфиге?

да прям тоже самое ячто в дефолте

скопировал и вставил

только что проверил

нормально все

гистерезис только запилите

чтобы флапами домовые свичи не доставали

dvolodin, странно, действительно, стер, заново скопировал, нет проблемы

а как созданный interface profile куда-нибудь применить ?

жесть, судя по опросу, все используют только циски или длинки

ufir, в ивентори вешаешь на физический порт

zi_rus не, у меня много хуавеев, старых длинков, жуниперов и еджкоров с кьютечами

то есть из двух голосов один из них твой

zi_rus в inventory->interfaces там где у железяки physical - там только link/unlink

ufir, пятый столбец

zi_rus эк оно там затарено ;) не подсказал бы - в жизни внимания бы не обратил

по-моему это одна из очевидных вещей, есть куда более сложные

я тут еще подумал, может логотип, который в углу висит в векторном формате лучше сделать

он и масштабирутеся лучше и под ретину и и под большие экраны

и весить должен меньше, он вроде простой

простой совсем

да, надо SVG подложить

допилите плиз скрипт для хуавея, чтобы дискаверил физические интерфейсы

а что он разве не дискаверит

неа. только аггрегированные и л3

странно

а я обновиться хотел

у меня в инвентори полно интерфейсов

с хуавеев 2326

вот он чего дискаверит http://pastebin.com/R8c0inKp

железяка VRP (R) software, Version 5.50 (ME60 V100R006C05SPC600)

ну у тебя ME да

хуавеевский брас

я знаю у местных домосетей которые инвестиционные - в почете :)

L3-bras

работает нормально... правда допиливали софт почти года 3

только я больше 10 тикетов открывал

ну вообщем он не дискаверит физические интерфейсыф

get_interfaces смотри

и что ему мешает?

а я хз

но с его точки зрения, гигабит - это и гигабит, и десятка

display interfaces покажи

у них вообще странные названия интерфейсов

MEth например

вот принер с живой железки

InUti/OutUti: input utility/output utility

Interface PHY Protocol InUti OutUti inErrors outErrors

Aux0/0/1 down down 0% 0% 0 0

Eth-Trunk1 up up 33% 8% 0 0

GigabitEthernet1/0/0 up up 33% 8% 0 0

Eth-Trunk2 up up 0.01% 0.01% 0 0

GigabitEthernet2/0/0 up up 0.01% 0.01% 0 0

GigabitEthernet0/0/0 down down 0% 0% 0 0

GigabitEthernet1/0/1 down down 0% 0% 0 0

ufir, а ты откуда?

вот с сабами

GigabitEthernet4/0/0 up down 6% 0.89% 0 0

GigabitEthernet4/0/0.155 up up 0.01% 0.01% 0 0

GigabitEthernet4/0/0.185 up up 0.01% 0.01% 0 0

zi_rus из Марий Эл

почти рядом

а ты откуда ? ;)

НН

zi_rus: попробуй последний патч, будет в noc.fm.outages историю аварий складывать

один только вывод get_interfaces занимает -rw------- 1 root root 2175572 Jan 25 15:22 bras-2-out

dvolodin, обновился, куда смотреть?

ufir, всего 240км

zi_rus: 3-4мс )

dvolodin, я не знаю как по нормальному посмотреть, но как смог придумать

> db.noc.fm.outages.find()

{ "_id" : ObjectId("51026ed8f3b6821707000081"), "start" : ISODate("2013-01-25T15:39:04.191Z"), "object" : 2423 }

{ "_id" : ObjectId("51026edbf3b68217070000aa"), "start" : ISODate("2013-01-25T15:39:07.253Z"), "object" : 2438 }

...

репорт бы теперь по этим данным налабать

редактирование юзверей у кого-нибудь работает ?

zi_rus а у тебя что, тоже такой хуавей-брас есть ?

нет, просто пробил по whois ip с пастебина

думал ты ближе

километров на 200

=\

ufir: нет, он сам хуавей, правда без браса :)

да уж

можно было радоваться

только как работать в конторе которую не уважаешь

хм

чота не получается у меня нихера

пробовал скрипт поправить - не падает, но и не дискаверит ничего

dvolodin, ну а что. я уважаю качество, а эта контора, по крайней мере та ее часть что занимается производством железа, не производит качественных продуктов, вся их так называемая успешность и крупные клиенты это лишь от того что они готовы продавать деше

вле остальных, а у крупных клиентов как раз принимают решение люди которые в первую очередь смотрят на цену

мне повезло, я еще не сталкивался с их железом, но уже наслушался счастливых клиентов

или например правило хорошего тона в программировании, зачем когда они пишут софт в различных версиях вывод одних и тех же команд различается

интересно для хуавея тоже софт в индии пишут

или все же в китае

ну у них R&D вроде как по всему миру, так что все возможно

а кто тут злостный хуавейщик ? почините мне скриптеца

вон у циски show ip route появился еще во времена динозавров, версия 9,2, я даже не могу найти когда она вышла, и все четко одна команда на многие годы и многие версии

и это я не говорю про забагованый софт, ошибки есть у всех, но когда они заявляют что так и задумано или делают тебе фикс прямо под конкретную железку не отправляя его в апстрим, это тоже о чем-то говорит

dvolodin, с новой пинговалкой нагрузка на цпу сервера стабилизировалась на одном проценте, уровень фоновой нагрузки, красота

какой там самый "читаемый" get_interfaces ?

и нагрузка на сеть снизилась, был 8,6кбита/с, стало 3,4

это брызги на гиговом интерфейсе, но в release notes можно записать "уменьшилась в 2,5 раза загрузка сети"

снизилась потому как оптимизирован обмен между SAE и активатором

с активатора отсылаются только изменения статусов

и они уходят на SAE пачками раз в секунду

активатор стоит на том же сервере, сеть не задействуется

а

то есть в других случаях разница будет еще существенней

в общем это одно из самых полезных изменений за последние полгода

софт для хуавея пишут в индии

VRP у них базируется на VxWorks

ето мы знаем

один фиг - нет интерфейсов, не дискаверит ;)

мне очень нравились у них файлы ARJ :)

которые распаковывались при загрузке

zi_rus: я думаю, загрузка интерфейса упала из-за того, что пинги стали сильно равномернее

ну в общем теперь надо адльше двигаться

к графикам :)

или хотя бы к учету топологии в ФМ, чтобы падениежелезки не вызывало тучу алармов по связаным причинам

меня например немного напрягает что одна железка упала а лармов 30. потому что каждый сосед решил сообщить что eigrp сосед пропал

ARJ это круто

очень странные вещи с новой пинговалкой творятся, она похоже отсыхает через какое-то время

попробую понаблюдать

и еще нет переменной чтобы ее отключить, вдруг кому-то нет необходимости в ней

такс, ну инет я себе разрулил..

что там нужно еще по ежикам подтянуть?

ты бы это - раз в земле обетованной

шаббат бы соблюдал

а я не подписывался)

иди водки лучше замахни

водочка ок, да)

а я тебя в понедельнег попенаю, расскажешь чо там за дзен с ежами

кстати кьютечи - ты писал ?

но ты зашли

на почту

не, не я

в логах канала покопай

да логи канала... это просто логи...

тут рыть затрахаешься

мои только SCE и Opticin с куском Edgecore

сделали бы, блин букварь, ткак писать скрипты и кастомизировать их под разные коробки и версии софта ;(

ufir: думаешь, уже пора?

=)

как будто примеров мало)