nocproject.org

dvolodin про патч. пока не будет 90 % событий определенно то искать что-то очень не удобно

wad_: прямо сейчас наблюдаю 99%

на 1M событий в сутки

ну тебе хорошо.. ты сам это все делаешь..

а мне щас разбираться как это заводить некогда.. а ловить проблемы уже можно...

А вот, кстати, и проверю

> db.noc.events.active.find().count()

1180993

> db.noc.events.active.find({"raw_vars.message": /%CSM/}).count()

3

вторая операция выполняется около 3 секунд

у мну первый раз поиск тормозит сильно, а потом не заметно..

такое ощущение что он базу докачивает в память... :-)

неа

я же говорю - mmap там

википедия Реальное считывание с диска производится в «ленивом» режиме, то есть при осуществлении доступа к определённому месту.

да

там такой же paging, как и для свопа

в целом все хорошо, только на соляре пухнут снапшрты :)

потому как монга не стесняется и гоняет данные как хочет

zfs?

да

ограничить диск по размерам ?

зачем?

просто ежедневно делаются снапшоты зон

и перед апдейтами noc

ааааааа

сейчас за день набегает 3 гига изменений

в целом по фолту - вполне реально натренировать его за неделю

для конкретной сети

если там - совсем уж неподдерживаемое железо

вот еще бы от CUCM чего-то получить :-)

а чего, не отдает?

CCM вроде чем-то делился

Хотя после pbx`n`sip на кисковскую офисную телефонию не тянет совсем :)

фолтить телефонию мы будем на следующем этапе

:)

гляжу сейчас в потроха SPECTRUM

по кискам он распознает около 900 трапов

hi

почему может быть такое, что один скрипт отрабатывается нормально - а другой - нет

2011-08-12 08:13:20,538 script Cisco.IOS.get_version(core-sw)

2011-08-12 08:13:21,565 MRT task=19/19 object=core-sw(10.200.200.56) script=Cisco.IOS.get_version status=completed

2011-08-12 08:13:38,620 MRT task=20/20 object=core-sw(10.200.200.56) script=Cisco.IOS.get_cdp_neighbors status=running

2011-08-12 08:13:38,621 script Cisco.IOS.get_cdp_neighbors(core-sw)

2011-08-12 08:15:40,234 script(Cisco.IOS.get_cdp_neighbors,core-sw,**{}) failed: Cancelled

2011-08-12 08:15:40,237 MRT task=20/20 object=core-sw(10.200.200.56) script=Cisco.IOS.get_cdp_neighbors status=failed code=20 error=Cancelled

а если руками прогнать?

дайте ссылку на доку где написано как это сделать ;)

ufir> http://redmine.nocproject.org/boards/3/topics/1310

или проще ./noc debug-script get_interfaces 192.168.13.103

2011-08-12 09:51:41,589 event_proxy failed: code: ERR_INTERNAL

text: "RPC Call to event failed"

какие параметры определяет скрипт get_interfaces

там много чего http://redmine.nocproject.org/boards/8/topics/1540

в Service Activation › Managed Objects › нажимаю на "Configuration Managed" - и получаю трейс http://pastebin.com/s2vXqDRW куда копать ?

возможно, потому что конфиг еще не забрался, Configuration Management -> отметить нужный объект -> Action Get now

"Configuration Managed" - значит, что с этого объекта будет забираться конфиг скриптом get_config

main - shedules - cm.config_pull - можно настроить чтобы конфиги забирались по расписанию

н-да.... застрял.

2011-08-12 10:21:58,457 MRT task=33/33 object=core-sw(10.200.200.56) script=Cisco.IOS.get_config status=running

2011-08-12 10:21:58,457 script Cisco.IOS.get_config(core-sw)

2011-08-12 10:21:58,474 MRT task=33/34 object=7609-LAZ(10.200.203.1) script=Cisco.IOS.get_config status=running

2011-08-12 10:21:58,475 script Cisco.IOS.get_config(7609-LAZ)

2011-08-12 10:23:59,932 script(Cisco.IOS.get_config,core-sw,**{}) failed: Cancelled

2011-08-12 10:23:59,933 Map task 33 suddently disappeared

2011-08-12 10:23:59,933 script(Cisco.IOS.get_config,7609-LAZ,**{}) failed: Cancelled

2011-08-12 10:23:59,934 Map task 34 suddently disappeared

ну дык debug-script на get_config и смотреть чего ругается

wad_ в этом случае получаю "Error: Object not found: 10.200.200.56"

а, понял

там должна быть строчка CURL

2011-08-12 10:49:47,610 Tick

2011-08-12 10:49:47,964 [TELNET: 10.200.203.1] on_read: '\r\n% Error in authentication.\r\n\r\n7609-laz>'

2011-08-12 10:49:48,964 Tick

типа telnet://имя_пользователя:пароль_пользователя@10.200.200.56

либо объект из базы

скрипты заработали, спасибо

но при получении конфигов опять трейс http://pastebin.com/wp5dwmJn - каким скриптом это отладить ?

в дебаге я вижу что все отрабатывает

vcs_path в noc.conf поправьте

Exception Type: CalledProcessError

Exception Value: Command '['/usr/bin/hg', 'mv', u'~', u'core1']' returned non-zero exit status 255

при пустой repo path мы, соответственно получаем ошибку. а при указании чего-либо - трейс

а права на репу?

и еще - hg точно по тому пути лежит?

drwxrwxrwx. 2 noc noc 4096 Aug 12 11:13 config

да, разумеется

. /var which hg

. /usr/bin/hg

про права первым делом подумал..

странно - у меня подобное вылечилось правкой пути к hg и рестартом процессов нока

вот сейчас рестартнул - все заработало, благодарю

недавно тут обсуждали - но все равно мнения остались разные - на предмет того как и под каким юзером работать:

у меня так - нок под одноименным юзером, но его старт/стоп - из-под рута. обновление нока из репы - опять из-под нок

ой, и конфиги с семитонников распрекрасно слились ;)

да, я стартую тоже из под рута

как дойдете до игр с Peering Management - отпишитесь плз

обязательно ;) благо этого добра хватает

ufir: у вас насколько я помню - центос? не напишите краткий how-to по установке?

типа http://redmine.nocproject.org/projects/noc/wiki/InstallationDebian6

Хорошо, попробую. только под центос 5.6 у меня так и не получилось завести noc project, под 6 - без проблем, но с рядом нюансов

вот как раз ньюансы и интересны

~ он разворачивать не будет - полный путь надо

inoyat_kayumov: а что с peering management?

AS49813 у нас на нем жила

не совсем с ним - у нас "в голове" 12406 - с которой проблемы - точнее с ее поддержкой в ноке

Вышла замечательная свободная билинговая система http://www.abills.net.ua/ наконец они сертифицировали коммерческую версию в РФ.

Так что для провайдеров выбор биллингов пополнился ещё одним тяжеловесом в лучшем смысле этого слова.

Он тоже может управлять коммутаторами Cisco, ZyXEL, DLink строить staticvlan и есть интерактивные карты...

Система замечательно спроектирована, очень хорошо продумана но на перле... а я люблю питон.

inoyat_kayumov: эээээ, да ну ладно

у нас на ноке висела 12404

правда с IOS AR

gnu-linux: можно подумать на тему интеграции с ними

смысл им делать provisioning/fault management/inventory у себя?

У нас общего только BSD лицензия.. Оно больше похоже на бухгалтерию, кучу отчётов счетов, банковских платёжных систетем...

я в курсе

им надо делать активацию сервисов как-то

В зависимости тянет пол CAPAN

ОНО НА ПЕРЛЕ

у нас это явно получше будет

да пожалуйста, хоть на pl/brainfuck в постгресе

SOAP запрос можно и из перла кинуть

Лучше вам с ним поговорить...

inoyat_kayumov ну вообщем я ставил так http://pastebin.com/DTa4rtQ5 если вкратце. работает, ошибок нет

ufir - на wiki это

у кого-нибудь есть в сети длинки 3526?

у меня раньше СОРМ на таких был ;)

а так есть несколько

zi_rus, есть

`kk, сможешь проверить snmp 1.3.6.1.2.1.2.2.1.7

snmpwalk -v 2c -c <community> <ip> 1.3.6.1.2.1.2.2.1.7

старые добрые 3526

похоже, это самый живучий свич у них

zi_rus, вывод тебе ?

или чего

отрабатывает норм

просто факт, оно должно было показать ifAdminStatus

там все правильно

?

да

Boot PROM Version : Build 5.00.009

Firmware Version : Build 6.00.B48

все нормально значит

длинк поддерживает стандартные мибы как и написано в спеке

подскажите, что можно в nginx подкрутить, чтобы он не так жестоко кешировал. а то обновил нок, перезапустил его, а вывод скриптов как до обновления

и это не браузер, проверял в трех разных

он не кеширует пока его не попросить

https://spreadsheets.google.com/spreadsheet/ccc?key=0AphXXSAPdVHxdGtSSjVKNEMwOXMyRmFzWnRLOEhKOEE&hl=en_US

вот, наш прогресс

коллеги, классов разных уже дофига, присылайте правила классификации

zi_rus: у меня штук 10 DES-3526 будет...

мы уже проверили

dvolodin, тем не менее в консоли через дебаг одно, а в ноке другое

?

get_inteface_status. обновили чтобы показывал состояние только физических портов

./noc debug-script DLink.DxS.get_interface_status... показывает как надо, а в веб показывает кучу вланов и прочего мусора

эээ

активатор перезапустили?

при обновлении скриптов надо активатор перезапускать

весь нок перезапускал

/opt/noc/scripts/noc-launcher.py stop

/opt/noc/scripts/noc-launcher.py start

доброго.

./noc events -c Unknown | Syslog -a reclassify работает ОООООчень медленно .. и машина почти раком стоит....

насколько медленно?

20к записей... работает уже почти 2 часа

меня большеволнует что машина тормозит ... виртуалка 4 ядра...

4гб памяти быстрые винты....

лажа какая-то

угу

а где поглядеть скорость?

mongostat что позазывает?

в локах все?

вопрос по логике алармов: есть ping failed для объекта и есть link down на родительском объекте... кто из них будет root причиной?

Или зависит от причины пропадания пинга, которую мы изначально не знаем

допустим, подох свитч и из-за этого упал линк в его сторону... или порвали оптику, поэтому упал линк и пропал пинг поэтому

нету локов

Вот так С биллинга по SNMP рулят коммутаторами http://abills.net.ua/wiki/doku.php/abills:docs:modules:snmputils:ru

о начали локи валится до 15 %

есть у меня несколько десятков каталистов в разных районах. вот добавил я один из них в managed objects, прописал все параметры - а можно мне теперь этот объект клонировать, ибо различаются они у меня только по именам/ip-адресам ?

да

там save as new есть кнопочка

или из CSV файла залить

lexus-omsk: когда будет топология в базе, то аварией будет link down

последствиями - все отлетевшие пинги

http://redmine.nocproject.org/projects/noc/arch_decisions/show/5

понял, спасибо

когда придумаем формулу - если будет много отлетевших пингов, будет расти и приоритет

я ручками причину сейчас указываю, пока нет топологии... вчера ещё смс оповещение тестировал, опять же из-за отсутствия топологии куча смс вместо одной главной полетела

так забанили на шлюзе email 2 sms похоже )

ну да

все постепенно :)

мля, полсерверной китайцев, это феерично.)

телеелевизионщики у нас там оборудование поставили, видать сами не разобрались, выписали китайцев)

что они у тебя в серверной делают?

размножаются

в китайской технике, без китайца неразберешься ж)

Так попроси их, сожет они тут же все известные баги в прошивках исправят?

разве что внутрь хуовея залезут, пакеты руками фовардить)

беда в том, что нету у нас хуовея)

у каждого китайца есть свой мааааленький хуявей

можешь попросить показать ;)

гг, в штанах поди прячет да?

ага

не, я как то традиционной ориентации)

шутки шутками а я несколько лет назад ходил в офис хуавея в Крылатском согласовывать схемы организации связи для МгМн

Сам в Строгино живу, решил пешочком прогуляться через троице-лыково

там минут 45 топать

так и приперся к ним в свой ДР с утра :)

Кубик на несколько этажей битком набит китайцами

со всякими милыми аттрибутами вроде послеобеденного сна и групповых прогулок по кругу

весь зал реально после обеда достает матрасики и падает на пол поспать минут 40

и по двору кругами как в тюрьме ходят

незабываемые ощущения :)

плакатики типа "не болтай, за тобой смотрит враг из ZTE"

мило -)

ага

они еще мелковаты

=))

стоишь в корридоре, а вокруг тебя копошится мелюзга всякая, суетится

хех, вот и у меня сегодня ДР, и я увидел китайцев - это судьба ITшника?)

поздравляю

:)

спасиб)

hb -)

thnx)

главное не смотри на индусов)

да ладно тебе

ребята с TAC Force10 - милейшие люди

мы как-то раз сколкнулись с packet loss'ом на exascale

реально пропадало несколько пакетов в час

но этого достаточно, чтобы обвалился корейский говнософт

началось днем

к вечеру локализовали у себя, что причина в e-шке

сделал case, доехал до дома

сначала мы с индусом мексиканского происхождения и по имени Хосе сидели по 5 утра

проверили фабрику, навесили счетчики

Потом Хосе устал и запросился домой, сидели с Кумаром уже из Индии

к 9 утра доперли

к 11 добили нафиг

всю ночь читал опусы по индуизму и значительно продвинулся в понимании индусов :)

нескучная ночка

утром задавал всем вопросы - всякий ли кришна является аватаром вишну?

`kk: мы с этим ящиком не одну ночку в обнимку просидели

сидели с Кумаром - это зачотно)

_4ePTeHok, ага -)

http://force10networks.com/products/exascale.asp

освоил ящик, можно сказать, как облупленный

меня даже научили проваливаться там в DDD и дебажить netbsd'шное ядро

:)

весёлый ящик

И с SRX5600 juniper'овским тоже наобнимались

там софт поначалу совсем глючной был

пока мы спим - ты ищешь баги-)

уже нет

но геймеры-задроты даже не подозревали, какой ценой им давались их рейды и осады

;)

Дим, а затею с общей KB не похоронили еще?

нужное ведь дело

не похоронили

я мозгую

а, ок

на фоне опусописательства на хабре поперли мысли

я уже додумался до социальной сети для роботов, объединяющую системы fault management в разных сетях

=)))

они поработят мир?)

так и до скайнета недалеко)

а вообще прикольно - соц сеть для роботов)

так и представляешь как хуовей постит на стенку вконтактике какую нить хрень)

не

NOC, фолтящий juniper объясняет сородичу на кисках, какие чудные косяки он словил с MPLS :)

=))) забавно ведь

А если без шуток - возможна P2P система для расшаривания опыта

и KB в том числе

и уже из нее обновлять правила в репо

stand alone систему бы до ума довести

а ее это вообще никак не касается

:)

это отвлекает усилия от нее

нисколько

я обычно отвожу определенное время на произвольные фантазии и записываю всякий бред

zi_rus, дык подключайтесь

чего все на Диму сваливать

языки надо изучать, некогда

вот всем некогда)

а получить готовый и вылизанный продукт нахаляву хочется)

а кому не хочется?

ну вопрос в том, что к хотелке надо и усилия прикладывать. Обычно либо мозги/руки, либо таки финансы)

а где же халява?

халява в том, что не с нуля сами делаете)

кому надо финансы прикладывают и сидят тихо :)

кто делал патчик для NetPing?

дак и я о том же

если у меня к примеру на каждый район выделена сеть управления /24 - то мне надо создавать столько же аггрегаторов ?

или я перепутал

активаторов?

да, да

да нет, хватит пула из 4 на одном серваке

ошибся

сколько железок всего?

около 2000

одного пула хватит

я там не нашел такое - пул активаторов

ufir, длинк3028 есть ?

или мне создать один, допустим с маской /16 ?

`kk остались только 3010

просто у 3028 на старых прошивках телнет еле работает.

напарывался на это -(

и get_confiig по таймауту отваливался

а noc работает с дсламами хуавей ?

`kk а в каком конфиге настраиваются эти таймауты ?

в профиле воде. на вскидку не помню

ufir: активаторы никак с масками не связаны

это просто демон

который ходит с какого-то адреса

тогда зачем ему диапазон адресов ?

на случай если он из на ната пробивается

теперь понял

а адреса задаются на managed obоусеэf[

где-где?)))

ну ты понел (С)

чем ближе к концу недели, тем больше флейма

Вставлю и свои пять копеек. Есть новая прошивка на DES-3028. С Ченжлог. Налетай!

что означает эта ошибка:

2011-08-12 16:07:23,474 MRT task=83/241 object=cct01-yla-s19(10.200.200.39) script=Cisco.IOS.get_mac_address_table status=failed code=15 error=All activators

are busy in pool 'noc'

Dmitry1, кидай !

ufir: у активатора есть лимит на количество задач, которые он выполняет

настраивается в конфиге

понял

надо подобрать, сколько одновременных скриптов он будет выполнять, чтобы систему раком не поставить

подбирается, как я понял - экспериментально, или есть рекомендации ?

~50 для начала

max_scripts в etc/noc-activator.conf

Если прописать такое в noc-launcher.conf

[noc-activator]

enabled = true

user =

config.0 = etc/noc-activator.conf

config.1 = etc/noc-activator.conf

config.2 = etc/noc-activator.conf

config.3 = etc/noc-activator.conf

то будет запущено 4 активатора, которые склеются в пул

активаторов лучше пускать пропорционально числу ядер

здорово придумано ;) благодарю за подсказку

с пулом надежнее

для начала можно пустить активаторов по количеству ядер

я так и сделал, запустил 4 пула

http://redmine.nocproject.org/projects/noc/irclog/2010.12.10.html - а как сделать "adjust kernel limits or run activator from root" ?

noc-launcher.conf -

[noc-activator]

enabled = true

user = root

а это не криво ли с точки зрения секурности ?

_4ePTeHok ога,thx - работает хотя ... можно и iptables наверное

ну иначе надо крутить на бинд системного порта не от рута

т.е. чтобы нок ловил логи от моих цисок, мне надо настроить listen_syslog - а сам сислог вырубить чтоли ?

ну на бзде у меня оно не требует отключать, так как не слушает в дефолте

а так да

Народ, кто сможет накидать мне ивентов для D-LInk по STP Loopdetect и DULD