nocproject.org

приветствую всех!

dvolodin: такой вопрос: у меня баг в get_vlans для zyxel - когда имя влана пустое (а такой случай возможен), то regexp матчит всякий мусор

и что-то я не соображу, как сделать, чтобы возвращался пустой результат, который бы я мог потом как-то обработать

какой там regexp?

"^\s*Name\s+:\s*(?P<name>.*?)$"

и вот такую вот штуку надо распарсить:

802.1Q VLAN ID : 2360

Name \t\t:Management

Status \t : Static

т.е. когда имя пустое, то матчится Status, несмотря на $ в regexp

главная засада в том, чтобы регексп в целом срабатывал, но при этом не получать ошибку типа нет такой группы в match.group...

там re.DOTALL?

нет, просто re.MULTILINE

может вместо \s* сделать [ \t]*

?

http://redmine.nocproject.org/projects/noc/boards/4

на старом форуме было несколько правил для zyxel

Портаните их что-ли

http://redmine.nocproject.org/boards/4/topics/78

это тоже

по-моему, не в пробельных символах суть... может объясняю не так... проблема в том, что не может быть пустая группа, т.е. если она пустая, то вообще не срабатывает регэксп...

у меня вот идея сейчас появилась - два раза проматчить, если первый (без имени) сработал, то делать соответствующую обработку, иначе - другой регэксп, нормальный

Правила гляну. часть из них уже сделана. просто я добавляю их по мере появления сообщений в логах. Вчера вот специально включил слать логи на домовых свитчах, чтобы больше событий новых наловить

а если посли скобки группы поставить ?

тогда у меня вылетит на match.group("name") наверное

У меня нок вчера упал и немогу завести... В FM попало какоето сообщение и mongo не может его записать в базу..

так проеврять

Где бы очередь очистить?

gnu-linux: noc.events.new посмотри

или noc.events.failed

Какой командой в монго лесть кто знает?

гдето у нас здесь проскакивало, не могу найти как в ноковскую монгу залесть...

в shell`e пишем mongo

use noc

кто-то просил из бэкапа развернуться попробовать...вообщем не получается

по шагам: 1. ставим чистую систему 2. ставим нок. 3. берем бэкап базы. 4. пытаемся развернуть - получаем ERROR: invalid byte sequence for encoding "UTF8" в различных вариациях

беглое гугление дает вариант типа iconv -c -f UTF-8 -t UTF-8 -o noc.dump noc-db-2011-08-05-09-42.dump - тоже не помогает

gпоглядеть чего есть.. db.noc.events.new.find()

А как с монги удалить например 4e42422d7b051b15f4005980

db.noc.events.failed.find() страшные трейсы...

Как вообще почистить все события в FM

gnu-linux,root@noc /opt/noc# mongo

MongoDB shell version: 1.8.2

connecting to: test

> use noc

switched to db noc

> db.noc.alarms.active.remove()

> db.noc.events.active.remove()

> exit

bye

пробовал обновится так даже post-update не давало сделать http://pastie.org/2354143

Чёто как обезьяна в монге подёргал (пока ничего не удалял) post-update но noc-classifier и noc-correlator валятся.. Хотя трейсов в sae уже нет..

Что делать? Хочется найти это сообщение которое так дико всё вешает...

gnu-linux, удалить все как я написал не подойдет?

Зачем удалять то что уже прокласифицировано и лягло в базу?

Логичнее удалить db.noc.new.remove() которые заклинело на класификации...

gnu-linux, это если не жалко, я вот просто все сношу, у меня пока нет важных аварий в алармах, если вам жалко, видимо надо искать правильную команду

Мне не желко:)

tracebak в любом случае нужен

Вот, надо же найти сообщение которое так всё переклинело...

db.noc.events.failed.find() хватит?

Там, по ходу когда я просматривал трейсы то были две ошибки:

да

1 unicode ктото по русски в сыслог пишет..

2 монго материлась что объект с таким ИД в базе уже есть...

это ерунда - отложили событие в сторону и забыли

в чем причина, если ставлю галочку Per-Vlan MAC discovery в Topology Diskovery, то валится ошибка http://pastie.org/2354246, а без нее не обнаруживает накаких связей между объектами

смотреть надо, в issue это

какие железки?

длинки все

на одном алкателе та же песня

get_topology_data с них что-нибудь возвращает?

проверил на одном, arp, mac, lldp - все что есть находит

PVST тут вообще ни при чем - валится в маке

там в traceback в конце можно развернуть стрелочку и посмотреть значения переменных

мне нужно то, что лежит в d

self

<noc.sa.apps.topologydiscovery.topology.mac.MACTopology object at 0x808382750>

object_addresses

{u'172.18.244.56': <ManagedObject: Aggr-ats77-test-1>}

d

[{'interfaces': ['CPU'],

'mac': '00:22:B0:2E:D9:21',

'type': 'S',

'vlan_id': 800}]

o

<ManagedObject: Aggr-ats77-test-1>

это?

2011-08-11 10:30:23,014 Daemon noc-correlator[#0] started as PID 10282

2011-08-11 10:30:25,017 noc-correlator[#0] daemon is terminated with status 10282

и так всю ночь

correlator запущен с дебагом

Loading RCA Rules | Loading rules | 76 rules are loaded. 0 combos| Loading triggers | 0 triggers has been loaded to 0 classes

и так по кругу

zi_rus: нашел, кажется

changeset: 4339:d77e70db1e0e

dvolodin, жду багфикса

`kk, у меня что-то подобное было из-за проблем с постгресом

zi_rus: r4340

2011-08-11 10:36:33 MSD LOG: could not receive data from client: Соединение сброшено другой стороной

2011-08-11 10:36:33 MSD LOG: unexpected EOF on client connection

`kk: если так его запустить: ./scripts/noc-correlator -f start

что будет?

dvolodin, почти получилось http://pastie.org/2354353

http://dpaste.com/591804/

r4341

`kk: это кто сбрасывает, монго или постгрес?

логи с постгреса

в монго нашёл Thu Aug 11 10:38:10 [conn158852] auth: couldn't find user noc, noc.system.users

ну понятно, процесс-то покрашился

это ерунда

dvolodin, r4341, дискавери прошел нормально но связей между объектами не нашел ни одной

надо смотреть, что ему dlink'и отдали

get_topology_data с любого dlink'а что отдаст?

маки он должен отдавать, как минимум

мне чего подкрутить?

коррелятор в дебаге пустить

dvolodin, вот пример с двух железок подключенных напрямую http://pastie.org/2354398

у него и так loglevel = debug

ты руками пусти

zi_rus: шедеврально просто

что это за тупая скотина такая?

dlink?

да

./scripts/noc-correlator -f start так не дебаг? тогда как

`так и запускай

что перед смертью напишет

у меня тоже коррелятор падает по кругу http://pastie.org/2354326

zi_rus: поправлю обработку remote_port_subtype для macAddress

lexus-omsk: ./noc sync-collections его не выправляет?

опа

сейчас буду разбираться

err-disable его убивает

http://dpaste.com/591804/

трэйс перед смертью

Вот

r4342 должен помочь

А выводы из этого самые неприятные

http://dpaste.com/591831/

вот так полнее

заливай фикс и делай sync-collection

косяк откровенный в mongoengine

сказано ему в embedded document, что поле обязательное

а ему плевать

запустился

угу

добрый прикол

теперь в алармах пусто

javascript проверь

zu_rus: я топологию с DLink снимаю только по mac. Попробуй всё другоэ отключить! MAC-Port bindings включи.

хм. сами появились -)

mac-port bindings - это отчет

да я по нём привязку клиентов к портам коммутатора высканиваю.

Зато видно что DLink маки отдают..

маки отдает

но вылезает два косяка

эта тупая скотина не может определиться с именем интерфейса

то оно у него T1, то 25

не всегда класифицирует события от SAE. после рекласификации видно, что это "pm probe"

да, на pm probe я не делал класса пока

понял

у меня тоже по классификации вопрос: там регистрозависимый поиск похоже? В разных прошивках шлёт то с заглавной буквы, то нет

соответсвенно, то работает правило, то нет

можно сделать конечно как-то так [Ss]ystem... или лучше как-то по-другому обойти?

IGNORECASE сделать?

как бы тормозить не начало с этого

dvolodin, та-дааам http://pastie.org/2354491

ну вот я и спрашиваю, что может проще мне в правиле это учесть и всё

да, лучше в правиле

тем более пока единичный случай

zi_rus: что возвращает dlink на get_lldp_neighbors ?

http://pastie.org/2354511

в html форме в поле ремот_порт пишет мак

для 3627, а для 3200 пишет правильный порт

а для нока нет планов по функционалу адресной базы? чтобы можно было создавать улицы/здания и указывать их в качестве расположения объектов. или это в принципе расходится с архитектурой системы?

Ченжлог для DGS-3627 серии

2.84.B11 1. Fixed issue with LLDP.

Вопросы?

Dmitry1, Version 2.84.B15

Уже есть 2.84.B17

Кинь на pastie.org вывод команды show lldp remote-port для DGS-3627

Unbeerable: адрес можно прописать в описание объекта.. Я так и зделал.

А то что-то мутно с 13-м портом

gnu-linux, это не очень юзабельно. я бы хотел функционал с фильтрацией/поиску по улице/дому

Кстати, remote-port - это то, что отдает соседний коммутатор.

у нас была самописная база с таким функционалом, то в других вопросах она полный ад, в которых нокпроджект прекрасен

s/то/но/

Т.е. MAC адреса тебе скорее всего отдают DES-3200

Unbeerable: есть такие планы, да

Попробую в MO в поиск ввести улицу, дом,... У меня ищет, фильтрует...

gnu-linux, а если я захочу сделать экспорт всех адресов для "карты сети"?

Ну на моей карте оно адреса отображает, с описания.. Если все адреса в описании писать причёсаными: <город>, ул. <улица>, д. <дом>[, кв. <квартира>] то потом можно будет легко распарситьи экспортировать...

костылинг :)

Ну тогда ждите карты сети с координатами и базой адресов...

Dmitry1: я не могу понять, почему у него мак не конвертируется в нормальный формат

Unbeerable, у меня так же адреса в описании. жить можно )

И не должен. По идее это должен быть Port ID. Почему туба китайцы впихнули MAC адрес - знают только они. :(

zi_rus: r4344 должен пофиксить проблему с записью маков

Dmitry1: да не в этом дело

они имеют полное право пихнуть туда и мак, коли указали ему subtype 3

dvolodin, какие-то предварительные запланированные сроки на это есть?

только почему он не сконвертировался

Понял. Сейчас буду копать в эту сторону.

zi_rus: я хочу тушенку с get_lldp_neighbor с этого свича

это уже мне копать

Unbeerable: зависит от бюджета мероприятия :)

давайте начнем формировать требования к базе адресов

dvolodin, что именно с ллдп

отлично, я готов

Unbeerable: готов формировать бюджет мероприятия? :)

zi_rus, http://redmine.nocproject.org/projects/noc/wiki/Canned_Beef

Кажись вот эти сообщения ложат ноковский FM на лопатки: http://pastie.org/2354261

dvolodin, :) я бы с требований начал

zi_rus: http://pastie.org/2354511 - вот с этого

нужна тушенка

"message": "Aug 10 16:46:30 sw-name system: MAC temperature value 132 exceeds its limit temperature value",

хы

какие зухели умные - температуру маков определяют уже

видимо, они имели в виду температуру чипа с коммутационной матрицей :) там 3 температуры есть: mac, cpu и phy

и опять в сообщении recover не шлётся имя сенсора (как и с fan)

f

а

то есть там MAC, CPU и PHY может быть?

а в целом - просто имя сенсора?

wad_, по восстановлению из бэкапа - а консолька на сервере поди koi8?

там если с дампа разворачиваешь посгрес кодировка pg-client должна быть такой же как у восстанавливаемой БД, иначе возможны нехорошие ситуации

средняя температура маков по свитчу это да, круто)

_4ePTeHok не знаю не востанавливал

ой, пардон, перепутал

<inoyat_kayumov> это ему выше

dvolodin, развели же на хабре опять разговор про рисовалки) как будто в них счастье

dvolodin почему может валится noc-classifier в логах пишет только 2011-08-11 16:39:57,012 Loading rules

в который раз отмечаю что твои комментарии к статье читать еще интереснее статьи))

Я уже с базы решил удалить все FM:

> db.noc.events.new.find()

> db.noc.events.event.find()

> db.noc.events.archive.find()

> db.noc.events.alarm.find()

> db.noc.events.fault.find()

db.noc.events.new.find() появляются и никуда не исчезают (только я их иногда тру)

_4ePTeHok: консоль везде утф8

из new все должен уносить коррелятор?

inoyat_kayumov, а cat postgresql.conf| grep client_encoding чего показывает?

пока ничего :) решил вчистую еще раз переставиться - потому как сначала постгре был 8, а бэкап делался 9кой

_4ePTeHok: Да уж, просвещаям народ понемногу

корелятор работает, не валится, валится только noc-classifier. Куда из db.noc.events.new ивенты переносятся?

inoyat_kayumov, я в обратку переносил - с 8 на 9

inoyat_kayumov: в обратную сторону не перенесется

я снес 8, поставил 9 - все равно не пошло. сейчас пробую чистую инсталляцию у же 9м постгре

Выкопал ошибку что класификатор пишет:

mongoengine.base.ValidationError: Unable to dereference <class 'noc.fm.models.EventClass'>:4e3cd7bf7b051b58d6000002

класс удалялся?

Да я переименовывал:

Сей час вообще удалил всё что написал по SENSORS Вернуть всё назад?

можно просто вытереть события эти

db.noc.events.active.remove({"event_class": ObjectId("4e3cd7bf7b051b58d6000002")})

не помагает дальше тот же матюк

я даже db.noc.events.active.remove() вытерал всё

а оно в active?

или в archive?

Наверно я чёто с этой монги не вытер.. Она уже и так сильно покоцана.. Как с неё всё вытереть,

Дальше mongoengine.base.ValidationError: Unable to dereference <class 'noc.fm.models.EventClass'>:4e3cd7bf7b051b58d6000002

я вытерал:

> db.noc.events.new.remove()

> db.noc.events.archive.remove()

> db.noc.events.new.remove()

> db.noc.events.fault.remove()

Может ещё чё не до тёр?

может проще полностью грохнуть???

Яза как?

остановить сервак и стереть файлы

rm -rf /var/lib/mongodb/*

?

rm -rf /var/lib/mongodb/noc*

Я бекаплю только постгрис..

dvolodin_, как бы всётаки отучить корелятор жрать память. словил максимум у себя - 1,3гб

у меня тоже корелятор отжирает больше гига...

и ростет потихоньку?

у меня да

методично по чуть-чуть откушивает..

Течет память?

да

пару дне назад : <dvolodin> хорошо, я посмотрю, может он слишком аггресивно root cause в разных позах устанавливает

во -)

Наконец удалось запустьть NOC.

Остановил нок, монгу. Вытер ВСЁ с /var/lib/mongodb/ и создал пустой каталог с правами монги /var/lib/mongodb/journal/

стартанул монгу, post-update и старт нока........

проще было в монге дропнуть базу

dvolodin: надо эту "дропалку" базы в вебморде нока прикрутить, чтоб когда монга клинит проще было её "дропать"...

:)

да не

я просто проверки допишу, чтобы не давала тереть объекты просто так

Лучше на перспективу проэктировать базы так чтобы всё что нужно было в postgresql а не критичное пихать в mongo

тогда дропать монгу не жалко..

фм в любом случае в посгресе ненужен

не та архитектура

будет тормозить и грузить

раскаталось из бэкапа

а подскажите - иногда сталкиваюсь да спросить забываю..."All activators are busy" - лечится?

dvolodin а добавить мелкую фичу?? http://redmine.nocproject.org/issues/180

к памяти корелятор съел ещё и 60% кпу -(

`kk, повтори, сколько у тебя объектов

у меня на 64 объекта цпу по нулям, а памяти 120 мег ушло

Добавил в FM SENSORS http://redmine.nocproject.org/issues/182

547 всего

теперь хочу мониторьть питение вот по такому алгоритму: http://www.apc.ru/support/forum.html?idq=8598&namet=%D2%E5%F5%ED%E8%F7%E5%F1%EA%E0%FF%20%EF%EE%E4%E4%E5%F0%E6%EA%E0%20-%20%EF%F0%EE%E3%F0%E0%EC%EC%ED%EE%E5%20%EE%E1%E5%F1%EF%E5%F7%E5%ED%E8%E5

Severity all на свичах

Какие идеи? Поддержку UPS в FM тоже хочется иметь...

`kk, такого я еше не делал, у меня только пинг фейлед

включи. посмотри -)

пока обожду ))

wad_: патчик твой смотрел

одна беда только - индекс по messageмне строить категорически не хочется

а перетряхивать миллион записей по запросу гоблина - не дело

кстати, что у нас в монго с full text search?

hi. ����������, ����� ���-�� � ����� �����������. ����������� ������������������. http://pastebin.com/eU8Q0XgP ������ � ���������� ����������� ������������, �� ��� ������� ��������� ������ - Processing: Script Cisco.IOS.get_topology_data � �����

(�� ����� ��������� ���)

wrong encoding

ok

нормальная кодитровка. Бывает тут что длинные фразы кракозябрами вылазят

ты прочитал?

да

ufir, читаемо ?

ну ок

" подскажите, может кто-то с таким сталкивался. операционка свежеустановленная. http://pastebin.com/eU8Q0XgP "

" причем в интерфейсе добавляется оборудование, но при попытке запустить скрипт - Processing: Script Cisco.IOS.get_topology_data в цикле"

`kk , видно?

да

это с длинными косяк такой, я хз из за чего

`kk ����

������ � ���-���������� ������� ����������, ������...

не вижу...

ufir, UTF-8 выставь в клиенте.

может у меня клиент как то автоматом переконвертирует

� ��� ���

UTF-8 display - ��������

pidgin forever !

ну чего, только я один его читаю чтоли)

по ходу да. Я только вопросительные знаки вижу

А я - умляуты

Народ, а у кого wifi есть в промышленных объемах

stranno

если верить тому, что я вижу с кисок, основные события будут

dot11 assotiated

dot11 disassotiated

и dot11 roamed

ufir: клиент какой? я утром поставил kvirc - видел все в вопросиках, пока принудительно утф8 не поставил. а от вас по-прежнему вижу вопросики

UTF8 у нас тут

сейчас видно ?

да

да

сделал как тут http://gentoo.ru/irc/charset написано ;)

hi. подскажите, может кто-то с таким сталкивался. операционка свежеустановленная. http://pastebin.com/eU8Q0XgP причем в интерфейсе добавляется оборудование, но при попытке запустить скрипт - Processing: Script Cisco.IOS.get_topology_data в цикле

в какую сторону копать - подскажите ?

test завалившийся - это не страшно

что в логах SAE и активатора

хм... в логах пусто. странно

а в логах и будет пусть - у вас собственно процессы нока запущены?

*пусто

2011-08-11 17:45:23,060 Running activator 'unknown'

2011-08-11 17:45:23,061 Loading profile classes

2011-08-11 17:45:23,351 Cannot find ssh keys. Generate one by 'python manage.py generate-ssh-keys' command

ага

оно честно сказало

с правами косячок

теперь постоянно:

2011-08-11 17:46:34,674 Protocol version negotiated

2011-08-11 17:46:34,674 In-bundle package. Skiping software updates

2011-08-11 17:46:34,677 Registering as 'unknown'

2011-08-11 17:46:34,680 Registration error: Unknown activator 'unknown'

соответственно лаунчер орёт:

2011-08-11 17:46:16,965 Launching noc-activator[#0]

2011-08-11 17:46:16,966 Daemon noc-activator[#0] started as PID 30513

2011-08-11 17:46:17,967 noc-activator[#0] daemon is terminated with status 30513

активатору надо имя в конфиге прописать и secret

и то же самое - в базе

(через вебморду)

понял

а в каком конфиге ?

noc-activator.con

все, понял - благодарю

заработало?

закоммитил классы для wifi