nocproject.org

может кто-то про snmp-трапы рассказать?

dvolodin: привет

ip в трапе прилетает так "=C0=A8=00=0B"

в правиле тип "type": "ip_address"

соответственно при классификации "Cannot decode variable 'ip'. Invalid ip_address: '\xc0\xa8\x00\x0b'"

посоветуй, на каком этапе это дело можно конвертнуть

это 192.168.0.11

а еше про мак, json ивента:

"1.3.6.1.4.1.171.12.23.5.2.2": "=8C=89=A5=8Cb=8B",

но в логах коммутатора 8C-89-A5-8C-62-8B, и правило разобрало "mac: 8c:89:a5:8c:62:8b"

как из "A5=8Cb=8B" конвертнулось "a5:8c:62:8b"?

правильно ли отображается json?

во вкладе Data ивента тоже "1.3.6.1.4.1.171.12.23.5.2.2": "=8C=89=A5=8Cb=8B"

или вот: в логах 50-67-F0-17-01-15, в data и json ивента: Pg=F0=17=01=15, в переменную берется мак 50:67:f0:17:01:15

эххх

в монге "=00=E0L\t=11=B4", в data и json не учитывается \t

"=8C=89=A5=8Cb=8B" из монги преобразуется в "8c:89:a5:8c:62:8b" гед лежит метод, который приводит разбирает в мак?

*где

MACAddressParameter()

(noc / sa / interfaces / base.py)

да, он

почему MACAddressParameter().clean("=8C=89=A5=8Cb=8B") дает ошибку, в классификатор нормально прожевывает это в мак?

TSergey_, там преобразователь используется bin_to_mac

в правиле скорее всего написано mac__bin_to_mac

в правиле "type": "mac"

точнее в классе

не, я про правило

конкретное

в классе конечно просто мак

в правиле прописано преобразование

в правиле я просто указа тип переменной

*указал

ну вот поэтому не работает

"value_re": "^(?P<mac>.+)$"

не, как раз мак прожевывается

"key_re": "^CISCO-PORT-SECURITY-MIB::cpsIfSecureLastMacAddress\\.\\d+$",

"value_re": "^(?P<mac__bin_to_mac>\\S+)$"

а в классе

"name": "mac",

"description": "MAC Address",

"type": "mac",

"required": false

да в том-то и дело, что в классе "type": "mac", в правиле "value_re": "^(?P<mac>.+)$", в трапе "=8C=89=A5=8Cb=8B"

классификатор выдергивает мак: 8c:89:a5:8c:62:8b

как?

нет

если в трапе =8С...

надо писать не mac

а применять преобразователь

__bin_to_mac

прочитай внимательно, пожалуйста

классификатор корректно берет мак

а я не понимаю как это

прочитал, у тебя regexp не соответствует трапу

и я не понимаю в таком случае чего ты не понимаешь

на каком этапе преобразовывается "=8C=89=A5=8Cb=8B" в "8c:89:a5:8c:62:8b"

MACAddressParameter не смог это прожевать

может там костыль или еще что

в любом случае regexp надо менять

zi_rus: вопрос где еще делается преобразование

для фм все преобразования должны быть в правиле. в класс должны приезжать уже готовые переменные

вот это в каком правиле?

"value_re": "^(?P<mac__bin_to_mac>\\S+)$"

port security (snmp) для циски

"zi_rus: для фм все преобразования должны быть в правиле" да я согласен же, но как это делается тогда?

в классе "type": "mac", в правиле "value_re": "^(?P<mac>.+)$", в трапе "=8C=89=A5=8Cb=8B"

классификатор выдергивает мак: 8c:89:a5:8c:62:8b

где ты увидел что классификатор выдергивает?

у тебя сообщение классифицировалось?

CISCO-PORT-SECURITY-MIB::cpsIfSecureLastMacAddress.10101 =00=15XD=D8=10

mac 00:15:58:44:D8:10 MAC Address

вот так трап классифицировался и преобразовал мак

я увидел кога в правиле нажал тестировать и указал id ивента

у меня оно не классифицируется потому что ip в трапе вот такой "=00=00=00=00"

вот и разбираюсь, где преобразовывается тип

добрался до MACAddressParameter и IPv4Parameter

но вот это что такое? <mac__bin_to_mac> где есть перечень таких параметров, доступных из правила?

TSergey_, /opt/noc/fm/classifier/rule.py

не поверишь, я как раз в нем

и нет там "mac__bin_to_mac"

def fixup_bin_to_mac(self, v):

mac это имя переменной

bin_to_mac - функция

ага, и функции "bin_to_mac" тоже нет

def fixup_bin_to_mac(self, v):

там только ":" подставляются

как-то неочевидно с преобразованием типов, вот вопросы

1. где вычищается тип mac, кроме MACAddressParameter

2. где можно добавить приведение к типу IPv4Parameter

ну и по мелочи: http://pastebin.com/yfbs4DhY, могут ли быть такие oid? это длинк такое засылает или в ноке есть какая-то еще превичная обработка трапа

*первичная

http://oid-info.com/get/ не знает вовсе таких оидов

обычно все начинается с 1.3.6, а тут совсем не так

Хай

и тебе хай

Есть вопрос по регэекспу зosix

posix

ae26.0 ae40 ae3 ae0.0 вот такие есть интерфейсе на Juniper как выдернуть только ae40 ae3

^ae[0-9][0-9]$ но вот как сделать так чтобы одна из цифр была необязательной

Я переделал синхронизацию DNS, выпилил нафиг STOMP, noc-sync теперь забирает все по HTTP полностью по аналогии с noc-probe

даже по тому же протоколу

STOMP нафиг это гуд)

ss_: ^ae(40|3)

dvolodin, спасибо но номера интефейсоф могут быть от 0 до 99 например

сабы не нужны

дотестирую BIND сейчас, закоммичу ветку feature/graphite/common-sync

^ae\d{1,2}$

а не пора ли в девелоп слить

HaLVeR: не пора

dvolodin, спасибо!

а то у нас комитты не относящиеся к графиту почему то в нем

новая синхронизация, в принципе, позволит и DHCP и RADIUS заливать

да, и видимо поэтому у меня не открывается FM\MIB

и там нет DNS'ных job'ов, которые постоянно перетряхивают зоны

dvolodin: как правильней добавить приведение к типу IPv4Parameter в fm-правиле?

,,

TSergey_: (?P<ip__ipv4_address>\S+).....

неожиданно

в fm/classifier/__init__.py смотри decode_*

скажи, а вообще такое "=C0=A8=00=0C" в айпи можно завернуть? или писать конвертер?

должно развернуть

quoted-printable вообще по-хорошему убрать нужно

не, не съело

и сделать нормальный Binary

вот и вопрос, как классифер такое разгребает для мака?

"=8C=89=A5=8Cb=8B" --- 8c:89:a5:8c:62:8b

тут в трапе даже не шесть кусков

а мак правильно разобран, так же отображается в логе коммутатора

может быть, смотреть надо, не выкусывает ли классификатор лишнего

Дим, откуда нок берет "8c:62:8b" из "=8Cb=8B"? в том-то и дело что мак правильно выдергивается, но механизм мне не понятен

MACAddressParameter().claean() так не смог

^ae\d{1,2}$ и ^xe-[0-9]/[0-9]/[0-9]$ объединить в один либо то либо это ^(ae\d{1,2}|xe-[0-9]/[0-9]/[0-9])$ вот так?

^(ae\d{1,2}|xe-[0-9]/[0-9]/[0-9])$ вот так?

hi all

http://www.ireasoning.com/

for displaiyng mib

it wolud really help for me

у тебя точно [0-9], а не [0-9]+

aermike: you use offline snmp browser?

IF-MIB::ifDescr.751 = STRING: xe-0/1/1.0 IF-MIB::ifDescr.752 = STRING: xe-1/0/3.0 IF-MIB::ifDescr.753 = STRING: xe-1/1/1.0

IF-MIB::ifDescr.646 = STRING: xe-0/2/0 IF-MIB::ifDescr.647 = STRING: xe-0/2/1 IF-MIB::ifDescr.648 = STRING: xe-0/2/2 IF-MIB::ifDescr.649 = STRING: xe-0/2/3

dvolodin, да, там 3 группы цифр + сабы, но мониторим только физику и агрегированые, сабы не нужны

а если так? xe[\d\/]+

xe-[\d\/]+

yes

http://ireasoning.com/mibbrowser.shtml <--?

xe-[\d\/]{5}

i use it for an datacenter sensor with no standard mibs

TSergey_, это не принципиально \d или [0-9]

^(ae\d{1,2}|xe-[0-9]/[0-9]/[0-9])$ вот это интересно

|xe-[0-9]/[0-9]/[0-9]) --- xe-[\d\/]{5}

TSergey_, равнозначные записи но моя более понятная ))))))

ну ладно

^(ae[0-9]|ae[0-9][0-9]|xe-[0-9]/[0-9]/[0-9])

aermike: thanks

welcome

TSergey_, спасибо

(ae\d{1,2}|xe-[0-9]/[0-9]/[0-9]) вот на таком остановился

агрегированые вроде больше двузначных цифр не встречались

я бы сделал ^(ae\d{1,2}|xe-[\d\/]{5} --- красивше

TSergey_, это да, но вот не все эту запись поймут.

dvolodin: еще коротенько спрошу, в db.noc.events.* значение oid лежат те, что прилетели в трапе, или они как-то уже обработаны? если в монге вижу "=8C=89=A5=8Cb=8B", значит это и прилетело? классификатор из этой базы все берет?

скорее так и прилетело

хорошо

обработанный мак так не выглядит

о, а тебя не спрашивал :)

в трапе "=8C=89=A5=8Cb=8B", после классификации 8c:89:a5:8c:62:8b,

MACAddressParameter().clean("=8C=89=A5=8Cb=8B") не может переобразовать,

кто распарсил мак?

cat ./fm/collections/eventclassificationrules/EdgeCore/ES/Network/MAC/MAC_Learned_1_SNMP_.json | grep mac

"description": "ES3528MO-MIB::macNotificationTrap",

"value_re": "^(?P<mac__bin_to_mac>.+)$"

"value_re": "^ES3528MO-MIB::macNotificationTrap$"

не, смотрели это

это fixup_bin_to_mac

>>> fixup_bin_to_mac("=8C=89=A5=8Cb=8B")

'=8C=89=A5=8Cb=8B'

и чего оно поменяло

ничего этот bin_to_mac это только добавление ":"

а fixup_bin_to_mac

тогда что делает

это оно и есть, <mac__bin_to_mac> это вызов fixup_bin_to_mac для переменной mac

(noc / fm / classifier / rule.py)

ну начнем с того что функция не обрабатывает, так как у тебя в одном октете 3 символа

она просто отдает как есть

HaLVeR: ну если совсем с начала --- то она вовсе у меня не вызвается, т.к. в правиле указан просто ^(?P<mac>.+)$

постой

но классификатор вылавливает "=8C=89=A5=8Cb=8B" --- 8c:89:a5:8c:62:8b

если у тебя в ивенте все круто, к чему ты ищешь кусок кода)

к тому, что где-то есть преобразование, а где не ясно

def eval_rule_variables(self, event, event_class, vars):

где-то тут смотреть надо

а мне нужно завернуть айпишник из шестнадцатиричного вида "=00=00=00=00"

dvolodin: спасиб

=)

HaLVeR: тебе тож спасибо

def fixup_bin_to_ip(self, v):

попробуй

да там тоже только добавление точек

несовсем

ага, попробовал

ord(v[0]

это не добавление точек

это преобразование

ну и бывает что железки криво отдают

>>> fixup_bin_to_ip("=00=00=00=00")

'=00=00=00=00'

потому что не юникод

ты же строковое представление уже преобразуешь

>>> fixup_bin_to_ip('\x00\x00\x00\x00')

'0.0.0.0'

угу, потому что спецсимвол

так не сработало ^(?P<ip__bin_to_ip>.+)$

сейчас поище не нулевой, может это просто не ловится значение

*поищу

если сделать в правиле переменную ip и паттернах ее искать, так будет работать?

HaLVeR: похоже в fixup_bin_to_ip передается именно в таком виде "=C0=A8=01=01"

а потом лог правила говорит

"Cannot decode variable 'ip'. Invalid ip_address: '\xc0\xa8\x01\x01'"

вроде заработало :)

тестирую правило --- MISSED, а в ивентах уже ловит

в тестах бывает

ща реклассифицировать попробую

а Failed можно реклассифицировать?

красота

теперь как-то решить чего делать с OID не начинающихся с 1.3.6.

причем похоже что в "1.3.13.1.4.1.171.12.23.4.1.1.1" 13 --- это порт

что за вендор?

Всем привет! Просьба рассказать о модуле Main.

HaLVeR: так длинк же :)

мда

ищи мибы

если там такая же параша - пиши разрабам

=)

я забрал мибы но не умею в них искать

вчера залил миб-браузер, что-то там все криво

сегодня airmike посоветовал, я поставил другой

стал заливать миб des3028-L2mgmt.mib, браузре говорит что нужно еще парочку

а один из этой парочки в .mib не сужествует, только cds + cmi

написал в длинк, отвечают, что только такие есть :)

запросил какой-нибудь от другой модели

это DES-3028 так себя ведет

dvolodin, просьба расказать о модуле Main.

ну там еще от прошивок зваисит

HaLVeR: самую свежую залил

HaLVeR: http://pastebin.com/yfbs4DhY

очень похоже что третьей цифрой засылается порт

весело чо

в моем понимании, мы не можем ошибиться и увидуть посылаемый oid неправильно

ты сомневаешься в криворукости погроммеров длинка?)

уже совсем нет

но засылать третью цифру в OID неправильно --- это что-то

там же дерево

ты еще в еджкор не смотрел

там кусок ветки вообще в другое место прилепили в коде

а в мибе все красиво

на этот случай есть в ноке механизм

подмены оид

вопрос только в том, что работает он для всего миба

т е скажем на 3028 с прошивкой 1.1.1.1 - перепутали, на прошивке 3.3.3.3 исправили

если прилетит трап с оидом подпадающим под перезапись - оно в обоих случаях перепишет

о, вот у 3028 проблема на 6 порту, так все красиво, выстроилось 1.3.6 и все параметры есть

вот ведь

длинк не может в mib

buggy-funhouse: что имеешь ввиду?

*в виду?

длинк и snmp mib два непересекающихся множества

замутил правило, работает на трех моделях

http://pastebin.com/Q8UGtww1

мужик

"key_re": "(IpMacBindingViolationIP|IpMacBindingIpIndex|.1.4.1.171.12.23.4.1.1.1)",

ошибка тут

первая точка не нужна

и почему там вообще oid

и не забывай, что регекспах точка -- произвольный символ

и еще лучше указывать полностью отрезолвленный oid с ^....$

dvolodin, http://pastebin.com/1X7tQ5eq - проба трейсит

это я видел

часто?

dvolodin, http://pastebin.com/sAPK611c - было часто, сама прекратила

в два ночи как видишь

а писатель при этом не падал?

2014-10-01 15:03:09,474 [noc-pmwriter] Loading storage rules

2014-10-01 15:03:11,484 [noc-pmwriter] Loading storage rules

2014-10-01 15:03:13,529 [noc-pmwriter] Loading storage rules

dvolodin, каждые 2 секунды

014-10-01 15:03:57,119 [root] Daemon noc-pmwriter[#0] started as PID 74709

2014-10-01 15:03:58,128 [root] noc-pmwriter[#0] daemon is terminated with status 1

2014-10-01 15:03:59,136 [root] Launching noc-pmwriter[#0]

хм

dvolodin, http://pastebin.com/nfJukF9W

вот-вот

а что вот?

я только обновился

я ничего не трогал

вижу

ага у меня тоже самое было

пока я демона не выключил :)

https://bitbucket.org/nocproject/noc/commits/branch/feature/graphite/common-sync

сейчас будем лечить птичку

посмотрите пока синхронизатор DNS

а как нок синк обновить?

?

ну он же не на ноке, а на днс

а

над этим думаю сейчас

самое разумное - научить ланчер делать hg pull с основной ноды NOC

dvolodin: ping

докоммитил забытый файл для писателя

сейчас должен работать

dvolodin: http://pastebin.com/xSehNQVv

эээ

ты его восстанавливай с дропом

mongorestore --drop ...

тебе же его снести надо ;)

да. ступил. вроде пошло.

ты монгу с опцией smallfiles пускал?

да

дамп отработал только с --repair

а сейчас с ней же пускаешь?

да.

http://pastebin.com/zcxByFuF

ещё битые коллекции оказались.

счас полечим

такс. вроде прокатило.

твои советы помогли

dvolodin, проба не трейсится, но

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

86684 noc 103 22 0 360M 159M usem 1 32:46 280.71% /opt/noc/bin/python ./scripts/noc-probe.py launch -c etc/

280% несколько многовато

угу

и в логах постоянный срач на broken pipe?

ytn

нет

root@noc:/var/noc/log # grep broken *

root@noc:/var/noc/log #

даже при дебаге ничего лишнего

хотя пробает она как-то медленно

раньше сообщения лились потоком

grep Broken *

grep -i

а ты герой

бэкапить по живому

dvolodin, такое только старые сообщения, новых нет

оно само бакапится.

но версия неверная оказалась .

бывает

а нет, сообщения льются

но загрузка цпу от пробы дикая

какой поток метрик

и вообще - сделай в пробе люк

[debug]

enable_manhole = true

в конфиге

dvolodin, включил. куда смотреть?

2014-10-01 17:00:22,761 script(Huawei.VRP.get_version,fsw-3-karlamarksa-32-560-sar,**{}) failed: Connection with activator lost

wtf ?

zi_rus: поставь socat

socat readline <путь к люку>

ебать

а какой путь к люку?

а куда ставить? на нок или на комп?

видимо на нок

2014-10-01 17:09:32,795 1 script threads left (30 max)

2014-10-01 17:09:32,855 Script Qtech.QSW.get_config(Qtech.QSW.get_config(fsw-5-zagorodneva-15a-35-sar, 10.64.40.235)) is completed

2014-10-01 17:09:32,894 0 script threads left (30 max)

2014-10-01 17:09:33,070 [CLITelnetSocket(0x24f9350)]<PROMPT> Connection lost (104)

dvolodin, поставил, но не понимаю чего с ним дальше делать