nocproject.org

а сообщения обо атаках с самих сетевых устройств, типа

Deny IP due to Land Attack from IP_address to IP_address?

Broadcast Storm, Multicast Storm, Unicast Storm, Smurf Attack, Conflict IP, BPDU under attacking state

Примеры приведены в Feature #106

ага ну тогда и получается Security | Attack ?

и туда все подобное пихать

Тут как-бы не обязательно Security. Если у меня на свиче выключен мультикаст, а на свич верхнего уровня он прет, то это означает, что кранты пришли самому свичу.

Network | Anomaly ?

Не знаю. Предусмотреть какие-то триггеры или условия, при выполнении которых регистрируется событие.

Как пример:

1. появился мультикаст шторм там, где его не может быть

2. Зайти на свич, генерирующий шторм и посмотреть ошибки на портах

3. Зайти на свич, генерирующий шторм и посмотреть диагностику кабеля на предмет КЗ

4. Если причина была на свиче уровнем ниже, то указать источником проблемы свич нижнего уровня.

Для этого должна быть какая-то топология сети. Причем статическая по возможности.

топология может генериться TD по расписанию

В любом случае нужно иметь возможность вручную добавлять объекты в топологию.

И иметь возможность указывать приоритеты событий на коммутаторах.

Как пример: если абонентский порт включается/выключается раз в день - то это нормально. А если каждый час - то это уже аномалия.

штормы хочу сделать в Network | L2 | Storm Control

вроде там ему и место

по абоненским портам - будет тип disposition rule -- frequency

alarm будет держаться пока события будут появляться с частотой, больше заданной

кроме того, будет flap detection

если alarm регулярно поднимается и падает - возникнет alarm нового типа

постоянно поднимающийся и опускающийся аларм Link Down поднимет аларм Flapping Link

А кроме штормов? Еще бывает куча разных неприятностей.

ну есть L2 фича - storm control

будет еще Network | MAC | MAC Flap

для прыгающих маков

Например, если свич нижнего уровня не умеет loopdetect или он не настроен на нем, то сигнал, что где-то образовалась перля на коммутаторе D-Link будет выглядеть так:

Possible spoofing attack from (IP 10.109.36.1 MAC 00-1C-F0-21-59-03 port 23)

Где IP адрес и MAC адрес - это адреса самого коммутатора

в disposition rule можно задавать conditions

Добавить еще

Network | MAC | Port Security

или

Network | MAC | IMPB

MAC или L2

MAC - это mac address learning

в общем-то внутренний процесс свича

MAC | Hash Collision ;)

В D-Link'е есть три вещи, управляющие контролем MAC и IP на портах

1. Port Security - ограничивает обучение MAC адресам на портах и смотрит, появились ли незарегистрированные MAC адреса. Это чисто L2

да

2. gratuitous_arp - Это проверка на то, что за портом коммутатора могут находится устройства с разными MAC адресами, но одинаковыми IP адресами. Это чисто L3

Наверное даже правильно так

Network | L2 | MAC | ...

3. IMPB - IP/MAC Port Binding. Привязка к порту связки IP/MAC статически, или получаемой через DHCP. Это непонятно какой уровень.

Network | Port | Security ?

WARN: Unauthenticated IP-MAC address and discarded by ip mac port binding (IP: 172.16.1.49, MAC: 00-E0-52-85-91-56, Port: 12)

WARN: Dynamic IMPB entry is conflicting with static IMPB(IP: 172.16.0.8, MAC: 00-22-B0-DE-5E-0D, Port: 4)

WARN: Port 28 recovers from IMPB stop learning state

тогда давай с другого бока

верхние уровни

IMPB не относится ни к ARP, ни к FIB, ни к RIB. Это отдельная таблица.

Network | Link -- все, что связано с линком, включая изменение статуса, синхронизацию и прочее

это ниже L2

далее

L2

Network | L2 -- все, что работает на уровне L2. Тупо приравниваем к MAC уровню эзера. тут и mac address learning, и хеши и так далее. Все, что выше линка, но не выше уровня MAC-адресов

Вот примеры L2

%SW_MATM-4-MACFLAP_NOTIF: Host 0017.0e82.0850 in vlan 254 is flapping between port Gi0/24 and port Gi0/25

туда же входят протоколы CDP, LLDP, STP

Dmitry1: не торопись пока

Network | L3 - протоколы маршрутизации: bgp, ospf, isis, rip etc

VLAN

Network | MPLS

Не, нужно еще уровень 2+. Это как раз и будут ARP, IMBP, MPLS, VPLS, VRRP и т.п.

ARP - вообще-то L3

Уровень 3 - это только IP

А уровень 3+ - это маршрутизация

VRRP/HSRP/CARP - это таки L3

Уровень 3 - это конфликт IP, PPP, VPN и т.п.

есть еще ethernet oam

Соответственно свичи позиционируются как L2, L2+, L3 и L3+

это тупо маркетинг

Это чисто L1

смотри

нам какая-то хня генерит события

которые нас как-то интересуют

от этого и пляшем

Согласен. Но события обрабатывают 10 человек. Один из них занимается маршрутизацией, другой клиентами, подключенными к L2, третий - SLB или VRRP.

Тут надо ограничить, чтобы админа "сидящего на самом верху" не беспокоить сообщениями о неавторизированном MAC адресе.

если делить по уровням тогда как с туннелями быть? пойдут все в L3?

с туннелированием тоже вопрос

Туннели однозначно L3

с одной стороны есть VPN

Это обычная статическая маршрутизация.

с другой - эти VPN могут быть и L2 и L3

В терминологии D-LInk почему-то статическую маршрутизацию и RIP засовывают в L2+

это на их совести :)

mpls например L2

Тут и думать нечего. L2- это MAC, VLAN и т.п. L3 - это IP, PPP, VPN

L2+ - это протоколы связывающие L2 и L3

l2tp, не смотря на название, думаю, все же L3

Например: ARP, IMPB, MPLS, VPLS

Уровень L3+ - это динамическая маршрутизация

L4 - это службы: DNS, NTP, SLB и т.п.

да плюс то зачем?

Плюс означает связку между уровнями.

маршрутизация не связывает ведь уровни

она работает только на 3-м

Демон Zebra как-бы на 4-м уровне работает, но использует маршрутизацию.

Для примера поясню связь между 2-м и 3-м уровнем

Mac Address Learning, Port Security, Broadcast Storm Control, Multicast Storm Control, LBD, Ethernet OAM, BGP, OSPF, ISIS, RIP, EIGRP, STP, RSTP, MSTP, VRRP, HSRP, CARP, IPSEC, PPP, PPPoE, PPTP, L2TP, LDP, RSVP, MAC Flapping, VRRP, HSRP, CARP, ARP, LLDP, CDP, IP, TCP, UDP, IPSec, MPLS, VLL, VPLS, VRF, LSP

Это страшные слова которые выдают нам события

Напугал :) Я тебе еще столько же страшных слов напишу.

Пример протокола 2-го уровня. Из информации, которую мы можем получить: MAC адрес, VLAN, порт

В уровне L2+ ма можем получить и MAC адрес и IP адрес.

В уровне L3 нам уже MAC адрес не доступен, но доступны IP адрес

На уровне L3+ мы уже имеем не отдельный MAC адрес, а сети и отношения между ними

еще есть wifi

А что wifi ? Там кроме как MAC адреса ничего нет.

ассоциации, роуминг

Можно еще ввести уровень L1+ - это протоколы канального уровня: STP,

Роуминг это как раз оттуда

STP - чистый роутинг для L2

потом, линки бывают и не эзер, тот же PoS

В L2+ особого смысла не вижу

ARP

есть IP - значит L3

IMPB

тоже L3

это же не реализация, а затронутый уровень

IPMB - тоже L3

В L3 нет такого понятия, как MAC адрес

А в L2 нет такого понятия, как IP

да нет же

я думаю верхний уровень опирается на нижние, поэтому может оперировать их данными

это не реализация, а problem domain

проблемы со свитчингом, проблемы с роутингом

проблемы с ip-стеком хоста

А ARP - это свитчинг или роутинг?

роутинг

строго говоря он в CAM попадает как L3 :)

префикс /32

А если у меня не циско?

И там нету всяких TCAM

без разницы

ээээ

да ну

CAM его обозвать или SRAM, в общем без разницы

Разница есть. Это в каталистах для TCAM разделяемая память для L2 и L3. А в D-Link, например - это две совершенно разные вещи

есть у тебя на DLink'ах CAM, самый что ни на есть матерый

Откуда?

в чипсете :)

Я сейчас точно расскажу, что там есть.

это память с контекстной адресацией

Есть таблица MAC+VLAN+порт

И есть таблица MAC+IP

которая выдает значение по произвольному ключу какой-то ширины

Для третьего уровня есть уже таблица IP+порт

в ключе у тебя строго, может быть и IP адрес, и MAC, и даже половинка IPv6 адреса

ребят, может не будем зацикливаться на одном оборудовании?

а то циско длинк

Да знаю я это. Но в D-Link'е второй и третий уровень разграничен аппаратно

может там и у всех по разному - но нужно прийдтик общец модели

и L2 ты обычно адресуешь не по MAC + VLAN + Port а по хешу от них с меньшей разрядностью

и что пихать в CAM - дело софта

знаю.

туда же ACL ложатся

Нет.

По крайней мере у D-Link

бывает для экономии делают несколько раздельных CAM'ов разной разрядности, но это уже детали

Ну так D-Link это как раз их этого "экономичного" ряда

общий он или раздельный - дело десятое

да и DLink не делает чипсетов сам

Знаю. В основном Broadcom использует.

В конце концов возьми даташит на broadcom или marvel

там написано, что там есть на самом деле

а остальное - шелуха

у свича общая задача

взять пакет, рассмотреть какие-то части заголовка, пофильтровать, пошейпить, перезаписать какие-то части заголовка и поставить на выход в очередь

L3 в свичах реально - mac address rewriting в железе

там же в CAM - ключ, и что и на что перезаписать

и больше ничего

ну и выходная очередь

а дальше как софт

ты когда накладываешь ACL на SVI, например, он реально раскладывается по всем портам на которых есть этот VLAN

Все-таки хотелось бы какую-то прослойку между IP и MAC уровнем.

Для того-же DHCP

Ладно, давайте поступим умнее

будет просто Network | и в нем протоколы

Network | Port Security, например

Ээээ.. Если напишет

arp: 10.111.0.8 moved from 00:0c:46:65:9b:42 to 00:1e:49:10:5f:41 on em0

А потом произойдет что-то с OSPF или BGP, то нужно знать, откуда ноги растут

Так будет лучше, с теми же тунелями, уже внутри их можно будет разбить на ip, mpls и тд

да не

смотри

мы можем вообще сделать плоский список

как это было в старом FM

это всего лишь названия

для красоты отделили события NOC от событий сетевых

теперь вот вопрос - хотим ли мы дополнительной красоты или просто ограничимся еще одним дополнительным уровнем

кстати, заграбьте мне в JSON по максимуму интересных событий из нового FM

и на beef@

С разных железок, SYSLOG и SNMP

прослойки будем добавлять только там, где они очевидны

Network | MPLS | VPLS например

можно сделать Network | Routing | BGP

Не согласен с плоским списком

Например:

1. Проблема с отпавшим BGP peer 10.111.0.8 - уровень 3+

2. Спускаемся на уровень 3. Делаем ping. пингуется

3. Спускаемся на уровень 2+. Видим картину "arp: 10.111.0.8 moved from 00:0c:46:65:9b:42 to 00:1e:49:10:5f:41 on em0"

да все не так

смотри что реально будет

event - bgp shutdown -- поднимет alarm BGP Session Down

и?

Что будет знать админ кроме того, что у него что-то случилось с пиром?

далее

если в типах alarm'а прописано что MAC Changed является root cause для BGP Session Down устанавливаем связь

root cause будет сменой мак адреса

дальше - изменяем приоритет для root'а

так как упавший пир имеет гораздо более высокий приоритет

Ээээ. Тут надо учесть, что BGP занимается один человек, а MAC уровнем другой. И они находятся в разных географических точках.

в результате root наш резко взлетает наверх

да учитывай сколько хочешь

И человеку, который занимается BGP глубоко %^%^% что там и где творится на MAC уровне.

тот, кто занимается BGP увидит, что его проблема связана именно с этим MAC'ом

По крайней мере у нас в организации так.

и начнет трясти ответсвенного

да

потому как сам ничего не сделает

может даже подписаться на проблему с маком

чтобы видеть, какие работы там происходят

Но для того, чтобы потрясти ответственного, нужно пройти уровни L3, и L2

при чем тут это?

Потому как вполне может быть, что IP уехал на другой порт/свич из=за смены топологии. А тут уже уровень 2 (STP)

есть managed object

дальше коррелируем

делаем правило - что для MAC Flap рутом может быть topology change

в результате имеем три аларма

TC - MAC - BGP

у BGP причина в смене MAC

у MAC - в смене топологии

далее

топология сама не поменялась - это где-то линк упал

Не только.

На пропажу bgp peer надо запустить скрипт ping

На событие MAC Flapping надо запустить get_mac_address_table

Чтобы получить более полную картину.

то, что ты говоришь, это уже one click actions

Нет.

Это мне должно вывести в отчете по bgp peer down и MAC Flapping

Т.е. не просто писать отчет, а выполнять какие-то вполне осмысленные действия, для дополненния его и, возможно определения настоящей причины произошедшего события

хорошо, они могут запускаться автоматом при подъеме аварии и записываться в событие

да

А кроме того, иметь возможность в зависимости от полученных результатов скриптов выполнять еще что-нибудь.

например потушить/поднять порт

назовем условно - diagnostics

да. да. да.

фактически - map/reduce task который на выходе выдает нам dict с диагностикой

коррелятор при подъеме аларма запускает задачу

и поднимает аларм

когда приходит результат - дописывает его

диагностика должна быть умной. В зависимости от результата скрипта выполнять какие-то дополнительные действия.

то есть условно делим на две части

диагностика и автопочинка

можно и так.

Это все можно будет сделать, если будет куча мелких скриптов в SA, которые смогут выполнять всякие мелкие задачи по управлению оборудованием.

ну да

и это потребует доработки SA, кстати

И тут подходим к главному: Сделай, плиз, эмулятор терминала для curses-based CLI !!!

она запланирована

там будет активация сервиса

это скрипт, только он не привязан к железке

и выполняется на SAE

чем быстрее наколотим правил в FM и смержим ветки noc и noc-fm назад, тем быстрее займемся

диагностические скрипты, наверное, надо будет делать в классе alarm'а, но с возможностью набивать свои

и пользовательские template для них

чтобы красиво было

Скрипты ping, get_mac_address_table, get_interface_status находятся в SA

это немного не то

А что?

скрипты SA работают строго на одной железке строго в рамках одной сессии

Так для диагностики половину из них запустить надо

Прошла офигенная гроза с ~150 коммутаторов 20 подвисло, пришлось ездить перегружать... Только что все поднялись....

сценарии активации будут работать в SAE и будут иметь возможность запускать скрипты на разных железках

и возможно, с отсрочкой

вот тебе пример

упал свич, но он подключен через рулилку питаловом или PDU'шку

проверяем по inventory, есть ли возможность дернуть его по питанию

если есть - даем ему 10 минут на подъем

не поднялся - дергаем питалово

может и встанет дуриком сам

В сценарии диагностики можно добавить поле "задержка" перед выполнением каждого шага сценария.

Например - выключить/включить порт, подождать 10 секунд.

time.sleep(10)

:)

там будет старый добрый python

Типа того, но это должна быть возможность набрать в web-морде. Потому как Cisco перегружается минут 5, а D-Link минуты 2

атртрибутом объекта хотя бы

да

ладно, за очень большие деньги я это не сделаю :)

Заодно, если у объекта есть аттрибуты поддерживаемых и включенных на нем featureset, то мы можем "догадаться", что дерево STP будет перестраиваться медленнее, чем RSTP

собираем пожертвования во избежание массовых сокращений штата ;)

давайте вернемся к нашим баранам

накидайте мне заграбленных событий, плясать от чего-то надо

http://redmine.nocproject.org/issues/106

Могу туда подобавлять еще кучу разных.

мне бы в json

так удобнее тестить и отлаживать

Кинь на сайт какие именно поля и значения в JSON засовывать.

С примерами, желательно.

оно автоматом делается в новом FM

в просмотре события жмешь кнопку JSON и все

У меня старый NOC стоит. Ломать не хочу.

Сделай новый бранч, например 0.7. Тогда люди, Захотевшие обновиться, получат новый FM, а остальные останутся на старом.

он и сделан

noc-fm называется

beef@ посмотри

dvolodin,

вижу уже, спасибо

не хватает фильтра по "Subject"

с этип проблема

subject вообще-то многоязычный

:)

в зависимости от выбранного юзером языка

Вот набросал структуру алярмов для ящика http://pastie.org/2211774

За образец взял UniPing-RS232

В принципе это кажись максимум... Emergency | Water и Humidity можно выкинуть. Врят ли кто будет устанавливать датчики воды и влажности...

будут

-)

воды надо) и серверные бывает заливает)

и серверные бывают не серверными =)

и вода бывает не водой

:)

Знаю.. Звонит клиент "пропал инет!!!", мы ему через 15 минут перезваниваем, а он: "нах мне ваш инет!!! нам крышу разобрали пи** и затапливает всё пи**" :)))

а бывает наоборот..

рассказывали про клиента, у которого света не было(пожар в кабельном коллекторе - обесточен весь район) - а он звонит и говорит - ну вы мне инет то почините? Свет говорит у меня есть - генератор на балконе..)

link up/ link down для dlink'ов сделал

У нас почти нет оборудования в подвалах.. Всё всегда ставим на чердаках...

Ставлю новый FM.. буду тестить...

покидайте еще событий

gnu-linux, ну не всегда есть такая возможность

вечерком сделаю screencast, как правильно делать правила классификации

пока из деградаций по функционалу FM - archivation rules, post-classification rules и возможность запуска pyRule

как раз, как доделаю, наберется нормальный начальный ruleset

понакидал немного для DLink'ов

немогу найти доку как поставить новый FM. Просто скачал новый бренч hg clone http://hg.nocproject.org/noc-fm Скопировать вместо старого и всё? Или ещё гдето пнуть надо?

я ещё делаю rm -rf sa/apps/taskschedule/ и rm -rf fm/apps/{eventarchivationrule,eventcorrelationrule,mibview,eventpriority,eventpostprocessingrule,eventcategory,eventclassificationrule}

dvolodin, ещё на beef@ упало

угу

gnu-linux: можно было просто в .hg/hgrc подправить

не понял как добавить Ignore Event Rule

Left/Right RE. что туда

как глянуть, что это Failed to process event 4e1ede7502fcc00eae00fe80

ignore event - это что срезать на активаторе

тыкни в надпись

там есть свернутые секции где написано [Show]

можно развернуть их и посмотреть детали

с этим ок, не перезапустил после правил -)

а вот это как - Failed to process event 4e1ede7502fcc00eae00fe80

или это как раз то, что срезается ?

внутри посмотри что там

в Raw Data

в events этого евента нету

это в логах активатора было?

noc-classifier.log

классификатора

да

он в Failed

Active на Failed в списке замени

ах тыж блин -)

http://dpaste.com/568463/

со старого активатора прилетело?

?

ветка noc-fm

можно само событие мне в json

http://dpaste.com/568468/

http://dpaste.com/568469/

у меня нормально засосало их

хм...

2011-07-14 17:06:59,788 Matching class for event 4e1ee9f05a20902fb5000000 found: Unknown | SNMP Trap (Rule: Unknown | SNMP Trap)

почему же у меня в трейс валится ...

другие события нормально обрабатываются?

да

все те, которые я на beef@ кидал

http://dpaste.com/568478/

http://dpaste.com/568479/

вроде нашел баг

MIB дополнительный был?

в общем проблема в том, что нет MIB'а нужного

1.3.6.1.4.1.171.11.113.1.3.2.20.0.7 - из какого?

поправил классификатор

с апдейтами нормально?

ctr

сек. отходил

http://dpaste.com/568496/

http://dpaste.com/568497/

не помогло

трейс такой же?

вроде да

А сейчач?