nocproject.org

dvolodin, ну что скажешь? почему две МРТ созданые на одну железку в течение короткого времени приводят к connection timeout для второй МРТ?

лимита сессий нет?

нет

проявлялось не раз и не два. стабильно когда надо создать МРТ и они приходятся на одну железку, вторая МРТ не проходит и отваливается

у меня в коде цикл по списку

for k in i:

ну и тд

то есть задачи создаются со скоростью прохождения цикла

почти мгновенно

если конечно это принципиально

покажи весь код

Приветствую!

где найти noc-pkg-codemirror?

noc/etc/requirements/noc.txt оно тут указанно

Hola amigos! Как грится - ничего не предвещало. Чего могут перестать определять линки по LLDP на свежеустановленном develop? Куда смотреть - чего крутить?

B_M: https://bitbucket.org/nocproject/noc/downloads

dvolodin, вот часть которая создает таски http://pastebin.com/UGwqvwRw

Kostua: а железо какое?

Edge Core ES3528M

за эти не скажу

zi_rus_: к чему вообще такая содомия?

mo.scripts.commands(commands=....)

так дело в том, что отрисовывало линки, подропал базы в монге и постгресе и поставил заново нок - перестало

так не работало

или никто не признался как

я долго пытал здесь народ

с тасками единственный вариант когда все заработало

zi_rus_: сказки какие-то

:)

а может ты недавно только это добавил

ты кажется что-то делал в этом направлении

да и отправку лучше через notification group сделать

zi_rus_: .scripts. уже лет 5 минимум есть

:)

Kostua: log_jobs в etc/noc-discovery.conf прописан и не пуст?

у меня хрень какая-то происходила

когда я дебажил в консоли оно работает

когда из приложения то хер

я уже не вспомню какие варианты я пробовал

работает оно из консоли нормально

ну вот

а у меня не конслоь

root@noc:/opt/noc/sa/apps/IZ-INTERNET # ll

total 44

-rw-r--r-- 1 root noc 0 29 мар 21:31 __init__.py

-rw-r--r-- 1 root noc 124 2 апр 10:07 __init__.pyc

drwxr-xr-x 2 root noc 512 28 апр 10:55 js/

drwxr-xr-x 2 root noc 512 29 мар 21:31 templates/

drwxr-xr-x 2 root noc 512 29 мар 21:31 tests/

-rw-r--r-- 1 root noc 13879 21 июл 09:56 views.py

-rw-r--r-- 1 root noc 9321 21 июл 16:03 views.pyc

это моя поделка

http://pastebin.com/kyzVh4qT

evyscr: log_jobs не прописан

dvolodin: благодарю

добавил щас перезапущу

dvolodin, вопрос по хендлерам, смотри, мы их привязываем к классу, но мы обсуждали такой момент как дописывание переменных из нескольких сообщений в один ивент. так вот для класса такое делать не оптимально, как правило хендлер нужен на каждую

конкретную ситуацию, фактически привязываться надо к classification rule.

сработало правило, увидели мы нужное сообщение, значит надо искать следующее, откуда можно взять переменные или еще что

нужно что-то типа connection rule для инвентори

склеить несколько сообщений в одно

а потом распарсить как один ивент

циска любит по строчкам сообщения слать

причём прилететь они могут совсем в ином порядке

не стоит к правилу клеить

лучше разделять начальное сообщение и последующие

как разные event class'ы

последующие дописывают данные в предыдущий

и грохаются

придется городить кучу левых ивент классов

которые фактически ничего не унифицируют

два вместо одного

класс это что? класс это унифицированное событие

упал линк

покрашилась железка

или еще что

если например делать как ты сказал

то придется делать несколько классов под сообщения от циски, а потом их склеивать

фактически ни для кого кроме циски они не подойдут

и для каждого класса будет одно правило

для хуавея будут свои классы

для джунипера свои

и никакой унификации не получится

где профит?

нахера городить классы

когда вопрос надо решать на уровне classification rule

именно правила привязаны к железкам и их профилям

именно они зависят от того что приходит от железки

именно они связывают тысячи сообщений различного вида в единый класс, единое событие в пределах нока

dvolodin, объясни, занахера городить классы которые не нужны, правила к ним, и хендлеры, при этом теряя унификацию?

заметь, при этом, если что-то в сообщении изменится, по твоей логике придется херачить новые классы и новые правила

а я предлагаю иной подход

почему новые классы?

будет у тебя класс system traceback

а какие еще?

ты сам написал

<dvolodin> как разные event class'ы

и класс system traceback (continued)

и все

а если их три? четыре? десять последующих сообщений?

и что?

все в один класс?

да

Dmitry1, что скажешь?

по-моему все равно бредом отдает

я за то, чтобы склеивать ивенты

Например: для DLink.DGS3100 класс "Config Changed" будет выглядеть так:

%COPY-I-FILECPY: Files Copy - source URL running-config destination URL flash://startup-config

%COPY-N-TRAP: The copy operation was completed successfully

Два ивента в игнор последний записываешь как Config Changed. Хотя склейка будет более правильной.

evyscr: чего должно туда писать в log_jobs? бо у меня пусто

Согласен с zi_rus

dvolodin: Дим, можешь реализовать что-то типа тушенки для FM

Dmitry1: так есть же она

У меня есть дофига сообщений. Я без понятия, какие из них распознаются, а какие нет

С каких это пор она появилась?

просто event в json сохраняй

ну сохраняю

сохранил пару сотен

и что мне с ними теперь делать?

а так, да, нужно бы repo сделать и тестовый режим для классификатора

dvolodin: блин, тебя бы споймать вживую. Дофига нужно именно не сделать, а переделать

dvolodin: я именно про сценарии, про которые говорил. очень много задач у тебя прибито гвоздями, и нет никакой гибкости, когда нужно выполнить, например, часть этой задачи, или выполнить еее в зависимомти от какого-то условия

Дим, я кому-нибудь мешаю делать? :)

Ты убил мою мечту об ивенттриггерах :(

и управление задачами с помощью workflow

dvolodin: Я же говорю, давай сделаем новый механизм, который будет не зависим от того, откуда его вызывают. Хоть из web, хоть из CLI, зоть из job, хоть из FM, хоть из IPAM

вот тебе простой пример

у нас есть inv/management/command/clean-asset.py

но из web я ее не могу вызвать

Dmitry1: handler'у из solution пофиг, откуда его вызывают

он реализует callable интерфейс

handler прибит гвоздями

для того, чтобы конечный пользователь написал простенький сценарий, ему надо изучить python

dvolodin, ты что-то делаешь, простоые методы заменяешь сложными, то что раньше работало ты ломаешь, замены адекватной не делаешь, все становится только хуже

т.е. из пользователей noc сразу выпадают 93.74% всех людей, умеющих программировать: http://dou.ua/lenta/articles/language-rating-jan-2014/

шёл второй день после отпуска...

вот моя идея:

Kostua: туда должны писаться результаты работы соответствующего джоба. Если не пишется - с немалой вероятностью вообще не запускается

создаем workflow, у которого могут быть входящие переменные "interface", "speed", "duplex"

в этом workflow проверяем значение дуплекса на "HALF"

это штатная фича workflow

если совпало - вызываем ивент "half duplex" с параметром "interface"

этот workflow вызываем из eventtrigger, где мы можем его привязать к селектору, тайм серии и т.п.

evyscr, а я его предупреждал...

Все ти механихма есть и работают.

Но мы почему-то используем какие-то solution, handlers, jobs

Внутри которых неизвестно что происходит

Причем неизвестно всем, кроме одного человека

Давайте и я наброшу. Будут ли у нас фикситься баги? Будут ли у нас фикситься object models?

У нас в том же wokflow есть возможность записать лог, но мы не ищем легких путей, мы придумали для этого специальный хандлер "аудит", в котором все сообщения "прибиты гвоздями", так что если я захочу, чтобы мне сообщение прислалось на русском, мне нужно изуч

zi_rus: а у тебя в ноке есть циски-соседи с поднятым ллдп на линке?

нет

just as expected

dvolodin: Дим, если честно, то с дальнейшем развитием NOC, я все меньше функционала из него использую. Уже отключил у себя discovery, выключил IPAM. Peering Management не использую из-за того, что у меня нету VRF и префиксов.

Dmitry1: это абсолютно нормально

Что тут нормального? Хороший проект становится ненужным куче народа.

Я тут человека с соседнего города уговаривал поставит NOC ради FM. Так он потрахался с ним пол-месяца, в результате написал скрипты для The Dude

Ему это оказалось проще, чем изучать питон

http://www.e-reading.ws/chapter.php/1003706/58/Frayd_Dzheyson_-_Rework__biznes_bez_predrassudkov.html

Для меня, например, скрипт ip_discovery для IPAM, можно заменить на такой:

for i = 1 to 40000:

put "%d.mydomain.org" % random()

эффект будет один в один

не повезло тебе

у меня вот за появление неучтённого адреса можно пинать соответствующих виновных

а что я могу поделать, если у меня около сорока тысяч адресов раздаются по DHCP. Причем из нескольких десятков подсетей

ты живёшь без option 82?

да

тогда страдай

ежели серьёзно, то разве ip discovery нельзя отключить там, где не надо?

Оно не отключаемое

отключаемое

ха, у меня оно не включалось!

И у тебя get_interafces написал что-то в ipam ?

Dmitry1: отключается на уроне подсетей

уровне

каких подсетей ?

У меня их десятки, сотни !!!

и что?

ну сколько у тебя префиксов ?

по дефолту, они наследуют от вышестоящего

у меня тоже больше 40 тысяч адресов

как-то получается, хотя если честно, я тоже во многих местах отключил

но просто потому, что не нужно

дискавери отключается на префиксе

с полгода как

не обязательно на конкретном

можно на родительском

состояние наследуется

вниз

по-умолчанию

грамотное планирвоание адресного пространства и переодические уборки в нем ни одна система учета не отменит

еще раз повторюсь

если я отключаю дисковери, то мне и адреса реальных интерфейсов туда не пишет

да, не пишет

надо пируль набросать

все руки не доходят

у меня в префиксе 10.109.0.0/16 несколько десятков адресов реальных железяк, которые у меня заведены в NOC

А может и сотен

я не знаю

И не хочу знать

у тебя наркоманский адресный план, я тебе скаже

Я сеть /16 побил на кучу подсетей, и выдаю их нижестоящим операторам

Они в свою очередь, эти подсети могут побить еще на более меокие

мелкие

это менеджмент?

Это жизнь такая

свой менеджмент мешать с другими не стоит

Dmitry1, у меня ~500 /22 сетей. все утчены и промаркированы не дискаверить. в разных диапазонах /15-19

я не про то

я могу всю сеть /16 пометить, чтобы не дискаверило

Но!

у меня в ней куча ip железяк, которые уже заведены в noc, и их ip известны по get_interfaces как "physical"

И вот они как раз должны туда попадать

freeseacher: я тебе простой пример прведу

должны

но dvolodin все никак не соберется это запилить

Вот сообщение FM - PIM neighbor 10.10.9.204 DOWN on Vl 446. VRF default.

Чем оно тебе посожет, если ты из discovery убрал сеть 10.10.9.0.24

Но ты знаешь, что это адрес интерфейса железки, заведенной в NOC

freeseacher: У меня таких сообщений целая куча. В NOC я завожу IP из специально обученной сети, в которой есть только управление

А всякие OSPF, PIM, BGP бегают у меня в других сетях

так у всех

Вот!

есть лупбеки для управления

Dmitry1, я честно непонимаю зачем мешать сети клиентов с сетями управления

есть адреса для роутинга

это разные адреса

в разных подсетях

и клиенты тут вообще даже рядом не должны лежать

всех клиентов в 100.64.0.0/10

freeseacher: эивой пример:

управление в отдельном влане и в другом диапазоне адресов.

CRIT(2) Possible spoofing attack from (IP 10.109.16.1 MAC 00-1C-F0-20-63-43 port 2)

ip 10.109.16.1 - это один из интерфейсов коммутатора, который смотрит в клиентскую сеть

По твойе идее я его не должен видеть в IPAM

Вопрос - как я узнаю, откуда идет спуфинг атака?

1. что значит один из интерфейсов коммутатора ? у коммутатора только один адрес. адрес для управления

Interface IP Address Area ID State Link Metric

Status

------------ ------------------ --------------- -------- --------- ---------

pilot 10.109.16.1/21 0.0.0.0 Disabled Link Up 1

nik_sh 10.109.28.2/22 0.0.0.0 Disabled Link Up 1

ubr 10.110.0.60/24 0.0.0.0 Disabled Link Up 1

upr 10.116.0.52/16 0.0.0.0 Disabled Link Up 1

pilot_upr 172.31.31.1/24 0.0.0.0 Disabled Link Up 1

System 192.168.0.1/24 0.0.0.0 Disabled Link Down 1

самый обычный коммутатор l3

2. адрес попадет в нок т.к. железяка в ноке и по ней прошелся ip_discovery

в абонентскую сеть смотрят 10.109.16.1/21 и 10.109.28.2/22

коммутатор третьего уровня - дешевый маршрутизатор.

10.116.0.52/16 - управление

адрес на него был добавлен человеком ?

да

человек забил и не внес адрес в нок ?

какой noc ?

в IPAM

коммутатор стоит от меня за сотню километров

и что ?

И человек, который там занимается абонентами, никакого отношения к NOC не имеет

у меня вообще ближайший коммутора за ~700 километров

Dmitry1, почему не имеет ?

сеть общая ?

У нас 15 разных фирм

учетный инструмет общий

РАЗНЫХ !

РАЗНЫХ !

тогда зачем тебе это коммутатор ?

Каждый дрочет, так как хочет

он же не твой

Я обслуживаю L3

ограничь использование нока своим доменом ответсетвенности

Мне всего-то навсего нужно, чтобы в IPAM попадали IP, полученные через get_interfaces как physical.

Иначе ipam никак не коррелируется с FM, и становится нафиг не нужным

чрезвучайно большое количество технических проблем не возникает при правильном решении административных вопросов.

freeseacher: сейчас ipam ведет себя так - первый, кто увидел IP адрес - щаписал его туда

Dmitry1, у меня это решено валидаторами

в результате у меня в ipam есть записи

ip-10-110-0-11.example.com, ip-10-110-0-12.example.com, ip-10-110-0-13.example.com и т.п.

хотя ты видел выще, что адреса из сети 10.110.0.0/24 принадлежат реальным железкам

а у них везде description "Seen at CAT6509:Vl 255"

Потому что ip_discovery на каталисте отработал раньше, чем на железках

Мне что надо делать?

1. запустить дисковери на каталисте

2. отключить дисковери на каталисте

3. удалить нужную мне запись ипам

4. запустить дисковери на нужной мне железке

5. повторить для всех железок сети /24

Это точно нормальный алгоритм работы? Ты точно так делал для своих "у меня ~500 /22 сетей. все утчены и промаркированы не дискаверить. в разных диапазонах /15-19"

Я это фиксил вроде

У меня все что конфигурируест сразу вручную заводится в SA и IPAM в отдельный менеджмент ВРФ

конфигурируется

нет в НОК-е, сразу инженеру по рукам надаю

dvolodin: Дим. У меня для всех вроде бы найденных записей IPAM:

по большому делу дисковерин адресов штука хорошая, но уж очень широкого действия, как из пушки по воробьям

1. в поле Managed Object пусто

Dmitry1, у меня дискаверить ходит по железу. у меня /20 сеть на ядро сети. у меня дискавери добавляет в IPAM с дескрипшеном "Seen at"

2. в поле Description вместо interface description стоит "Seen at бла-бла"

у меня есть валидатор который тербует что бы все адреса на железе были занесены в нок.

адреса у который записано сеен ат считаются не занесенными

валидаторы включены в отчет предоставляемый начальству ежедневно.

Я понимаю.

Но!

и самое главное у меня PPPoE

get_interfaces выдает вполне избыточную информацию:

с пулами.

IP, MO Name, Interface Description

у меня нет того единственного адреса который нужно было бы занести в нок

ибо вся /22 клиентская

от 0,0 до 3,255

У меня PPTP с пулами. И я его тоже не заношу в NOC

Но ФИЗИЧЕСКИЕ интерфейсы должны туда попадать априори

Автоматом

откуда на физическом интерфейсе возьмется адрес ?

Иначе это получается большой excel, написанный на питоне

root@noc:/usr/local/noc/inv/discovery/jobs # ifconfig em0

em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500

options=9b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM>

ether 00:e0:81:40:8d:56

inet 10.111.0.14 netmask 0xffffff00 broadcast 10.111.0.255

media: Ethernet autoselect (1000baseT <full-duplex>)

status: active

и действительно, откуда на физическом интерфейсе возьмется адрес ? :)

дык это хост :)

Да ?

"сейчас ipam ведет себя так - первый, кто увидел IP адрес - щаписал его туда" - а у меня перезаписываются... ЧЯДНТ?

10.111.0.104 ALLOCATED ip-10-111-0-104.example.com 00:E0:81:5F:BA:BF Seen at 3845:Gi 3/0.3

Выше видно, что это FreeBSD

ну дык Freebsd это хост :)

Откуда появилась запись "Seen at 3845:Gi 3/0.3" ?

если учесть, что 3845 - это циска

от арпа, видимо

ооо

я кажется начал понимать

аллилуя !

и считаю что это решается валидаторами.

какими валидаторами?

конфига

Если это физически адрес железки, то он должен иметь 200% преимущество перед полученным по ARP

дык да

кстате, нехороший Dmitry1 показал разные адреса

в нок же он будет занесен как Seen at

придет админ посмотрит что это негоже и пофиксит

Ну а у нас сейчас кто первый этот адрес показал по arp, от того имени и занесся

10.111.0.14 != 10.111.0.104

evyscr, это действительно не важно

мало ли

нет

нок действительно отработает `не правильно`

и я согласен что тут есть куда рости

freeseacher: Алексей, как админ узнает, что "Seen at 3845:Gi 3/0.3" это адрес определенной железки?

Точнее, какой именно железки

Dmitry1, валидаторы работают в контексте проверки конкретной железяки

и присылают письмо с темой что в такой то железеяке - такая то проблема

я не знаю, что такое валидаторы, и не хочу знать

среди проячего там будет написано что адрес который задан в конфиге не занесен в нок

IMHO - все должно работать из коробкаи

freeseacher: Блиииин !

Dmitry1, валиадторы это проверка твоих политик в живой сети

Как я узнаю, что за железка имеет адрес 10.111.0.14 ?

:)

нок приходит за конфигом на inet 10.111.0.14

забирает конфиг

нет!

видит адрес

В ноке для управления у этой железки совсем другой адрес

проверяет этот адрес на присутствие в IPAM и наличие дескрипшена подходящего под под заданный формат

А на адрес 10.111.0.14 запрещен telnet, ssh, snmp и т.д.

да пох

он приходит на эту фрюшный тазик

и смотрит на его конфиг

в конфиге есть дарес который не подписан в ноке

или подписан не по правилам

о чем валидатор присылает письмо .

у тя в конфиге есть дарес который в ноке не описан.

freeseacher: напиши валидаторы к 40 вендорам, что у нас есть, и я с тобой соглашусь. Только учти, что у этих вендоров еще и куча разных версий операционки есть.

Dmitry1: мне кажется, у вас организационная проблема

Dmitry1, у меня так и есть

Так NOC и призван решить эту проблему.

Не уверен

Помочь её решить - возможно

А чем он тогда лучше excel ?

Много чем

у меня валидаторы проверяют далеко не только ипишники

после аварий пишутся валидаторы не предмет поиска конфигов которые могут привести к аварии

"У меня монтажники раздолбаи, а чем тогда noc лучше excel?"

этот вопрос просто поставлен на поток

(я, конечно, утрирую, но всё же)

учетная система никак не решает организачионных проблем

более того она очень часто их добавляет

evyscr: NOC как раз должен помогать от монтажников раздолбаев

Учетная система - это excel

А NOC кроме учета еще должен как-то логически эти данные обрабатывать

Чего сейчас нету

Если для FM для алармов я смог ксделать кучу правил, где вытаскиваю interface description, vlan name и т.п.

То для IPAM и MAC DB у нас это камень преткновения

Dmitry1: NOC-893

зачем такая ложь^Wобработка?

нате вам NOC-1412

хай всем; а может кто знает, по какому принципу fm определяет что из ивентов отображать в алармах?

irr123, это Dmitry1 определяет

zi_rus: а сам я никак не смогу чтоли поправить ивент-классы?

можешь

но лучше попинать его и сделать правильно чтобы нормально было у всех

и проблем с обновлением не будет

Лучше попинать его, понят и написать доступную доку, чтобы все писали правильно сами и никого не пиналь.

класс это класс

он как бы должен быть полноценным

если кому-то чего-то не хватает

значит где-то проблема

эта нормальность сильно зависит от сети, не уверен, что всем хотелось бы видеть в алармах оповещения NTP Synchronization has been lost, а вот конкретно мне надо этот и еще пару классов вытащить туда

это вопрос конфигурации на самом деле, я давно предлагал чтобы в ивен классе была галочка, поднимать или нет аларм по этому классу

Пиши алярм и подправь чуть соотведствующий Event Classes. там просто смотри линк довн-ап

у меня тоже есть ситуации когда какие-то сообщение не интересны в виде аларма

xetle: окей, спасибо

но это надо пинать еще одного человека

а его по каким-то крайностям носит

http://scottberkun.com/2007/asshole-driven-development/

мы тут ща обсуждали ошибки на линке, пришли к выводу, что у нас тепловое расширение ошибок =)

чем жарче - тем их больше

при том, что концы оптики в кондиционируемых помещениях с +23

mikevlz, ты что не знаешь что при нагревании увеличивается сопротивление и растут потери

нет, это именно тепловое расширение ошибок CRC

ну правильно

растет сопротивление, сигнал ослабляется

zi_rus: фу, ёпта... зануда

это тебе фу. шуток ен понимаешь

какое еще сопротивление в оптике

ну как какое?

обычное

повстанцы против регулярной армии

все проще - волокна тянутся

на больших трассах запросто по 5 см утяжка

если там внатяг изгибы были - это все вылезет

у нас в минус температурах хорошо так утягивалось

ну с минусами тоже все понятно. фотоны замерзают

по пути

а вообще - ты еще больший зануда

hi all

mikevlz, таки нед.

ви шо, евгей?

а вы таки имеете что то пготив?

а вам есть шо скгывать?

таки на што ви намекаете?

я намекаю?

ну не я же)

я выиграл такидатскую дуэль?

таки нед

ви ненастоящий евгей

какой же он гей

в каком месте я гей, если я лесбиян?

гей-лесбиян?

точно не евгей

а я утвегждал, что я евгей?

а таки шо в этом плохого?

а я где-то упоминал, что это плохо?

а чего хорошего?

таки што вы все плохо да плохо

?

кто все?

*ё

кто вы?

что плохо?

у вас молоко убежало)

куда убежало?

догнать его сможешь?