nocproject.org

lexus-omsk: привет

привет

lexus-omsk: расскажи, если знаешь, как посмотреть что обрабатывается, когда жахаем на что-то в интерфейсе, или вот более конкретно:

VCM\VC\Int. на определенном влане --- как поискать каким скриптом готовится отчет?

vc/apps/vc/

там есть часть на питоне, и часть на js

спасиб

а как ты искал, расскажи логику

я хочу собирать селектор из девайсов, на которых есть влан, рассчитываю подцепить тот механизм, что реализован в отчете

кстати приложение с селекторами немного по-другому написано, оно на админке django основано, а новые, вроде vc - vc и sa - mo, на ExtJS

а именно по поиску - это, наверное, по примеру vc/apps/vc/views.py - api_interfaces

lexus-omsk: я хочу

- получить перечень девайсов, на которых есть влан

- добавить новый селектор со списком этих девайсов

думаю, можно по примеру собрать некую конструкцию в shell, которая выдаст тебе список девайсов

а вот как из этого списка получить селектор - я что-то пока не догоняю

в селекторе есть фильтр по id, но он принимает только одно значение... вот если бы принимал список

не, я впрямую, перечнем девайсов, filter_name="s2-1-1|s4-1-1"

так-то точно должно отработать

можно было бы еще в Network Map подписывать, можно бы было визуализировать собираемые схемы

(немного другая тема)

TSergey, тему с картой влана уже думали.

твой подход слегка неожиданен :)

почему?

ну потому что бывает Bridge

а бридж бывает с тунелем

это же не подход, а способ показать как и что

и если делать по нормальному, с учетом того во что может превратиться влан то логика вырисоывается слегка другая

что такое бридж?

vpls

насколько я понимаю, у нас VTP на кольце, дальше на длинках руками

а сквозь маршрутизаторы ты вланы не таскаешь ?

я расчитываю получить все кольцо в селектор (влан там всюду должен быть), и дальше, т.к. на длтинках их прокладывают руками, то от кольца однозначно увижу где он заканчивается нетэгированным

я кольца выделяю через префиксы адресов

у меня на одно кольцо /27 диапазон

до понимания этого я еще не дорос

у тя на кольцо выделена отдельная сеть управления свитчами ?

или все в кучу ?

а вот этого я еще и не знаю

но в контексте разговора --- из отчета VCM\VC\Int. на определенном влане, мне все равно нужны все девайсы, на котрорых замечен влан,

ведь так?

ты хочешь карту влана ? или отрисовать кольцо ?

карту влана

иногда, в связи с кривостью учета и с тем, что на длинках пробивают руками, не учитывают какой-либо промежуточный узел, и начинается поиск

ну тогда говорю, решение влоб не будет достаточно универсальным

не-не, никакой универсальности, я для набора опыта и дать инструмент парням, чтоб относительно легко получить заготовку для топологии прохождения влана

freee: или я чего-то глобально не догоняю?

дык говорю же бриджи

тогда еще раз рассказывай :)

вот есть у меня клиент, ему отдан влан

я вижу его влан Untagged interfaces на пяти девайсах (должен на семи, но пара линков не поддерживается еще) и на 21 девайсе это влан в Tagged interfaces

условное циско-кольцо из 14 девайсов

вероятно 7 (21 -14) это и есть бриджи

у тя есть клиент который хочет что бы ты ему сделал доступ до местной точки обмена трафиком

ты этого клиента хватаешь на уровне доступа, тянешь через агрегацию в ядро, через терминирующий маршрутизатор и у таскиваешь на точку обмена трафиком

ну почти так

даже не совсем так

дык вот на маршрутизаторы ты дожен будешь сделать bridge

альтернативно у тя есть линк между агрегацией и ядром сети который минут маршрутизатор

хорошо, и как это меняет мою схему "получить девайсы с вланами --- сделать селектор"?

бриджи не попадут в селектор?

да

вот ты о чем

а значит карта влана будет не верна

ага, спасиб, я буду думать дальше

а значит рассматривать ее как рабочий механизм нельзя :)

а ты уверен, что в таком случае VCM\VC\Int. не видит влана на интерфейсе?

надеюсь вопрос поставлен корректно :)

да, ибо бывают бриджи частью которых будет интерфейс типа тунель

как бы найти, есть у нас такое или нет

в твоей сети будет один порт в антаге, потом облако доступа/агрегации потом маршрутиник поднимающий GRE с вторым провайдером или вторй частью ядра. а там вторая часть влана

это если без выпендрежа с MPLS

например я вижу влан на Po 2A, а Po 2A это Gi 3/25+Gi3/26, это тунель? или не обязательно?

нет это не туннель

это езерчаннел

а тунель это VPN

я уверен, что VPN для такой пробоски влана клиента мы не используем

но пойду попытаю цисковика

или я неправильно объяснил, или мы так вланы не пробрасываем

по крайней мере те, которые интересуют меня

а я и не говорю что это частая ситуация

и огромное тебе спасибо

freee: скажи еще, есть ли в ноке какой-то механизм подготовки отчетов? можно ли сделать выгрузку данных в odt, например

нет, как максиум это csv

а какую часть хотелось бы выгрузить в отчет ?

да даже более глобально

например я пишу где-то соответствие девайс-прошивка (сильно например, пока детали не продумывал) и делаю пируль, который каждый день, ночью, делает отчет по девайсам, где прошивка устарела

ааа

и выкладывает файло куда-то, ну или письмо с файлом, или письмо с текстом

это валидаторы

не, мне интересен не только механимз проверки, а как сделать читаемый отчет

результатом валидатора будет письмо

с результатами проверки

ну хорошо :)

давай придумаем что-то, что назвать валидатором трудно

и мне нужен обобщающий отчет

у меня через переодические проверки сделана проверка соответствия... хм... давай назовем это тегами в IPAM и настроек на железе

ну не знаю, например собрать с портов, проставленных в UNI, коннечась к билингу, инфу об абонентке клиента и собрать так абонентку по каждому узлу

нет такого нету и помойму даже не спрашивали ни разу

однако есть механизм SimpleReport

вооот

который выводит просто страничку с результатами

меня интересует интерфейс, через который можно отдать данные

он обязательно интерактивен?

я с нока отдаю в биллинг информацию об используемом адресном пространстве. мы с ними договорились о ссылке. которую они дергают GET-ом

и получают JSON данные

но это скорее интерфейс робот/робот

хороший вариант, но это скорее обмен

а мне бы "коннектор", куда можно вылить собранные данные

нее это не обмен это чистая отдача данных.

нок в интеграционных процессах почти всегда пассивен

dvolodin: добрый день

если тебе надо просто формировать файл, то видимо надо делать это через переодическое задание

но в эту сторну я не копал, не надо было

freee: ну да, вот и спрашивю, есть ли классы или типовые штуки

dvolodin: есть ли в ноке механизм выгрузки в файло\почту или куда-то еще подготовленных данных?

TSergey: зачем в файло?

dvolodin: например, нужно в результате работы пируля получить отчет, лежащий где-то

если что, у питона есть модуль csv

это хорошо

я спрашиваю, есть ли что-то готовое в ноке, может это как-то использовалось

модуль csv это то, как выгружаются списки в экспорт?

dvolodin: и как тогда "правильно" это делать? если с пирулем, например? высчитываем что нужно, складываем во временную базу, потмо ее выгружаем в файло?

*потом

можно и сразу в файло

хорошо

dvolodin, а для нового GridVCS ты так и не впиливал stale_config ?

нет еще

TSergey, https://codeo.me/488

работает на версии до GridVCS

присылает по утрам отчет о том что с какой то железяки давно не собирабются конфиги

но в коде ведь нет того, как отправлятся письмо?

записал себе, буду смотреть

9 строка это отправка письма

письмо отправляется людям входящим в группу нотификации PhoneDudes

а, вот оно как

у меня где то были еще примеры но их надо упрощать что бы можно было ими оперирвоать

тогда можно и статейку накатать

всем утро

и тебе обед!

народ, а вы собирале виртуальный коробок из двух mx ? а то мы тут ставим две 960, вот и думаем - может их того..

а какой выхлоп ?

а хрен его знает

стоят тут два шасси, думаю может поэкспериментировать..

с виртуальными коробками работать проще

но надежность сомнительна

да и ожидания от них не понятны

захочешь на одну коробку принять трафик а отдать во вторую

freee, не понял что ты хочешь сказать

когда единица управления одна потом забываешь что коробки разные.

zi_rus вот это как-бы и беспокоит.

сплитбрейн вдруг какой-нибудь случится

мы хотели пару ASR9010 в кластер скрутить, кое-как кластер поднялся, но когда стали тестировать, fail на первом же тесте, выдергиваю активный рсп и весь кластер уходит в ребут

нехилый у тя первый тест

зато проверили

да, вот так вот

я свой 3750 в стеке так и не проверил ни разу.

зря

это надо первым делом делать после сбора стека

а сейчас ты даже не знаешь чего ожидать

молодой был. не опытный. плюс сетевики пидорасы похуисты ёбаные

слона на тебя нет

расскажи мне про колин интузиазм.

ебанулся чтоли ?

и тягу к тестированию

какой у него энтузиазм

он ленивый распиздяй

и это у нас самый умный.

дыа

от которого зависит ВСЁ.

остальные работники мрцус - ещё более чем.

bus fucktor = 1 ?

ребятушки. у меня из IPAM генерятся прямая и обратная зоны и отгружаются через стомп на сервер. я сделал правки в ипаме, данные по обратной зоне отгрузились, а по прямой нет, куда копать?

в веб-интерфейсе в прямой зоне изменения видны

и где задаётся частота посылки verify для зоны? почему-то судя по логам для прямой зоны верифай отправляется строго раз в сутки

независимо от наличия правок в ней

Unbeerable: да, раз в сутки

для компенсации расхождений

но если появились изменения, он же их сразу должен отправить?

для обратки он сразу отправил. а для прямой фиг :(

а что за прямая зона?

ну обычная зона с A записями

с именами коммутаторов

Подскажите пожалуйста! Я создал новый Event Class (JSON) но после /noc collection --install в файле json в секции vars пропали описания переменных (данная секция оказалась пустой)?

Unbeerable: у меня такая же хрень с зонами как только перехал с 0,7(4) на 0,8

http://pic.vwp-nfc.com/kasp.jpg

dvolodin, подавитель повторов слишком репрессивен и неадекватен

диктаторствует?)

Привет! Вопрос есть по построению карт сетей

Добавили автоматическое обновление линков при изменении сети?

ss_, нет

т.е. грубо говоря есть кольцо и туда докинули пару узлов

плохо

собираюсь писать пируль, думаю с какого конца подойти

как все линки снести по одному типу железа кто нить знает?

zi_rus, ты уверен?

_4ePTeHok, в чем?

у меня вроде перестраивало, правда в течении суток

если линки не руками забиты

мне правда проверить сейчас не на чем

_4ePTeHok, не перестраивает

счас код гляну

_4ePTeHok, никто ничего не менял, не думаю что поведение изменилось, при случае обязательно проверю

могу проверить

ss_, ты на какой версии

"8[14:27] ss_: Добавили автоматическое обновление линков при изменении сети?"

если ты дискаверил объекты и в селектор, который используется для Network Map, они попадают --- то линик подтянутся

*линки

ss_, загляни после изменения и передискавери в пендинг линкс

_4ePTeHok: а где у тебя пендинг линкс?

кстати да, где оно. чот не могу в меню найти

в 0.8.dev же нет раздела с пендинг-линками

в кдит объекта-линкс

едит*

_4ePTeHok, сейчас скрипт поправлю для перекидываения надискавереных объектов из забикса в нок

там талбличка

ss_, а ты их там как дискаверишь?

утра)

а то я тут продумываю дискаверинг объектов в ноке

_4ePTeHok, если кину ссылку на манул не сильно растроишся?

=) ну шаблонные дела, по темплейту?

https://www.zabbix.com/documentation/ru/2.0/manual/discovery/network_discovery/rule

нет

там все сложнее

шлю snmp запросы на определенные оиды и анализирую ответ. Далее по условиям добавляю в группы цепляю шаблоны

<_4ePTeHok>, привет) слууушай, а у меня такая бредовая идея, с нока можно как то дергать сторонние скрипты? не на пайтоне?

d8e9c0, сильно бредовая идея

не думай её больше

не стоит да

<freee>, поняла) не буду больше)))

:D

ss_, это не сложно, это просто)

а технически вот так http://docs.python.org/2/library/subprocess.html

вот то что я накидал - это не так тривиально)

_4ePTeHok, мне бы уйти от прямых запросов к БД

http://kb.nocproject.org/display/DEV/Discovery+Managed+Objects

http://kb.nocproject.org/display/DEV/Discovery+Managed+Objects

а то скипип это ацко

у меня устойчивое ощущение что я оставлял там комментарий

покритикуйте чтоли

баш +sql

freee, не, я вчера добавил только

да

я вчера вечером и добавлял комментарий

в любом случае

хм) нету комментария)

_4ePTeHok, надо атрибут в IPAM

который бы говорил что это моя сеть

это может быть что угодно

и что ее можно дискваерить

тег, префикс, врф

то, что я там назвал "формальным признаком IPAM"

ибо у меня в Default налито префиксов очень много

_4ePTeHok, это все красиво но работать нужно сейчас а не ждать и писать фичи, железа просто много и отслеживать руками нет возможности

понятно, я просто пообсуждать же

чего так, чего не так, чего добавить)

чтобы концепт уже был

там правда еще проверку надо будет воткнуть

ВОпрос, cm_config и базы на что заменили?

чтобы для железки у котороой несколько ip, и все обладают менеджмент признаком не пыталось дубликаты создавать

ss_, GridVCS

если очень нужно, можно реплицировать конфиги оотуда в папочку

_4ePTeHok, не понял

ты про конфиги железок?

мне нужно имя таблиицы в postgres базе

таблички с чем?

psql -d noc -U noc -c "INSERT INTO cm_config ( repo_path, push_every, pull_every, managed_object_id ) \

VALUES ( '$MOD', 86400, 86400, '$ID' )"

нету в посгресе конфигов железок больше

т.е. после добавления узла добавить сбор их конфигов

они в монгу GridVCS уехали

ладно поставлю вопрос подругому

при назначении профиля, где разрешен дискаверинг конфигов - оно автоматом сдернет куда надо

<_4ePTeHok>, в версии нока для разработчиков, касательно CM ничего не поменялось? ( где и как храняться конфига)

'INSERT INTO sa_managedobject (( name, is_managed, administrative_domain_id, activator_id, profile_name, scheme, addres$

VALUES ('$MOD', true, '$administrative_domain_id', '$activator_id', '$profile_name', '0', '$I', null,'$login', '$pass', null, null,$

т е тебе надо профиль МО присвоить

вот туда воткнул узел

конфиги сам подтянет?

если в профиле разрешено - да

это где?

managed_object_profile

sa-setup

там где дискаверинг всего и вся разрешается

d8e9c0, это относительно чего?

какой версии

понял, раньше надо было отдельную таблицу дергать

ты аккуратно сейчас с прямой записью в бд)

там меняется с релиза немало)

<_4ePTeHok>, 0.8

ну так нет внятного описания api

я взяла стейбл образ)

сейчас нашла конфиги в /srv/noc/repo/

ss_, апи есть в моделях, а вот копание в базе чревато

а потом люди жалуются что скрипты после апдейта поломались

zi_rus, описание где айпи?:

_4ePTeHok, мне тут еще подсказали что кроме snmp дискавери нужен метод zabbix agent дискавери

мне проще в БД закинуть чем пытаться разобраться в айпи без документации

тоесть на сервере где есть заббикс надо пускать активтор

и здавать вопросы с него

а еще может быть nmap дискавери

у него есть ключ для определния оси

_4ePTeHok, вот прямой способ записи пока наиболее удобен

нужен правильный иснтрумент для переноса объектов из забикса в нок и обратно

freee, чтобы нок искал заббиксы?)

на свитчах*)

у кого то тут есть тазики с натом.

их дискаверить не надо да ?

погоди

источники добавить не вопрос

я хочу что бы он искал заббикс агенты

дискаверинг серверов это чуть другое

ну и зачастую на серверах ставят снмп тоже

как раз нет

для статистики с интерфейсов тех же

если не юзают заббикс)

если есть заббикс агент всё дальнейшее делается им

добавить дергатню агента не вопрос

ибо держать две системы не удобно

там обычный json-responce

нда ?

не знал

у них весь протокол обмена на джоне построен

там http н а10050 ? с ответами и вопросами на базе JSON &

?

на счет этого не уверен, надо в исходники траппера залезть

но сам траппер юзает данные как структуры джсоновские

на край можно заббикс-гет прикрутить бинарником вообще

ну да не суть

и отдавать в нок уже через прослоечную реализацию в питоне

про nmap что думаешь ?

если есть заббикс оно ни к чему же

если нет - то да, но его тащить в систему придется

нмап дискавери может помчь с оперделением железяк типа умных ктв переключателей

оно их ловит?

фига се.

или железяк с JMX мониторингом

./noc --version 1.4.10

jmx нам сам по себе не нужен

видишь, я то пока с точки зрения имеющихся возможностей в ноке пока думал

но на период добавления в кандидат нам нужно собрать максимум инфы

потому и есть пендинг_обджект

что бы если мы не смогли подобрать профиль автоматом мы могли сказать что у нас есть подозрение на то что это вот такая железяка

по серверному дискавери вопрос еще открыт, потому что скрипты для ОС не все есть

и быть может админ добавит к ней профиль

увидев что нок нашел 100500 одинаковых железяк

Access profile это явно атрибут сети, как и активтор с которого эту сеть дискаверить

Ребята, подскажите пожалуйста! Как создать свой Event Class с нужными мне ПЕРЕМЕННЫМИ????

_4ePTeHok: а где ты набросал про дискаверинг объектов? http://kb.nocproject.org/questions/12746772/how-does-discovery-work- ?

http://kb.nocproject.org/display/DEV/Discovery+Managed+Objects

это не про то как есть

это про то как было бы клева

sdmitri если не ошибаюсь, полноценное созданиеклассов возможно только вручную, путём правки json

e_zombie: что ты хочешь узнать про стек 3750? вдруг я знаю.

buggy-funhouse, не, я в процессе еще по текущему дискавери

я собрал его в стек из двух. настроил эзерченал на серваках чтобы линки были из разных частей. что будет если один вырубить по питанию

то по дискавери МО

freee: это твои хотения?

e_zombie: будет воркать

у меня куча стеков 3750

там проблема в нумерациях при перемещении/добавлении/удалении свитчей в стеке

а так всё ок

e_zombie: просто один из линков в lacp или в чём там у тебя будет не P, а D

например

_4ePTeHok: жду с нетерпением этот интересный документ. просто ты выше писал, что:"про дискаверинг объектов набросал"

./noc wipe managed_object 858 замену сделали работающую?

т.е. из морды

у меня в inventory, unknown models есть 65 позиций. Конечно, они повторяются. Это отсутствующие модели?

ss_: не видел

ss_: до сих пор http://kb.nocproject.org/questions/12746801/-managed-object-user

где можно посмотреть весь список тегов?

не могу ответить на этот вопрос

в мейн-тегс же вроде

нет

раньше вроде было

в SA

ss_: разве есть список тэгов? ведь нигде в фильтрах нельзя выбрать тэги лишь ввести его заново

Человеки, подскажите как из шела все линки удалить для одного типа железа

TSergey, был

ss_, тебя какой момент интересует? по логике это два цикла, выдернуть все железки, первым идти по железкам и на каждой перебирать порты, где есть линк, дропать его

грустный путь

взять все линки и наложить фильтр по MO

ты не можешь фильтровать по списку, только по конкретному

нужен список мо

и перебирать порты на каждом

почему это не можешь?

вот тут вроде как такой алгоритм

https://bitbucket.org/nocproject/noc/src/2cdba57c7aa3b1b85f2e0c4261e977de732b010d/inv/apps/map/views.py?at=develop

линки же знают на каких МО они сидят

я бы еще отключил обрывание линков, собранных руками

а вот по ipam. если я пущу нок на роутер. там есть 3 vrf, он их как задетектит?

если скрипты есть - задетектит

а удлинка есть vrf? кто-нибудь mpls на длтнках делал? :) просто интересно

_4ePTeHok: что значит, если скрипты есть? допустим, для cisco.ios есть. Это имелось в виду?

zi_rus: нет, у меня нет dlink такого уровня, чтобы mpls делать

верно я понимаю, что пока ipam это всего лишь список интерфейсов, где висят подсети? самого определения занятости ip нет?

скажите, задать в Run command копирование прошивки на коммутатор, для группы, чем опасно?

buggy-funhouse, нет

ипам - это список префиксов и адресов

и врф

присутствуют там эти сущности либо забиваемые руками, либо надискаверенные с железа

статусы ты можешь руками выставлять - PLANNED/ALLOCATED и т д

привет всем, а Inventory -> Mac DB должно заполнятся само в 0.8?

да, если включен мак дискавери

в noc.conf | sa-setup-managed object profile | inv/interfaces профиль выставлен.

ovg: http://forum.nocproject.org/index.php?topic=301.0

ага, понял спс

ovg: там еще момент --- нужны ли тебе маки с транков

TSergey так-то нет конечно, а есть готовый рецепт?

конечно :)

ща

-_-

ovg: http://kb.nocproject.org/pages/viewpage.action?pageId=12746794

тут пируль, а настройку профиля интерфейса нужно чуток поискать

_4ePTeHok: Тогда так-то ипам не особо нужен..

ovg: http://kb.nocproject.org/pages/viewpage.action?pageId=11108392

тут "исходник" + создание профилей

ovg: NNI --- не собираем маки, UNI - собираем

это в профилях нужно "загалочить"

Ребята, кто создавал собственный Event Class?????

TSergey, да

zi_rus: ?

а, я не задавал вопрос :)

buggy-funhouse вроде IPPAM адреса он тоже опрашивает

т.е. ping?

не

а где посмотреть статистику?

TSergey понял, спс. Пока чота не вижу маков в Mac DB вообще.

sh arp через телнет

а, ну это интереснее

я имел в виду статистику last seen для ip

раз sh arp берёт

про ласт самому и интересно, не знаю

ovg: все три обязательных шага, описанных на форуме сделаны?

TSergey всё было кроме галочки в профиле интерфейсов

а 0.8. или 0.8.dev?

0.8

buggy-funhouse всмысле ненужен

он и задумывался как справочная

а не как глоабльная арп таблица

_4ePTeHok: мне <aisherem> уже помог найти где был виден адрес хоть раз

просто эти seen at он по какому алгоритму выбирает?

первый попавшийся в macdb?

или они никак не связаны?

просто sh arp?

там нет в ипам таймстемпа

просто видел и всё? время было бы неплохо иметь + интерефейс, где этот мак сидит.

в реалтайме тебе все равно оно не покажет

жаль, но хоть историю из mac db дёрнуть неплохо было бы

у меня там сейчас 11000

адресов

все их обходить для реалтайма нереально

по запросу для конкретной сети/ip

я не понимаю смысла

применение какое?

Найти, где сидит пользователь с таким ip

например, когда вбит статиком

я могу это сделать руками

берешь мак

идешь в макдб и вуаля

Ок, а в реалтайме это можно делать? Есть мак, хочу найти где он сейчас. Вот прямо сейчас

смотришь в макдб где оно светилось в последний раз

идешь в inv_interfaces

выбираешь ту железку и на порту целкаешь кнопку показать маки

оно сдернет текущее состояние

с железа

а с rsh тщс умеет работать?

*noc

ну нереально это держать реалтайм таблицу всех маков со всех железок

ничего не скажу по этому поводу, не нужно было)

jr

спасибо

_4ePTeHok: а метод mac-discovery сейчас етсь?

у товарища он есть в noc.conf, а у меня нет о_О

он в старой версии в дискавери конф был

потом переехал в нок

конф

_4ePTeHok: какой скрипт за него отвечает, не подскажешь?

get_mac_address_table

а дальше уже кухня построителя линков, верно?

из get_interfaces вроде тоже берет

эм, а линки тут причем

мак дискавери это для макдб

метода обнаружения линков между железками на базе маков достоверных нет

в ноке*

<aisherem> говорит, что у него что-то построилось по mac

с роутерами там что то было

но не л2

в 0,6-0,7 вроде оно было и для л2, но отказались

хорошо.

больше не отвлекаю)

zi_rus, у меня есть неактуальные линки и проще все удалить и отдисковерить снова

разумно

zi_rus, незнаешь как быстро это сделать? Ибо заходить на каждую железку и руками делать отлинковку это неразумно

ss_, так ты все хочешь удалить или только на конкретных железках

ну вообщем можно и все

всеравно дискавери только на нуявеях корректно работает

juniper не дружит с сиськами и хуявей

попробуй так

from noc.inv.models import *

for l in Link.object.all():

l.delete()

или objects

Traceback (most recent call last):

File "<console>", line 1, in <module>

AttributeError: type object 'Link' has no attribute 'object'

ща

ss_, objects

удалить линки, проставленные вручную

Quote

mongo noc

db.noc.links.remove({"discovery_method" : ""})

db.noc.links.runCommand("compact");

exit

db.noc.links.find({"discovery_method" : "stp"}) --- stp

http://forum.nocproject.org/index.php?topic=298.0 внизу

ок, спс сейчас сделаем

TSergey, не кошерно копаться в базе

тоже самое через шелл

from noc.inv.models import *

for l in Link.objects.filter(discovery_method=""):

l.delete()

в базе всегда кошерно) самое тру и адреналин)

я не настаивал

ss_, и скрипты проще писать и обновления они лучше переживают

беспорно

ss_, монго не умеет делать проверку ссылочной челостности

ее должен делать код программиста

так что ты можешь грохнуть обект не грохнув его ссылки

беспорно

вот тебе потом будет здорово :)

db.noc.links.find({"discovery_method" : "lldp"})

куча ссылок

много новых интересных стектрейсов

ss_, тут мы договорились всех посылать на http://kb.nocproject.org/questions

for l in Link.objects.filter(discovery_method="lldp"):

print l

много всего вывел

или он дисковерит так быстро?

еще раз сделал уже меньше

все почистил

=)

такое желаение добавить это скрипт в крон на пятнцу каждой недели

zi_rus, хороший посыл, давай лучше api разберем

как в noc добавить объект?

ss_, ты норкоман, зачем тебе вообще линки в базе

zi_rus, чтоб знать топологию сети

реальную

и ты их дропаешь

он дискаверит ты дропаешь

один откапывает

другой закапывает

так блин они не актуальные

это они деревья сажают

только один не пришел

кто саженцы в ямку должен ставить

он же сука такая не видит что поменялся линк

и его надо грохнуть

и сделать новый

ss_, пируль на триггер надо повесить

изменилась топология, физически в кольцо пару коммутаторов добавилось

линк упал, его из базы стерли

это не правильно

а дропать все линки это типа праивльно

линк упал и ты не знаешь куда было подключнео

отдискаверит заново

дак упал надо восстановить а как?

авария доспустим сложная

документации нет

а тут еще и линки автоматом похерились

нужен интерфейс для общения с дискавери

_4ePTeHok, а ты не знаешь, в пендинг_линкс попадет линк если он жуе есть в базе, но только отдискаверился другой сосед?

может от этого плясать

и как посмотреть содержимое pending_links?

должен

в sa-mo-edit-links

_4ePTeHok, не, из консоли

zi_rus, делали раньше в ноке весь список линков каким то отдельным окном

как поиск по тегу сделать?

zi_rus, for link in PendingLinkCheck.objects.filter(local_object=mo.id):

ss_, какой поиск? где поиск?

ну или .all()

как тебе удобнее

я писал себе скрипт сверки

zi_rus, есть косячные теги

надо весь их список

_4ePTeHok, какой импорт добавить?

ходит по мо и проверяет если есть пендинг - не пересекается ли с уже имеющимся линком

но вот похерили кнопку со списком в новой версии

from noc.inv.models.link import Link

from noc.inv.models.pendinglinkcheck import PendingLinkCheck

вроде хватит

SELECT tags FROM sa_managedobject;

{'civilsk,fttb,ring6,'}

кавычки попали

хы

вот как их выцеплять?

опять прямиком в бд копать?

скрипт на питоне напиши

и то проще

sql я знаю а вот на питоне написать скрипт не зная струкуты данных

это тот еще секс

нет доки человечно

на питоне все просто, а копаться в sql чревато, особенно если что поменяется

для меня тоже нет доки

но я как-то справляюсь

SELECT name,tags FROM sa_managedobject WHERE LIKE ''';

как эту гребаную кавычку заэкранировать?

ELECT name,tags FROM sa_managedobject WHERE tags LIKE ''';

zi_rus, http://imageshack.com/a/img850/7431/kylu.png

обрати внимание на первую и последнюю строку

dvolodin, это нормально? - <ss_> SELECT tags FROM sa_managedobject;

[12:28:58] <ss_> {'civilsk,fttb,ring6,'}

да, нормально

ARRAY

_4ePTeHok, это я в скрипте косанул) вопрос как найти такие косяки

окай.

ss_, так ты кавычку ищешь или запятую

эх, наешься ты грибов с прямой записью в бд

WHERE tags содержит кавычку

_4ePTeHok, ничего, часто без прямой записи хер че сделать

лучше б через прослойку питона сделал

там объект впилить проще простого

у нас тут ойтишник есть такой же. его девиз - слабоумие и отвага.

_4ePTeHok, нету доки по структуре данных

зачем тебе дока

я без этой доки сто лет буду искать

открываешь код sa/apps/managedobject/view.py

и там все есть

и чего куда импортировать и как добавлять и как сохранять

параметры структуры лежат в ./sa/models

схоронил на будушее

dvolodin, иди сюда, смотри, ты сказал сделать - window = 2592000, чтобы ивенты не уходили через сутки, а они все равно уходят

а еще полезно поставить себе ipython

freee, через анал к оракулу?) (Oracle)

и там сделать from noc.sa.models import ManagedObject

ManagedObject??

оно с одинм ? выдаст доку

достаточно в нок шелле

с двумя исходник

dir(ManagedObject)

все методы вывалит

и параметры

без методов можно .__dict__ поглядеть

это куда проще, чем потом искать, почему что то криво где то

проще 8 объектов руками исправить сейчас))) нашел еще косяк

ss_, держи

from noc.sa.models import *

for mo in ManagedObject.objects.all():

try:

for t in mo.tags:

if "t" in t:

print mo

except:

pass

"t" замени на "'"

833 | \r +| {shem,adsl,ma5605}

| \r +|

| 110120119_Shem-Asanovo |

zi_rus, работает спс

пойду ручками поправлю теги

ss_, и делов на 60 секунд

надо осиливать но времени нехватает

dvolodin, Дим, а дискавери линков должен обновлять линк если топология сменилась, а линк ищначально был автоматически найденным?

_4ePTeHok, должен, но не делает

забиксом плотно занят, кста купил недавно себе ноут http://market.yandex.ru/model.xml?modelid=7083110 только с 8 гиг оперативы 320 винт, чип аппаратного шифрования, 3г модем, GPS, докстанция с резаком

_4ePTeHok, подтверждаю, сегодня проверил

а у меня как то странно

был пендинг изменившийся

прогнал руками с обоих сторон дискавери

пендинг пропал, линк остался старый

_4ePTeHok, вон у тебя на скриншоте пендинг, что там происходит, прогони дискавери на всех сторонах, что случится

вот я и сделал

блин

есть конечно вариант что там реально переключали

и в тот момент дискавери задетектил

надо мне где-нибудь так же сделать

а сейчас все назад вернули

_4ePTeHok, вот нашел, у меня один линк переключили на той же железке в другой порт, в базе лежит старый линк, запустил оам_дискавери, в линках пендинг не добавился

А есть у кого пример синтаксиса CSV-файла для импорта девайсов ? Вот к прмеру графа is_managed, там писать 1 или 0 ? Ну и некоторые другие не очень ясны

fox__, добавь один девайс и экспортни

вот тебе и шаблон

_4ePTeHok: если что-то нужно потестить в дискавери, я могу, у меня случаев много

есть и эджкоры и микротики и экстримы.... на всех такая же ситуация....

fox__: а ты заведи сам 1 девайс руками и слей csv

is_managed это галка в MO объекта

fox__,

from noc.sa.models import ManagedObject

addr=["10.239.26.19","10.239.26.20","10.239.26.22","10.239.26.23","10.239.26.24"]

for ip in addr:

ManagedObject(name = ip, is_managed = "t", administrative_domain_id = "2", activator_id = "2", profile_name = "DLink.DxS", scheme = "0", address= ip, port = "0", trap_source_ip = ip, max_scripts= "0", object_profile_id= "3", vc_domain_id = "3", auth_profile_id= "2").save()

http://kb.nocproject.org/questions/13336675/-mo

TSergey: Поправил матчинг селекторов по нескольким тегам

freee: is_managed=True

dvolodin: обновляться?)

как хотите :)

dvolodin: зачем нужен ипам в текущей реализации?

хм

вот вопрос в лоб просто

:)

зачем нужен IPAM вообще, если учесть, что текущая реализация - лучшее, что вообще есть?

:)

dvolodin: btw, а default на устанавливаемость кем-то тестируется?

с мест сообщают, что оно валится с формулировкой No distributions at all found for noc-pkg-handlebars==1.0.0 (from -r etc/requirements/noc.txt (line 21))

freee ага спасибо, уже нашел выгрузку девайсов. NOC штука отличная, но все-таки в некоторой неочевидности интерфейса ему не отказать =)

где взять /cluster:<cluster_id> для DLink DES-1210-26/ME/B1 ?

dvolodin: ипам нужен, чтобы знать, что, где и как используется, а также как часто

пока есть только что и где настроено.

с чего ты взял?

dvolodin: потому что seen at транковый магистральный порт это не показатель. Нет инфы когда

это результаты discovery

можно и руками вводить

руками вводить это Excel

а причем тут транковый магистральный когда речь об ip?

вот и я про то же

для маков есть макдб

почем ip discovery знает, чем используется адрес?

ipam должен знать чем и где используется адрес

на самом деле у меня есть наработка по тому, когда discovery первый раз увидел ресурс, когда были правки и когда он последний раз был виден

иначе это не ипам, а шпаргалка где какая сеть настроена

dvolodin, Дим, если имя MO теоретически пересечется с id - дебаг скрипт откажется работать

кстати, нашёл маленький баг

т е name =100, id=100

logging ip address в конфиге циски приписывается последнему int vlan X

buggy-funhouse: в сеть воткнули комп

расскажи, как IPAM узнает, что это за комп и для чего он нужен?

dvolodin: ну, назначение это не узнать, а вот где был замечен mac этого ip в последний раз, весьма полезно. А так же, как давно этот ip выходил в сеть.

как ты собираешься отслеживать

нахождение адреса в сети

sh arp на роутере

dvolodin, мне нужен список ивентов за неделю, но нок постоянно вычищает, так что остаются только последние сутки. как изменить интервал?

zi_rus, настройки архивации

_4ePTeHok, где

buggy-funhouse: и каким образом это вообще относится к IPAM?

zi_rus: правила архивации посмотри

ГДЕ?

раньше в периодике в шедулере были))

я знаю что оно было там

dvolodin: Internet Protocol address management (IPAM) is a means of planning, tracking, and managing the Internet Protocol address space used in a network. ИХМО, это необходимый функционал.

там я выкручивал

а теперь там этого нет

так ГДЕ???

dvolodin: и, повторюсь, скрипт ошибочно парсит ip адреса для сислога и rsh и относит их к последнему int vlan в конфиге

какой скрипт то?

гет интерфейсес

я не уверен, что используется для ipam

скорее всего

сейчас запущу скрипт для конкретной железки

нет, этого ip в get_interdfaces нет

Seen at math10g.sw:Vl 18 это откуда берётся?

из get_arp

buggy-funhouse: поосторожнее цитируй википедию

dvolodin: дело в том, что это и моё виденье ipam

get_arp только для ipv4 используется

buggy-funhouse: видеть можно любые мультики, ты лучше скажи, какие продукты попадают под твое видение?

dvolodin: продукты ты имеешь в виду коммерческие?

я вот непойму, как отслеживать 20к адресов

любые

пинговать скопом?

_4ePTeHok: icmp не везде есть

а если 200к

а зачем ?

у тебя в любом случае будет лаг

ты раз в 4 часа можешь таскать таблицу арпов с роутера?

что даст эта таблица ?

<buggy-funhouse> dvolodin: ну, назначение это не узнать, а вот где был замечен mac этого ip в последний раз, весьма полезно. А так же, как давно этот ip выходил в сеть.

заполненность пулов радиуса

не больше :)

тогда проще в радиус и глядеть

чего и кому выдано

у меня сейчас в нок таскаются адреса из гет арп

просто у меня это есть и оно работает и это удобно. Также есть поиск mac на порту в реалтайме

клиентские

спасу от них нет

_4ePTeHok: а если статик?

buggy-funhouse, по макпорту - как реализовано?)

они все на dhcp для wifi

freee, отключить на вайфае сбор

дима а давай правда атрибутик маленький впилим ?

запретить добавляь сюда адреса и зарпа

профиль

_4ePTeHok, как ?

есть

freee: прямо на префикс?

интерфейса

да на префикс

этот интерфейс на брасе

_4ePTeHok: есть быстрый поиск и медленный

интерфейсы как раз работают

и их можно и вписывать

а вот из арп-кеша запрещать -- да, вполне можно

ок. у меня это group interface в терминорлогии алика опять же

_4ePTeHok: на корневых устройствах смотрим mac address-table. Если есть, идём по дереву вниз. Кто на этом порту знаем по cdp/lldp

все что за ним в определенном Vrf это тупо трешак

и так вниз до конца

_4ePTeHok: медленный это rsh по списку свитчей, область свитчей задаётся

noc это или непойми что, в конце концов?

ты путаешь две части

одно - данные в бд

другое - данные в свитче

где путаю?

если бы нок все всегда дергал с железа - оно бы не работало а лежало

смотря как дёргать

_4ePTeHok: я говорю не про всегда, а конкретный поиск, когда мне нужно

этот мак был виден в той-то области. Нет проблем сходить на него как угодно и взять таблицу маков

и раз в сутки таблица арпов с роутера позволит знать, используется ли этот ip адрес вообще

noc=# select count(*) from ip_address where address > '10.12.0.0' and address < '10.15.255.255';

count

--------

127808

тупо трешняка

круто, число!

там в web тоже где-то пишется оно

where address between X and Y

:)

dvolodin, я знаю :)

но он меня парило

вырубать просто на весь префикс?

или все-таки париться с наследованием и прочим?

там префикс с наследованием

но если надо я проставлю на каждый вложенный

noc=# select count(*) from ip_address where vrf_id=1;

count

--------

511014

где то еще дофига :)

dvolodin, так где сеча лежат нстройки архивации ивентов?

zi_rus: fm/jobs/archive.py

это ты так пошутил?

чушь там какая-то

сначала дропаем то, что не относится к классу

где предписано классом

а дальше дропаем все, что не относится к алармам

dvolodin, и сразу вдогонку второй момент, я не хочу дропать, я хочу сохранять все

все, что при алармах -- архивируем

вытащи это в fm > setup

настрока чего архивировать, как часто и как долго хранить архив

а это не в конфигах ?

не

там немного по-другому нужно

две настройки

хоть одну

но нет ни одной

сделай как знаешь, а мы покритикуем

:)

_4ePTeHok: dvolodin: имеет моя система право на жизнь или посоветуете написать её самому для нока дополнительно?

жизненный принцип zi_rus озвучен :))

гг

freee, я уже говорил, сначала повалить, а там уже ногами запиинаем

buggy-funhouse, я уже предложил же

смотреть по маку

а дальше уже идти на тот объект и смотреть там оно сейчас или нет

buggy-funhouse, больше кода хорошего и разного.

главное учти как с твоей такой системой жить мне :) и предусмотри галочку что мне при этих объемах нужны такие знания только на определенном префиксе

на какой нить сверх важной /27

при отсутствии центрального маршрутизатора, который знает все маки это будет фейл)

zi_rus: там, наверное, нужно еще настройку сделать

глубина хранения event'ов без alarm'ов

ну или так

сейчас я настроить вообще ничего не могу

никак

совсем

вообще

да ты не переживай так)

подскажите плиз, должен DLink DES-1210-26/ME/B1 с ноком работать?

zi_rus: сделаю два параметра

сколько хранить события без алармов

и сколько хранить события при алармах

и сколько неклассифицированные

и где прописана давность попадания в архив

неклассифицированные не архивируются

а я хочу

и топнул ножкой)

Набросал get_interfaces, сейчас дергает вот такое - http://pastebin.com/PEPvPS3x , я правильно понимаю, что при приходе трапа IF-MIB::ifOperStatus.818 down, в FA у меня должен появляться аларм с "нормальным" описанием интерфейса ?

нок 70% не может классифицировать, и все дропает вместе с архивом к хуям

_4ePTeHok, я и задираю интервал архивации потому что он дропает все подряд, чуть времени прошло и уже ни хуя концов не найдешь

половина правил написать нельзя потому что классов нет

zi_rus: вот для этого и надо иметь промежуточный сислог с архивацией логов валящихся с сети

e_zombie, у меня есть сислог сервер где все в файлик пишется. но и нахуй тогда нужен нок и его архив?

параметр snmp_ifindex как-то обрабатывается ?

_4ePTeHok: отлично, а если не там в данный момент, дальше что? в segfault?)

freee: ты боишься получать раз в сутки таблицу арп?

Huko, в правиле классификации ивента должен быть параметр

zi_rus: кэп намекает что хранить тексты удобнее по каждой железке чем выгрузку из бд в виде единого куска из которого хуй что достанешь пока не загрузишь. разделяем глубинные разборки и оперативное управление.

типа KEY RE ^IF-MIB::ifIndex\.\d+$ Value RE ^(?P<interface__ifindex>\d+)$

_4ePTeHok: о круто, сейчас попробую. спасибо !

e_zombie, не уверен, у меня все в один файл пишется, грепать по маку удобно, если надо конкретную железку грепаешь по ее имени

buggy-funhouse, если у меня сегментированная сеть без выхода маков на брас - как по своей логике искать?

у меня валится и в один файл и для кажждой железки по отдельности.

_4ePTeHok: твои маки же где-то терминируются?

Huko, пример можешь взять EdgeCore | ES | Network | Link | Link Up (SNMP)

оперативку можно делать по одному файлу. а разбрки по отдельной. плюс логротатор проще настроить

когда ты врубишь дебаг на железке для создания багрепорта - хер ты что увидишь в одном файле

buggy-funhouse, на районном маршрутнике. А как я определю, на котоом из сотни?)

чтобы начинать откуда то искать

верхушку дерева

e_zombie, я вообще не хочу по файлам лазать, есть нок у которого кошерный фм, но такие мелочи убивают

когда ты будешь делать для вендора выгрузку логов - нок тебя не спасёт. ибо он уже ОБРАБОТАН и в ПАРСЕР вендора не полезет.

вендор тебя просто пошлёт лесом с логами нока.

zi_rus: лови

:)

и будешь ты сидеть и ждать пока у тебя вальнётся опять. у нас такое было в платами от 7600

_4ePTeHok: тут 2 немного разные задачи. 1. поиск где мак есть сейчас в realtime 2. слежение за использованием ip.

dvolodin, неклассифицированные архивируются?

_4ePTeHok: либо этот мак был в таблице мак-дб, либо он был в арп-таблицах. Если нет, то да, пройтись по верхушке каждой отдельно.

http://www.opennet.ru/opennews/art.shtml?num=39296

zi_rus: нет :)

их нужно классифицировать :)

freee: итого общая идея

по поводу ip discovery

есть проблема, некому писать правила и классы

добавляем в ip_address поле enable_ip_discovery

char(1) с 3 значениями

I - inherit, E - enable, D - disable

по умолчанию - inherit

может таки в префикс?

ну а дальше ip discovery пусть вычисляет

а не в адрес

да, в ip_prefix, гоню

ну тогда за одно и с таймстемпами бы доделать))))

то что мне показывал

это совсем отдельно и глобально

оно же на все методы discovery

да, но можно генерик запилить

а методы постепенно добавлять

оно не связано

давайте последовательно ;)

freee: по настройкам префиксов так и делаем?

этого кстати и Dmitry11 давно просил)

чтобы дхцп пулы не дрочить

правда он другим методом хотел

отключать гет_арп, но собирать с get_interfaces

так и будет

там кстати тоже надо подправить, что адрес из get_interfaces имеет больший вес

а то я у себя не видел ни одного адреса оттуда

все seen on..

Все добрый вечер.

+1

+2

при get_config с Dlink'а все заканчивается следующим:

2014-03-13 17:24:05,517 Shutting down the factory

2014-03-13 17:24:05,517 0 TICKS TO EXIT

2014-03-13 17:24:05,518 Stopping socket factory

просблема с timeout?

а до этого

видно что оно команды отдает?

ieasm, так заканчиваются все скрипты, вопрос в том что в середине

конфиг полностью вывел.. но скрипты обычно по-другому заканчиваются

ну и хорошо. и чем же отличаются другие скрипты?

dvolodin: откуда в ASM/AA берётся description вида "Seen at math10g.sw:Vl 18"

buggy-funhouse, из дискавери, он в арп уидел и добавил в ипам где он видел этот адрес

странно, что он добавил именно ip, который у меня для syslog указан

на циске

бавает такое

у меня постоянно

смирись

более того

p2p линк

на одном посмотрел арп

на другом посмторел арп

и адреса оказались перепутаны

про это тоже тут мозги сношают периодически

переделается

объект и интерфейс будут динамически браться из инвентори

давно пора

но пока что у нас только так

_4ePTeHok: а где нибудь в базе хранится ifindex ? что-то у меня все так же Link down: 682

ну в инвентори и хранится

ты по примеру правило сделал?

установил его?

да, сделал так же

коллекции синхронизировал?

нок перезапускал?)

ага, нок перезапускал :)

переклассифицировать ивент пробовал?

он жу у меня матчится

дискавери объекта сделай через веб морду)

при тесте правила вот такое показывает:

interface MISSED!

interface__ifindex 431

а не дебаг скриптом

и еще раз тест

о! после дескавери Link down: 4/47 (ood-rsa-lan-5) . cool ! спасибо!

Подскажите, возможно ли такое чудо распарсить http://pastebin.com/j17f6PRd ? Что-то у меня вообще нет идей как это должно выглядеть в get_interfaces

Huko, дели по блокам между "------"

а дальше просто - дергаешь порт как первую переменную, и по шаблону \d{1:4}\s\(?P<name>\S+) итерациями до конца

блока

ну для цифры номера влана тоже переменную там впендюрь

_4ePTeHok: это надо в цикл какой-то загонять ?

есть конструкция for block in self.rx_regex.finditer(source):

ну или циклом обычным

а как блок это выделить ? через split ?

ыыы)

например да

а еще в ноке есть встроенная функция parase table как раз для таких случаев

ну почти для таких

ни разу не пользовал)

а мне пришлось

parse_table(ipif)[0][1]

<_4ePTeHok>, что то у логами у меня фигата выходит.. или я не туда смотрю, или пишется не то, что надо( я забила))

from noc.lib.text import *

а регех7

как задается

"""

>>> parse_table("First Second Third\\n----- ------ -----\\na b c\\nddd eee fff\\n")

[['a', 'b', 'c'], ['ddd', 'eee', 'fff']]

>>> parse_table("First Second Third\\n----- ------ -----\\na c\\nddd eee fff\\n")

[['a', '', 'c'], ['ddd', 'eee', 'fff']]

да, похоже.

о блин

def xml_to_table(s, root, row):

а я трахался, чтобы с вмвари выдирать...

_4ePTeHok, а я наоборот, всех тут затрахал и мне подсказали

бгг

блин, там много полезнятины

split_alnum там да

т.е. мне в сторну parse_table копать ?

это как тебе удобнее)

не, не совсем мой случай

попробовать не долго