nocproject.org

Всё, вопрос снят

Привет всем. Ай нид хелп. : ))

Вопрос: настроил авторизацию по LDAP. Логинюсь нормально. Поле навигации пустое. ЧЯДНТ?

StraNNicK: нет, в LDAP права админа только через группы

dvolodin, я уже создал группы. Теперь проблема — пользователь логинится нормально, но при этом Navigation menu пустое.

а что поменялось недавно в схеме DNS?

обновился и у меня cm.dns_pull сломалось

__init__() got an unexpected keyword argument 'soa'

о как

Дима вчера и позавчера вроде пилил новый механизм работы с ДНС. Сначала с Powerdns, потом собирался для isc-bind сделать. Обещал не ломать ничего, говорил, что механизмы будут жить дружно

вчера он закоммитил этот механизм

mikevlz: когда ты упражнялся в noc shell, изменения сразу после save() отображались в web интерфейсе?

да

как скрипт доработает, открываешь вкладку - все там поменялось

хочу interface profile поменять там, где прописаны линки, чтобы mac'и не собирать, а трапы слать... не меняется

хотя в том же shell выборка уже отображает изменения

где именно показывает?

то есть вот ты в цикле пробежал и засейвил изменения. Потом делаешь новый цикл, в котором выводишь - там эти самые изменения?

Господа, кто нить снял фильтры "ge /24" с апстримов ?

dvolodin: NOC-696

там патч, все пашет

freeseacher: а зачем?

да праздный интерес у меня.

рано праздновать, четверг только ;)

появляется тут клиент которых хочет зарезервироваться.

и взять /29 сетку

типа /24 дофига

мы не фильтруем длину. Если аплинки фильтруют - то хрен чо сделаешь, а так - бордер мощный

есть мнение что какой нить чудак на букву м, забадает интернет что бы филтры сняли.

типа вопрос времени.

freeseacher: пошлите его нафиг

этого то я понятно пошлю.

фи

примите вы, не примут другие

какие некультурные

да мотивация ясна.

лучше ценник ему зарядите дикий. И в договоре пропишите, что прохождение мелкого префикса не гарантируете

mikevlz, это и есть посыл.

ему проще зарезервироваться двумя нат пулами

и существенно дешевле.

отказать как бы низа же. клинт же ;)

Поможите. Почему-то не бэкапится mongo

2012-10-04 09:21:36,322 main.backup: Dumping MongoDB database into /var/backup/n

oc-mongo-2012-10-04-09-21

2012-10-04 09:21:40,621 main.backup: dump failed. Removing broken dump /var/back

up/noc-mongo-2012-10-04-09-21

2012-10-04 09:21:40,622 main.backup: dumping repo into /var/backup/noc-repo-2012

-10-04-09-21.tar.gz

il_art, пароль задан ?

да.

eventы ходят

места хватает ?

да

4 минуты значит бекапится а потом говорит failed

4 секунды

ах секунды, да

не заметил.

бекапился когда нить ?

руками попробуй пробэкапить

через mongodump норм

раньше бэкап работал

в логах mongo то ругается на auth: key mismatch noc, ns:noc А через пару минут ивенты обновляет

а иногда вообще говорит auth: couldn't find user noc, admin.system.users

dvolodin: тут Unbeerable жаловался, что у него после обновления cm.dns-pull сломался

я доделал новую схему DNS provisioning'а

собственно новая настраивается не в пример проще

Неотображение Navigation menu может как-то зависеть от типа аутентификации? Или это признак того, что эта самая аутентификация прошла некорректно?

dvolodin: а дока по настройке?

StraNNicK, это права плохо выдались

думаю оно отобраджается но пустое

freeseacher, в точку.

Тогда вопрос. У меня сейчас прописано так:

ldap_superuser_group = cn=noc,ou=admins,ou=Groups,dc=test,dc=ru

Соответствующая группа на LDAP-сервере есть. Фильтры оставил стандартные:

ldap_superuser_filter = (|(uniqueMember={{dn}})(member={{user}}))

Где могут быть грабли?

StraNNicK, у тя много юзеров ?

freeseacher, не то чтобы. У меня много сервисов и централизованная аутентификация — штука нужная.

Толсто намекаешь на то, что с NOC с LDAP работает, но не факт, что /хорошо/?

StraNNicK: права юзеру раздай

dvolodin, но как? Я внимательно читал конфиг, там кроме как "засунуть пользователя в ldap_superuser_group", вариантов нет

Вроде бы

ы

StraNNicK, пользователям придется в большое кол-во мест давать индивидуально права. работает с лдапом то нормально. а вот с группами не очень.

если правда у тя не все будет суперюзерами

mikevlz: да, именно так, сначала цикл где меняю и делаю save, а потом смотрю в другом цикле

lexus-omsk: печально

freeseacher, ткни меня носом, пожалуйста, где права раздаются. Сходу не нашёл

Суперюзерами всех нельзя

попробуй обновить страницу со всеми скриптами, мож закешировало

и logout/login

StraNNicK, права раздаются в каждом юзере индивидуально. или в группе. так можно дать доступ на MO. ipam права только на пользователя. vc - без прав, по большому счету

Main->Setup -> group

SA-> setup -> user access

dvolodin: а новый механизм будет бодро переваривать 16385 зон?

SA-> setup -> group access

точнее DNS объектов

freeseacher, спасибо, пошёл смотреть. mikevlz, dvolodin пробовал такое, не помогло. Потом пришёл сюда

ipam -> setup -> prefix access

StraNNicK, я для своих сделал агрегированного пользователя.

типа admin-city. удачный паттерн для нока.

mikevlz: а что ему помешает?

все на BIND ?

а хер его знает, у меня с 5 утра dns-pull висит

все на bind

объектов столько потому что куча реверсных зон для серых адресов

StraNNicK: я вообще отвечал lexus-omsk

dvolodin, я пока не прикидывал но думаю цифры будут похожи.

mikevlz, сорри

собственно в новой схеме dns push/ dns pull нет вообще

каждая зона обрабатывается и синхронизируется отдельно

и нет постоянного перестроения зон

плюс, в случае bind'а, он научился перегружать только одну зону

dvolodin: новая синхра работает с биндом?

как он зоны на сервер заливает? все еще hg

где дока?

mikevlz: да, работает

zi_rus: нет, через stomp

mikevlz: скоро будет

dvolodin: я ща обновлюсь, но мне нужно знать, как настроить.

dvolodin, пояснишь? или доки ждать?

или буду сидеть и ждать доку

а то текущий шедулер реально дохнет на таком количестве объектов DNS

то есть совсем дохнет

трейсов нет, ничего нет, в логах тишина, процесс висит

мне думается что в нок нужно сервера в качестве объектов заносить

всякие сервисы на них привязывать, там dns dgcp

*dhcp

если бы оно умело агрегировать в одну зону - это было бы хорошо, объектов получислось бы меньше

а так - на /16 надо 256 зон завести обратных. Естесна оно сдохнет

zi_rus: новая схема умеет накатывать и конфиги для dhcp

и для radius

народ кто тут самый умный, можете подсказать, у меня сейчас сислог весь валится на freebsd сервер и пишется в файл, можно ли включить какой-нибудь релей, чтобы и в файл писалось и на нок отправлялось?

dvolodin, а http://pastebin.com/H2enHvm6 вот такой трейс по днс можно починить?

man syslog.conf ?

пока гуглю, рад был бы хотя бы ключевым словам, что же там искать

кстати да, то же и к прямым зонам относится.. иногда надо прописать что-то вроде foo.bar IN A 10.0.0.1 в зоне example.com

и приходится создавать зону bar.exaple.com чтобы работало

lexus-omsk: +1

zi_rus: # Everybody gets emergency messages, plus log them on another

# machine.

*.emerg *

*.emerg @arpa.berkeley.edu

это для фряшного сислога

ок

изучу

mikevlz: кстати с noc shell со 2й попытки всё сработало, хотя вроде то же самое делал... невнимательность, наверное..

lexus-omsk, ну сейчас можно свои записи добавлять в настройках зоны, если очень надо такое прописывать, я бы ipam использовал для генерации PTR

бывает. Можно у save скобки забыть, хрень получится

zi_rus: syslog-ng умеет писать лог и спуфить src address на исходный

dvolodin, для нока спуфинг принципиален?

zi_rus: да, если сислог прилетать будет с адреса сервера, то МО будет этот сервер

ок, поглядим

от чего краши такие: # Invalid job class. Park job to FAIL state

2012-10-04 11:41:10,975 [fm.correlator] Running scheduler <type 'exceptions.KeyError'> и так бесконечно

zi_rus: сообщения привязываются к железке по адресу

это да, я думал может в самом сообщении источник передается, и нок по нему разбирает, а так видимо и нат будет проблемой

думаю как безопасно перевести боевой syslogd на syslog-ng

вобщем, я решил удалить нахрен все 10.in-addr.arpa

это, кто-нить попробуйте сделать поиск в вебморде райпа. Они тока у нас сломались или вообще?

у меня ищет

ufir: через веб-морду?

whois в консоли не поломан

да и через web вроде работает... а что искать: префиксы, as-ки?

AS

ну и префиксы

AS31133, например

No result нам отдает

нормально работает

бгг

на одном компе пашет, на соседнем - нет

на косяк напоролся сейчас: в базе валяются левые subinterface, от которых нету родительских interface уже... на этом у меня и спотыкается mac-discovery похоже

то ли со времён косяков миграции django осталось, то ли ещё откуда-то вылезло

нужна, наверное, какая-то проверка целостности

осталось еще. Если удалить DNS Zones массово(галками отметить, действие - удалить) - No Reverse Match

mikevlz: это пофикшено уже

вчера

клева

доку давай

обновлюсь, буду настраивать новую синхру

багов нагенерирую

это полезно

или не нагенерирую

потому что лентяй

так и будешь с ними жить

ага

возвращаясь к NOC-696

хочу сделать такое вот

будет Managed Object Profile

в нем будет опция?

в нем галочки -- включить interface discovery, ip discovery, prefix discovery, пинговать железку, собирать конфиг, принимать трапы со всех адресов

и профили можно будет лепить к managed object

это клево...

вопрос "когда будет" я не задаю.

Мне обновляться как после этого? откатывать изменения?

сразу порешаем вопрос с избирательным ограничением различных видов discovery

или пока этот файл трогаться не будет - все будет идти гладко?

пока не будет изменений в нем - все нормально будет

а когда появятся?

dvolodin, тогда сразу и прописывать там же комьюнити и логин пароли и способ доступа и еще кучу параметров которые одинаковые у всех железок

а как из монги удалить alarmы с severity INFO ?

zi_rus: поддержу про одинаковые у всех железок

забавный глюк - в хуавеях на доступе пропали ethernet-интерфейсы из inventory

gigabit - остались

и не всех свичах такое

подскажите пжлста, что делает /opt/noc/scripts/migrate-ignored-interfaces.py

по последнему - это если раньше использовался в объектах атрибут ignored_interfaces надо..

насчёт хуавеев есть подозрения, что виноваты дескрипшены

а как получить список чтобы сразу несколько mo попали - ManagedObject.objects.filter(name="name-swX") ?

в условие бы regex или что-то такое

name__contains="строка"

отфильтрует те, у которых имя попадает под шаблон *строка*

ок

есть еще name__istartswith="xxx"

можно скриптом навесить профили на доступ чтобы трапы линков игнорить

еще есть name__in

отвечаю сам себе - db.noc.alarms.active.remove( { severity : 1000} );

и все же - куда делись эзернеты в инвентори из хуавеев?

падает с трейсом /opt/noc/sa/profiles/Huawei/VRP/get_interfaces.py строка 164 - "type": self.types[re.sub(r'\d.*', "", ifname)],

NOC-702

чот херня какая-то

dvolodin: вот я упражнялся с шеллом, сделал пирулю IPeriodicTask, создал Schedule, выполнил - не выполняется нифига

не, оно рапортует, что все окей. А изменениев нет. ЧЯДНТ?

save не забыл?

нед

не забыл. a.save() стоит последней строкой

Вот такой вот ещё трейс в дискавери: http://dpaste.org/gMOTG/

на первый взгляд, действительно не нашёл у prefix address

не совсем полный трейс, т.к. там дальше совсем много букв

а...

для некоторых видимо дискавери не полностью отработал

или хрен его знает :)

футыблядь

я дураг

сейвить-то не забыл. Изменить перед сейвом забыл

igetinterfaces.py я так понимаю изменился неслабо

ну очень неслабо

я полтора дня скрипт писал :)

да уж

и есть примеры вывода до и после?

в этом самом...

в интерфейсе есть

=)

сейчас поправлю

I have a issue with SA: Under Inventory, Interfaces, L3 i can't see the VRF the interface belongs to. This is probbably why i can't see the Interface under my VC.

Andreas-SWE: have you assigned managed object selector to vc domain?

Don't think so, where is that?

VC Domains?

Now i added my Selector: "All" to my VCdomain.

yes

Now it appeared! Thanks

Now it shows the interfaces under VC. Should i see the prefix under VC to?

The prefixes on the switch has appeared in the Address space mgmt, as "Seen at the switch".

I think I have some conflict in the DB on VRF name. Its called "global" in managed object, but is called "Publika" in Address space mgmt. Maybe this is the problem?

maybe

Should i try to rename again?

Back to global...

it must have rd 0:0

Yes it does

do you have interfaces collected?

dvolodin, noc выдает трейс когда отключаю interface_discovery и перезапускаю

dvolodin, http://pastebin.com/aME5TVaY

а хотя отбой, второй раз схавала

товарищи, а кто писал mac discovery?

ты хочешь оторвать ему руки?

да

=)

нет, ну это надо придумать, каждые 15 минут спрашить таблицу маков по всей сети

да не, нормально :)

zi_rus: в профиле интерфейса таки указывается

и, потом, почему 15 минут?

dvolodin, тебе показать лог такакса?

ты в профилях скажи, с каких портов драть

dvolodin, какая разница, он все равно делает show mac address-table безотносительно портов, будь на железке хоть один, он до нее докапается

а какие еще варианты?

Ж)

dvolodin, знаешь как stp работает

?

многие люди впадают в недоумение, когда фраза заканчивается не так как они борщ

zi_rus: иногда дерьмово работает, да

иногда совсем не работает

а иногда работает, но лучше бы не работал

ты про это?

нет я про TCN

ну TCN, и что?

просто вспомнился такой момент, TCN генерируется только когда в сети поднимается новый порт, при падении порта TCN не отправляется

улавливаешь что я хочу сказать?

для edgeport нифига не генерируется, допустим

считаешь, что маки надо собирать только при поднятии порта?

есть такая мысль

более того, считаю что это надо делать только с эджевых портов

тут жалоба пробегала, что NOC затрахал все dlink'и в сети насмерть

сбор маков настраивается в профиле интерфейса

dvolodin, я тебе по секрету скажу, он у меня 7609 затрахал, сегодня чуть не сдохла

пошел драть маки с ES+ ?

они там медленно тянутся

в принципе, раньше в IOS'е вообще бага была, из за которой она могла и навернуться

нет, у нас ES все L3, память утекла, начала уходить с момента включения этой проклятой галочки

о как

В общем вот инструкция по настойке нового dns provisioning'а

1. на DNS-серверы нужно поставить демона noc-sync

делаеься так

на сервере с NOC

./scripts/clone-sync /tmp

забираем каталог /tmp/noc и тащим на DNS-сервер

подкладываем ему в etc конфиг

http://dpaste.org/h3MSO/

типа такого

каждая секция конфига - это канал синхронизации

для dns они называются dns/zones/....

после последнего слеша идет собственно имя канала

у нас оно ch1, ch2

в поле type -- плагин, который используется для синхронизации

собственно, все три реализованных - в примере

остальное, надеюсь, очевидно

сами плагины лежат в main/sync/channels/

далее достаточно запустить ./scripts/noc-sync.py -f start на сервере

он зацепится за noc-stomp и подпишется на изменения

теперь топаем в DNS > Setup > DNS Servers и прописываем серверам каналы (ch1, ch2, ...)

ну и все

как все страшно...

что именно страшного?

я не понял что такое каналы

страшно в первую очередь то, что надо установить демона на удаленку

я помню, как активатор не хотел обновляться, не все требуемые зависимости были описаны

да, вот зависимости - это проблема

надеюсь, этот синнхронизатор ничего кроме питона не просит

zi_rus: считай, что один DNS-сервер это один канал

какой канал? куда канал?

хотя, в случае с powerdns, один канал может писать сразу в несколько баз

канал синхронизации

канал от сервака стомп до сервера ДНС, по нему будут зоны бегать

и не только зоны

для BIND синхронизатору не нужно ничего, кроме python

шифрованый?

zi_rus: пока нет

не кошерно

нужно сам механизм отладить

хочешь крипто - сделай ssh туннели

если я правильно понял то канал это тупо ТСР сессия от синкера до нока по которому он скачивает нужные данные

неправильно понял

есть tcp-сессия между noc-sync и noc-stomp

sync делает SUBSCRIBE на канал

короче, канал ch1 -- это очередь /queue/sync/dns/zone/ch1 на stomp

туда валятся изменения

а если на одном сервере и днс и dhcp?

нормально абсолютно

один noc-sync может обслуживать несколько каналов сразу

конфиг канала - это отдельная секция в конфиге

dvolodin: а если sync выключить, подождать сутки(набегут изменения), включить - что будет?

в том примере, что я привел -- 2 активных канала

один кладет зоны в виде файлов, другой - пишет в базу

для DHCP нужны соответсвующие драйверы, которые будут писать конфиги или заполнять базу

со стороны NOC'а с sync общается scheduler

через job dns/jobs/sync_dns_zone_cmd.py

если синк загасить и поднять через сутки - он вытащит все, что изменилось

хорошо

грубо говоря - синк посылает два запроса

LIST -- список всех зон

dvolodin: Yes, i have Interfaces collected under Inventory. Physical, Switchports and L3 (but on L3 i can't see a VRF on the VLAN) I only see Name IP and VLAN.

на него получает сообщение типа LIST с dict'ом -- зона -> serial

для каждой измененной зоны он посылает сообщение VERIFY <зона>

в ответ получает сообщение VERIFY со всеми записями в зоне

NOC может послать sync'у сообщение REQUEST с просьбой запустить команду LIST и VERIFY

на всякий случай раз в день NOC просит sync сделать LIST

и для каждой зоны раз в день просит сделать VERIFY

протокол тупой как пробка, но очень надежный

при запуске sync делает LIST по каждому каналу

то есть если он запустился, он сделает LIST

найдет все зоны, которые поменялись, для каждой сделает VERIFY и запишет разницу

интересно, как оно будет себя чувствовать с 16к зон

текущий механизм стоял раком

High Load это та еще тема

нормально будет чувствовать

да, можно форсировать перегрузку зоны

ты не проверял, я уверен

./noc sync dns/zone/ch1 list

./noc sync dns/zone/ch1 verify example.com

mikevlz, ты с этим ничего не поделаешь, теперь только обновиться и посмотреть

поставил генерироваться 20k зон

основной тормоз -- mercurial, который укладывает файлы в репо

2 commit'а в секунду :)

синхронизация -- 80 зон посинкалось меньше чем за секунду

dvolodin, напиши свой :)

у меня есть наброски на базе GridFS

:)

vsem dobrogo dnya

ne podskajete kakoy dokument mne dast bolee menee detalnuyu informaticiyu chtob ponyat kak rabotayut notifikacii

dvolodin, а почему нок все равно долбится на железку, во всех секциях дискавери в noc.conf стоит enable = false

странные вещи творятся, ./scripts/noc-launcher.py stop не сработал

ошибки не выдал, но процессы отсались

*остались

снял галки mac discovery а эта падла все равно идет и выполняет эту проклятую команду

вырубил к хренам нок, надо разбираться

good morning

can anybody explain what I should enter into the field "script for zone provisioning" under dns servers?

what input is it expecting, etc

I want NOC to publish its auto generated zones to my dns server

oops nevermind

it looks like there was recently an article posted up on how to do it

I have followed the instructions carefully, but it seems to be not pulling down the zones.. yet cm.dns_push task says successful

can anybody assist please?

it looks like noc started hg but now it's just sitting there as a defunct process

mducharme: no idea sorry

activity here is about 8am-5pm GMT+3

mazgarov: сам бы хотел узнать