nocproject.org

Поправил я Huawei.VRP.get_lldp_neighbors

по Huawei тогда можешь ещё get_mac_address_table и get_arp посмотреть - давно уже выложены патчи

если всё ок, то надо бы их применить

обновился кстати наконец-то сейчас - всё прошло гладко, никаких пересборок пакетов вручную, только опять мой баг с project management вылез

падают vc и assigned addresses

http://pastie.org/private/xulkij3knhuksizvlavnaq

http://pastie.org/private/qvho0ai07uanqgp0kcbfgw

по второму

[{"property":"l1","directi on":"ASC"}]']}

что за порнуха?

самому интересно

нет такого

ну на vc_vc у меня точно своих патчей не наложено

у меня теперь всё красиво, через mq

так что сразу видно - где что менял

extjs не пропатчил?

QUERY_STRING': '_dc=1370317112472&__format=ext&__page=1&__start=0&__limit=1&__sort=%5B%7B%22property%22%3A%22l1%22%2C%22directi%20%20on%22%3A%22ASC%22%7D%5D',

два пробела приходит

с первым -- у тебя custom field есть, project называется

<django.db.models.fields.related.ForeignKey: project>,

<django.db.models.fields.CharField: project>]

нехорошо

:)

поправь имя custom field'у

во дела :) валидаторы нужны

https://bitbucket.org/nocproject/noc/src/0b500e9762d18e905a1c7bf5344bc59513bdeae8/main/models/customfield.py?at=default

где-то в install_fields

кстати специально никаких манипуляций с custom filed-ами не делал, свои не создавал

и, возможно, в upgrade

взял чужие? :)

только те которые в официальной поставке шли

./noc csv-export main.customfield

покажи-ка вот это

table,name,is_active,label,type,description,max_length,regexp,is_indexed,is_searchable,is_filtered,is_hidden,enum_group

ip_prefix,project,True,Project,str,,256,,True,False,False,False,

vc_vc,project,True,Project,str,,256,,True,False,False,False,

и никаких пробелов в именах

ну вот перывый и гадит у тебя

и второй тоже

кстати забавно получается: столбец называется table и постгрес не даёт сказать select id,table,name from ...

"table"

нормально все

ключевые слова в кавычки берутся в SQL

так а чем гадят-то custom field-ы старые?

название пересекается с существующим полем

лучше переименовать его, мигрировать данные в project management и прибить custom field

раньше это была локальная доработка - теперь встроенный функционал

ага, починилось, теперь я тоже могу наступать на новые грабли :)

dvolodin, по поводу проектов, ты бы хотя бы отображал информацию по объектам которые привязаны к данному проекту, а то преимуществ перед cust_field вообще не видно

а так открыл проект, и там сразу, интерфейс терминации, интерфейс подключения, ip, влан etc

zi_rus: а сейчас как?

:)

а как сейчас?

именно так и отображает :)

все, что относится к проектам

хоть бы отступ сделал между объектами разных типов

и кстати, что на счет массива, порт могли выделить по одному проекту, а потом по другому изменить скорость, по другому дополнительную подсеть прописать

dvolodin, ты workflow закончил?

zi_rus: в процессе

дополняю функционалом взаимодействия с внешним миром :)

ну вот, а как дела с внутренним миром

как же все это использовать на благо себе и обществу

например, для расчета чисел фибоначчи :)

с обществом разобрались

а как на счет себя

dvolodin, по lldp discovery на gi0/0/1 на huawei S5300 не смотрел еще?

починил

закоммитил вчера

merging sa/profiles/Huawei/VRP/get_lldp_neighbors.py failed так лечится hg revert sa/profiles/Huawei/VRP/get_lldp_neighbors.py?

народ, подскажите

added 11 changesets with 26 changes to 20 files

merging etc/requirements/noc.txt

E233: cannot open display3 files to edit

Press ENTER or type command to continue

что опять случилось ?

ура, ура ;) хуавеи заработали

да подветржадю! 2013-06-04 10:53:47,114 SCRIPT RESULT: Huawei.VRP.get_interfaces(S5300_ATS-BAM_SW1, 10.)

[{'forwarding_instance': 'default',

'interfaces': [{'admin_status': True,

'description': '** 2-21 **',

'enabled_protocols': [],

'mac': '00:25:9E:98:14:3C',

'name': 'GigabitEthernet0/0/1',

ништяк

дорисовало линки на gi0/0/1

а у меня дискаверится еще

получил трейсбэк на get_mac_address на 7609 =\

опа

вот и повод подинамить обновление еще

тушенка получилась в 8 мегабайт

Вот и я их динамю тоже уже года полтора ;))

я обновиться хочу только из-за работы с ДЛИНКом.. а так. все прекрасно работает на старой версии ;)

кстати, коллеги, подскажите вот такой вот вывод на маршрутизаторе:

CPU utilization for five seconds: 43%/42%; one minute: 42%; five minutes: 49%

PID Runtime(uS) Invoked uSecs 5Sec 1Min 5Min TTY Process

122 2100965056 2659418539 0 0.55% 0.89% 0.93% 0 IP Input

61 3504996000 477875 7334 0.23% 0.01% 0.00% 0 Per-minute Jobs

285 1146209408 872654020 11 0.07% 0.04% 0.05% 0 NAT MIB Helper

155 180000 179 1005 0.07% 0.05% 0.01% 644 SSH Process

говорит о том, что процессор много времени занят обработкой IP пакетов?

ты угадал

хреново.. Значит, циска уже не перелопачивает траффик :((

это 3945.. там загрузка до 99 процентов подскакивает

траффик где-то 400 - 450 мегабит в среднем

надо pps смотреть

но это данность, ничего не поделать

как средставми роутера посмотреть, сколько PPS он сейчас лопатит? на интерфейсах на всех сделать sh int и смотреть сколько там пакетов в секунду? :)

ну вот знаешь, зачем спрашиваешь?

ну, думал. есть способы полегче

куда уж легче, это же не 7600

а там в чем трудности? :)

в количестве портов

кто ДНС-синком пользуется?

что-то у меня форвард сразу уезжает и обновляется, а реверс с дикими задержками

mikevlz: и?

dvolodin: у меня очередные приколы от ДНС-синка. форвард сразу обновляется, а реверсная зона - с задержкой лютой

в чем биде?

mikevlz: не лапается реверс?

видимо...

сделал префикс /30, сделал в нем адрес. Форвард обновился сразу. Реверсная зона уже 20 минут как не обновилась. Вообще последний раз ночью трогалась. 3 числа в 0:33.

на ДНС-сервере

какой адрес делал и какие реверсы прописаны

кстати, да, я тоже про это говорил

адрес 10.27.128.253/30. Реверсная зона 128.27.10.in-addr.arpa

а потом не смог воспроизвести

ну у нас заметил мой сменщик. Сейчас вот воспроизвели.

сознаю ip с fqdn сразу уезжает, а некоторые с задержкой

то есть forward сразу уходит, а реверс -- раз в сутки?

реверс - видимо да, раз в сутки. Форвард ушел сразу

mikevlz, попробуй рками создать какой-то ip в этой зоне, мне кажется он сразу приедет, вместе с задерживаемым

zi_rus: ты об чем говоришь? Я изначально делаю эти вещи в IPAM. Ты предлагаешь залезть в редактирование зоны в модуле ДНС и там что-нить покрутить?

нет

тогда о чем речь?

mikevlz, у тебя есть адрес по которому не пришло изменение обратной зоны? если есть то создай еще один

мммм... вон ты про что...

создал второй адрес в этой же подсети. Абсолютно аналогично повело себя

а удали его

форвард сразу, реверс не приехал ни один

dvolodin: у меня заработало связанное с project management, старые поля удалил

удалил, ничего не изменилось. Из форварда запись пропала, в реверсе не появилась

хм

у меня такого нет

у меня сниппет создает ip, приезжают обе, сниппет даже не успевает закончить

о как...

и когда дискавери

сразу все приходит

но

иногда

если залезть в редактирование зоны, добавить туда запись - естесно все появляется.

в diff попадают изменения которые были еще в прошлом году

какой в письку дифф?

в письме

приходит письмо

ну письмо - это уже отдельное счастье

lexus-omsk: было бы странно, если не работало бы. оценил идею projm?

там актуальное изменение, а еще одно или несколько, связанные с совершенно другими адресами

dvolodin, выпадающий список неудобен

зато macdb сломалась похоже *facepalm*

lexus-omsk: что на ней?

баги надо ловить и давить

dvolodin у меня трейсит на 7609 скрипт get_mac_address_table но тушенка получается под 8 мегабайт

что делать караул

накинулись :)

;(

окошечко, часы приема, предварительная запись в jira

беременные женщины и пенсионеры - вне очереди :)

http://pastie.org/private/hxdbdizqehoa1uygmaq

lexus-omsk, ты никаких МО не удалял?

ufir: не понятно, на чём вылетает? у меня тестовая me3600 трейсит, когда находит маки, прилетающие с xconnect-ов

lexus-omsk вот.. http://pastebin.com/8i7Bm2Fb

что за 'flood to vlan601 (unicast)' - понятия не имею

имя интерфейса )

правда странное

vif 601 нет

самый обычный вилан

а bridge domain?

lexus-omsk: у тебя опять в сортировке 2 пробела в названии поля

lexus-omsk нету

flood to vlan601 (unicast)

это что такое?

я не знаю

найди эту строчку в выводе show mac address-table

интересно откуда на этот раз пробелы повылезли... custom field-ов больше нет

хм

7609-yla-srv#sho mac-address-table | i floo

603 0018.71ec.0efd dynamic Yes 0 flood to vlan603 (unicast)

601 00e0.fcdb.e0c1 dynamic Yes 0 flood to vlan601 (unicast)

ага

lexus-omsk: это только из JS прилететь может

впервые такое вижу

ты на URL в логах посмотри

это виланы кампуса..

и что с этим делать ?

https://supportforums.cisco.com/thread/159562

лечить бабульку

она у тебя в маразм впала и читает стихи на площади

oh shi~

эта коробка в ядре стоит

http://www.cisco.com/en/US/products/hw/switches/ps700/products_tech_note09186a00801d0808.shtml

бабка в прошлом - член партии

фикс я сделаю, но на твоем бы месте -- докопался до причины

если польется поток на эти маки в 603 или 601 vlan - тебе будет сильно весело

понял... буду разбираться

оказалось что это виланы для управления и голоса в NGN хуавея

ufir: проверь r7906

будет игнорить их

ufir: тогда еще забавнее

а 7609 это центральный роутер... один из. через него идет весь траффик NGN

dvolodin чудесатее стало http://pastebin.com/rDVJ7DmE

а ошибка-то какая?

2013-06-04 13:16:37,502 [Cisco.IOS.get_mac_address_table(7609-yla-srv, 192.168.65.212)] Script traceback:

<type 'exceptions.TypeError'>

argument of type 'bool' is not iterable

File: /opt/noc/sa/profiles/Cisco/IOS/get_mac_address_table.py (Line: 67)

пофиксил

dvolodin все завелось, спасибо

теперь будем разбираться в чем засада

вопрос на засыпку по реверсам

там флажон is_auto_generated стоит?

конечно

попробуй так

./noc shell

иначе после редактирования через ДНС-зоны оно не прилетало сразу же.Ну и вообще бы не прилетало

не так ли?

from noc.dns.models import DNSZone

DNSZone.get_zone("10.27.128.253")

что даст?

ну это я уже изнасиловал и оно уехало

сейчас парный адрес создам. убедюсь, что не уехал, сделаю этот тест

можно и не делать

важно, чтобы оно зону нашло

пустота

в качестве ответа

>>> from noc.dns.models import DNSZone

>>> DNSZone.get_zone("10.27.128.253")

>>> DNSZone.get_zone("10.27.128.254")

>>>

|NOC|0.7(4)r7636|

о как

вот потому и не обновляет

а вот так

DNSZone.get_zone("128.27.10.in-addr.arpa")

>>> DNSZone.get_zone("128.27.10.in-addr.arpa")

<DNSZone: 128.27.10.in-addr.arpa>

все окай

а

все нормально

changeset: 7666:529c8da7762d

user: Dmitry Volodin <dv@nocproject.org>

date: Tue Apr 30 15:19:12 2013 +0400

summary: DNSZone: Fix reverse zone's PTR generation for non-/24 in-addr.arpa

changeset: 7662:e126bfdfe3d8

user: Dmitry Volodin <dv@nocproject.org>

date: Mon Apr 29 13:32:08 2013 +0400

summary: DNSZone.get_zone(): IPv6 support. IPv4 searched till closest match

changeset: 7661:80d0ecfaa9ac

user: Dmitry Volodin <dv@nocproject.org>

date: Mon Apr 29 13:17:26 2013 +0400

summary: Fix reverse zone search in DNSZone.get_zone()

оно зафикшено

понял, что я слоупок

я просто помню, что проблема была и я ее фиксил

mikevlz: можешь посмотреть лонги и продвинуться на несколько коммитов

до r7666

да не, еще недельку посижу, понаблюдаю за вами, потом обновлюсь на актуальное

mikevlz: через недельку там будет ещё добавлена и пофикшена куча всего :)

lexus-omsk: и поломана

не забывай добавлять это уточнение

да, это я и хотел сказать :)

но лучше уж так, чем когда вообще всё без движения

ну вам не угодишь

то ничего нового, то - все новое

:)

dvolodin: все клево, не расстраивайся

мы почти счастливы

dvolodin, а давай whois примотаем к IPAM ? :)

интерфейс

freeseacher: нафига?

дабы к нему как к whois серверу можно было конектиться

whois 10.32.0.0/11

и он тебе description из нока :)

freeseacher: а профит?

нууууу

круто ?

:)

xmpp же есть

кто-нибудь поговорил с ботом уже?

:)

лучше xmpp whois

типа global search

ты ему глупый вопрос

от тебе -- не менее глупый ответ

вариант кстати

dvolodin, графики будут в этом году?

zi_rus: ты уже придумал, как хранить данные в базе?

dvolodin, тебе не кажется что все уже придумано за нас

не кажется :)

cacti рисует графики, zabbix тоже, они же как-то это хранят

только не надо предлагать мне RRD

а как хранит данные заббикс - я очень хорошо знаю

и тебе видимо это не нравится

и очень хорошо знаю как имеется народ с сегментацией таблиц, чтобы оно хоть как-то работало

и поэтому ты предлагаешь сделать по-другому?

а ты когда-нибудь вытирал старые данные из заббикса?

нет, никогда его даже не устанавливал

феерическое приключение

если заранее подготовился - дропнешь сегмент

а если нет -- то просто никак

данные трутся медленнее, чем пишутся новые :)

и ты предлагаешь что?

подумать предлагаю

шел второй год, мы думали...

в то время как у других оно просто работает

чем тебе ррд не угодил

как у нас там дела с кластеризацией RRD?

а оно надо?

если > 100k графиков, то надо

потом мне нужен кусок сырых данных на какое-то время

100к это с каждого порта снимать данные в сети на 5к свичей

система загнется раньше, чем проблема с базой будет

ну, например, измерения линии для DSL на 500k абонентов хочу сделать

:)

нет, ты сможешь снимать эти данные чтобы нагрузить эту базу?

zi_rus: он их сгенерирует...

zi_rus: откуда дровишки?

чего? что не сможешь?

NOC вполне в состоянии затрахать насмерть все железки на сетке средних размеров

если его не ограничивать :)

dvolodin: ну еще есть шанс, что закончится сервер или таки БД...

или сеть

у нас тут нагиос был/есть, на 3к свичей снимались только магистральные порты, только статус их, те совсем не много, проц в полку

zi_rus: вот именно по этому не хочу еще один nagios

это уже не от базы зависит а от пробы

для NOC -- 3 тысячи опросов SNMP в минуту -- фигня

именно

но ее нет

nbsocket весьма шустер

тебе какая разница куда писать?

а через пол-года вой будет, что данные из базы не вытереть

пиши в ррд, классический вариант, если придумаешь лучше, изменишь, а люди пока смогут пользоваться

:)

у нас кактус графити рисует, за херову тучу лет даже мысли не возникло что такое вообще нужно

потому как у RRD фиксированный размер

самое главное - он РАБОТАЕТ

самое главное - он годится только для графиков

zi_rus такая же фигня

а я не оставляю идеи насчет traffic anomaly detection

dvolodin, то что я видел говорит мне о том что на ррд вполне себе tad РЕАЛИЗУЕМ

неа

на хабре аж 3 статьи было про это

если только с запаздыванием на 3 часа

с кодом

на хабре лажа, кстати

хватит строить коммунизм

из серьезных работ - был один PDF с исследованием

сделай продукту базовый функционал

кстати

а потом к 2,0 и TAD прикрутишь

в RRD какая схема аггрегации у вас?

чего?

сколько уровней аггрегации

эээ

я не понял

или у вас тупо интервал хранения

что в какти по-дефолту, так и есть, я все равно тебя не понял

RRD хранит фиксированное окно

при переполнении -- либо дропает начало, либо аггрегирует его

агрегирует - это как?

например -- из 5 интервалов по минуте делает один на 5

zi_rus: речь о том, куда деваются более старые значения. Если по дефолту, то 5 уровне агрегации

ну в какте по дефолту 1день - среднее за 5минут, 1неделя - за 30минут, месяц - 2часа

есть еще часовой, среднее - 1 минута

как 5? 4 получается

он все равно не работает

кактус раз в 5 минут ходит

зависит от настроек поллера

да, там можно сделать только с новым поллером

я не пробовал

главное - ты суть понял

ну допустим, что дальше

т.е. ддос в 4 минуты ты не увидишь

:)

ufir, увидишь

тогда вопрос на засыпку

кто будет пользоваться PM?

накопленным всплеском, который будет убит каким-нить SpikeKill?

и насколько реально сделать миграцию из кактуса?

dvolodin: в данном случае - это что? перф ман?

dvolodin, project managemet? performance management? peering management? ???

угу

performance

а то еще проектный мэнеджмент есть

о

mikevlz: доброе утро Ж)

мне оно интересно с точки зрения участия в FM

а можно и в FM

не вижу причин, которые помешали бы и проект туда подтянуть

доброе... только оно давно участвует

я про perf man говорю

dvolodin, я буду, если будет не хуже, надо как минимум уведомления по превышению пределов, рисование суммарных графиков и что-то еще

а проекты вспомнил потомук что надо конкретнее выражовываться

а что, можно хуже, чем кактус?

ты зря, он многое может, можно легко пролететь

частоту опроса на ходу менять, например?

зачем?

там все в кроне

там нет хода

какой таймер поставишь так и будет опрашивать

вот именно

а иногда надо

а с этим у RRD швах

dvolodin: можно в кактусе частоту на ходу для отдельного графика сменить

плагин realtime

да, плагины многое дают

создается временный RRD, туда пихается с заданной частотой

dvolodin, по моим ащущениям кактуз юзает 2/3 страны. остальные не осилили его поставить и пользуют проприетарные мониторинги. и 100500 чувак "присматриваются" к забиксу

понятно, что оно зачищается регулярно, когда больше никому не нужно... однако оно есть

как он одной фразой сервер зафлудил

прям джедай чата

:)

а для вас это выглядело одной фразой ?

знаю несколько чуваков, которые платят заббиксу по 50k/мес :)

ла

lf

да

одна фраза

juj

ого

тоже хочу

на словах 100500 тебя кикнуло

<freeseacher> TAD отдельная тема. быть может нужно делать ее на базе быстрых пулеров

<freeseacher> кактус так может.

<freeseacher> опрос каждые 5 секунд.

<dvolodin> частоту опроса на ходу менять, например?

<freeseacher> нет. спец режим.

<freeseacher> по сигналу, что называется

<freeseacher> к нас так ппры принято делать. открываешь кактус в режиме реалтайм(опрос раз в 5 секунд) и вводишь команды

<freeseacher> провалы на графиках видны инженеру который знает куда смотреть

<freeseacher> и не напрягают цм который может принят небольшой провал за регулярное колебание трафик

TAD дрессировать надо

а для этого ему сырая история нужна

а забикс может менять периоды опроса как по шаблону так и для каждого итема

или точность у него лажевая будет

ss_: заббикс просто кладет измерения в базу

в 4 таблицы, вроде

ss_, он не может адаптивно.

У меня на последних кактусах одноминутный интервал опроса и thold неплохо отлавливает аномалии

dvolodin, накуя?

venter: не отловит

вот тебе пример

ночью с фермы идет гиг

днем - 15

dvolodin: отловит

часов в 12 дня нагрузка упала с 12 гигов до 9

в thold можно настроить такое

аномалия?

Thold BaseLine monitoring за сутки

да. HOLTER-WINTERS :)

а это просто в италии матч футбольный

предсказание нормы на основании предыдущего окна

можно и его

если оно конечно четыре предыдущих недели само будет по текущему дню как-то волшебно анализировать - тогда сдаюсь

ну он в кактусе есть :)

штатно

данные надо еще по разным базам уметь раскладывать

каким разным базам ?

один датчик одна база.

rrddemon для отложенного размазанного обновления

по монгам разным

монга для данных мониторинга ?

overkill

ребята тут головой бились об угол когда у них сообщения Ping UP в базу писались...

freeseacher: не мешай расстреливать клопов из зениток

супрешшен требовали

пинги мы, вроде, пролечили

dvolodin, кстати пинги, научи его присылать закрытие аларма

а потом обратно графики

:)

а то ping fail приходит, а закрытие по ping ok нет. а то нехорошие люди получают аларм, а потом звонят с пошлыми вопросам, когда на самом деле авария уже полчаса как закрыта

странно. у меня Ping Fail без проблем закрывается.. ;)

ах да... надо было добавить на ноке полуторогодовой давности обновления ;))

они закрываются, только писем не присылают

аа.. кстати, блин. надо мне тоже настроить письма на пинг фейл. давно собирался. да забыл №)

ну вот набросал рыбу для хранения в монге

10k значений (100 выборок для 100 рядов) в базу заплюнуло за 0.1s

storageSize -- 1.5M

что толку генерить, вот как он их будет снимать

zi_rus: что толку их снимать, если он в базу не успеет их уложить

итого сухой остаток пока

на ноуте - 47k записей в секунду

что толку укладывать если не успеет снять

1.44M записей легло за 17 секунда

zi_rus: снимать можно распределенно

у тебя нет такой инсталляции

dvolodin, ты давай, мысль развивай, ты понял как будешь данные хранить?

кусок сырых данных и аггрегированые порции

это все что нужно?

теперь можешь делать поллер для сбора

не

тут оптимизация еще :)

оптимизация это мелочь, когда упрешся

сейчас можно полер сделать и уже собирать и укладывать данные

insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time

80000 *0 *0 *0 0 1|0 0 1.03g 4.49g 254m 0 noc:84.4% 0 1|0 0|1 2m 2k 4 17:29:00

78000 *0 *0 *0 0 1|0 0 1.03g 4.49g 254m 0 noc:82.7% 0 1|0 0|1 2m 2k 4 17:29:01

хорошая такая оптимизация

в 2 раза :)

ну 0,1 и 0,2 тоже в два раза различаются, только разничие несущественно

> db.default.raw.stats().count

1440000

> db.default.raw.stats().storageSize

76128256

итого -- 53 байта на запись

вроде уже нормально

итого

опрос 1000 параметров раз в минуту -- за сутки набегает 76мегабайт

не хреновая база получится, если все снимать

10к - это уже 760мег в день

да

если сырые

в каком смысле

а какие еще будут

неагрегированные

без обработки

в сутки на саму запись в монгу уйдет 18 секунд

не должно быть проблемой

то есть всего получается гиг

никаких хранилищ не хватит

10k параметров -- 7.6G

а дальше суток и не надо

а за вчера

там уже аггрегированные

zi_rus: вопрос в количестве сырых данных

то есть день можно хранить сырые данные

затем их аггрегировать

как сильно сокращает размер агрегирование

оно фиксированного размера

dvolodin: тут еще?

угу

а если мне в views.py надо несколько mrt_config оно будет выглядеть так:

mrt_config = {

"has_vlan": {

"map_script": "has_vlan",

"timeout": 600,

"access": "has_vlan"

},

"add_vlan": {

"map_script": "add_vlan",

"timeout": 600,

"access": "add_vlan"

}

ну то, что пробелы съехали - это фича

или я где-то ошибаюсь?

ну то, что пробелы съехали - это фича

да

так и будет