nocproject.org

есть ли у нас для IOS обработка событий cpmCPUFallingThreshold? чет найти не могу

TSergey_, нет, яростно плюсую если сделаешь, у меня тоже есть такие сообщения, хочется их алармить

видимо займусь :)

Nov 10 15:29:26: %SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 100%/1%, Top 3 processes(Pid/Util): 149/90%, 4/0%, 159/0%

Nov 10 15:29:26: %SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 100%/1%, Top 3 processes(Pid/Util): 149/90%, 4/0%, 159/0%

Nov 10 15:39:06: %SYS-1-CPUFALLINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr) 6%/1%.

а какого хрена нок столько памяти жрет?

http://pastebin.com/xEdDAykn

задавай этот вопрос к подкасту на линмиап :)

zi_rus: ты же любишь pyrule на scheduler крутить?

вот и смотри, что они у тебя так жрут

dvolodin, там пирулей с гулькин нос, один выполняется раз в час, второй раз в неделю, не думаю что они могли бы так нагнуть, хотя если память не освобождается или еще какая хрень...

хотя по памати там есть нагибательский пируль

но это только шедулер ты оправдал

а активатор и web почему столько съели?

на машинке 16G памяти

Mem: 11G Active, 1123M Inact, 1955M Wired, 206M Cache, 1648M Buf, 1095M Free

1G - свободен

Гы

Утро

активаторы смотреть нужно

может там регулярки где чумовые

zi_rus, питон не асм и жрет память половником)

переписываем нок на C

потом на асм

а потом суп с котом

да?

критичные места можно на каком-нибудь go налабать

сразу в в HEX надо писать, зачем время терять?

типа попингуек и парсеров netflow

пробу

zi_rus: а ты на монге сидишь или на rocksdb

монге

чего будет стоить переход на рокс?

потеря данных?

геморойная настройка?

нет, настройка проста

mongodb │ 59535M

немного муторная сборка pyrocksb руками

ой бля

ну и ./noc ts import|export надо бы доделать мне

zi_rus: 59 гиг?

ya-ya

а-фи-геть

рокс компактнее будет раз в 10

ну там еще фм

или и ивенты в рокс загоним?

Ж)

не

их точно не загонишь, там поиск

event'ы в следующих релизах уплотнять будем

у меня фильтр по МО в ивентах тормозит и не фильтрует, отваливается по таймауту

dvolodin, так вот по поводу метрик МО, есть такое предложение. существуют оиды у железок немодульных которые всегда одни и теже, например у каталиста МЕ3400 датчик температуры или загрузка CPU - предлагается их зашивать в модельку, потому что для 3550 это один о

ид, для 3750 или 7201 - другой. а для больших модульных железок отсылаться к скриптам, где реализовывать алгоритм поиска нужных оидов

как например такое - https://supportforums.cisco.com/document/73251/monitoring-cpu-utilization-ios-xr-based-platforms-using-snmp-tools

мы не знаем конкретный оид, но у нас есть алгоритм чтобы его найти

ну так обсуждали же уже такое

ну мы еще раз начали

давай в моделях предусмотрим дополнительные данные для PM

трешолды тоже можно из модели брать

хоть в виде metric type -> oid

ну или просто список каких-то настроек

там явно должен быть metric type

для snmp -- какой-то шаблон oid

давайте таки что-нибудь сделаем. что нужно чтобы для МО создать метрики температуры, CPU и свободной памяти?

в который должны подставляться дополнительные значения

только вот все-ли в модели нужно?

чем просто проба не подходит?

в смысле?

что мешает сделать пробу, которая будет тащить, скажем, память?

бррр

проба это демон

давай с терминологией определимся, а то я тебя не понимаю

https://bitbucket.org/nocproject/noc/src/8000becd60a1b1e8b833e315fe441ca5d7c4e337/pm/probes/generic/network/snmp_interface.py?at=feature/graphite

вот что мешает тебе такое сделать?

"проба это демон"

вот это все решает

повторю вопрос -- если известно, какие oid'ы нужно дергать

dvolodin, то что для 100500 тысяч миллионов свичей, роутеров и прочего шлака разных вендоров эту пробу продется сделать безразмерной, а добавление новых станет пыткой, обычный юзер этого не сможет, а при каждом обновлении нока ему придется мержить свою проб

у с тем что приедет из репо

zi_rus: а зачем одну?

сделай один класс - для мелких каталистов

один - для 65/76

там поплатформно придется лепить

ну да

будет 100500 проб

там можно в пробах матчить по платформе

не сильно легче на самом деле и та же проблема сохраняется

?

у тебя условно есть -- софт - oid

так?

теоретически

ну так что мешает?

собственно для тривиальных случаев я думал сделать декларативные пробы

тупой JSON

ну вот я к тому и веду

или это отдельный json

или те же данные ты кладешь в json модели в инвентори

dvolodin, смотри, чтобы добавить новый свич, например у циски есть новая модель 3850, я мог бы описать ее один раз в инвентори и распространить, а так придется в инвентори заводить, а потом пробы делать

второе сложнее

согласись

если ты юзеру скажешь что, чтобы добавить новую неведомую железку, ему надо в инвентори одну модельку по шаблону налабать, я думаю это проще

правда тут просвечивает вторая сторона вопроса, сбор инвентори должен работать

проблема в том, что ты в модели инвентори потащишь софт

IOS SX и IOS SR отличаются очень сильно

эммм

а oid'ы определяются именно софтом

второй пример еще жестче

Juniper SSG320M и Juniper J2350 -- идентичная железка

на которую встает как junos, так и screenos

моделей - понятно, что будет 2

на 6500 каталист и CatOS когда то ставился

ну и catos, да

и ты в inventory потащишь этот зоопарк

а так -- ты сделал пробы, которые работают на catos, и успокоился

это вынужденно, и в инвентори этому быть лучше чем в пробе

а) можно регулярками задать под каким софтом работает конкретная метрика или б) тупо перечислить все возможные оиды, а caps_discovery будет определять какой из них рабочий для каждого конкретного МО

не лучше

смотри

инвентаризацией и мониторингом занимаются, обычно, разные людт

каждый элемент должен быть максимально прост

я могу объяснить гоблину, что свич - это ящик с дырками

и он будет рисовать мне модели

я могу объяснить другому гоблину -- что в каких-то условиях нужно дергать какие-то oid'ы

и он дернет

второй, извините, свич только на картинках видал

а если ты соберешь все вместе, бедняги просто опухнут

у человечекого восприятия есть определенные пределы

нет

есть одна модель

каждый просто будет редактировать свою часть

им не нужно знать или понимать что находится в другой части

но модель одна

напомните как для аларма можно timestamp в письмо вытащить

zi_rus: ты с другой стороны посмотри

hi all

с какой

открываешь пример - и офигеваешь

zi_rus: http://static.nocproject.org/irclog/2012.06.04.html

"lexus-omsk: в шаблоне у меня что-то вроде такого: {{alarm.timestamp}} потеряна связь с узлом {{alarm.managed_object.name}}"

TSergey_, да, уже нашел

и первая реакция будет -- в NOC дохрена нужно прописать, чтобы добавить модель

main->audit trail has been frozen at date 11.05.2014

dvolodin, нет, если будет маленький пример в документации. а вот ползать по десятку менюшек - это проблема

and appear Add buton

which....i think has non sense

zi_rus: маленького примера не будет

там портянка еще та

будет

моделька и пара оидов и парт номер

какой-нибудь нетпинг, там вообще портов нет, только оиды чтобы датчики дергать

ну вот смотри

нам нужно там хранить metric type

и правило, как построить oid

в некоторых случаях понадобятся regexp и вообще целы скрипт

вот-вот

только не regexp

а что то вроде

1.3.6.blabla.{n}.1.2.{m}.7

и правила нахождения этих n и m

типа

n -- номер карты

m - номер spa

if you ever use noc, you should like 'hg blame'

aermike: audit trail has been completely reworked in feature/graphite branch

:(

why not in develoop?

чо, и создание объектов by discovery записывает?

а у нас есть создание объектов by discovery?)

префиксы

объект != managed object

что такое префикс, только чур ногами не пинать

ipam открой, лол

ну скажем дописать трейл не вопрос

я там ничего кроме айпишников не понимаю :(

тут скорее вопрос целесообразности

история

когда я спросил за историю - меня послали в аудит

а так она нарушается

история дискавери в логах

:)

кому?

не всякий пользователь нока имеет доступ к логам

к аудиту тоже не всякий

если так -то

суперюзер - всякий

всякий суперюзер

dvolodin, не, ну вот посмотри на https://supportforums.cisco.com/document/73251/monitoring-cpu-utilization-ios-xr-based-platforms-using-snmp-tools

придет как минимум парсить SNMPv2-SMI::mib-2.47.1.1.1.1.7.16733769 = STRING: "0/2/CPU0 - host" чтобы найти оид

ну и?

я к тому что это в json не засунуть, придется полноценный скрипт писать

ну почему же

вот тебе простейший пример

вводим такое понятие как index table

это как раз таблица SNMP'шная

которая позволяет делать операции вида name <-> index

у нее есть базовый oid и какие-то правила разбора

ну и имя

и пусть discovery дергает все эти таблицы в рамках общего процесса

ммм

а в oid будем указывать что-то вроде blablabla.{name|indextable:"IOSXR_CPU"}.2

ну а технически у нас в монге будут просто коллекции с полями managed object, index table, index, name

эти индексы нам нужны в момент формирования конфигов

на самом деле там же есть и не менее серьезная задача

как связать дырки в объекте в inventory с интерфейсами в базе

чтобы при discovery сразу создавать пустые интерфейсы

сорри, что вклиниваюсь

комрады, у кого в нок заведены не только коммутатры-маршрутизатры? сервера, базы данных и прочее интересует

профили для линиксов не живые так как требуют SU а не SUDO

ну и там полная пидорастия.

NOC-1330

ой, не надо

там вообще по-хорошему надо мутить тему с множеством профилей на один managed object

пока оно не будет уметь работать с sudo ценность линуксового профиля == 0%

e_zombie1, так научи

дай ноку sudo без пароля

и радуйся

зачем

научу. но позднее.

скопируй профиль, назови linux.sudo, ..., profit

не

все не так делаете

по аналогии с расширением caps discovery для микротиков

сделайте для линукса

и capabilities типа su path и sudo path

а в скрипте смотрите self.caps

что у вас там есть

ну и используйте соответсвено

это чо, feature-graphite?

да

нахера этот трах если везде доступ по su выпиливают. даже в сраной убунте

dvolodin, про базовый оид не понял

zi_rus: смотри

e_zombie1: вот не звездите

если мы дергаем ifName, мы получаем интерфейсы

так?

некрофилы МОЛЧАТЬ!!

да

ну вот он и будет базовым oid'ом для таблицы

e_zombie1: в некоторых дистрах вообще sudo по дефолту не устанавливается

ммм

ну понял идею

от части

мы дергаем oid по GETNEXT/GETBULK

парсим ответ и сохраняем соотвествие индекса и имени

вот тебе готовая таблица

бррр

стоп

я опять запутался

evyscr: но оно есть в репах. и не один вменяемый админ не будет давать SU если можно дать через sudo

распутайся

в таблице будет соответствие

e_zombie1: схеровле?

оид и значение оида?

e_zombie1: допустим, у тебя busybox в ssh

и?

ну да

смотри

IF-MIB::ifName.1 = STRING: eth0

IF-MIB::ifName.2 = STRING: eth1

IF-MIB::ifName.3 = STRING: eth2

IF-MIB::ifName.50 = STRING: radio0_ssid_id0

IF-MIB::ifName.51 = STRING: radio0_ssid_id1

IF-MIB::ifName.68 = STRING: ethsw

IF-MIB::ifName.90 = STRING: gre0

IF-MIB::ifName.500 = STRING: BR0

базовый oid -- IF-MIB::ifName

так, да

далее мы парсим это дело и получаем список

index = 1, name = eth0

index = 2, name eth1

...

да, но это сырые данные

да

далее мы их как-то именуем

например iftable

логично. про бузибокс не подумал. но городить это для больших серверов - неоправданно

и кладем в базу как -- железка, таблица, значения

ну это ты именуешь таблицу

e_zombie1: для серверов у вас чертовы паппеты есть

не ебите мозг

lf

да

и у меня для такой-то железки появляется таблица

а теперь смотри в обратную сторону

у нас есть oid, для преобразования которого нужна таблица

и у нас есть желание этот oid использовать

нет, я тебе хочу сказать, что eth0 ни о чем не говорит, это сырое значение, оно не означает eth0 в базе интерфейсов

соответсвующий метод discovery будет собирать только нужные нам таблицы

zi_rus: да, eth0 вообще ничего не говорит

я тебе в разрезе твоих CPU скорее

ну хорошо. допустим

мы скриптом строим таблицу соответствия

ну вот думай, как с этим жить дальше :)

бардак получается

предложения?

кстати к вопросу о привязке интерфейсов

ifindex из get_interfaces придется выпиливать

можно, конечно, попробовать использовать переменные контекста из connection rule

zi_rus: зачем?

вернее не придется, но желательно

отдал скрипт -- хорошо

не отдал -- черт с ним, возьмем из таблицы

для единства архитектуры

нет таблицы -- ну и пофиг, дернем самы

иначе получаем бардак

функционал дублируется и третируется и хер знает что еще -ется

zi_rus: понятно, что более общие механизмы со временем вытесняют костыли

dvolodin, но это все нормально для массивов сенсоров, а с одиночными оидами как

не красиво делмать таблицу с одной записью

и потом

для генерации каждой таблицы нужен отдельный скрипт

в лучшем случае он будет один на профиль

нет

скрипта не надо

dvolodin, ты опять довел меня до кондиции. мне уже все равно как оно будет, главное чтобы я мог просто выбрать метрики и нок начал работать

хорошие у тебя фантазии

придумай, как :)

"Я понимаю метрики как формализованные оценочные параметры трудноформализуемых процессов или результатов процессов."

что такое метрика?

если коротко, то это параметр который мы измеряем

TSergey_: измеряемый параметр

ура

вся работа PM -- формирование метрик, получение, хранение и обработка результатов измерений

TSergey_: ты профиль DGS3100 часом не пилишь?

сейчас нет

а чего там не хватает?

мне вроде только только актуальных мибов, но это почти "графена"

dvolodin, мы вчера ДР отмечали, а ты заставляешь меня думать. не надо так

там баги всплывают

например, в get_mac_address_table.py

запустил на 3.60.45, отдал таблицу

snmp на не скажу прямо сейчас чём именно обламывается

суть в попытке преобразования в int при значении None

это все на get_mac_address_table.py?

да

у меня такого нет

делай тушенку, может получится посмотреть

смысл?

я подозреваю, что там race

а его, как известно, не каждый раз выцепишь

проблемное значение: v = ['401.40.16.123.51.92.57', '24', None]

(в одном из случаев)

подозреваю, что в одной ветке мак уже появился, а в другой нет. Либо уже удалился/ещё нет

dvolodin: в конструкции вида 'self.snmp.get_tables(["1.3.6.1.2.1.17.7.1.2.2.1.2","1.3.6.1.2.1.17.7.1.2.2.1.3"],bulk=True)' возможен race?

evyscr: какого рода?

а

конечно возможен

Ж)

они не единомоментно опрашиваются

ок, далее, в нокопитоне имени guarded_run конструкция 'if x and int(x) > 2:' не вызовет трейса при x == None?

неа

не вызовет

http://i68.fastpic.ru/big/2014/1113/24/3274166649f2fcb5e5540645583f8524.png

радости snmp?

годно

dvolodin, и как? раком не встает если точек за год с минутным интервалом для 10 метрик дергать?

для 10 графиков

GET /pm/render/?_dc=1415887641216&format=json&target=object.rap3-1.interface.eth0.interface.load.in&until=1415887641&from=1415884041&maxDataPoints=900

научил его выдавать maxDataPoints

сервер еще буду учить агрегировать

zi_rus: zabbix же не встаёт

про заббикс не знаю, а графана встает

у заббикса серверный рендер

там похер

а тут js на клиенте рисует

ну а зачем, спрашивается.

у js интерактивность лучше

т.е.?

значение в каждой точке можно узнавать наведением мыши

отключать метрики с отображения

пилите, Шура, пилите, она ведь золотая )

и включать обратно

как то так вроде

"они, золотые"

ну ок

"Вы не знаете Володина. Володин вас всех посадит на питон, на джаваскрипт и снова на питон. Но уже дороже."

там в цепочке должна фигурировать джанга экст и графана.

default, develop, feature-graphite

тадам

все, теперь какие-никакие, но графики есть :)

когда смерть?

над интерактивностью еще поработаю

dvolodin, мы тут задаемся вопросом, а зачем? если есть графана

в карте сети ты графаной рисовать будешь?

dvolodin, а ты weathermap решил замутить?

а трешолды так и не работают

zi_rus: а ты их сделал?

я реквестировал. первый шаг выполнен

dvolodin: что будет на подкасте?

общий обзор OSS

новых ботов в чат завлекаешь

смотреть на сиськи

завтра пятница!

сделал maxDataPoints со стороны сервера

Привет. При запуске ./scripts/upgrade на RHEL6 получаю ошибку "pymongo.errors.DuplicateKeyError: E11000 duplicate key error index: noc.noc.isequences.$_id_ dup key: { : "pm.ts" }"

что надо поправить ?