nocproject.org

zi_rus: доработал я пинги, теперь они берутся из managed object profile

о!

это хорошо

дима покоммить там мои патчи :)

с юзерами?

да

и с индексами

хотя думаю там надо код как то переписать. что бы в другой индекс попадало

NOC-920 закоммитил

dvolodin: Дим, у меня стабильно роутеры с пинговалкой в ping_failed висят...

а они живые?

угу

очень живые

буде они дохлые, я бы не парился.

с самыми последними коммитами?

|NOC|0.7(4)r7469|

докати до конца все

хорошо, посмотрю...

попробуй tcpdump'ом половить для какого-нибудь несчастного роутера

и в логи активатора смотри

у меня впечатление, что активаторы тупо не успевают

ладно, накачу, посмотрю...

чего не успевают?

пинговать?

а ваще нифига не успевают

с трудом в это верю

сделай их побольше

8 активаторов, 60 скриптов на активатор

это немного

в мониторе посмотри, чем они заняты

а монитор говорит Failed to get data

в логах SAE нет ничего насчет SAE is overloaded by MRT scheduling

есть, куча

вот тебе и ответ на главный вопрос

поднимать лимит скриптов на активатор?

нет

таблицу sa_maptask посмотри

и?

как минимум - reiende, vacuüm и analyze

reindex

понял

или совсем truncate

SAE раз в секунду решает, какие задачи стартовать

а у тебя выборка из этой таблицы идет больше секунды

ERROR: deadlock detected

DETAIL: Process 58174 waits for AccessExclusiveLock on relation 30751 of database 29489; blocked by process 58097.

Process 58097 waits for RowExclusiveLock on relation 30742 of database 29489; blocked by process 58174.

потому и ждет... :(

не помогли reindex, vacuum analyze

останови процессы и сделай truncate table

2013-01-31 09:33:28,619 SAE is overloaded by MRT scheduling (took 1.17548s)

после обрезки таблицы

уже три таких строки в логе

vacuum full analyze sa_maptask;

renindex table sa_maptask;

нифига

cat noc-sae.log | grep overload | wc -l

16

за минуту

медленный постгрес?

dvolodin: ну вобщем-то ошибка осталась, но в целом стало пободрее

все пропинговалось, монитор показывает более радужную картину.

раньше фейлилось около 50% скриптов, ща 10к отработано 900 зафейлено

mikevlz, и как LA помньше стал?

НИИ ХУЯ =)

вот ща LA 9.26/8.3/7.48

как можно так насиловать сервер

при этом за верхнюю строчку дерутся Mongo, python,Idle, postgres

он железный, пущай пашет

монга как раз трейсы складывает, фикси дальше

в смысле "трейсы складывает"

ты про collect_crashinfo?

да

это может быть не скриптовый креш и системный

они сильнее грузят

потому что валятся постоянно, а не только на работе скрипта

надо логи смотреть

Подскажите, что такое ID discovery?

великое древнее колдунство

в базу сейчас собираются интерфейсы железок. Интерфейсы можно соединять

вот чтоб руками не щелкамть все, придумано переделать topology_discovery. В разных способах обнаржуения топологии сосед определяется уникальным идентификатором

это может быть набор маков, хостнейм, просто идентификатор какой-то...

вот я понимаю lldp, stp, и проч... а ID - это что за идентификатор такой? каким скриптом оно дергается?

вот все эти идентификаторы собирает ID discovery, кладет в базу, а потом lldp_discovery, например, использует это для определения кем в базе является сосед

Generic.get_discovery_id или как-то так скрипт зовется

он уже сам смотрит, какие скрипты есть у профиля, дергает их

фигасе философия!

Это надо покурить детальнее. Спасибо

попроси у разрабов, может дадут дунуть их волшебной травы

Dmitry1, ты тут? не хочешь NOC-923 еще раз попробовать

не дадим

трава засыпана снегом

zi_rus: ты уже попробовал на вкус попингуйку с привязкой к managed object profile

dvolodin, попробовал но еще не проверял

надо проверять

там для разных категорий железок разный интервал для пинга можно задавать

dvolodin, меня тут заволновал еще один вопрос, у тебя в get_version реализован snmp (для циски), но в запускаю дебаг и он лезет в кли

это несколько напрягает, очень хочется кошерный snmp без консоли, на сколько это возможно

я даже NOC-923 сделал для этого :)

ключик -c-

буду искать как реп и стп по snmp можно вытащить

а в Managed Object Profile поле Down severity работает или пока для красоты? Я так понимаю это приоритет для alarm'ов при падении интерфейса. Но что-то как-то оно не функционирует

dvolodin, о точно, это я забыл, я рассчитывал что он сам поймет какой вариант использовать

dvolodin, тогда еще такой use-case, в профиле МО можно задать различные параметры, но иногда их хочется изменить, например можно задать разный shape, но иногда хочется снять с мониторинга пингами какую-то железку, приходится рисовать отдельный профиль, а если

у меня свичи и роутеры идут разными профилями, то приходится их 4 делать

или например дополнительный тип дискавери включить на одной железке, это под нее одну целый профиль приходится рисовать

в общем нужно галочкам добавить переключатель, галочкой отмечаешь учитывать или нет значение переключателя, а сам переключатель определяет on/off для метода дискавери

это в параметрах Мо

а в профиле МО можно оставить галочки

или для красоты и порядка галочки тоже поменять на переключатели

zi_rus: жто разумно, но делать надо не на django'вской админке

это и ежу понятно, что если делать то сразу в ext

чтобы не перегружать интерфейс, можно как с правами у пользователей, сделать этот радел сворачмваемым

я думаю - табами

можно и сворачиваемыми группами

аккордеон

клева

да хоть баян

dvolodin: а self.snmp() как себя поведет, если его на таблицу натравить?

в скриптах SA

смотря какой oid дать

iftable, например.

dvolodin, смотрел статьи на хабре, я тут ссылки кидал?

я просто get_fqdn сделал на SNMP, теперь на этом этапе не тупит. Нашел MIB Reference для Brocade.IronWare, думаю весь get_fdp_neighbors довести до полного SNMP, може еще что из скриптов

чота у меня щас из-за света полсети моргнуло минут на двадцать, и теперь машина с ноком показывает LA > 30

и я даже пока не могу посмотреть в чём дело

Unbeerable, видимо стартанули какие-то джобы, проверяют что происходит

а может алармов насыпалось и классификатор их разгребает

в том и дело, что алармы вроде уже даже закрылись

перезапустил, взлетело

а что проц жрало?

dvolodin, про snmp, дебаг может и работает только меня не обманешь, запускаю скрипт в интерфейсе, и вижу в такакс аккаунтинге, что эта зараза все равно в консоль лазает

а пардон, не то проверял

в том скрипте еще нет снмп

уже непонятно

:(

после перезапуска sae выдал в лог кучу get_ip_discovery

с фэйлом

SAE is overloaded by MRT scheduling

я знаю куда можно пуш прикрутить

sa > monitor > scripts

да и pools тоже

и обновлять хотя бы раз в секунду

народ, вопрос всем, если у меня процессор 4 ядра, но включен HT, и система видит 8 потоков, сколько активаторов будет лучше запускать?

4, как я делаю сейчас, или лучше поднять до 8

бггг... техник пришел к сотруднице домой посмотреть, чо не так с Iptv, переобжал коннектор, появились не все каналы. 1-й, еще три каких-то и "Русская ночь"...

причем "Русская ночь" раньше не показывала...

как обжимать, чтоб порнуха появилась - не рассказывает

скажите - построение топологии по макам меняли или нет?

в то из менбшки пункт убрали, а по линкам не видать чтобы находило что то маками

_4ePTeHok, какой менюшки? все на месте

была пепяка - тополоджи дискавери

в sa-tasks

ее уж вывилил давно

*выпилили

давно-давно

а кто-нибудь знает, что такое добавилось в ноке примерно вчера, что у меня по расписанию раз в час строго между 5 и 10 минутами резко подскакивает загрузка CPU?

в логах криминала не вижу

дык по макам сейчас что то ищется?)

всем привет

живые есть?

http://ваш_сервермонги:28017

noc.noc.schedules.fm.correlator у меня 90% запросов. Индексов нет, видимо на этом монга грузится нещадно

о

вот он

dvolodin: noc.noc.schedules.fm.correlator у меня 90% запросов. Индексов нет, видимо на этом монга грузится нещадно

8889 mongodb 33 109 0 8276M 333M CPU2 2 134:45 76.86% mongod

пообновлял интерфейс админа монги, изредка write lock мелькает, но не думаю, что в этом дело

помочь чем делу можно?

индексы там желательны, ла