nocproject.org

dvolodin: немогу добавить новый объект http://pastie.org/2394900

а дальше что?

Также у меня слители все Schedules- отключил...

дальше http://pastie.org/2394909

посмотрю

сд

е





сделай issue

че это?

да это вчера или позавчера с обновлением приплыло... надо глянуть свежий код..

доброго всем

локально-глобальную хотелку про брасы куда - в issue или в arch?

Какого доброго? У нас опять гроза опять пи*ц...

что за хотелка?

пишу issue

если коротко - хочется аларм по резкому снижению кол-ва юзверей на брасе

да, я понял

делали мы такое раньше, по макам на свичах агрегации

pppoe

смешано - адсл и эзернет

есть два пути решения - быстрый и правильный

:)

про какой рассказать ;)

я issue допишу - туда

рассказать и пообсуждать

http://redmine.nocproject.org/issues/234

inoyat_kayumov, мы считаем падение на 700 абонов на брасе алармом

вне зависимости от влана

а если в влане всего 100 в пике?

тогда нужен алгоритм с baseline мониторингом

иначе ложные сработки

ну их вручную можно разобрать и закрыть аларм

_сейчас_ - вообще "глазками в rrd" - и вербальный аларм :(

в cacti в thold есть baseline мониторинг.

на 1000+ вланах трезольд?

вы сейчас 1000+ вланов глазами просматривете :) ?

весьма трудолюбиво

одним rrd

слоями каждый влан видно

inoyat_kayumov: По issue #234

Есть два известных мне пути решения проблемы

быстрый и правильный? :)

Быстрый и неправильный уже озвучили - threshold monitoring по SNMP

NOC'овский PM поддерживает 4 вида границ

low error, low warning, high warning и high error

действительно можно снимать количество юзеров по SNMP и отслеживать границы

красивый, быстрый, и в корне неправильный метод Ж)

я PM еще не смотрел почти - только из тех примеров что на форуме были

dvolodin: а кстати как №234 классифицировать - как задачу для PM или все-таки для FM?

это задача PM

в том числе и сгенерировать event по выходу за threshold' s

так вот -- метод в корне неправильный

догадайтесь почему ;)

не знаю. а почему не для фаулт? я там в issue написал цепочку - причина падения лежит где-то на свитче/брасе

задача PM отловить проблему и сообщить FM

так вот, неправильный он потому, что нормальная загрузка BRAS'а неравномерна и меняется со временем

и перепад между ЧНН и ночным временем может быть в 1.5-2 раза

Например, 5k юзеров вечером и 3k ночью

если вечером случится авария и 1k юзеров слетит с BRAS'а, то останется 4k, что все равно больше нижней ночной границы

это как раз одна из причин того, что применение активных систем мониторинга в лоб держится в существенной мере на самовнушении и закрывании глаз на очевидные проблемы :) Пришлось даже статейку набросать на эту тему

Так вот, есть как минимум один известный мне более точный метод

условно называется anomaly detection

детали зависят от реализации и у него тоже есть куча граничных условий

суть примерно такая

по временному ряду по одному из алгоритмов предсказывается следующее значение

статью я читал - очень познавательно

если фактическое значение сильно расходится с предсказанным, значит где-то нас накололи, происходит жопа, а мы не в курсе

один из примеров таких функций - фильтры Калмана

если опустить долгую и нудную математику то все просто

график загрузки BRAS - периодическая функция, похожая на синусоиду с одним или двумя максимумами (утро - вечер), небольшим провалом днем и падением ночью

изменения обычно незначительны

он плавно падает и плавно растет

за исключением аварий

такой же подход применим, скажем, к загрузке межоператорских стыков

и точно та же проблема - в онлайн-проектах

скажем, если у сайта трафик резко упал на гигабит - то где-то жопа

но днем этот гиг - не так много

но суслик есть

короче, вы раскрыли страшную тайну

текущий PM в NOC нужен был исключительно как коллектор данных для Traffic Anomaly Detection

тут коллеги высказывают мысль про небольшое "упрощение" - период дискретности не сутки а час

частоту дискретизации имеет смысл ставить не более одной минуты

тогда в течении 2-3 минут можно будет поймать жопу

считать разницу между прошлым и нынешним значением настоятельно не советую

;)

почему?

входной сигнал зашумлен

либо сначала срезайте шумы

да - мы к такому же выводу пришли

насчет T.A.D я так скажу - я его еще допилю

а вот пойдет ли он в репо - пока вопрос

мы с вами как-то уже обсуждали вопрос платного функционала

TAD - возможно пойдет как платный

или как отдельный продукт вообще

хорошо. если не углубляться пока в финансовые вопросы - конкретно по "234 будет какое-то решение? или ее закрыть?

пусть висит пока

может кто придумает не менее изящное и стабильно работающее решение

gnu-linux: Объект SAE почто удалил?

здравствуйте. добавил пару десятков каталистов и роутеров в managed objects. пытаюсь получить конфиги - у части get_config отработал, у части - нет. в /var/messages "Aug 19 11:34:26 kovreng python: abrt: detected unhandled Python exception in manage.py"

куда копать

при debug_scripts теперь вываливаются ошибки на вообще все объекты managed

File "/opt/noc/contrib/lib/django/db/backends/postgresql_psycopg2/base.py", line 140, in _cursor

self.connection = Database.connect(**conn_params)

psycopg2.OperationalError: FATAL: Ident authentication failed for user "noc"

Ident authentication failed for user "noc" - не может соедениться с базой под этим юзером

debug_script надо делать не из под рута ?

логин пароль для постгреса правильные прописаны? проверь

да в том-то и дело, что сейчас я опять запустил скрипт. он прожевал все устройства кроме последних добавленных

2011-08-19 11:48:24,666 MRT task=21/330 object=cct01-koz-oze(10.200.200.47) script=Cisco.IOS.get_config status=completed

2011-08-19 11:48:25,652 MRT task=21/363 object=a-ab3cs2(10.200.200.4) script=Cisco.IOS.get_config status=completed

2011-08-19 11:50:12,272 script(Cisco.IOS.get_config,crt01-orshanka,**{}) failed: Cancelled

2011-08-19 11:50:12,278 MRT task=21/318 object=crt01-orshanka(192.168.65.37) script=Cisco.IOS.get_config status=failed code=20 error=Cancelled

т.е. пароль правильный

проверил роутеры которые нормально отработали - все они заведены аналогично

все, отбой. на этих древних роутерах не был прописан айпишник нового радиуса, и они не могла авторизоваться

=)

ufir: debug-script лучше делать из под noc

оффтопик, но всё же. коллеги, от чего tcp ходить в килобитах а udp нормально в мегабайтах. никто не сталкивался ?

congestion control срабатывает

packet loss может быть высокий, окно схлопывается

потери померяй

господа новости почитал я. может на pypy перейти :) ? аццкое увеличение скорости обещают

http://speed.pypy.org/

dvolodin: a что объект SAE нельзя переименовать в NOC для красоты :)

нельзя

в NOC есть не только SAE :)

freeseacher: памяти немерянно ест он

да и ускорять ему нечего почти

хотя, классификатор у нас и так компирирует правила в native python

если еще и JIT заработает, будет забавно

:)

хотя, сдается мне, что бобик просто сдохнет :)

отловил memory leak в корреляторе

все тот же reset_query() для django

заодно с удивлением узнал, что коррелятор на каждую аварию лезет в постгрес

век живи, век учись, блин

strace надо юзать...

не поможет

я objgraph использовал

Поможет, он файл библиотеки постгреса прочитает перед тем как туда лазить.Когда запланирован релиз 0.7

влепил import pdb; pdb.set_trace() в основном цикле демона

ну полезет, ему туда положено лезть

В r4476 отучил от вредной привычки

Релиз - в районе месяца, наверное

надо вылизать интерфейс и набор правил

написать описание, как работает FM

и, будет хорошо, если вы будете более активно постить на сторонние ресурсы статьи и описания на тему использования NOC для решения рабочих проблем

пятница, ближе к вечеру время :)

давайте вспоминать, что еще мы не сделали с FM, что мешает нам его зарелизить?

я ещё с длинков скоро накидаю эвентов, которых нет

кидай

на почту тебе сразу ?

Dmitry1, ?

в issue кидай

ок

по fm, кнопки перелистывания страниц с эвентами надо сделать не только в низу страницы но и вверху тоже

Nickolas_m: вот это не стоит точно

и в CM, когда дифы смотришь, тоже ещё одну кнопку надо. ближе к последним дифам

тьфу

не стоит кнопки дублировать

просто список надо делать правильного размера

по 20 эвентов на страницу?

а как такое классифицировать можно?

hp93_1, next hop router 10.0.7.1 moved from port 2/16 to port 2/2

ZЯ предлагал Володину сделать класс IP Flap

Я могу сделать, если добавишь туда этот ивент.

хех, яндекс уже 20 минут как валяется.

причем весь - с моимкругом вкупе)

Dmitry1, давай сообщение то информативное

класс IP Flap

описание IP Flapped between interfaces

тело IP {{ip}} moved from {{from_interface}} to{% if mac %} {{mac}} on {% endif %}{{to_interface}}

сойдет?

тока ту идет речь про nexthop, в моем случае

думаешь не стоит на этом фокусировать внисание?

Не стоит. Главное, донести до пользователя информацию, что IP появился на другом интерфейсе.

ок давай так

сделал

коммить

Авария в яндексе

оба каталиста слегли

Dmitry1, там ещё бгп добавил

Dmitry1, закоммитил

`kk: закоммитил

ага

Он у меня просто иногда выдавал такую вещь

WARN(4) [BGP(7):] BGP connection is closed due to Notify: Code <4> Subcode <0> (Peer:<>).

такого не видел

Т.е. пир не был указан

а у меня такое постоянно сыпется. какие-то глюки в сети.

И отловить никак не могу

`kk: Ты сможешь отловить сообщения D-Link от DULD, ERPS, OSPF ?

OSPF наверное да

остальное нет

ещё там добавил

а DULD ? На 3627 он есть

что это. у меня не используется

D-Link Unidirectional Link Detection

аналог цисковскому UDLD (Unidirectional Link Detection)

Еще интересуют сообщения от VRRP и DDM

У меня нет соответствующих SFP для DDM

с SFP аналогично -(

а BFD используешь?

duld посмотрю что такое в пнд

неа

меня syslog сообщения или snmp trap интересуют

Мне на DGS-3426G не удалось заставить DULD писать в логи