nocproject.org

dvolodin, нок еще на одном графике эверест нарисовал, но в этот раз без провалов, просто один пик на 40Pbps и дальше опять нормально пошло

тут даже по-другому

этот пик шириной в целый час

ты на графане смотришь ?

а вот в данном случае железка ребуталась

пик начинается когда железка верулась из ребута

выключи режим line сключи режим bar

лайн сильно врет

freeseacher, бар тоже пик выдает

тады пик

http://i63.fastpic.ru/big/2014/1024/88/a3cdb340c4b75e2a076915d53c967e88.png

промежуточных точек нет, только первая точка и через час самая верхняя

там же конфиг рефрешится раз в час, может кто-то там порылся

zi_home, ты на рокс не переключался ?

нет

я пока не знаю что это и что вообще надо делать

как я понимаю, миграции данных сейчас нет, все графики опять с нуля пойдут

а у меня вот с пиками проблема

https://www.evernote.com/shard/s57/sh/dc9302b4-05ee-44f7-b719-a43d95d813b0/405c891b9b091e3209ac1d5e70dbb0fa

это последний в списке

да это я видел

я не понимаю, надо ли устанавливать какой либо сервер или оно как виспер или sqlite

как Sqlite

и не переключайся пока :)

а, нее

это остатки старых экспериментов

работает вроде

zi_home, мы за сегодня вчера отловили пару багов в пробе

посмотрим

даже с роксом мне понадобится 10ТБ места в хранилище чтобы сохранить все данные что я хочу, 100000 метрик каждые 3 минуты в течение 5 лет, правда у меня нет 100к метрик, а только 7-8к и собираются они реже трех минут, но ориентир такой

.

,,

http://www.opennet.ru/opennews/art.shtml?num=40907

e_zombie, вышел на работу, начал новости читать? это уже два дня назад

ага.

дома работаю. на работе читаю новости :)

добавил в нок 2900 хостов. теперь думаю что с ними делать :)

перезагружай

неее. теперь думаю что с ними делать :)

а кто нить считал IO при таком большом количестве источников данных?

народ, а ни у кого нет такой проблемы. с аплинка приходит огромный трафик, похоже на ддос, длится не долго, может минуту или около того, деградацию сервиса заметить не успеваю, но на графиках пики очень четкие

происходит это уже достаточно давно

но не очень регулярно

два дня был один большой пик, позавчера ничего не было, вчера 4 небольших пика

херня какая-то

вот думаю, это только нас так или у других тоже происходит

у нас тоже бывают досы

ловим по nfsen

freeseacher, я посмотрел на скриншоты nfsen и вспомнил как реквестировал netflow в ноке

аааааа бля

(11:55:56) ReeF: Все, пиздец, доработался! Иду в сортир, открываю дверь, тянусь расстегивать ширинку, смотрю - а я ж блять в серверной!!! Правда желание на все это нассать и уйти не пропало

:)

Подскажите мне как сделать чтобы cli дождаля всего вывода..

v = self.cli("show spanning-tree detail")

cd /opt/noc/ && ./noc cli-commands -d --timeout=30

v += self.cli("")

изврат...

а в скрипте?

не знаю

xetle, а что? не дожидается? сколько длится вывод?

хз сколько ну пару секунд..

то есть скрипт пару секунд не дожидается?

тогда дело не в таймауте

Н вывод какойто неравномерный... и в том месте где притормозит обрывает... потом в следующей команде cli старый вывод...

zi_rus, а чего тебе не нравитсья в nfsen ?

freeseacher, а зачем мне он если есть нок ;)

dvolodin: cli если вывод с неравномерной скоростью идёт оьравается.. что бы получить всё надо:

поставлю его конечно если руки дойдут, а вноке не реализуется

v = self.cli("show spanning-tree detail")

v += self.cli("")

v += self.cli("")

xetle: посмотри, он у тебя промпт не распознает по ошибке?

А ща гляну!

по возможности используй адаптивную маску

Да это оно!!

('^\\S+#', 'PROMPT')

\r\n###### MST 1 Vlans Mapped: 1\r\n\

match '^\S+#'

.

xetle: всегда проверяй ./noc debug-script

я им и делал, не заметил что оно по промпту отрубает.

r"^(?P<hostname>\S+)#" - заработало :)

И ещё вопрос по STP, роль bound не предусмотрена интерфейсом:

ch2 enabled 128.1001 20000 Dscr Boun No P2p Bound (RSTP)

ch3 enabled 128.1002 20000 Fwd Boun No P2p Bound (RSTP)

Как быть как жить?

dvolodin Boun - какую роль мапить с igetspanningtree.py

"unknown" :)

xetle: а точно это роль?

https://learningnetwork.cisco.com/thread/51108

тут это тип

Name State Prio.Nbr Cost Sts Role PortFast Type

ch2 enabled 128.1001 20000 Dscr Boun No P2p Bound (RSTP)

ch3 enabled 128.1002 20000 Fwd Boun No P2p Bound (RSTP)

Role == Boun

bound наверное означает граница

http://en.wikipedia.org/wiki/Spanning_Tree_Protocol

"Ports at the edge of an MST region connected to either an RSTP or STP bridge or an endpoint are known as boundary ports. "

Граничный порт.

Вроде.

xetle: в твоей выдаче: type: "P2p Bound (RSTP)"

Hi. I want to resize a /28 network in Address Space Management to a /26. how would I do that?

the needed addresse after the /28 are unused

TSergey: да оно так, но чтобы в ноке сей факт задокументировать надо в igetspanningtree.py роль bound добавить..

так чего это за роль-то? в описании stp нет такой роли у порта

привязка... как ты раньше говорил.

если тебе для топологии, то важны только root, alternate и designated (насколько знаю)

Для топологии ужа навалял, теперь для общего развития..

и чего, по stp у тебя линкуются?

got it: delete the existing prefix with keeping the nested objects, create the new prefix.

hsychla: yes, all nested data will be relinked

there is not much going on on the default branch. is it a good idea to switch to the develop branch? can I switch back to default if I don't like it or will I get problems with my databases?

dvolodin, как на счет нетфлоу коллектора в ноке для perf management?

zi_rus :)

ну а что ты хотел

я настырный

а еще это интересная тема и пока что она не устарела

nfsen нормальный.

а нок еще лучше :P

dvolodin, видимо сам по себе коллектор и не нужен

нужен конвертер

который будет хавать нетфлоу и превращать в метрики трафика

один же фиг zi_rus не хочет хранение нетфлоу

и только параметризованные метрики

may be

вот например типичные задачи

посмотреть соотношение ipv4 к ipv6 трафику

или посмотреть на какой адрес льется 10G ддос

ты это уже сейчас можешь получать

ты нетфлоу чем собираешь ?

ничем

он сейчас в биллинг льется

когда от него откажутся я его sampled режим переведу и на нок заверну, для целей статистики

вопрос лишь в том кто будет с данными работать

нок или иная система

в то время как поддержка netflow является относительно распространенной у систем мониторинга, я не вижу причин его игнорировать

в смысле реализации в ноке

эм это в каких ?

freeseacher, https://ru.wikipedia.org/wiki/%D0%A1%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC_%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3%D0%B0_%D1%81%D0%B5%D1%82%D0%B8

в большинстве вижу неизвестно

по большинству их них знаю что не поддрживается

а я и не говорил что все кроме нока поддерживают

посмотри фраза построена по-другому :)

просто получать именно метрики трафика довольно просто сейчас

отправлять данные на нок можно

и рисовать их тоже

я большего и не прошу

а сами метрики вполне получаются через flow-tools

flow-capture с ключиком -R

а в этом ключике нужные тебе парсинги и отправка в нок

zi_rus: коллектор бинарный должен быть

для питона слишком тяжелая задача

ну может как freeseacher говорит, завязаться на уже существующий, может велосипед нет смысла изобретать

мне больше интересен конечный результат

так, не отвлекайте

графики :)

freeseacher: рокс рулит?

аащще

zi_rus, от dvolodin по flow-tools ничо не надо.

там ты сам тока

freeseacher, а чего сам, как нок это примет и в виде метрик положит в базу?

так и примет

ноку щас пофиг

все че пришлешь то и положит в базу

как пофиг

так пофиг

что значит пришлешь

сейчас он сам все забирает по snmp

echo "local.random.diceroll 4 `date +%s`" | nc -q0 ${SERVER} ${PORT}

точнее вот так

PORT=2003

SERVER=graphite.your.org

echo "local.random.diceroll 4 `date +%s`" | nc -q0 ${SERVER} ${PORT}

от возьмет эти данные и сохранит себе в базу

брр

проба ходит за данными

и отправляет их во врайтер

формат отправки точно такой же как как в оригинальном графите

а там тупой текстовый протокол

http://graphite.readthedocs.org/en/latest/feeding-carbon.html

ну да

там можно хоть в файл flow писать, скажем минутными файлами, а затем обрабатывать и слать метрики

кроме того демоны NOC нынче сами писателю умеют свои метрики кидать

Если вы позволите, то я возражу против flow-tools

минусы это отсутствие v9

у flowd есть, но он старый

остаётся лишь nfdump

мне вот что всегда было забавно -- netflow как формат - туп как пробка

а зачем ему быть сложным?)

Вот образец, вот данные, сортируй сам

ну ладно

dvolodin, ну и чего там у нас с графиками

zi_rus: боролись с дедлоками

подебили?

в пробе

а спроси у freeseacher

это вы пробу все еще чините

zi_rus, у меня с утра было зависание одно которое я не могу воспроизвести. но в целом победили

проба стабильно опрашивает 17к метрик

а дальше?

при 17k пробах на один процесс периодически возникали deadlock'и

а зачем на один

zi_rus, я могу только удвоить

because we can

:)

freeseacher, тебе религия не позволила несколько инстансов запустить?

он живет, блин

zi_rus, у меня проц там один

выгрузку конфига сегодня разогнали в несколько раз

с какой целью несколько инстансов ?

а ядер наверняка несколько

ядро одно

да ладно

сереьзно?

ты где этого динозавра откопал?

пентиум 3?

эм... виртуалка с оговоренными параметрами производительности

у меня вообще ни одног офизического сервера в управлении нет

ну просил бы побольше

я считаю 4 ядра оптимальный вариант

дык я то хочу понять сколько я с одного ядра могу поднять метрик

брал бы 0,5 ядра

а потом на 2 умножил!

так не пойдет

0.5 - самый правильный размерчик. 0.33 мало.

Я за пинту

надо попросить больше ядер

давай те пилите графит а я на след неделе свеженких вагин подкину

а сегодня?!

пятница же

сегодня у меня мама приедет. не получится. и модели на след неделю готовы. аж целых две

мама не любит можелей ?

можелям холодно

у нас тут зима полноценная а у вас ?

снежокас выпал немножко

в йошке же около 10см?

у нас уже с полметра

как в середине зимы

Неплохо

-8 на улице

Графики по снмп строятся у вас?

нет

графики строяться по rocksdb

данные в который собираются по snmp

шутник

графики строятся по точкам

насколько белезненно будет перейти на этот графит?

или надо копию виртуалки сделать, на всякий?)

боль будет сильная, но потом отпустит

хм.

вроде довольно просто

если текущий pm у тя почему то вдруг работает то данные потеряешь

у меня ничего не работает

даже письма не шлёт, всё ок

у нас снега нет, но холодно

2014-10-24 16:16:55,307 [noc.pm.pmwriter.writer] 1000 records flushed (118.54ms)

noc-web можно попросить собирать статистику по хитам и по времени обработки запросов

Дальнейшие планы такие

https://bitbucket.org/nocproject/noc/src/85b5bf33dace904d13d9015d59b35818775630ae/pm/apps/render/functions.py?at=feature/graphite#cl-1151

1. нужно допортировать графитовские функции

2. Нужно переделать рисовалку графика в графите

3. нормальные JS графики в морде NOC

4. dashboard'ы

5. Обработка threshold'ов и поднятие алармов

с дашбордами в принципе все понял, только не решил, как лучше

тайловые как в восьмерке

или строки как в графане

Давай лучше discovery objects for sa

давай лучше ты сам :)

блин

dvolodin, какой восьмерке?

в винде

ааа

в графане по-моему норм сделано

ну там два варианта

либо дашборд -- набор строк

лишние степени свободы мешают

на каждой из которых один или несколько widget'ов

в кактусе вообще выбора нет

либо дашборд -- табличка NxM

и ничего, пользуемся

и widget -- прямоугольник, занимающий одну или более ячеек

первый хорош тем, что адаптивен под размер экрана

во втором можно более сложные раскладки делать

ну есть еще вариант, который предлагает extjs

там наоборот

дашборд -- колонки

я к графане привык

нормальная тема

а лишние степени свободы только отвлекают

а плевался, как от кактуса

может графану и оставить?

;)

графана ущербная

просто на безрыбье

dvolodin, у тебя есть верхний и нижний предел, как ты их графане будешь передавать, если там трешолд можно только с одной стороны нарисовать

про стекирование я уже говорил

я свои графики сделаю

ну вот, графана значит идет лесом

dvolodin, но возьми лучшее, у графаны шикарное редактирование графика, в кактусе я объебался делать то чно хочу, а в графане в пару кликов нужные данные добавляются

кактус может начинать беспокоиться

заббикс - тоже

оч. сомневаюсь xD

Hi, me again.. I upgraded from default branch to develop. After "/etc/init.d/noc-launcher start" I only get "Loading NOC. Please wait ..." in my browser... any hints?

argh, nevermind. Had to reload invalidating cache...

dvolodin, смотри что нок на графиках рисует http://i68.fastpic.ru/big/2014/1024/4f/8a846b8f4bf4ef7e7a4f78eb9df09b4f.png

чем больше графиков я достаю, тем больше аномалий встречаю

сиськи?

все это сильно похоже на переход через 0?

может я промахнулся там где в расчетах?

а может и железка дурит

dvolodin, давай исходить из того что в какти все нормально?

я встречал такие немотивированные вылеты на zabbix + srx

или там просто фильтр на большие значения, например

что в rrd и делают обычно

но ты видишь что между двумя большими значениями рисуется провал

с относительно маленькими значениями

ты постекировал их?

да

а попробуй поотключать графики по очереди

на них на всех вылеты, или только на одном

dvolodin, на двух из трех

и

стабильно

третий самый маленький?

между двумя пиками ровно 1 час

хм

строго?

абсолютно строго и стабильно

хм

а ширина пика примерно 5 минут

а не связано ли это с переконфигурацией пробы?

may be

сколько метрик сейчас?

http://i64.fastpic.ru/big/2014/1024/42/0f1401dff4ac7639c3437bcb79654d42.png

увеличенный график двух пиков

эти полосы -- косяки рисовалки

ширина пика 5 минут

в смысле косяки рисовалки?

в трейсах ничего нет?

пятиминутные полосы

там очень высоко, в районе луны есть точка

линия вверх и линия вниз будут параллельны почти

да, это я знаю

я понимаю что нарисовано

только на кисках, или еще где такое?

у меня только циски

а хотя

попробуй проверить гипотезу о том, что они бываюи раз в час

они не бывают раз в час, это не стабильно

они шириной ровно 1 час

на дсламе одном который я вывел тоже есть пики, но меньше

видимо соответственно количеству трафика

и характер пиков другой

dvolodin, трейсов нет, грепнул все логи

Note: If current value is smaller than the previous value, Zabbix discards that difference (stores nothing) and waits for another value. This helps to work correctly with, for instance, a wrapping (overflow) of 32-bit SNMP counters.

dvolodin, все графики с пиками сняты с одной железки

но 64битные счетчики там есть

может быть это сбросы счетчиков такие

а не переход через ноль

хрен знает

я помню на SRX у меня были такие же вылеты

может тебе костыль как у заббикса приделать?

как есть сейчас - это не нормально

мы логгировали, что отдает железка, и там действительно была фигня

скажем, если счетчик чуть отмотается назад -- будет лажа

ну да, трафик отрицательным быть не может

но фокус в том, что он не с нуля начинался

а с чуть более низкого значения

я думаю такое условие пойдет

если следующее измерение меньше предыдущего, то надо не только переход через ноль считать

но и сравнивать полученный результат с последним значением

давай, делай фикс и я на роксдб перейду, пусть пропадут эти кривые значения

еще только понять как

через часок займусь

кривые значения ты можешь и сейчас в монге срезать

:)

не, я просто на рокс не хотел уходить чтобы данные не терять, а тут в данных такая каша, которую надо выкинуть

вернусь попозже

данные мы прочистим

и ничего не потеряешь

zi_home: https://www.evernote.com/shard/s57/sh/322e158c-c6b7-4d39-866a-636ec41c39bd/cc95bff387c90fb87e4f8d297c74a145

как-то так, наверное, надо

хм

сверху то, как есть сейчас

снизу - новый вариант

суть такая

определяю, 32 или 64-битный счетчик

а дальше считаю два расстояния между точками

прямое и через ноль

если прямое меньше, то, скорее всего, мы не через ноль перешли, а откатились немного назад

if v < self.last_value: это ведь уже сравнение

да

но оно бывает в двух случаях

при переполнении и при уменьшении

то есть v это то что мы получили

а last - это что в базе

брр

ничего не понял, но поверю на слово :)

zi_home: http://pastebin.com/df6msnSG

что-то типа такого

работатает или нет -- не знаю

попробуй

пропадут вылеты, или нет

накатил

посмотрим

рисовать не перестало?

нет, ричует нормально

смотри сообщения Possible counter stepback

пока что только 2014-10-24 23:36:36,756 [noc.pm.probes.generic.network.snmp_interface] [5d364238-c8d6-5652-8520-c659694fdeb1] No v

alid OIDs to poll

ну это нормально

это твое же, которое я на днях фиксил

да, мне кажется такого на моих железках быть не должно

это я буду сам разбираться

root@noc:/var/noc/log # grep stepback *

root@noc:/var/noc/log #

пока не было

судя по частоте пиков, завтра будет ясно, работает оно или нет