nocproject.org

dvolodin, ты говорил что пробу можно как активатор, несколькими строками в конфиге лаунчера настрогать инстансов. ни фига, это не работает

zi_rus: почему не работает?

dvolodin, ты такие интимные вопросы задаешь. чтоб я знал почему

вот лаунчера конфиг [noc-probe]

enabled = true

user = noc

group =

config.0 = etc/noc-probe.conf

config.1 = etc/noc-probe.conf

config.2 = etc/noc-probe.conf

config.3 = etc/noc-probe.conf

ну

а выход?

4 процесса запущено?

root@noc:/home/iz # ps aux | grep probe

noc 4145 0.0 0.2 259032 36404 ?? S 9:44PM 14:33.28 /opt/noc/bin/python ./scripts/noc-probe.py launch -c etc/noc-probe.conf -i 0 (python2.7)

root 10454 0.0 0.0 16332 1936 0 S+ 9:32AM 0:00.00 grep probe

один процесс

хм, посмотрю попозже

dvolodin, а вот это как понимать и как починить? http://pastebin.com/ke7S1igC

новая инсталляция

ничего еще не ломал

а whois уже не работает

update whois cache не обновляет

есть такой индекс уже

дропни его

не только у zi_rus такая грабля

у меня тоже такое есть.

,,

но для другой коллекции

commands котоаря

удаленный классифкатор на неепостомянно ругается

да, я понял

это из-за TTL indexes

старая монга их криво создавала

да видимо так

дропнуть все индексы ?

нет, не все

а на которые ругается

надо их выловить и подропать в миграции

dvolodin, а причем здесь старая? у меня новая инсталляция, монга сразу 2,6,4. после установки проблема сразу появилась

mongoengine

нет такой команды

я говорю, mongoengine криво делала ttl индексы

бонжур! а кто нить обновлялся с текущего develop на future/graphite?

вот давай без извращений в понедельник

да ладно

я обновлялся

норм все

только в графите делать нечего

тююю, то в пятницу ничего не делаем, теперь и в понедельник )))

zi_rus: понял - не буду пробовать

Kostua, ну ты же знаешь, в понедельник отходим от выходных, в среду работаем, а в пятницу готовимся к выходным

dvolodin, закоммить скрипт http://pastebin.com/TQq08svp

оказывается я его написал

а в апстрим не отправил

скрипт рабочий

даже линки у меня находил

так а вот по линкам

чего оно перестало определять линки по lldp в эджкорах?

всё ж работало

я видел комиты чинили это в цисковском профиле

эджкор с эждкором или как?

evyscr: да, эджкора с эджкорой одиноковых моделей даже

3528M

ну ты знаешь - смотришь на обоих концах lldp, смотришь debug-script опять же на обоих концах

кто нить подобное гавно эксплуатировал? http://www.ulmart.ru/goods/584562 мне в офис сетку проапгрейдит.

e_zombie, Управление Неуправляемые

что там эксплуатировать

неуправляемое.

он сумер развернуть бакап https://vk.com/doc117834856_326106275?hash=a3af8e325935fe066f&dl=1f18f6f3d502393cff

evyscr: ./noc debug-script get_lldp_neighbors на двух концах нормально отрабатывает, друг друга они видят

что подтверждает и линкует два устройства в инвентори?

Kostua: начти отладку с get_chassis_id

ну и log_jobs включи, чтобы логи видеть

" ./noc debug-script get_lldp_neighbors на двух концах нормально отрабатывает, друг друга они видят"

у меня такого добра (на длинках) наваом, а дискавери не коммитит линки

*навалом

dvolodin: get_chassis_id отрабатывает нормально, у меня в продакшене между этими устройствами линки оперделеяет, но там стоит девелоп еще за апрель кажись, а на тестовом с последним девелопом нивкакую

так что я грешу не на скрипты в профиле, а что то в кишочках инвентори поламалось

Kostua: http://pastebin.com/AQeaBUtS а закомичено только три линка

TSergey: фикси чо-нить-)

в таком виде они и не закоммитятся

evyscr: в смысле фикси?

ошибку пока найти не могу

профиль один и тот-же

почему с обеих сторон кандидат находится, но не комистится, так и не понимаю

*не комитится

:23 vs :1:23

ага

но это же уже кучу раз правили?

имя этим багам - легион

как обычно, sh lldp rem, debug-script с обеих сторон

evyscr: ну так видят они по lldp

скрипт отрабатывает без ошибок и выдает результат

Kostua: ваши слова не значат ничего. Логи, пасты, ещё раз логи и пасты

"скрипт отрабатывает без ошибок" так весь стопор в том, как lldp-discovery отрабатывает данные

evyscr: может уже начать компанию за то, что бы стандартизировать выдачу портов в get_lldp_neighbors?

evyscr: причесать 1/25 -> 25, 1:25 -> 25, Gi0/11 -> Gi0 11

галочки выделить все не хватает

у меня 600 железок

еще терпимо

а каково e_zombie с тыщами

угу.

и бляди сетевики забили на добавление в бд новых хостов со стройки.

пидорасы.

=)

автодискавери надо прикручивать

на самом деле это действительно удобно

одни забивают, другие забывают

"zi_rus: галочки выделить все не хватает"

+1

и поиска по platform

TSergey: ну а как ты будешь стандартизировать стековые порты?

да, а сейчас этой проблемой прям пронизан нок, с ходу режется "1:"

Я, честно говоря, начал в своё время патчить на предмет доставания local port id из sh lldp local_ports, но потом выцепил корень своей проблемы и забил.

У тебя же, вполне вероятно, в очередной раз какой-нить хак сработал.

freeseacher, а ты понял что надо дропнуть чтобы захорошело по проблеме с индексами? а то у меня еще при asset discovery такая же фигня вылезает

у меня, к сожалению, нет стэковых, не могу ответить как бы их стандартизировать

но то, что get_lldp_neighbors выдает 1\27, ну точно неправильно

ну хотя бы в 1:27 переводить

zi_rus, хз

я пока не занимался

бугага

нашел абонента, у которого на порту 1.4 миллиона CRC

у него небось телеко нормально показывает, инет не тупит

народ чего не так

http://pastebin.com/vZvzLsB5

get_ip_discovery в IOSXR профиле

в словаре нет ключа DELETE

вот у тебя маппинг и не работает, ругается Key error

mikevlz|2: гыгыгыгы. у меня счас отчёты кадждый день строятся. есть хлопцы с серьёзными проблемами.

e_zombie: чем собираешь?

mikevlz|2, точно, вижу

Dmitry1, ты тут?

поправь пожалуйста

mikevlz|2: через cli-command

get_ipv6_neighbor

e_zombie: в смысле - ноком?

да

ежедневно утром.

а то может еще что придумано и украдено

fsw-8-3moskovproezd-5-35-sar 1/12 1682763 0

fsw-2-tarhova-41-32-sar 1/24 697418 0

fsw-2-2magnitnyjprd-5-64-sar 1/24 539816 0

fsw2-4-zarubina-84-27-sar 1/4 144398 0

а зачем кли-комманд?

asw2-35-sar GigabitEthernet0/0/23 6045 0 asw2-367-sar GigabitEthernet0/0/20 930 0 asw2-385-sar GigabitEthernet0/0/22 724 0 asw2-27-sar GigabitEthernet0/0/17 341 0

asw2-35-sar GigabitEthernet0/0/23 6045 0

asw2-367-sar GigabitEthernet0/0/20 930 0

asw2-385-sar GigabitEthernet0/0/22 724 0

asw2-27-sar GigabitEthernet0/0/17 341 0

есть RMON MIB CRC

потому что я на питоне не програмлю

эээээ?

ну get_snmp_getnext ?

есть такой скрипт. Опросит все дерево RMON MIB CRC, вернет тебе список со списками =)

это быстрее, чем телнетом лазить

mikevlz|2: http://pastebin.com/JJHCnYd1

эээээ

e_zombie: хорошая шутка =)

удалился.

жаль.

снмп говоришь. если бы оно было настроено в ноке.

и для всех железок работает?

для тех, которые умеют

и снмп и rmon mib

https://pp.vk.me/c540109/c620618/v620618645/177fe/AUeWpXb6Gsk.jpg

на длинках его включать приходилось

когда-то

ща не знаю

интересная идея.

достойна статьи "лучшие кулинарные рецепты"

e_zombie: картинка - это тебе зарплату выдали?

но я всё равно не представляю как это на уровне нока это сделать.

зарплата да ..... хорошо что не так.

знакомая сфоткала за кордоном

Всем радости и счастья

и тебя забанят

[+]

amen

e_zombie: http://kb.nocproject.org/pages/viewpage.action?pageId=15630681&focusedCommentId=15630682#comment-15630682

как-то так

я у вас спроить хотел, вдруг кто трогал. 15-й ios на l3-свитчах лицензии крякали?

фуууу как не опенсорсно

Что купили, то и шатаем

e_zombie: это про циску?

про кряки

а...

Про циску, да. Там не совсем кряк, там с лицензиями мне не ясно.

катаны, вот вывод дебага с двух девайсов get_lldp_neighbors и get_chassis_id http://pastebin.com/Be8LgJeu http://pastebin.com/yrbinJCt http://pastebin.com/jw1z78aN http://pastebin.com/18e0Zz3d кто какие аномалии видит?

проблема следующая: не детектятся линки по lldp

Kostua: ты логи job'а смотри

Kostua: а в SA\MO\Edit\Discovery lldp_discovery чего пишется?

dvolodin, ну что, проба проде пробает, что дальше? графики будут?

уже 227585K данных набралось

TSergey: пишет wait сосотояние

не, справа у тебя есть текст? настроено логирование?

так вот насчет логирования по подробнее

где его включиьт?

включить

noc.discovery

log_jobs=/srv/noc/jobs

у меня так

куда-то к логам, короче

а так он уже включен

файлы там есть?

прописано log_jobs = /tmp/jobs но фаил не создается

и loglevel = debug

может с правами что-то? файло обязательно там должно быть, с нулевым размером как минимум

у меня loglevel=info

ну и на всякий случай --- в noc.conf [lldp_discovery] enabled = true?

dvolodin: научи, где искать object.profile.convert_interface_name(port) из

noc / inv / discovery / jobs / lldp_discovery.py / get_remote_port_by_name

в __init__.py профиля объекта такой функции нет

значит в базовых классах есть

это в scripts?

dvolodin: тут есть noc / sa / profiles / __init__.py

и если я правильно понимаю, то это псевдо-конвертация:

# Dumb translation

def convert_interface_name(self, s):

return s

и видимо такую функцию можно зафигачить ниже, в __init__.py в профиле?

TSergey: это искать не хочешь ты

может и так, но начиная с noc / sa / profiles / DLink / DxS / и вверх, такая функция впервые находится в noc / sa / profiles / __init__.py

и там она ничего не конвертит

И?

типа, в более других профилях её овердоадят, видимо

*оверлоадят

мне нужен конкретный профиль, DxS, и увидеть, кто переделывает 1/27 для DxS

и видимо никто

grep -r "def convert_interface_name" sa/

Dmitry1: все в скриптах для lldp пытался конверсию сделать

TSergey: посмотри еще get_interface_names

а там её по большей части не надо, btw

dvolodin, почему в алармах Timestamp: 2014-09-15T14:21:57+02:30 - такая таймзона? должно быть уж или +0 или +4, но не 2:30

а я почем знаю?

ну а кто кроме

ну нет в системе настроек на два часа

dvolodin: погоди

в lldp_discovery.py дергается get_lldp_neighbors или нет?

да, get_interface_names режется "1\" и "1:"

e_zombie подтвердит, тоже страдает

dvolodin: в каких случаях дергается get_interface_names, а в каких get_remote_port_by_local? get_interface_names используется только во втором случае

TSergey: вот я лох! ты был прав - noc.conf [lldp_discovery] enabled = false facepalm.jpg

Kostua: ну вот, теперь дело пойдет

уже все залинковалось

Dmitry1: привет

в каких случаях дергается get_interface_names, а в каких get_remote_port_by_local? get_interface_names используется только во втором случае

у меня не линкуется пара коммутаторов на профиле DxS

покажи вывод обоих debug-script

get_lldp_neighbor?

Dmitry1: раз уж речь за DxS/get_lldp_neighbor.py, насколько осмысленно оставлять там дёртихаки ремоут порт дескрипшна и ремоут порт мака при наличии вроде как работающих соответствующих методов в lldp_discovery.py?

Dmitry1: NOC-1444

TSergey: у тебя две беды, похоже

какие?

Dmitry1: и посмотри NOC-1442, там совсем мелочь

а ещё ты самое вкусное не приложил

evyscr: говори, ща добавлю

sh lldp r?

а именно - результаты работы get_lldp_neighbors

которые уже в json

nmae

это я слепой

:)

в обчем, первую беду мы уже однажды фиксили - обрабатывается дескрипшн вместо мака

как ты смотришь json? чем форматируешь?

evyscr: да, запросто я снес те изменения, я разок полностью скрипты перезаливал

форматирую - глазками

а в NOC-1442 лучше бы использовать "\n\s*\n\s*Port ID\s+:\s+"

Пробуй патчик из NOC-1422 накатить

evyscr: почему это? "\n\s*\n\s*Port ID\s+:\s+"

Но не факт, что его хватит в данном случае

evyscr: посмотри приложенный файл

А я, кажись, где-то наткнулся, что и предыдущая строка может пробелы содержать

я попроверял, мои DGS3100 даже линковаться после этого стали

Все ли?

Я по твоим данным гонял, у меня часть не разделялась нормально

по моему все

ща сделаю тэг, гляну

Dmitry1, в интерфейсе ipv6 neighbor нет статуса delete. или надо в интерфейс добавить или delete ассоциировать с уже существующим, incomplete например

evyscr: ну с нулевым линком ни одного DGS-3100 нет

Хм, а в интерфейсе нока не сделали ещё возможность копирования? Например, копирование мака со страницы MacDB?

из грида копируется без пробем

А уже из мак-хистори?

а хз :) я ни разу ее не видел

evyscr: только с циской есть незакомиченные линки

dvolodin, http://pastebin.com/7aeR3UpN - ghj,f nhtqcbncz

проба трейсится

evyscr: я поставил JSONView chrome, половчее смотреть

народ. фм кто-нибудь пользуется?

какой-то дико странный глюк

не приходят письма по авариям link down

по остальным все норм

бред какой-то

алармы в ноке поднимаются

и даже письма по закрытию алармов приходят

а вот открытие аларма линк даун нок не считает нужным оповещать

нужен хоть кто-нибудь на ветке графит

и с работающим фм

это явно не мой баг

на старом сервере было так

переехоал на новый, таже херня

у тебя задержка отправки сообщений для алармов не стоит?

dvolodin, нет никакой задержки. по крайней мере сознательно не ставил. ладно бы вообще криво работало, но почему только по одному классу???????

остальные приходят нормально

пинги

eigrp

pim

mpls

все прилетает сразу

а пот линк даун вообще не приходит

только закрывающий

блин

оживить бы нок

до рабочего состояния и заморозить

как уже достали баги

то вам фичей не хватает, то багов

багов хватает, но ты фичами поломал вообще все

нок тормозит

половина процессов тресит

фм не работает

в интерфейсе еще 100500 мелких багов

пока оживлял сегодня нок, потенциально нашел ещенесколько

напримересли уже развернутому профилу поменять тип, с Raise alarm на log

он похоже не отрабатывает

dvolodin, почини нок, а тебе машину под CDN нарисую

-_-

e_zombie, это что за выражение глаз?

китаес

да устал я сильно душевно от всяких мелких недоделок.

опять гонка за новым функционалом в ущерб всего остального.

e_zombie, нужна гонка за всем остальным в ущерб функционалу

не совсем. ну есть же море багов мелких которые надо просто взять и планомерно вычистить. чтобы работало.

вот типа такого NOC-1400

есть

нужно

но...

раз два месяца можно посвятить фиксам.

пользователь спасибо скажет.

я же не прошу вот такое фиксить NOC-1380

e_zombie, если ты запостил баг, ты уже просишь его пофиксить. тем более ставишь критический приоритет

и дофиксить NOC-1379

ну и у нас как происходит. начинаем вычищать такие мелкие - встревает ктонить со своими глобальными пиздецами и процесс чистки прекращается.

в результате и баги не зачищены и нихера не работает то что прервало процесс

это да

кто бы мелочь разобрал

пулл реквестов наделал

а потом кто будет тестировать что всё работает?

те, кто регулярно апдейтится

кто же еще?

кэп намекает что коммиты лучше тестить сразу пока коммиттер онлайн

кэп намекает, что нужно не только потреблять, но и производить Ж)

мы производим углекислый газ

2 литра в секнду

что кроме углекислого могу - то ои произвожу.

даже кривых моделей наделал.

и потеститировать под нагрузкой могу.

dvolodin, ты видишь, тут 39 человек из qa отдела, мы готовы производить тесты

хотя если выкинуть еще freeseacher, будет 38

но это уже нюансы подсчета

отлично

давайте разобъем вас пополам

половина будет фиксить баги, половина - тестить

qa фиксит баги? новый подход в управлении однако

Достаточно не вводить новые фичи, а закрыть текущие баги. Причём не говоря, что "этот модуль вообще переделаю и он будет в N раз лучше, но не совместим ни с чем, да."

и не факт что заработает

а если заработает, что не будет стоять раком

dvolodin, пофикси багу с уведомлением по авариям link down. реально хуйня какая-то

dvolodin: эта... а как посчитать процент успешных задач в reduce или после get_result?

уже посчитал

Dmitry1, ты тут?

GLEAN - еще один тип для ipv6

тоже инкомплит надо

живые есть?

после переезда на новый нок

SNMP Authentication Failure for 8.8.8.8

это гугл шалит, или еще один глюк новой инсталляции

dvolodin, нашел еще один трейс http://pastebin.com/pWa6PFas - это опять монговские приколы?

возможно, нужно разбираться

(

это в логах коррелятора постоянно валится

кто-нибудь W-IX пользует?