nocproject.org

dvolodin: чейто монго стало сильно грузить систему

dvolodin: [conn38] query noc.noc.schedules.fm.correlator query: { key: ObjectId('52a53c2e03bd29105019a3ac'), jcls: "check_link" } ntoreturn:1 nscanned:75586 reslen:20 103ms

это нормально?

линки падали?

ну падают периодически :)

все запросы идут по 100-200 мс

индексы посмотри на коллекции noc.schedules.fm.correlator

db.noc.schedules.fm.correlator.getIndex()

Mon Dec 9 09:50:32 TypeError: db.noc.schedules.fm.correlator.getIndex is not a function (shell):1

getIndexes

то же самое

shedules нету

[

{

"v" : 1,

"key" : {

"_id" : 1

},

"ns" : "noc.noc.schedules.fm.correlator",

"name" : "_id_"

},

{

"v" : 1,

"key" : {

"ts" : 1,

"_id" : 1

http://paste.ubuntu.com/6544059/

dvolodin: чего еще посмотреть?

mongostat

что я там должен увидеть?

общую обстановку

ну как бы все ровно периодически появляются в commands 30~60, и faults около 40 но не постоянно

как посмотреть чем занят коррелятор и почему он не успевает обработать все алярмы?

scheduler у него явно не тянет

м?

2013-12-09 10:40:13,966 [fm.correlator] Removing job dispose(52a3f78303bd291c8ca5dee5)

2013-12-09 10:40:14,066 Cannot dereference job dispose(52a3f78303bd291c8ca5dee6). Removing

2013-12-09 10:40:14,066 [fm.correlator] Removing job dispose(52a3f78303bd291c8ca5dee6)

2013-12-09 10:40:14,121 Cannot dereference job dispose(52a3f78303bd291c8ca5dee6). Removing

2013-12-09 10:40:14,121 [fm.correlator] Removing job dispose(52a3f78303bd291c8ca5dee6)

2013-12-09 10:40:14,221 Cannot dereference job dispose(52a3f78b03bd291c8ca5deeb). Removing

2013-12-09 10:40:14,221 [fm.correlator] Removing job dispose(52a3f78b03bd291c8ca5deeb)

и много у него такого?

очень

дропал коллекции с event'ами?

нет

у меня много сислог сообщений льется для объектов у которых еще нет МО может с этим связано?

нет

тогда куда копать?

попробуй дропнуть коллекцию noc.schedules.fm.correlator

именно дропнуть?

она пересоздастся сама?

да, остановить все и дропнуть

ок

drop или clean

?

drop

монге без разницы

дропнул поглядим что будет

это очередь коррелятора?

да, его расписания

у тебя засыпаны каким-то хламом

понятно

во алярмы за сегодня пошли :)

куда они денутся

_4ePTeHok: посмотрел internal_name?

а кто занимался скриптами для eltex?

dvolodin, да, по коду глянул. Прикрутишь еще галочку is_builtin?

через полчасика обновлюсь, потестю

не

там не галочка

еще вопрос - мы описываем в модели мамки-чассиса все коннекторы которые там есть? Или пока по упрощенному, те которые нужны(сокет CPU/DIMM/PCIe/RJ45/gbic/usb/db9)

все разумные

вряд ли нам интересен звуковой вход с CD

процы, память, карты

ну выходы тоже, да

как рестрикшены будем задавать?

Приветствую! почему для отрисовки карты в инвентори используете именно mxGraph?

предлагай лучшее)

тоесть, это оказалось оптимальным вариантом. понятно.

а можно пару вопросов по поводу mxGraph?

ну ты задавай, а там посмотрим

APC.AOS инвентори сделал...

вообще как два байта переслать...

graph.properties, graph.editor, common.css - как сказать mxGraph, откуда их загружать?

B_M, я на полном серьезе, предлагай.

да, в дереве инвентори явно не хватает меню по правой кнопке

дык уже передумали, на д3 хотели переделывать

даже фича ветку сделали

только не реализовывали еще

ну инвентори пока приоритетнее

хм

а d3 умеет огибать линками объекты при отрисовке?

к чему это я, есть куча устройств, между устройствами есть куча линков

умеет ли эта либа автоматически отрисовывать линки так, чтоб можно было отдельные линки различать?

B_M, гугл все знает

zi_rus: ну так, не особо

мммм

умеет

dvolodin, Дим, я верно делаю, что сворачиваю комбинированные устройства(скажем 2 сетевых интерфейса на одной карте) - в одно физ. устройство? В том числе встроенные сетевки( 'pci@0000:0b:00.0' 'pci@0000:0b:00.1' - один чип)

мы же карты должны видеть, а логические устройства это другая степь

[00:27] <dvolodin> в managed object profile галочку поставь asset inventory - а там нет такой, есть только asset discovery

ufir, ну значит эту, что ты придираешься

какие нехеровые задержки

дебилизм... У нас оказывается наши болгаркой жесткие диски пилили, чтоб они в салазки лезли

zi_rus а как теперь проверить что этот asset discovery как-то отрабатывает ?

ufir, как и для любого другого дискавери

открываешь железяку, лезешь в дискавери, выделяешь asset_discovery

ждешь результат

смотришь

нажимешь на пункт и смотришь =)

zi_rus, правду говорят, что ты к билайну отношение имеешь? :)

Unbeerable, да, ебал я их всех в рот. а ты что-то хочешь спросить?

мне нужен кто-нибудь, кто там работает инженером толковым

там это где?

ну в билайне

билайн большой

где-нибудь

есть корбина

:)

есть совинтел

есть есть мы, местные

я думал оно теперь всё одно

AS разные и люди что ими рулят

тоже разные

у нас в томске я подключён дома к билайну и была авария, погорел местный l2tp брас

после этого мой линукс переподключился и я стал везде через туннель видеть редирект на билайновскую страницу "неверный тип соединения"

ты не представляешь, у них для L3 и L2 разные люди

у меня ушло два дня и куча нервов, чтобы так и не добиться от ТП объяснения по каким критериям рутеры делают этот редирект

эмм, тебя кто редиректит? тоесть соединение поднимается но инета нет и кидает на эту заглушку?

странно это все

да

при этом если поднимать то же соединение с виртуальной винды внутри линукса, то редиректа нет, всё работает

ну и ТП меня бреет ответом "мы не поддерживаем эти ваши линуксы"

а мне как бы вхуй не впёрлось, чтобы они меня линуксу учили

мне просто нужно понимать, за что меня редиректят

честно говоря, я никогда про эти редиректы ничего не слышал, обычно оно или поднимает туннель и работает или не поднимает и не работает

попробуй брасы повыбирать

без днс

прямо по ip

пробовал

ещё кстати да, жутко бесит, что днс за раз выдаёт один рандомный брас

вместо того чтобы по round robin вывалить сразу весь список

там балансировщик работает

видимо, нагрузка хитро балансируетс

следит за цпу на брасах

если какие-то перегружен он их из пула выкидывает

единственное что я смог узнать у местных томских билайновцев, выйдя на них через знакомого, это как раз что погорел местный брас

и что временно томск терминируется чужими брасами

да они все местные

о как

но почему им не похуй на мой линукс, я так и не понял

всем похуй на линукс

кстати, когда билайн в томске только начинался, тогда ещё повсеместно был pptp и клиенты терминировались москвой

билайн вообще противоречив

и что-то народ от них побежал

они пидарасы, вот в чем дело

зомбированные пидорасы

вы про народ или про билайн?

про билайн

я по крайней мере

а то с вас станется...

https://pp.vk.me/c425627/v425627151/566f/IS5lm9cWd_Y.jpg

e_zombie: а где половые органы?

хахаха. обманул :)

ну вот...

половых органов в ближайшее время не будет.

ну разве что когда выставлюсь в галерее - пришлю все снимки серии.

а пока ожидайте БДСМную тематику с девочками.

лучше BSD тематику с мальчиками

фуууу

у меня мальчиков нету для этого

могу прислать скриншоты секса с соляркой необновлённой с 2008 года выставленной в инет

почти бсд

что за дрянь вы там пьете?

они курят то, что ты обычно пьешь :)

ты по поводу салярки девочек или мальчиков?

mikevlz: исключено, оно сгорает без дыма и остатка

и горит синим пламенем

;)

Это Россия

они могут

да у нас тут она же

не. у вас не рассея. у вас внутримкадье

давай без расистких высказываний :)

ща начнется про лодку :)

а про лодку это как?

не раскачивайте лодку!

ааааа

да. лучше про гомиков

на фотке мальчик или девочка? :)

на фотке бутылка

одна бутылка держит другую

dvolodin, в inv.inv на железках порты нарисуешь?

а на портах моргающие лампочки?

интерфейсы сделаю

бей извращенца!!!

девочка

так. ну инвентори чего-то там насобирало. только непонятно - что теперь с этим делать

ufir, именно поэтому это фича бранч, а не девелоп

ufir: строй дерево из всяких ништяков

города там, районы и так далее до стойки

и растаскивай награбленное

как сделать noc inject-event, если название MO на русском языке?

dvolodin а как растаскивать-то ?

чот не получается

мышкой

а между городами и стойками когда будут улицы и дома из адресной базы?

или оно есть, но я туплю

dvolodin: 2013-12-09 13:40:40,365 Script DLink.DxS.get_interfaces(10.116.0.41). Timeout set to 300

2013-12-09 13:41:25,210 Script DLink.DxS.get_interfaces(10.116.0.41). Timeout set to 300

2013-12-09 13:41:25,602 Script DLink.DxS.get_interfaces(DLink.DxS.get_interfaces(п°п╣п╩п╣я┬п╨п╦п╫п╟ 38, 10.116.0.41)) is completed

2013-12-09 13:42:04,394 Script DLink.DxS.get_interfaces(10.116.0.41). Timeout set to 300

Зачем оно раз в минуту дергает get_unterfaces ?

Unbeerable: группами можно делать

дома есть

dvolodin: Зачем оно раз в минуту дергает get_interfaces ?

но нету иерархии?

Unbeerable: не фиксирована

чтобы можно было создать справочник улиц, справочник домов вот это всё

понимаешь, в чем дело

дом может быть угловым

а улица проходить по нескольким районам

это легко решается, мне кажется

это сродни проблеме определения количества лет/месяцев/недель/дней в интервале времени

нет

потому что месяц и год это нечёткие диапазоны

а день и неделя чёткие

dvolodin: Мне звонят, и ругаются на то, что все логи свича забиты login/logout

как его отрубить?

ты посмотри, кто его стартует?

Dmitry1, ты в дискавери таймауты выкрути

[interface_discovery]

failed_retry = 9000

initial_submit_interval = 9000

а в мо профиле

там по дефолту 600

ёпрст

поменял

2013-12-09 13:56:18,816 Script DLink.DxS.get_interfaces(10.116.0.70). Timeout set to 300

2013-12-09 13:56:18,817 23 script threads (50 max)

2013-12-09 13:56:18,823 Script DLink.DxS.get_interfaces(10.116.0.70). Timeout set to 300

2013-12-09 13:56:18,824 24 script threads (50 max)

dvolodin: зачем оно при старте два раза запускает один и тот же скрипт?

так задумано, не перечь высшей воле нока

у меня народ на местах смотрит логи прямо на свичах. поэтому их напрягают лишние записи в логах

dvolodin, зачем в failed scripts выводить Host is Down, это же не ошибка

никто не хочет сделать модельки для 7304 или 7206?

есть 7201

:)

7301

я говорю -- в NOC есть моделька для 7201

7301 -- глючной кусок говна :)

Только что натолкнулся на эпический глюк

2013-12-09 13:57:34,638 script(DLink.DGS3100.get_interfaces,<D0><9C><D0><B5><D0><BB><D0><B5><D1><88><D0><BA><D0><B8><D0><BD><D0><B0> 40,**{}) failed: <class 'noc.sa.interfaces.base.InterfaceTypeError'>

DictParameter: {'last_chassis_mac': '00:24:01:30:d3:5d09-Dec-2013', 'first_chassis_mac': '00:24:01:30:d3:5d09-Dec-2013'}. Invalid value for 'last_chassis_mac': MACAddressParameter: '00:24:01:30:d3:5d09-Dec-2013'.

Самое интересное, что там ни одна команда не умеет выводить дату в формате "dd-mmm-yyyy". Лткуда взялась эта загадочная дата - неизвестно

,kzlm

сраные толерасты...

вот как так можно?

почему у меня огнелис зависал и падал при наличии вкладки "Чурки-говно"

вот не стал ее восстанавливать - все збс

dvolodin: Откуда там может взяться дата?

это ты у свича поинтересуйся

сыич не умеет так дату писать

у меня есть подозрение, что между маком и датой стоит0x00

dvolodin: local/repos/sa/sa_public/DLink/DGS3100/get_chassis_id/70dedd04-a9bb-4605-b9b1-f1754dfabe95.json

нашел

это кусок из логов, которые почему-то сыпятся на консоль

dvolodin: http://pastebin.com/UGh5h9me

В "Managed Object Profile" стоит Interface discovery min 86200, max 86400

Откуда оно взяло, что надо каждую минуту ебать свич?

alarm job может быть?

dvloldon: alarm job: 2013-12-09 14:22:30,492 MRT task=8892393/8934934 object=п°п╣п╩п╣я┬п╨п╦п╫п╟ 40(10.116.0.91) script=DLink.DGS3100.get_interface_status status=running args={'interface': u'1:3'}

а зачем оно постоянно дергает get_interfaces ?

Оно 2 раза дернуло get_interface_status, и ШЕСТЬ раз за это время дернуло get_interfaces!!!

"jobs": [

{

"job": "check_link",

"interval": 60,

"vars": {

"interface": "alarm.vars['interface']"

}

}

]

в Link Down

Я же и написал, что оно ДВА раза сделало DLink.DGS3100.get_interface_status status=running args={'interface': u'1:3'}

Но пока оно делало это 2 раза, оно успело ШЕСТЬ раз выполнить script=DLink.DGS3100.get_interfaces status=running

dvolodin: Можно как-то выключить эту ""job": "check_link","

Я не знаю, каким образом соотносится get_interface_status на get_interfaces, но на свич невозможно зайти

лучше поставь на этом интерфейсе профиль, чтобы игнорировала упавший интерфейс

Где в "Managed Object Profile" это сделать?

в interface profile

get_interface_status запускает job

Да мне пофиг на get_interface_status

я его передиву раз в минуту

Нафига оно get_interfaces постоянно запускает?

вот реально консоль свича

09-Dec-2013 15:16:15 %AAA-I-CONNECT: User CLI session for user mitya over telnet , source 10.116.0.211 destination 10.116.0.91 ACCEPTED

09-Dec-2013 15:16:16 %AAA-I-DISCONNECT: User CLI session for user mitya over telnet , source 10.116.0.211 destination 10.116.0.91 TERMINATED. The Telnet/SSH session may still be connected.

09-Dec-2013 15:16:16 %AAA-I-DISCONNECT: User CLI session for user mitya over telnet , source 10.116.0.211 destination 10.116.0.91 TERMINATED. The Telnet/SSH session may still be connected.

09-Dec-2013 15:16:20 %AAA-I-CONNECT: User CLI session for user mitya over telnet , source 10.116.0.211 destination 10.116.0.91 ACCEPTED

09-Dec-2013 15:16:51 %AAA-I-DISCONNECT: User CLI session for user mitya over telnet , source 10.116.0.211 destination 10.116.0.91 TERMINATED. The Telnet/SSH session may still be connected.

09-Dec-2013 15:16:57 %AAA-I-CONNECT: User CLI session for user mitya over telnet , source 10.116.0.211 destination 10.116.0.91 ACCEPTED

я на свиче не могу ничего сделать

get_interfaces - не оно запускает

оно вообще отрабатывает?

http://pastebin.com/UGh5h9me

скорее всего шедулер с ума сошел

http://pastebin.com/x893ZA6p

И как мне починить этот шедулер?

dvolodin: Готов тестировать и т.п. Иначе меня административными методами заставят отключить NOC, потому как он мешает работе операторов

вроде нашел в чем проблема

2013-12-09 14:49:12,221 Daemon noc-discovery[#0] started as PID 75672

2013-12-09 14:49:46,525 noc-discovery[#0] daemon is terminated with status 1

2013-12-09 14:49:47,534 Launching noc-discovery[#0]

2013-12-09 14:49:47,537 Daemon noc-discovery[#0] started as PID 75684

2013-12-09 14:50:23,860 noc-discovery[#0] daemon is terminated with status 1

и эта гадость начинает постоянно сначала

в managed object profile посмотри min и max timeout

и вообще -- застопори discovery в ланчере и запусти руками

я потушил NOC

./scripts/noc-discovery -f start

но явыше писал

SAE и активатор ему нужен

смоти, что пишет и из-за чего падает

В "Managed Object Profile" стоит Interface discovery min 86200, max 86400

из-за этого может: 2013-12-09 14:52:44,569 [inv.discovery] Job interface_discovery(п п╬я│я┌п╣п╫п╨п╬ 6) is failed ?

а чо делать с вот таким - 'part_no': ["\xef\xbf\xbd'"],

оно реально на железке такое

dvolodin: http://pastebin.com/KeQQYM6N

Dmitry1: может

SAE его может перезапускать

у меня на одной железке серийник в начале имеет \xff\xff

прогони дебаг, посмотри, из-за чего

вопрос чо с этим делать

отдавай как есть

debug где включать?

Dmitry1: дебаг-скрипт

зачем debug-script ? Лююой скрипт может по какием-то причинам завершится неудачно. Это не повод перезапускать noc-discovery

трейсов нету?

не просто так же оно валится

нету

Dmitry1, ты про ОАМ не забыл?

нужны классы

zi_rus: у меня сам NOC не работает

дискавери отключи в лаунчере и все будет работать

отключил. чувствую, это единственный способ победить кучу ненужных обращений к свичам

я так же лечил когда были проблемы, потом просто надо разбираться

dvolodin, Дима, скажи, а как мы будем коррелировать интерфейсы из get_interfaces и из get_inventory?

вот применимо к серверам

свитчи то понятно

ну отдам я номер(bus) состыкуется оно с NIC1 например, а дальше? В ОС оно eth1 например

а может стать eth3 если воткнуть дополнительную сетевку

из скрипта я могу дернуть logical_name = eth1, но ее некуда отдавать

и опять же, смотри - мы дергаем физические карты. Есть двухпортовая сетевка к примеру(комбинированное устройство), как объект - одна позиция, серийник у сетевок - мак, но там их два, а в модели у нас серийник однозначен.

давай сделаем серийники list-ом, как prod_no?

_4ePTeHok: Погодь с инвентори. Тут у меня NOC раком встает от малейших попыток сделать что-то выходящее ща рамки.

и добавим в модель logical_name, чтобы коррелировать потом можно было.

не надо выходить за рамки и все нормально

вот вопробуй выйти в четвертое измерение, что с тобой будет

_4ePTeHok, а может начать с простого, вопрос "зачем нужно связывать порты инвентори и interfaces"

может это и не нужно вовсе

гм

а кто хотел лампочки на портах?

патчкорды?

инвентори физических линков?

или у нас инвентори сам по себе, а остальное само по себе?))

Пока у нас все само по себе. :( Модули практически не взаимодействуют. В FM сделаны костыли вида "Datasource", при любой ошибке в которых получаем кучу traceback

В CM надо обладать фантазией, чтобы узнать, какому MO принадлежит репозиторий.

В IPAM почему-то не прописываются IP адреса, полученные через interface_discovery

"пилите Шура, пилите")

если прописывать репо хер знает как то так и будет

да и нет больше конфигов в см

ипам действительно очень странно заполняется, но шаблоны очень ущербные, лучше заполнять руками,дискавери только чтобы найти что забыл

тут вопрос идеологии

которая нам либо известна смутно, либо вовсе неясна.

Дима-то представляет себе это в связке. В конкретных задачах

а мы без объяснений только гадаем по исходникам

хоть бы кто сказал, зачем path в новоам СА

СА это кто

sa

У меня в IPAM куча IP адресов, которые называются "Seen at 3845:Gi 0/1.888", хотя это IP адрес реального MO

у меня тоже

я уже говорил про это

но я руками заполняю внутренние адреса

а клиентские скрипт прописывает

да это фигня

а те что остаются, мне на них покласть, пусть будут что будет

ну право же, проверить при дообавлении в ипам адреса, есть ли такой же в мо - две строчки.

нет, он дискаверить должен нормально

мм..

но он сначала в арп смотрит

и заполняет это

а потом уже по интерфейсам

это неправильно

а было (и есть) еще круче, /30 сеть, он умудрился адреса между железками перепутал

причем неоднократно

т е оно не обновляет отдискаверенные ip в ipam ( -> MO name, interface)?

нет

там шаблонов таких и нету

он вообще ничего не обновляет

т е как его подписывать

только заполняет отсутствующие

менеджмент адрес у нас только один

шаблоны для днс есть, а для дескрипшена нет

а в дескрипшены что должен писать? имя МО?

дескрипшен интерфейса?

должен? что пишет то и должен

ну всмысле

для менеджмента он связывает адрес с мо, дескрипшен руками

что он должен написать в дескрипшен автоматом?

мне пофиг, мне достаточно fqdn

interface description

нет

zi_home, у тебя соседняя колонка уже MO

если это менеджмент

_4ePTeHok, а как же днс

днс по шаблону что в noc.conf же

Dmitry1, это хреновая идея, у меня на порту дескрипшен что за этим портом, зачем его писать в ипам

ну вот определитесь что там должно быть

дописать то немного

как зачем? заходишь в ipam, и видишь, куда смотрит этот порт

нахер это прописывать для адреса который сидит на ЭТОМ порту

а не на том конце

А сделать возможность вручную редактировать description, чтобы вручную отредактированный имал преимущества перед тем, который отдискаверился

ты можешь вручную задавать

нок ничего не переписывает

ээ

оно и так редактируется

тыкни на адрес и вуаля

я имею ввиду, что пока не заполняется оно автоматом. а берется непонятно откудава

к примеру

10.116.0.1 ALLOCATED ip-10-116-0-1.example.com 00:19:55:E0:C9:49 Seen at CAT6509:Vl 256

все три адреса - это адреса реальных интерфейсов MO

для которых уже выполнено interafce_discovery

Ни имени MO, ни имени интерфейса не видно

дык менеджмент интерфейс у нас один

при чем тут менеджмент

Dmitry1: запусти discovery с ключом -f

не на ровном же месте он валится

ставлю на нерусские символы

вот и надо понять, где оно

cat lib/python2.7/site-packages/sitecustomize.py

import sys

sys.setdefaultencoding("utf-8")

вот такой фокус может помочь

еще оно у Димы умудряется наворачиваться при выводе трейсов

у меня не воспроизводится

dvolodin, если руки чешутся что-нибудь починить, вот тебе issue NOC-1103

не воспроизводится :)

dvolodin, а у меня легко воспроизвелось сейчас

еще и notifier не остановился

хотя проблем с ним не замечал

root@noc:/opt/noc # ./scripts/noc-launcher.py stop

root@noc:/opt/noc # ps aux | grep python

noc 60585 0.6 1.1 166520 45408 ?? S 10:48PM 0:02.21 /opt/noc/bin/python ./scripts/noc-pmwriter.py launch -c etc/noc-pmwriter.conf -i 0 (python2.7)

noc 73155 0.0 1.2 249964 51728 ?? S 20Nov13 156:22.49 /opt/noc/bin/python ./scripts/noc-notifier.py launch -c etc/noc-notifier.conf -i 0 (python2.7)

root 60670 0.0 0.0 16312 1688 1 S+ 10:48PM 0:00.00 grep python

root@noc:/var/noc/log/run # ll

total 4

-rw-r--r-- 1 noc noc 5 Dec 9 22:48 noc-pmwriter.pid

dvolodin, а что это тогда может быть?

dvolodin, а еще NOC-906, старый, и никто не отписал, фиксили или нет

во NOC-629

еще древнее и еще пакостней

:)

скелетиков из шкафчиков достаем?

что там у нас еще в inventory для первого этапа непричесано?

стойки, кстати, вполне сносно набиваются

ну да, никто уже и не вспоминает про NOC-348

а его уже половина народу перехватали