nocproject.org

ну что продолжим, новый раунд... Вчера zi_rus вел, может сегодня freeseacher поможет...

на чем в итоге закончили-то?

dvolodin: лично у меня, трафик на 2003 порту есть, в логах веба, торнадо что то делает, в профилях МО и Интрейфесов, метрики стоят, в монго есть коллекции и не знаю что еще рассказать

dvolodin аналогично. я грохнул pid-файл, данные начали проливаться

какие коллекции есть в монге?

noc.ts.metrics

noc.ts.p2015.p02.p11

noc.ts.p2015.p02.p12

noc.ts.p2015.p02.p13

в noc.ts.metrics записи есть?

noc.ts.p2015.p02.p12

"ns" : "noc.noc.ts.p2015.p02.p12", "count" : 77, "size" : 3408,

"ns" : "noc.noc.ts.metrics", "count" : 0, "size" : 0,

http://pastebin.com/y7eGCTKd

так, вопрос на засыпку

во-во

версия монги какая

как узнать

./scripts/about

./scripts/about | grep Mongo

кажется я понял, чего вы страдаете

у вас монга старее 2.4

:)

|MongoDB|2.0.6 (32bit)|

там оператор $setOnInsert при создании метрик используется

i_a: ну да, панки не моются

во-первых, у 32-битной монги ограничение на размер базы - 4G

Это я знаю

у меня пока тестовая сборка

|MongoDB|2.0.6 (64bit)|

угу

разбираюсь

ставьте монгу 2.6 и не парьте мозг

:)

а она в репах дебиана есть уже?

и явно не в stable =) backports цеплять?

да, в debian -- 2.0.6

http://docs.mongodb.org/manual/tutorial/install-mongodb-on-debian/

попробую костыль сделать

а как лучше сделать? удалить старую? или сверху накатить?

монгу?

да

лучше подключить репу с монгосайта и поставить ее

только думаю придется сделать бекап и развернуть его после переустановки

уже подключил

https://cp.nocproject.org/p/7Xmy

вот патчик для старых монг

но он не очень хороший

при большом количестве метрик после перезапуска pmwriter монге станет тяжко

наверное, я поправлю bootstrap для debian

пусть сразу ставит последнюю стабильную версию

так веселее?

ы. похоже бэкап таки надо было делать, бгг)

потому как failed to fetch

Night_Snake, на самом деле данные в целости

и в евентах и в метриках

но вот добратсья до них сейчас будет не просто

там конфиг файл поменялся

дык может дропнуть, чтоб он их пересоздал? Я ж так понимаю критически важного в монге нет ничего?

на наших объемах через бекап получается сильно дешевле обновляться по времени

зато сейчас ты разберешься в монге;)

звучит многообещающе

Night_Snake, ну как сказать....

там конфиги устройств

хм.

там audit trail

не, ну так-то у меня бэкап есть всей виртуалки

где то года полтора назад монгу можно было всю дропнуть.

щас уже нет...

можете для начала с моим патчем взлететь?

дык я монгу обновил ужо :) Не, я могу откатить машину на бэкап и накатить патч

и лучше на ты)

Night_Snake, вас же двое, или у тебя раздвоение личности? :)

либо нужен мануал как сейчас добраться до монги

точнее до данных в монге

открою секрет

mongodump умеет дампить из каталога

без сервера монги

найди старую базу, сдампью ее в оффлайне

и залей в новую

старая база, как я понимаю, только из бэкапа достается?

да

freeseacher, ты тут?

я почти уверен что ты сталкивался с такой проблемой

запускаю ран коммандс на дохера железок

он выполняет, выполняет выполняет

потом херак и останавливается

видимо таймаут кончился

в каком месте его поправить можно?

там видимо по фолту 60 сек стоит

TSergey, а ты случаем тоже самое не спрашивал не очень давно

неа, как раз хотел написать, что засылал на медленные железки, и отрабатывало

ну или спрашивал но давно

dvolodin, привет, не убегай

как можно таймаут в веб форме увеличить

чтобы когда я запускаю run commands на 10к железок он не останавливался на половине

,,

таймаут?

там обычно проблема в том что идёт краш сае и всё отваливается

во всяком случае у меня так было раньше

кстати смежный вопрос - как сделать так, чтобы сниппет, запущенный на сотню железок разом, не вываливался на половине по таймауту

e_zombie, не, там не крашится, просто примерно через минуту веб просто вываливает отчет о работе, не дожидаясь пока все железки отработаются

у меня обычно успевает обработать до 1000 штук.

в сниппете есть время выполнения скрипта (по умолчанию 60 сек)

а потом походу таймаут веба становится меньше времени скрипта и её расколбашивает

я ставлю 600 - все отрабатывает, если нок не сдохнет

e_zombie, везет, нашим шпдшникам поставили тупой радиус, и мне пришлось включить шейпер max-mrt-rate до 30 железок за раз, и он и 500 железок не успевает отработать за этот таймаут

bee26, но это не сниппет

странна. радиус может и больще обрабатывать.

это если правильно его настроить

запусти какую нить хрень которая будет крутиться круглосуточно и это приведёт к тому что радиус скукожится.

и сразу всё настроят

будь злым - твори добро

zi_rus: еще в настройках nginx я чего-то переделал

proxy_read_timeout 320;

proxy_connect_timeout 320;

а можно как-то поправить чтобы Link down: ge-1/1/7.356 (** Po03.sw-1-nov1 | 'Moscow Patriarxat') &#39 - в одинарную кавычку превратился?

hi

if anybody interesting about

http://www.openflowsec.org/SDNSuite.html

dvolodin а дампить всю монгу?

кстати о птичках. после апдейта нок в монгу не может:

Failed to authenticate noc@noc with mechanism MONGODB-CR: AuthenticationFailed UserNotFound Could not find user noc@noc

после апдейта монги?

ага

слетал пользователь, было такое

а как лечить? или дамп монги спасет?

просто сделай пользуна и все

how?

with hands

> db.createuser(noc, noc) 2015-02-13T12:15:33.839+0300 ReferenceError: noc is not defined

кавычки нужны

> db.createUser("noc", "noc") 2015-02-13T12:16:05.809+0300 Error: couldn't add user: no such cmd: 0 at src/mongo/shell/db.js:1004

Night_Snake: mongo noc

Night_Snake: db.createUser('noc', 'noc')

человеки

кто нить сталкивался с продукцией ZELAX?

это презерватив?

2015-02-13T12:18:53.545+0300 Error: couldn't add user: no such cmd: 0 at src/mongo/shell/db.js:1004

zi_rus, ну когда ковыряешь не сильно отличается

Night_Snake: mongo

Night_Snake: use noc

чего говорит?

http://www.zelax.ru/products/gateways-voip-tdmop/tdmop-gateway-mm-116m#tabs|product:description

switched to db noc

а версия?

2.6

из репов ихних

ну попробуй addUser('noc','noc')

нашел

http://docs.mongodb.org/manual/tutorial/add-user-to-database/

(12:17:20) ss_: кто нить сталкивался с продукцией ZELAX?

(12:17:30) zi_rus: это презерватив?

(12:28:58) jeckill: рваный, да

Night_Snake: попробуй так https://static.nocproject.org/irclog/2014.12.24.html

e_zombie, вот

кто бы помог

TSergey пользователя я сделал. тока нок один хрен не стартует

а апгрейд чего говорит? :)

все по проверенной же схеме :)

ERROR: command SON([('authenticate', 1), ('user', u'noc'), ('nonce', u'e03a713afe4e300'), ('key', u'e6cf8fe152cf5a5fa6f2eef05c006108')]) failed: auth failed

смотри какой пароль ты назначил в монге

и какой в конфиге

не, это мой косяк

запустилось все кроме веба

а не все

вы пробовали выключить и снова включить? (с)

подскажите, пожалуйста, был объект в MO. Удалил из списка, но в fm по нему по-прежнему сыпятся ивенты и изменилось название. Как стереть полностью?

https://kb.nocproject.org/display/DOC/noc+wipe

О

метрики появились

даже не пришлось из дампа восстанавливаться

урря!

Night_Snake: с моим патчем или на монге 2.6?

не, просто на монге. плюнул, дунул, перезавел пользователя

ok

ну напишем в требованиях -- минимальная версия монги - 2.4

осталось понять, почему events у меня показывает, а у соседа нет. хотя оба суперюзеры

i_a: у тебя метрики пролечились?

dvolodin: про форму в метрик конфигах

есть трабл

?

делаем новый конфиг, выбираем хэндлер mongo

затем меняем его на хэндлер постгрес

в предложенных метриках куча левого из монги

т.е. кусок "Metrics:" не обновился что-ли

а

вроде вчерашние патчи это правили

утром обновлялся

часть там поправилась

но при замене хэнлера не заменяется набор метрик

changeset: 10695:b2515e1d0128

branch: develop

tag: tip

user: Dmitry Volodin <dv@nocproject.org>

date: Thu Feb 12 10:39:42 2015 +0300

summary: Set uiStyle

dvolodin: ДА! Появились метрики. Спасибо за помощь!

монга 2.6

ну и чудно

похоже, у Dmitry1 та же проблема

dvolodin, подскажи пожалста

где таймаут поднять

чтобы ран коммандс не вываливался на половине железок

freeseacher, или ты знаешь?

кстати, а ты уверен, что хочешь это в web?

e_zombie вот CLI-тулзу освоил

./noc cli-commands

dvolodin, это опять про шпдшников, они в вебе, в кли я их не пущу

я и в вебе-то лишнего им дал

zi_rus: https://cp.nocproject.org/p/WTPF

попробуй такой патчик

можно дернуть только noc-web

накатил

проверим

./noc cli-commands рулит .

задротства такие творить можно

там у нас вроде открытый вопрос с форматированием вывода был?

может просто принимать django'вкий шаблон в ключе --template="..."

и выдавай, что хочешь

dvolodin, не помогло, опять вываливается

там же был какой-то таймаут для веба

я помню

timeout = 60

делаешь 6000 и не паришься

только не знаю в каком файле исправлять

подскажите пожалуйста, после обновления выловил такую ошибку в логах noc-discovery http://pastebin.com/EBsDeBT7

xnj 'nj b rfr 'nj gj,tlbnm&

что это и как это победить?

python2.6 ?

Python 2.6.6

а на что апгрейдился?

выполнил команду ./scripts/upgrade

на default?

нет на девелоп

а почему когда ./noc fix далаешь вот такой трейс получается http://pastebin.com/y4iHDfQt

NOC-1532

помогите люди добрые кто чем могёт

http://www.opennet.ru/opennews/art.shtml?num=41661

t2me: у меня такой же трейс

e_zombie: у себя через нок шелл удалял

from noc.sa.models import *

objs = ManagedObject.objects.filter(address__startswith="10.64.158.")

for o in objs:

o.tags=''

o.save()

сами помощи ждем-с

тут вопрос в том чтобы найти все хосты с такими кривыти тегами

а не изменить их

я их обнулю но перед тем надо их найти

сам нашел

если кто будет искать

lib/app/saapplication.py: timeout = 60 # Reduce task timeout. None - for adaptive timeouts

пинаем володина чтобы это вынесли в конфиги

бгг

e_zombie: добавь if u'кака' in o.tags: и обнули

Други, постоянно фейлится ip_discovery на cisco asa. Как следствие - нет актуальных записей в IPAM, нет генерации обраток. Как подебажить? Как это запустить ручками?

https://pp.vk.me/c622822/v622822811/f684/FbkGsBMviFg.jpg

настрой суппорт и зашли трейс

или в багзиллу

был бы трейс. loglevel - debug, в логах молчаливое

2015-02-13 16:14:18,959 [inv.discovery] Running job ip_discovery(sl-f4)

2015-02-13 16:14:18,974 [inv.discovery] Job ip_discovery(sl-f4) is failed

./noc debug-script Cisco.IOS.get_version asw2-72-eng

в логах сае или активаторов это всё будет.

у тебя девелом?

да, но не апдейтил с полгода.

оно раньше работало, в какой-то момент поломалось

ну ты зря.

погляди коммиты. цисковский профиль правили

у меня там были проблемы

как раз с дискавери

debug-script норм проходит, все данный собираются, интерфейсы и их адреса в инвентори видны

Только в ipam собранные интерфейсники не импортируются. Как можно ip_discovery дернуть руками? или где можно найти хоть какую-то инфу почему failed?

в сае у тебаг включен?

в папке логов лежат трейсы

да

там и смотреть

обновился, не помогло.

про ip_discovery в логах sae ни слова о причинах фейла

get_discovery_id отдает пустоту, видимо отсутствует профиль для ASA. но не понятно как оно раньше работало..

А с чем может быть связано

EXCEPTION: <class 'mongoengine.errors.ValidationError'> Unable to dereference <class 'noc.fm.models.alarmclass.AlarmClass'>:522888964a5e68440f61a449

весь web.log такой хренью завален

и failed to fetch постоянно

дропнутые записи в монге

(15:47:55) zi_rus: сам нашел

(15:47:59) zi_rus: если кто будет искать

(15:48:00) zi_rus: lib/app/saapplication.py: timeout = 60 # Reduce task timeout. None - for adaptive timeouts

может вынесем в конфиг?

dvolodin Если это нормально, то почему events постоянно failed to fetch сыпет?

не нормально

e_zombie: можно и вынести, или None поставить

а как тогда исправить?)

zi_rus: у тебя же киски

попробуй в конфиге поставить таймаут

лучше вынести. у меня это счас проблема. не могу подсадить админов пользовать рун команд. у меня выборки сейчас по 1500 железок за рах

Cisco.IOS.commands = 1800

и будет у тебя все нормально

а в run commands сделаю адаптивный таймаут

будет просто аххуенно. я заёбся писать батники

а можно это сделать вывод в текстовик как для cli-commands ?

cd /opt/noc/ && ./noc cli-commands -d --timeout=900 @huawei.fttb.outdate -i $BASEDIR/command.txt > $BASEDIR/out.work.txt

а то обрабатывать вывод ну очень неудобно в экселе

мне то просто. я грепаю и всё такое.

а там народ убогий.

кроме экселя не знают ничего.

e_zombie: ты про что именно?

в конце как скрипт отработает сделать кнопочку - экспорт txt

и туда вывалить в подобном синтаксисе как у сликоммандс

:-/

о

тогда если у человека стоит греп на машине он будет сразу обрабатывать результаты.

можно вывод run commands прогонять через template

:)

и ему не надо будет давать ssh на сервак

он и так все сломает

:(

Я пощупал mongodb 3.0.0rc8

wiredtiger интересен, да

база раза в 4 компактнее и памяти меньше жрет

может не надо пока нет сборок под центось в официальных репах?

у них есть архив под линукс

миграцию можно делать практически на ходу и одним перезапуском

текущую монгу запустить с дополнительным ключем --replSet=<имя replic set'а>

прописать этот replic set в noc.conf и дернуть noc

тогда вторую монгу можно будет подцепить в RS, база на нее смигрируется автоматом

ну а потом поменять мастера

интересный воркараунд

стандартный для монги

В принципе, трешка должна решить ряд проблем с прожорливостью монги до памяти и диска

и там document-level locking

в целом это позитивно. хотя у меня сейчас особых проблем не наблюдается

для PM, кстати, он тоже неплох

https://www.evernote.com/l/ADnckwK0Be5E97cZpD2V2BOwQFyJG5sJHjI

wiredtiger проигрывает роксу по размеру записи

но будет работать из коробки

и, опять же, может выбраться на репликации

dvolodin как чинить FM? =( хотел из нока сделать морду для логгера, но похоже не судьба, придется свою писать