nocproject.org

dvolodin, есть ли какая-нибудь возможность подебажить классификатор? он с завидной регулярностью уходит в 100% загрузку цпу и начинает очень медленно обрабатывать ивенты. это начинает уже раздражать. в логах даже уровня дебяга никакого кримин

ала нет

на каких исенно событиях?

эммм

я не вижу с какого момента он начинает

просто замечаю что ивенты начинают отставать

чищу очередь новых ивентов и рестартую нок

и он начинает дальше работать

.

он не просто не обрабатывает, он делает это очень медленно

вероятно потому что процесс нагружает ядро цпу в полку

я и так и эдак к нему подходил

и в логи смотрел

ну ничего нет

dvolodin, вот смотри, часть лога, с утра сегодня началось http://pastebin.com/hwSqbVmh

зомби плодяццо..

в 09:12:27 производительность резко упала

я домашний. в спячке.

и так пока я сейчас не дропнул ивенты и не рестартанул лог

link down плодятся/

?

в сентябре выйду на работу и буду вам ебсти мозг по чистке 100+ гиговой бд монги и как она херова крутится с такими объёмами.

проверь индексы в монге на интерфейсах

dvolodin, линк даунов у меня много, дсламы кучу сообщений шлют, да и всякого валится много это да. а как индексы проверить?

db.noc.interfaces.getIndexes()

да и вообще запусти mongostat

E_zombie21, в отпусге чтоли)

http://pastebin.com/SsUefbJ8

dvolodin, сейчас так http://pastebin.com/DjF5PmhP во время проблемы тоже запустить?

да

подожем когда опять начнется тогда

HaLVeR: да. за окном +35-40 и такая жопа что не поедешь никуда на природу.

dvolodin, а графитовой веткой уже можно баловаться или там смотреть не на что?

там есть писалка в базу и рендерилка графика

так, которая из графита

можно играться прикручивая внешние дашборды

интегрировать со сбором данных буду на следующей неделе

не, внешнего ничего нет, хотелось из нока уже посмотреть

графики это крута

пока такое пытаюсь примотать

http://nvd3.org/livecode/index.html#codemirrorNav

сейчас есть общий коллектор данных, хранение в базе и отдача из нее

все - совместимое с графитом

есть тестилка из карбона -- example-client.py, которая пишет 3 параметра load average

E_zombie21, дык у нас так все лето, ничо нормуль

несчастные

у нас 26

ненавижу эту жару

хорошо уже август

HaLVeR: ну пойти то можно. волга тёплая. но транспорт и компания как то не радует. поэтому только после захода солнца.

у меня народ с работы говорит что после "чистки" сети от перестроения стп и ошибок на портах агрегации стало значительно меньше инцидентов приходить.

да неужели

и как так может быть

:)

это самовнушение

да я вот тоже думаю.

рассказали такую вот фигню.

есть агрегация на хуавее. идеально промерянная оптика без глюков. замененные сфп на новые - а ошибки на интерфейсах продолжают переть. грешим на то что не работает кондиционер и сфп в руке не удержать если выдернуть из коммутатора.

а дома на ней нет?

туда сходится достаточно большая туча колец.

но глючат только определённая группа портов. думаю что это локальный перегрев

или ещё что то такое.

это называется хуавей)

но ничо, вот как запретят еще сетевое оборудование импортировать - так заживем!

ну не совсем. у нас их достаточно много таких и на других такое не проявляется.

ну значит локальный китаец перегрелся, что в коробочке сидит, пакеты перекладывает)

ну в америкосии давно запретили в гос структуры ставить ничего кроме циски.

у них хоть циска есть)

у них внезапно оказались поддельные циски .

непонятно с какой начинкой.

ну ты понял где они стояли.

последние апдейты девелопа нормально встают?

конечно боян но у меня в браузере переколбасило всё после апдета

=)

какие закляться произносить?

ну раз молчите - пойду готовиться к съёмке девочки

опять нок вспоминают

http://habrahabr.ru/company/hp/blog/233239/

"Как пользователь, администратор и контрибутор NOC Project могу сказать что там внутри всё тоже очень и очень грустно. "

ай-яй-яй

:-D

предать анафеме!

отлучить от репозитория!

:-D+

зойбанить с извращениями

dvolodin, noc не продержался и полдня, опять началось. вот монгостат текущего состояния

http://pastebin.com/bwf774Fb

zi_home: вообще никакого криминала

и при этом у классификатора загрузка CPU до упора?

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND

37400 root 1 103 0 427M 261M CPU1 1 367:31 100.00% /opt/noc/bin/python ./scripts/noc-classifier.py launch -c

угу

что-нибудь свое наворачивал?

в классификатор не лазил

только правила

правила классификации?

да

с регулярками не перемудрил?

да нет, пошлостей врде не было

я вообще думал про это

я дропнул все свои правила кроме

двух

это не помогло

попробую конечно эти два добить

хз что это даст

Всем доброго вечера

Кто нибудь подскажет где окружение питона живет? Куда его проставить?

Пока так нибуда и не сдвинулся с проблемой своей

"/opt/noc/lib/python2.7/site-packages/pip/pep425tags.py:62: RuntimeWarning: invalid Python installation: unable to open /opt/noc/local/include/python2.7/pyconfig.h (No such file or directory)"

так это новая инсталляция или что?

zi_home: печальная история - был на develop, обновился на днях и оно вот такое стало

сейчас покажу скрин

https://dl.dropboxusercontent.com/u/1205504/1.png

потом как я понял, сделал глупость и откатился на default ветку

а где связь с питоном?

а откат на дефолт это жопа

в логах ошибки при обновлении

вот я так и понял

он древний как мир

вернулся назад - ситуация не измениолась

с виду не хуже и не лучше - просто не работает)

и чего делать не понятно

мое предложение все забекапить

снести нок

и заново установить

если повезет то данные в базе останутся живы и не придется бекап разворачивать

мм, как забэкапить?

там много?

только ipam по сути vc

если автоматический бекап не включал, то можно из консоли в csv export сделать

./noc csv-export vc.vc > /home/qqq/vc

./noc csv-export ip.address > /home/qqq/ip

./noc csv-export ip.prefix > /home/qqq/pref

ага, спасибо. проекты еще вроде были

а потом чего удалять?

весь /opt/noc ?

rm -r /opt/noc

БД не трогать?

да

в базах только данные

конфиги из /opt/noc/etc еще забери

ага. потом по инструкции проставить все занова?

да

пасиб. если не взлетит - чо делать?

теоретически он к базе должен подцепиться и все взлетит

тогда бекапы можно будет убить

это чисто на всякий случай, кто знает что беготня туда-обратно могла сделать с данными

пасиб. а если не взлетит - что с этими бэкапами делать?

./noc csv-import

БД надо чистить перед этим?

будем уже смотреть по факту

понятно)

что еще забэкапить можно полезного?

были SA немного

и проекты

ну их значит

sa.managedobject

project.project

ага, нашел портянку модулей - повыбираю

пасиб большое! попробую

zi_home: автоинстал прокатит?

wget -q -O- http://cdn.nocproject.org/bs/Ubuntu-12.04.txt | sh | tee /tmp/install.log

хз

я только руками ставил всегда

в смысле БД не потрет

не должен

он тоже самое что и руками когда ставишь, должен делать

E: Unable to locate package libgdal1

sh: Failed to install libgdal1

Terminating

либа стоит на самом деле

попробовал удалить и снова инсталл - опять на этом же месте спотыкается

zi_home: выручай

где стоит?

а точно она?

root@noc:/opt# aptitude search libgdal1

i libgdal1-1.7.0 - Geospatial Data Abstraction Library

странно

просто libgdal1 без номера версии нет

это скрипт не сработал?

да

это баг скрипта

скачай его на сервер и закомменть эту строчку

или поставь руками как я говорил

в скрипте для убунты я уже говорил про этот баг, но никто так и не исправил

ага, ползу дальше

дальше проблем быть не должно, я пользовал однажды этот скрипт

etc полностью заменить?

можно было бы и по инструкции поставить, с учетом того что половина шагов уже выполнена это дело 5 минут

ну кроме дефолтовых конфигов

их не трогай

а конфы свои старые копируй туда

ага. а он какую ветку сейчас ставит?

или надо будет develop поставить и обновить?

как прописано в конфиге

скорее всего это дефолт

лучше сразу поставить девелоп и сделать апгрейд

fatality (

для этого и делались бекапы

https://dl.dropboxusercontent.com/u/1205504/2.png

это при апгрейде на develop

не достучался до сервера

попробуй позже

странно pypi.python.org пингуется

и отвечает

ок

прокси?

нет

попробуй еще раз

вроде проскочило дальше

обновилось

запустил. картинка 1 снова

не понятно почему сам интерфейс разваливается

посмотри в веб консоли 404 ошибки

в noc.conf есть пути до файлов с темами, может что-то не на месте

на сколько я понял, у кого голубая тема, те и жалуются

в /srv/noc/log/noc-web.log нет 404 вроде

попробуй для нее прописать путь до файлов серой темы

кстати интересно, если таки кое как в меню выбрать ipam, то он в нормальном виде открывается, сама сетка с данными, только надо проматать на пару страниц вниз. меню все равно разваленое остается.

сейчас посмотрю

так у тебя голубая тема?

может юзеру вписать серую

и всего делов

голубая

в noc.conf пробовал - не реагирует

пробовал и gray ставить и другие все там же в noc.conf

сделай файлик

user,theme

username,gray

username только свой

и ./noc csv-import -r update main.userprofile <file>

уфффф

так что это было?)))

волшебник!

испорченная тема?

ну да

в профиль прописал серую тему

при апдейте получается как-то съехала чтоли

ну спасибо! выручил!

все теперь на своих местах

там хз, обновили на extjs 5

может чего-то поломалось

я не в курсе

заметил только что люди с голубой темой жалуются

а у меня серая

никаких проблем не заметил при апгрейде

ну в любом случае переустановка по крайней мере ошибки при обновлении убрала

тоже польза, да

так что польза все равно была от всего этого

спасибо тебе огромное!

а не подскажешь еще, где бэкап включить?

main > setup > schedules

еще в конфигах порыться, настроить куда бекап класть

ага, пасиб

он в csv ведь бэкапит?

ты только голубую тему не ввключай, она так сломаная сейчас и осталась

ага, на долго запомню эту тему

вот еще

http://kb.nocproject.org/questions/11567271/how-to-backup-noc-installation-

http://kb.nocproject.org/questions/12746763/how-to-restore-noc-from-automatic-backup

спасибо, пошел изучать)

я в конфиг запретил все темы кроме grey и у меня интерфейс исправился без телодвижений.

2014-08-18 00:49:43,531 MRT task=38515473/38842783 object=fsw-5-Chapaeva-114-0-atk(10.64.106.166) script=Huawei.VRP.get_version status=completed

2014-08-18 00:49:43,547 MRT task=-/38842621 object=fsw2-1-lesnrespublika-5a-35-sar(10.64.38.253) script=Huawei.VRP.commands status=completed

2014-08-18 00:49:43,572 MRT task=-/38842626 object=fsw2-1-malajaelshanskaja-15-35-sar(10.64.39.243) script=Huawei.VRP.commands status=completed

2014-08-18 00:49:43,589 MRT task=38515537/38842849 object=bgw2-sar(88.147.128.89) script=Juniper.JUNOS.get_discovery_id status=completed

2014-08-18 00:49:43,606 MRT task=38515503/38842813 object=fsw-1-zarechnaja-39-92-sar(10.64.95.57) script=Huawei.VRP.get_lldp_neighbors status=completed

2014-08-18 00:49:43,637 MRT task=-/38842661 object=fsw-2-1studenyprzd-8-35-sar(10.64.39.140) script=Huawei.VRP.commands status=completed

2014-08-18 00:49:43,658 MRT task=38515530/38842840 object=fsw-11-dnepropetrovskaja-18k3-32-sar(10.64.31.103) script=Huawei.VRP.get_lldp_neighbors status=completed

2014-08-18 00:49:43,696 MRT task=-/38842666 object=fsw-2-1tulskprzd-24-92-sar(10.64.93.210) script=Huawei.VRP.commands status=completed

2014-08-18 00:49:43,531 MRT task=38515473/38842783 object=fsw-5-Chapaeva-114-0-atk(10.64.106.166) script=Huawei.VRP.get_version status=completed

2014-08-18 00:49:43,547 MRT task=-/38842621 object=fsw2-1-lesnrespublika-5a-35-sar(10.64.38.253) script=Huawei.VRP.commands status=completed

2014-08-18 00:49:43,572 MRT task=-/38842626 object=fsw2-1-malajaelshanskaja-15-35-sar(10.64.39.243) script=Huawei.VRP.commands status=completed

2014-08-18 00:49:43,589 MRT task=38515537/38842849 object=bgw2-sar(88.147.128.89) script=Juniper.JUNOS.get_discovery_id status=completed

2014-08-18 00:49:43,606 MRT task=38515503/38842813 object=fsw-1-zarechnaja-39-92-sar(10.64.95.57) script=Huawei.VRP.get_lldp_neighbors status=completed

2014-08-18 00:49:43,637 MRT task=-/38842661 object=fsw-2-1studenyprzd-8-35-sar(10.64.39.140) script=Huawei.VRP.commands status=completed

2014-08-18 00:49:43,658 MRT task=38515530/38842840 object=fsw-11-dnepropetrovskaja-18k3-32-sar(10.64.31.103) script=Huawei.VRP.get_lldp_neighbors status=completed

2014-08-18 00:49:43,696 MRT task=-/38842666 object=fsw-2-1tulskprzd-24-92-sar(10.64.93.210) script=Huawei.VRP.commands status=completed

странный вывод.

кое где есть есть цифра первая в номере - кое где нету