nocproject.org

на выходных канал вымирает

ага и в отпуск тоже

я, кстати, вполне интуитивно обновил тестовую инсталляшку. Одно меня огорчило. Апгрейд сносит уже имеющиеся конфиги напрочь.

Коллеги, помогите советом, плиз.. Мне надо за неделю собрать статистику по туннельному интерфейсу на циске по траффику.. сколько мегабайт входящего и исходящего траффика прошло за неделю.

какими срежствами это можно сделать? Обладает ли таким функционалом НОК?

пока что в голову приходит только сделать clear counters на туннеле и посмотреть через неделю, что там набежало. но способ не очень надежный. вдруг за неделю циска ребутнется и счетчики сбросятся опять..

НОК не обладает. Если получится - снять netflow, по нему считать. Заведи ее на мониторинг, потом посчитай площадь под графиком =)

под графиком утилизации интерфейса.

это на ноке?

ну можно и там... Это если будет отдаваться статистика по утилизации интерфейса.

если нет - печаль

скрипт в кроне с snmpget

если циска нормально туннельные счетчики ведет и отдает

делов на 10 минут

zi_rus, блин, скрипт написать то надо.. ведет и отдает нормально. в кактусе этот туннель график рисует. только там загрузка интерфейса ... а вот по мегабайтам обхем траффика чтобы посчитал..

слушай, а в роде в кактусе есть такая фича, график не по за грузке, а по объему траффика вести

площадь под графиком

используй численные методы

значение корости в каждый отсчет умножай на период и складывай

это много получитсч, если скорость скачет часто

кактус в обратную сторону считает

он берет количество данных и делит на интервал

а ты кактевые данные бери и умножай на интерфвал

только там за неделю все сильно усредняется

лучше раз в сутки подсчитывать данные за последние сутки

а потом сложить 7 чисел

или проще свой скрипт который будет по snmp данные получать

только пара дополнительных проверок типа аптайм

и что следующее значение больше предыдущего - это защитит от того кто захочет еще раз счетчики очистить

скрипт свой вряд ли напишу - не умею. врмени мало.. покопаюсь в кактусе. вроде, он умеет считать просто объем.. нетфлоу есть на циске и собирается на сервере. тоже как варант можно посмотреть. либо умножать буду сидеть )

а средствами циски больше ни как?

MindGames, что ты хочешь средствами циски? чтобы она тебе по команде дала ответ? раз и вот тебе трафик за неделю

hg pull -u прошел, а вот ./scripts/post-update: No such file or directory

как терь апдетится?

http://forum.nocproject.org/index.php?topic=192.0

sudo: unable to execute ./scripts/noc-launcher.py: No such file or directory тоже не запускается, как включать нок?;)

обновился блин

./scripts/noc-launcher.py start

Pulling revision 'tip' from http://hg.nocproject.org/noc

not trusting file /opt/noc/.hg/hgrc from untrusted user noc, group noc

not trusting file /opt/noc/.hg/hgrc from untrusted user noc, group noc

abort: HTTP Error 407: Proxy Authentication Required

upgrade: : Failed to pull repo

Terminating

как я задолбался с прокси

Где указать параметры прокси?

И чем выполняется апгрейд? кому параметры прокси надо настроить?

куку

очевидно что прокси нужен hg

так раньше работал же

ss_, неужели ты у себя не можешь найти порт и айпишник за пределами прокси

неа

noc@monitor:~$ ./scripts/upgrade

Set up configuration files

Creating required directories

chown: changing ownership of `local': Operation not permitted

chmod: changing permissions of `local': Operation not permitted

chown: changing ownership of `etc/ssh': Operation not permitted

chmod: changing permissions of `etc/ssh': Operation not permitted

chown: changing ownership of `/var/noc/repo': Operation not permitted

chmod: changing permissions of `/var/noc/repo': Operation not permitted

chown: changing ownership of `/var/noc/backup': Operation not permitted

chmod: changing permissions of `/var/noc/backup': Operation not permitted

chown: changing ownership of `/var/noc/log': Operation not permitted

chmod: changing permissions of `/var/noc/log': Operation not permitted

какие должны быть права?

все пошло, просто под рутом прокси не прописан

вроде пошел апдейт

sudo su помог

ss_, теперь апгдейрд делается от рута

а с protobuf у кого-нибудь были прблемы ?

Добрый день. Попал в очередной раз в идиотскую ситуацию. Устанавливаю с чистого листа noc и ВНЕЗАПНО не нахожу в scripts требуемого post-install. Я что-то пропустил?

avb, не много :)

теперь это ./scripts/upgrade запускать от рута

о как.

настраивать перед этим ./etc/upgrade.conf

Понял, пошел смотреть :)

впрочем лучше начти с тестовой инсталяции...

хотя вроде уже начал :))

У меня уже есть рабочая инсталляция, но тут с меня требуется поставить хост под паппет, вот я и полирую сценарий установки.

установки ?

типа того

там теперь есть аццкий бутстрап

вау

называется установитьс на чистый дебиан в одну команду

чистый дебиан должен быть 7-мым

все неплохо, но у меня задача установить на чистый центос

freeseacher а как ето ?

команда выше проскакивала. нищется по слову wget и bootstrap

расскажи

а

ща поищем

ufir, а что именно расказать то :) ?

да про бутсртап ;) сам найду

там володин вроде не плохо тему раскрыл

мне только непонятно, что за херня с протобуфом

это у всех херня с протобуфом

но решения я пока не знаю

Так. А то же самое, но под центос/рхел7

?

Ни7

если поправить в requirements на <= то падает пип, если не поправлять - падает syncdb

Ни?

ни

у меня центос ;)

ну... что я могу сказать :) поздравляю с центосом

гыгы

до этого работало почти без проблем

да оно у меня и сейчас работает...

думаю тоже самое надо допилить и под центос

просто у володина нету центоса под руками

Кстати, по поводу центоса

кто-нибудь пробовал весь обвес ставить штатно по рхеловски, через yum?

это я в рамках идеи сбора всего этого дела в rpm...

ты про нок ?

Все это дело (по крайней мере - очень похожее) присутствует в репах штатно, так что...

угу

я пробовал

и?

почти всё получилось ;)

до недавних обновлений

о как

и что не получилось7

?

protobuf 2.5.0

gmpy2

а, это из новостей

кстати фиг щзнает что я сделал но грабли с протобуфом у меня теперь нет

тока что проверил

протобуфа и 2-го гмпая до недавнего времени не требовалось

а второй вроде и не нужен

gmpy==1.16

как бы

но его надо компилить. для дебиана это сложно бывает. build-essential ставить надо как минимум

я руками собрал

сделать в центосине yum install gmpy - не?

не

он ждет его внутри virtualenv-а

дя

упс

не понял

он из репа не туда ставится что-ли?

нее

вкури короче слегка про virtualenv

оно типа "виртуального окружения"

где все свое

мало того, что я это все в виртуалке горожу, так оно еще в своем энве сидит...

типа не поганить системные пакеты

пойду, покурю про это дело.

ога :)

жесть какая

а система это кокашка и ее пакеты кокашки, и только программа знает что ей нужно

пря как бедто винада

*винда

что-то у меня сегодня буквы пропадают

черт! я все ни как не пойму. мне ставить новую версиб или нет? Я хотел на прошлой неделе обновляться еще.. но боюся теперь! Что-то там ни чего не работает. какой-то протобуф повился. не знаю, для чего он, но у всех он не работает :))

дольше не будешь ставить - сильнее будешь бояться

короче победил я проблему с протобуфом

если кому интересно, расскажу

блин, что такое протобуф и для чего он нужен?

хрень гугловская

что она дает?

MindGames, она давно

есть просто ее надавно новую сделали

гугл отстой

ufir, рассказывай чего недо делать

freeseacher скачал протобуф r501 собрал его, выкосил в каталоге нока из build protobuf, потом заменил на собранный, и в requirements/noc.txt заменил protobuf==2.5.1-pre

возможно это прокатит и с 2.5.0 - но у меня заработало и я не стал дальше экспериментировать. система - centos 6.4

2.5.1-pre чекаутом из svn брал

svn checkout http://protobuf.googlecode.com/svn/trunk/ protobuf-read-only

как все просто оказывается

верните как было

раньше поставить нок было проще

пилять поломали все

терь крашится и жрет проц после апдейта

да ералаш вообще

я уж пожалел что обновился

а из снапшота виртуалку восстанавливать было лень

вот веб с логи срет http://pastebin.com/Yc3sKCEt

как хорошо, что у меня сейчас не хватает времени на Noc... а то я б тоже обновился :)

как хорошо что я сижу тут и в курсе что обновляться не стоит

в пору сделать снапшот, запихать его в паппет и пусть подымается само...

кому-то всё равно надо обновляться, иначе баги не пофиксятся

lexus-omsk, давай ты первый, а я зна тобой, дней через 30, и через сотню багфикс-коммитов. договорились?

ну что кто по поводу noc-web прояснит?

freeseacher и как успехи ?

о

интернет поднялся

Looking for hanging .pyc files

Running the rest of upgrade process with user noc credentials

X11 connection rejected because of wrong authentication.

Checking configuration files

Checking postgresql database connection

Checking mongodb database connection

ERROR: command SON([('authenticate', 1), ('user', u'noc'), ('nonce', u'443b1f7a796efd72'), ('key', u'42f1b22c5fd2cd31fa268a58e7a33ca3')]) failed: auth fails

upgrade-user: : Unable to connect to mongodb database. Check noc.conf settings

Terminating

upgrade complete

из под рута апргрейд

походу монга не пускает?

ну написано же

auth fails

а как монгу проверить?

mongostat

она стоит и пашет

как конект провирить

mongo -u noc -p nocaaa noc

└─[$] <> mongo -u noc -p noc noc

MongoDB shell version: 2.0.7

connecting to: noc

> exit

bye

┌─[root@oel] - [/opt/noc/etc] - [Mon May 27, 02:58]

└─[$] <> mongo -u noc -p nocaaa noc

MongoDB shell version: 2.0.7

connecting to: noc

Mon May 27 14:58:23 uncaught exception: login failed

exception: login failed

# mongo noc

MongoDB shell version: 2.2.0

connecting to: noc

Welcome to the MongoDB shell.

For interactive help, type "help".

For more comprehensive documentation, see

http://docs.mongodb.org/

Questions? Try the support group

http://groups.google.com/group/mongodb-user

>

конектится

пароль не просит

$ mongo noc

MongoDB shell version: 2.2.0

connecting to: noc

>

из под обычного тоже заходит

хм.. да, заходит

но если указать неверный логин и пароль - орёт

пароль вообще не просит

я же говорю - если указать

авторизацию локальную в монге нужно включать

по дефолту локальная авторизация ненужна

freeseacher, а как?

тем неменее если не задать то будет падат ьс ошибкой задание по бекапу базы

как включать ?

а зачем ?

нок ведь не в командную строку стучиться а в апи

тогда не пойму на что ругается скрипт апгреда

*стучится

zi_rus, может мыслси есть?

да

мысли есть, можно поесть :D

щас бы пивка

я уже поел

бляд

я в басейн сеня

пива низя

;)

тогда да

наоборот, самое то

ss_ тебя можно посдравить уже, ты теперь инженер-призывник ?

\поздравить

гггг

поздравляй тока я свой долг родине давно отдал (2 года) да и после 31 уже не призывыют

а я ни у кого ничего в долг не брал и отдавать не собираюсь

аа

он оно чего

блин, что там с ноком сделали, аж интересно самому посмтотреть

ога мне вот на работаюший хочется глянуть, злыдни поломали

и еще proxmox 3.0 зарелизили, тоже хочется увидеть

и даже 2 сервера пустых есть чтобы реализовать свои желания

и все некогда

я уже до 3.0 его обновил

полёт нормальный.

главная плюшка - шаблоны виртуалок

так.

Checking postgresql database connection

ERROR: FATAL: Ident authentication failed for user "noc"

upgrade-user: : Unable to connect to postgresql database. Check noc.conf settings

Terminating

upgrade complete

терь так

пиля как проверитьт

ребят, скажи по моделям что на доступе стоит у вас . интересуют хуавеи, ёжики, snr

чет давно я постгрес не лащил

`kk, cisco me3400

zi_rus, =)))

а что

стоят и работают

`kk хуавеи 90%, ежи, qtech

модель плз

хуевехи и ежа

хуавеи S2326TP-EI ежи 3528М

спасиб

на аггрегации S5328C-EI-24S

freeseacher, а у вас что стоит. не скажешь ?

psql noc

psql: FATAL: role "root" does not exist

root@monitor:/opt/noc#

ss_,

аналогично ufir,

pg_hba.conf

ежей нет

su noc

psql noc

psql

ns jn henf pfgecrftim f e nt,z c kjrfk[jcnf cnjbn "Ident"

root@monitor:/opt/noc# psql noc

psql: FATAL: role "root" does not exist

noc@monitor:~$ psql noc

psql (9.0.5)

Type "help" for help.

noc=>

ss_, у тебя для 127,0,0,..24 стоиит Ident

`kk, в каком месте править?

`kk, а у вас для proxmox отдельное хранилище? увас кластерная инсталляция?

попробуй поставить md5, рестартонуть постгре и от рута под ноком зайти

`kk, длинк, зте, хуавей(мало), зухель (мало)

ss_, /var/db/pgsql/...

zi_rus, в продакшне ещё 2.6 (это мини продакш без наворотов)

и дома 3.0

`kk, да хоть продакшен

я пытаюсь понять как себе реализовать

freeseacher, зюхили наверное 2024. а вот zte какая модель?

zi_rus, смотря какая задача

про fencing нашел что можно организовать его путем гашения порта коммутатора, а с хранилищем еще не придумал

ну модель ёжика подскажите)

`kk, про зухели не скажу точно но 35** кажется

`kk, продакшен, виртуалки раскиданы по нодам, чтобы смерть ноды ни на что не влияла

в идеале чтобы виртуалки с мертвой ноды автоматом запускались на живых

2928E

сп

эт типа high avaulability ?

или лайв мигрейт

как оно там

zi_rus, на вики я это видел. +знаю, что это запускали и щас работает. но доступа туда щас нет(и человека у которого узнать)

а я пока курю доки

теоретически есть 3 сервера для старта, если пройдет успешно, смигрирую остальные

кластер на 7 машин могу собрать

вот ты норкоман

хороший наркоман

-)

ufir, ты бы знал чего я только не пробовал, и про облака читал и про виртуалки, и овирт для теста ставил, но он еще хуже нока

проксмокс тоже пробовал, сразу не пошло, сейчас второй заход пробую

а что за проксмокс ?

я какой-то software pbx припоминаю с таким названием

кажется единственный вариант с поднятием gfs2 на нодах и выделить туда свободную часть дискового пространства нод

но кластерные фс я вообще не курил

а. вон ты про чо

zi_rus, заюзай iscsi

`kk, поясни

не. DRBD , наверное, для тебя

это уже больше похоже на правду

drbd я видел, но все примеры были с двумя нодами

или я чего-то не понял

а сколько надо?

от 3 до 7

(вообще есть пример с 3 и 4)

а вот этого не видел

и как оно работает

не знаю

на сколько я понял оно синхронизирует данные на всех

ну это да

а это не моя тема

задачу полностью не понимаю. берёшь 2 железки для хранилища, резервируешь. ротом хоть 10 хостов к нему

ну вот на этом этапе и облом

нет двух железок для хранилища

есть сервера на них есть жесткие диски

там не все используется

вот свободное и использовать в качестве хранилища

ааа

а сервера разные

жестоко

на одном пара дисков по 37 гб, на другом 3 или 5 по триста

жесть какая-то

еще есть 3 по 150

в кластерном хранилище

evyscr: основная задача - заебаться

evyscr, посмотреть proxmox -)

армия =)

mikevlz, это уже выполнено

я заебался

`kk: фу, какая бяка-)

`kk, не посмотреть а развернуть продакшен

zi_rus, это порево. делай класику. потом тести. потом поймёшь структуру/логику.

zi_rus: а теперь плюнь, купи нормальное хранилище, подключи его по iSCSI

потом поймёшь, что сможешь сзделать из того, что есть

да. с хранилещем он намутил тут -))

mikevlz, купи нормальное ага, я же говорил, нам сдохшие диски в серверах не хотят менять, а ты сразу купи хранилище

на том, что щас у тебя о продакшне не может быть и речи

`kk, отчего

чисто теоретически я бы мог взять кое-какое хранилище, даже два, даже с дисками, но зипа для него нет, вылетят пара дисков и приплыли

рейд. +для продакшна такие же диски долны быть на складе.

вот поэтому и хочется виртализировать это дело, а хранение виртуалок с данными размазать по серверам

моё мнение субъективно. если реализуешь - был бы рад посмотреть =)

ну вот мне бы хотя бы подсказку

про gfs2

что кластерная фс из себя представляет

Running the rest of upgrade process with user root credentials

Checking configuration files

Checking postgresql database connection

Checking mongodb database connection

ERROR: command SON([('authenticate', 1), ('user', u'noc'), ('nonce', u'fcc024e21cff1570'), ('key', u'5a6a77441f095afeee69567ff5413767')]) failed: auth fails

на пальцах хотя бы

upgrade-user: : Unable to connect to mongodb database. Check noc.conf settings

Terminating

upgrade complete

# "local" is for Unix domain socket connections only

local all all trust

pg_hba.conf

ss_, стопЭ

на пасту

`kk, ну не обязательно gfs, любая кластерная сойдет, они все одинаковые, различия только в деталях

какой сервис она может предоставить

ss_: зайди в консоль и заведи юзера c логином и паролем в Mongo

mikevlz, завести где?

в монге?

ss_: да

не забудь сказать, что он дбадмин

э )) скажите как это сделать

ss_, про постгрес, по памяти - добавь --- host all all 127.0.0.1/32 md5

host all all 127.0.0.1/32 md5

уже

host noc noc 127.0.0.1/32 trust

local all postgres trust

ss_: http://docs.mongodb.org/manual/tutorial/add-user-to-database/

mikevlz, имя пароль какие должны быть в монге

?

те, что укажешь в upgrade.conf

> db.addUser( { user: "noc",

... password: "noc",

... roles: [ "readWrite", "dbAdmin" ]

... } )

Mon May 27 15:59:49 uncaught exception: password can't be empty

клева

как так то?

db.addUser( { user: "noc", pwd: "noc", roles: [ "readWrite", "dbAdmin" ]} )

Mon May 27 16:00:47 uncaught exception: password can't be empty

ни pwd: password: не катит

о как db.addUser("noc", "noc")

{

"user" : "noc",

"readOnly" : false,

"pwd" : "470d35a2b904f4587f47ced9195e396a",

"_id" : ObjectId("51a34b54bf0b647a7142b7e3")

}

>

upgrade complete

root@monitor:/opt/noc#

ss_, до меня дошо

что же?

все стартануло

ура

в noc.conf где постгрес пропиши host = 127.0.0.1

щаз все что в краш уходило включю

тогда upgrade от рута пойдёт нормально

ss_: в нок-веб будут трейсы, это нормально

хм-м-м

медитация на новый вариант установки нока привела меня к страшному

да, в нок-веб хватает... трейсов

avb ты в единую россию чтоли вступил

?

Нет, пока еще не все так плохо, но тенденция нехорошая

Pulling revision 'tip' from http://hg.nocproject.org/noc

abort: There is no Mercurial repository here (.hg not found)!

upgrade: 134: Failed to pull repo

Terminating

ты скрипт пускаешь или просто hg pull -u

скрипт

о еще у одного руки зачесались))))

да ладно

я на тестовой апгрейдил... Все хорошо проапгрейдилось

не, я с утра к этому примеряюсь, тестовая инсталляция сугубо

у меня тут задача возникла - передать виртуалку с ноком под puppet

вот я и полирую сценарии

(.hg not found)!

а куда каталог-то дел ?

эм-м-м

какой?

./hg

/opt/noc/hg?

не было такого

как это

ну-у-у

так

во

самый главный шаман пришел

он откуда должен был взяться?

шаман - это хорошо

avb hg должен создать был

ufir: в какой момент?

а у меня посл выходных апдейт криво прошел

column sa_activator.ip does not exist

bash777: где sa_activator.ip вылез?

ну а я пошаманил с протобуф и тоже всё нормально стало

MO-task-activator-status

bash777: sa > monitor не устраивает?

там пусто ниче не кажет

sa-setup-activ пусто

все сломалоьс %(

апгрейд нормальн сделал?

чтот там как расз на активаторе зависло

процессы NOC остановить нао

эээ... а это нормально

insert query update delete getmore command flushes mapped vsize res faults locked % idx miss % qr|qw ar|aw netIn netOut conn time

2 4 0 0 0 3 0 23.9g 51g 3.78g 0 0 0 0|0 0|0 1k 1k 24 16:36:10

столько памяти жрать

ии как теперь откатить чтоб норм апгрейднуться

ufir: это не совсем память, а mmap()

ага. понял.

33-machin4p4 F

{'text': 'Host is down', 'code': 16}

в сервис активаторе

похже пинговать разучился?

Object Status Result

33-machin4p4 F

{'text': u'\npatch load s2300_v100r006sph008.pat all\nError: Failed to run this command because of internal causes of system malfunctions.\n\nSTART OF TRACEBACK\n------------------------------------------------------------------------\nFile: /opt/noc/sa/script/script.py (Line: 647)\nFunction: cli\n 640 if isinstance(data, Exception):\n 641 # Exception captured\n 642 raise data\n 643 if not ignore

_errors:\n 644 # Check for syntax error\n 645 if (self.profile.rx_pattern_syntax_error and\n 646 self.profile.rx_pattern_syntax_error.search(data)):\n 647 ==> raise self.CLISyntaxError(data)\n 648 # Then check for operaion error\n 649 if (self.profile.rx_pattern_operation_error and\n 650 self.profile.rx_pattern_operation_error.sea

rch(data)):\n 651 raise self.CLIOperationError(data)\n 652 # Echo cancelation\n 653 if self.strip_echo and data.lstrip().startswith(cmd):\nVariables:\n cmd = \'patch load s2300_v100r006sph008.pat all\'\n cc = \'CLI:patch load s2300_v100r006sph008.pat all\'\n bulk_lines = None\n cache = {}\n command_submit = \'\\n\'\n cached = False\n

from_cache = False\n file = None\n list_re = None\n ignore_errors = False\n data = \n\'patch load s2300_v100r006sph008.pat all\\nError: Failed to run this command because of internal causes of system malfunctions.\\n\'\n self = \n------------------------------------------------------------------------\nFile: /opt/noc/sa/profiles/Generic/commands.py (Line: 30)\nFunction: execute\n 23

def safe_cli(c):\n 24 try:\n 25 return self.cli(c)\n 26 except self.CLISyntaxError, why:\n 27

что не так?

Таки не сдается выполнение ./scripts/upgrade

Pulling revision 'tip' from http://hg.nocproject.org/noc

abort: There is no Mercurial repository here (.hg not found)!

ss_: поправь конфиг, чтоб активатор от рута запускался

пришлось откатиться на архив psql базы

апдейт прошел нормально

но тперь FM ниче не кажет влармах

как вообще посчистить базу алармов старые грознуть совсем

avb склонируй репозитарий в другую папку, а потом скопируй .hg

попробуем...

bash777, db.noc.alarms.archive.remove()

а никто из местных случаем на ENOG не приехал?

ты там?

там

домой на самолёте? (я рядом с аэропортом)

а в центр сегодня уже не буду

хм. хотя там же 2 дня..

завтра повеселее должно быть

про фильтрацию трафика будет

я на enog.org смотрю)

про ипв6 было не интересно?

не

с утра был весёлый чувак про RPKI

я его пропустил

а сейчас до сих пор идёт трансляция?

а то операторов с камерами уже нет :)

нет

openflow мусолят

пусть в паб идут )

там рядом много хороших

а щас как раз и пойдут

в смысле, пойдём

:)

там в программе ресторан палкин заявлен

оОо=)

неплохо=)

райп башляет чо

хм. где-то (если не ошибась) на ул. чехова хотели открыть "компьютерный" паб. может уже есть