nocproject.org

dvolodin, привет :)

а как сделать что бы нок опять собирал конфиги :))))

freeseacher: а что, совсем перестал?

логи noc-discovery посмотри

он выключен

а это теперь делает он ?

:)

да

там ему и место :)

хм.

он просто занимается кучей всякой хрени но пока не приступил к сбору конфигов

initial_submit смотри

от новые конфиги в расписание постепенно добавляет

а как новый upgrade ведёт себя с модифицированными инсталяциями? надо же сливать и коммиты делать ещё

еще немного пропатчил

если что, можно указать ему FOLLOW=none

он не будет сам делать pull

новый upgrade -- доработанный старый post-install/post-update

а новый апгрейд делает chown для всех путей во всех конфигах ? :)

т.е. теперь можно вручную сделать pull и прочие необходимые операции, а потом upgrade? или upgrade-user?

freeseacher: при первом запуске - да

lexus-omsk: да, готовишь репо, и upgrade от рута

и все

Это первая часть марлезонского балета

в результате у нас уехал нафиг contrib/ и получился нормальный virtualenv

и сократилось количество телодвижений при апгрейде

а дальше у балета будет два продолжения

первое -- у нас не осталось subrepos и репо уедет на bitbucket

со вкусностями вроде fork request

pull request

а второе продолжение куда как более долгоиграюще

С новый upgrade количество телодвижений для установки NOC сократилось ровно втрое

но задача в том, что их не должно быть вообще

поэтому, для начала готовим provisioning script'ы для Vagrant

под все системы, которые нам интересны

для каждой систмы на выходе должен быть box с чистой установкой и один скрипт, который поставит все необходимые пакеты, сделает базы и установит NOC

я научу upgrade в случае необходимости разматывать bootstrap для vagrant, тогда для поддерживаемых платформ вся установка будет занимать ровно 3 действия

hg clone

подготовку upgrade.conf

и сам upgrade

а в качестве второго бонуса - автоматом будут готовиться vm image для нужных версий NOC и для поддерживаемых платформ

и там же опционально -- проще будет готовить пакеты для разных дистрибутивов

а в качестве финала всех плясок

готовится сервис под кодовым названием cp.nocproject.org

в нем будет и демо-версия NOC, доступная сразу после регистрации

и, для подписчиков -- возможность в один клик получить готовую инсталляцию на выбранной платформе

например, для тестирования или для начала использования

да уж, грандиозные планы

половина уже есть

оно же будет и hosted решение

там же, для небольших проектов, будет и хостинг DNS и прочие плюшки

кстати, у меня ещё заголовки python-а попросил для upgrade

какие?

python-devel?

python-dev поставил - и побежало дальше

ну да

там размотка в несколько этапов

первый -- инициализируется virtualenv

второй -- pip в нем вытаскивает requirements.txt

часть модулей там -- сишные, ему gcc и python-dev нужен

дима, а я правильно понимаю что теперь на параметр next_pull ориентироваться не надо ?

правильно

его надо дропнуть оттуда ?

cm_config весь дропнуть надо

или показывать из настоящего шедулера ?

на время, да, можно показывать из настоящего шедулера

а екстримы кто пилит ?

начальную поддержку я делал

а не гоню

не екстрим это

хуавей

маки не может собрать

http://pastie.org/7932680 локальное ?

версия vrp какая?

5

у меня get_version для нее пиленный

локальное

а

ну а чего не делишься?

:)

там хак :)

http://pastie.org/private/omyivfsofxssrixaa1zqw

у меня железяк с 5,20 с десяток.

dvolodin, по поводу установки, тебе не кажется что работу с зависимостями лучше доверить пакетному менеджеру конкретной системы?

полноценную поддержку делать зашибусь. проще снять :)

zi_rus: не кажется

в пакетах можно прописывать зависимость от постгреса и питона

зависимость от постгреса не нужна, бд может быть вообще на другом сервере

от клиентских либ нужна

а это да

интересно, клиентские тянут за собой серверные или нет

dvolodin, а mac_discovery сделает сейчас именнно то что я думаю ? вытащит 2,5 миллиона маков и положит в монгу, да ?

freeseacher: зависит от того, что прописано в interface profile

но если попросишь -- вытащит и положит :)

и даже не крякнет

положит он мне сервер :)

выключил в обжект профиле

переживу я как нить без маков :)))

:)

почему положит, он же не разом все засунет, а постепенно будет заполнять

база не резиновая....

да и толку от них... от клиентов

:)

кто пережил апгрейд?

:)

я с тра научился откатывать ревизию назад.

на -1

:)

pycharm, кстати, на ура цепляет virtualenv

оказывается локальные изменения при этом нормально переживают

ну да

freeseacher: на чем обломался?

виртуаленв надо было как то "приготовить"

ибо просто воткнуть оказалось не достаточно

не мог найти он noc.launcher.Launcher

он сам должен готовиться

без него upgrade обломается

ну я не стал настраивать апгрейд :)

Dmitry11, ты где?

здесь :)

эх. не успел, пока dvolodin не ушёл: в ./scripts/noc-activator.py тоже надо выпилить set_env

значит обновляться все еще рано

я в очередной раз с локальными измененияи напортачил что-то - опять всё улетело, откатился - вроде вернулось, но новое теперь не докачивается

опять пришлось заново всё ставить

смержить забыл

mq не осилил еще?

осилил, но не с самого начала... поторопился восстановить старое

в итоге - новые патчи через mq, старые сливал с основной веткой

и вот где-то ошибся

сейчас буду по одному все свои патчи через mq делать, раз уж всё по новой

Dmitry11, NOC-994, NOC-995

Dmitry11, и еще мак флапы не все обрабатываются

Ээээ... У меня не обновляется NOC

да у меня тоже такое было, пришлось снести и заново клонировать

так... почти получилось... ещё discovery что-то падает

Dmitry11: http://forum.nocproject.org/index.php?topic=192.0

У меня рабочий NOC обновляется вручную, а не через mercurial

Поэтому такой метод не работает

тогда ищи свой способ...

насчёт вручную - dvolodin писал сегодня

с discovery раобрался - не хватает самописных профилей на qtech - надо делать быстро патч в mq :)

так, а куда у нас получается переехал contrib и в частности django? пары css-ок не хватает

dvolodin, сообщение на форуме нужно подправить. вместо

/opt/noc# cp etc/upgrade.defaults etc/upgrde.conf

нужно

/opt/noc# cp etc/upgrade.defaults etc/upgrade.conf

отвечаю сам себе: ./lib/python2.7/site-packages/django

ооо, а что писать в LOCAL_REPO= ?

случаем не .мфк

сори

/var/repo ?

не знпаю это в кончиге upgrade.conf

я прописал такой путь.

вроде обновился. поимел проблема с css, в частности в SA

lexus-omsk, ты с css разобрался?

Dmitry11, ты кстати видел, в Freebsd 9.1 есть netmap, не тестировал его? как он?

virtualenv где брать ?)

zi_rus: Пока нет. Не было нужды.

<_bash_>, какая операционка?

Freebsd

Skripnik_A: вроде и нашёл - где, но пока не сработало

значит ждем Володина

в конфиге апача поправил, всё перезапустил - но ошибки те же 404 в логе noc-web

попробуй тоже, может я чего накосячил у себя

<_bash_>,

cd /usr/ports/

make search name=virtualenv

cd /usr/ports/devel/py-virtualenv

ну и так далее

<lexus-omsk>, у меня вообще нет апача на этой машине

не суть важно, nginx, apache или что ещё

nginx, тоже нет ((

все вредствами noc

ку

добрый день

через easy_install поставилось вроде

тут у всех та же проблема ?

-sh-4.2$ cd /opt/noc/

-sh-4.2$ ./scripts/post-update

-sh: ./scripts/post-update: No such file or directory

день кардинального апгрейда добрым не бывает )

а как его делать ? :)

misak: читай логи и на форуме

./scripts/upgrade

уже есть ?

http://forum.nocproject.org/index.php?topic=192.0

irc логи за выходные и сегодня

пасиба, побежал

ERROR: command SON([('authenticate', 1), ('user', u'noc'), ('nonce', u'20b472277526f04f'), ('key', u'1187460e738d4a479d2cb42a36a79965')]) failed: auth fails

upgrade-user: 33: Unable to connect to mongodb database. Check noc.conf settings

кто-нибудь сталкивался ?

misak: могу только дать очевидный совет - проверить логин/пароль в noc.conf и upgrade.conf

lexus-omsk: ну так как это апгрейд, очевидно, что раньше работало :)

а вот и нет)

в upgrade.conf только сегодня добавили это

я имею ввиду что логин/пароль в конфиге правильные

добрый день

хочу переставить нок с нуля

но что-то в свете последних новостей запутался

каким образом предпочтительнее ставить

на форуме из последнего - изменения апдейта. Они же затрагивают и инсталл?

да

смотри логи, Дмитрий расписывал планы. если пользуешься ноком - лучше пока подожди.

опять всё сломают ?

я думал параллельно рабочему развернуть

ufir: дык, уже...

а то он у меня совсем старенький и в нём уже часть функционала посыпалась

конфиги перестал собирать...

а спрашивать как фиксить старые версии или пытаться апдейтиться на живую, а потом спрашивать - некрасиво выйдет

:(

почемуто стерся пользователь в монго

надо use noc

а кто профиль 3com superstack мучал?

db.addUser("noc", "noc", {dbAdmin: true })

я 3com делал, но уже неактуально

железяки древнючие

3com superstack 1100 и 3300

у меня есть еще 4200 пачка, там по-другому

мы их повыкидывали [почти] все, так что наверное можно переписывать

теперь nginx ругается на права к css файлам

хотя они world-readable

да мы их, возможно, по ходу пьесы в грозу тоже повыкидываем

зато они надёжные, лет 10 уже работают наверное - и хоть бы что... не то что zyxel - 3 года - и конец блоку питания

misak: тоже проблема с css, говорит 404, хотя в конфиге http сервера исправил

4226G дохнут именно питанием, как ни странно

lexus-omsk: а что надо было исправлять ?

а

django со своим contrib переехала

тут какие-то ссылки на contrib

поэтому надо править пути в конфиге http сервера, где алиасы

а куда переехала ?

в /opt/noc/lib/python2.7/site-packages/django/contrib/

dvolodin, оказывается спец хак для 5,20 не нужен уже как два месяца... все сняты :)))

:)

dvolodin: в активаторе надо выпилить set_env

плюс из-за переезда джанги css-ки и прочая статика сломалась

из активатора выпилил

media сейчас поправлю

пути в noc-web тоже поправил

http://forum.nocproject.org/index.php?topic=192.msg650#msg650

и тут дописал, надо еще nginx конфиг крутануть

в остальном все работает?

так... ну вроде теперь можно жить

правда вот ещё discovery и sae перестали в лог писать... но может это локально что-то у меня

Теперь и у меня ERROR: command SON([('authenticate', 1), ('user', u'noc'), ('nonce', u'42492bcb697c9160'), ('key', u'5b7924610d5bcaf9ec88a1c592f16d9f')]) failed: auth fails

Логина и пароли в noc.conf и upgrade.conf совпадают

в самой монге проверь

main Dmitry11 : создай в монге юзера

use noc

user= и password= в upgrade.conf пропиши

db.addUser("noc", "noc", {dbAdmin: true })

у меня все равно не работает

на статику ругается, permission denied

?

хотя пермишены вроде норм

2013/05/20 14:00:31 [error] 16812#0: *43 open() "/opt/noc/static/js/sh_main.min.js" failed (13: Permission denied), client: 192.168.0.74, server: noc.gnc.am, request: "GET /static/js/sh_main.min.js HTTP/1.1", host: "noc.gnc.a

m", referrer: "http://noc.gnc.am/main/desktop/"

это не менялось

странно тогда

у меня вообще оно traceback на web выкидывает

Dmitry11, так у многих

dvolodin: http://pastebin.com/h0XgvhUk

а что делать ?

кстати из найденного ещё - права на repo пришлось немного поменять... discovery не мог сохранять конфиги

раньше же активатор собирал? а он под рутом

активатор никогда не писал конфиги

ну значит я перепутал... но discovery именно на этом спотыкался сейчас

хм

CSS файлы открывает, .js - нет

это где интересно такое прописано

конфиг web-сервера поправил?

свои скрипты, которые на set_env сидели, тоже поправьте

нашел

как всегда

у /opt/noc неправильные пермишены

web-сервер не пускало?

неа

тоесть да, не пускало

ну чудно

просто совсем непонятно, как раньше работало ?

скрипт апдейта пермишены трогает ?

когда закончите ломать, напишите кто-нибудь инструкцию для обновления

По прежнему: http://pastebin.com/NqZNeBwX

zi_nnov: на форуме

Dmitry11: это tornado, я в курсе

кстати, как вариант

можно поправить requirements.txt и вписать предыдующую версию tornado

dvolodin, не вижу

и чего с этим торнадо делать?

попробовать вписать предыдущие версии

zi_nnov: http://forum.nocproject.org/index.php?topic=192.0

а где про изменение конфига вебсервера?

а вижу, в четвертом пункте

это полная инструкция или сегодня были коммиты которые меняют/добавляют пункты туда?

dvolodin, а как оценить кого уже собрал ? а кого еще нет ? ну или хотябы сколько собрано

конкретизирую вопрос :) как смотрет ьтекущее расписание :)

./noc job -s inv.discovery --list | grep config_discovery

ага 588

ага.. за день треть.

подкрути initial submit и initial submit interval

он, поди, по 20 железок раз в 15 минут добавляет

dvolodin: а куда вписывать версии торнадо?

requirements.txt

эм...

в конфиге ?

аа

нашел

?

как неожиданно что он в noc.conf

кто?

discovery весь там

bybifbk cf,vbn

инишиал сабмит

наверное, надо вообще с конфигами что-то придумать и оставить один :)

ну я ожидал его увидеть в noc-discovery.conf

dvolodin: модель config

в Main

mikevlz|2: что с ней?

mikevlz|2, ты стучался то чего :)

А какой там торнадо нужен?

у меня пришло в какойто странной кодировке

Dmitry11: я ставил последний

freeseacher: я написал, что разобрался

можешь откатиться на версию назад и проверить с ней

dvolodin: ее нет. Вот если сделать и заставить демоны читать из нее параметры...

у меня никакой не стоит. Только тот, что NOC сам тянет

так, а еще кто просил wf и чего с ним делать :) ?

NOC тянет только то, что у него в requirements.txt

ну или за какое число читать логи :)

:)

freeseacher: а что с ним не так?

я вааще не понимаю логику :)

и куда крутить этой отверткой

и вообще у меня сейчас складывается ощущение, что после последних коммитов я вообще потерял суть того что происходит :)

dvolodin: requirements.txt тянет из репозитория. я его вручную не правил

задания похерились. теперь они в шедулере. который живет своей жизнью :)

freeseacher: это нормально. Не переживай. Есть еще одна вундервафля, для использования которой надо читать код

почему/

по start discovery now оно честно перечитывает конфиг

dvolodin: Смотри, если у тебя заработал tornado 3.0.1, то он должен у всех заработать. Значит нужно искать какую-то зависимость

он работает

просто гадит в логи

dvolodin, кстати, я тут подумал, ты в нок сейчас сушь все подряд и нужное и ненужное. тебе не кажется что правильней такие вещи как gis, workflow, kb, даже может быть инвентори стоило бы оформить в виде плагинов, кому надо - установят

И ничего не выводит на WEB морду

zi_nnov: их и ща можно оторвать, надо только файл один отредактировать. А вот отвалится что-нить или нет - хз

zi_nnov: думаю

для этого и сыр-бор с virtualenv

но это сильно потом будет

dvolodin: А что и где нужно поправить в nginx, чтобы он не писал permission denied на все JS файлы ?

Или это scripts/upgrade так permission выставил?

да не должен был

После обновления такое началось

посмотрите upgrade

там же обычный shell

dvolodin: у тебя nginx ?

Покажи права файликов static/js/noc/util.js ?

После ./scripts/upgrade nginx перестал их читать

noc# ls -lah static/js/noc/util.js

-rw-r--r-- 1 root wheel 9.3K Dec 3 12:30 static/js/noc/util.js

noc# ls -lah static/js/noc/util.js

-rw-r--r-- 1 noc noc 9.3k Apr 29 10:21 static/js/noc/util.js

ls -ld /opt/noc

noc# ls -ld /usr/local/noc

drwxr-x--- 29 noc noc 1024 May 20 12:40 /usr/local/noc

ну вот и ответ

И? И кто это поломал?

Судя по всему - ./scripts/upgrade

Что там нужно ставить в LOCAL_REPO ? Я поставил /usr/local/noc

И запускал /usr/local/noc$ ./scripts/upgrade

ПОсле этого и изменились permission

LOCAL_REPO -- это где конфиги хранятся

конфиги репозитория, конфиги NOC, конфиги устройств ?

конфиги устройств

Ладно. Попытка номер 2

Попытка N 2

2013-05-20 15:00:46,587 noc-stomp[#0] daemon is terminated with status 1

2013-05-20 15:00:46,587 noc-wf[#0] daemon is terminated with status 1

2013-05-20 15:00:46,587 noc-web[#0] daemon is terminated with status 1

2013-05-20 15:00:46,588 noc-sae[#0] daemon is terminated with status 1

2013-05-20 15:00:46,588 noc-correlator[#0] daemon is terminated with status 1

2013-05-20 15:00:46,588 noc-notifier[#0] daemon is terminated with status 1

руками запусти и смотри

dvolodin: Куда копать. На этот раз ./script/upgrade запускал из-под root

./scripts/noc-stomp.py -f start

и так далее

отдельно все работает

из-под лаунчера не хочет

с правами все нормально?

я же говорил, что на этот раз я решил оставить права, как есть, а ./scripts/upgrade запускать из-под root

только что сделал вручную "chown -R noc:noc *" - эффект тот же

Попытка N 3

сделай chmow -R 777 *

Итак попытка N3

1. Копирую все файлы из репозитория в /usr/local/noc

2. делаю там chown -R noc:noc *

3. От юзера noc делаю ./scripts/upgrade

4. Получаю

2013-05-20 15:17:33,235 noc-stomp[#0] daemon is terminated with status 1

2013-05-20 15:17:33,235 noc-web[#0] daemon is terminated with status 1

2013-05-20 15:17:33,235 noc-sae[#0] daemon is terminated with status 1

2013-05-20 15:17:33,236 noc-notifier[#0] daemon is terminated with status 1

2013-05-20 15:17:33,236 noc-probe[#0] daemon is terminated with status 1

dvolodin: Какие еще варианты будут?

что в логах демонов

Ага. Кажется догадался. Когда я запускал ./scripts/upgrade из-под root - он на папки /var/log/noc и /var/run/pid понаставлял свои права доступа

И теперь демоны туда писать не могут

upgrade.conf внимательно читай и правь

Ура. Запустилось

возможно, в ланчере надо проверку добавить, что демон сможет запуститься

демон не может писать логи и поэтому вылетает

а лаунчер не может сначала прочитать конфиг демона, а потом попытаться создать файлик лога ?

он читает конфиг демона

в том то и делр

Хм

от апгрейдов в одну команду перешли к установке в одну команду :)

на абсолютно голый Debian 7 ставится и запускается одной командой

планирую сделать аналогичную инсталляшку для OpenSUSE 12.3

и, возможно, SLES 11 SP4