nocproject.org

Можно обновлять?

Выложил скрипты для Линукс http://redmine.nocproject.org/boards/3/topics/2450?r=2565#message-2565

Тестируйте, дополняйте, патчи и предложения приветствуются. http://redmine.nocproject.org/attachments/269/os-linux-02.tar.bz2

dvolodin, prefix_list_optimization нету в etc/noc.defaults

а еще запуск whois update cache приводит к многочисленным crashinfo

и все вообще очень плохо

давай crashinfo

noc> grep prefix_list_optimization etc/*.defaults

etc/noc.defaults:prefix_list_optimization = on

etc/noc.defaults:prefix_list_optimization_threshold = 0

root@noc /opt/noc# grep prefix_list_optimization etc/*.defaults

root@noc /opt/noc#

dvolodin, http://pastebin.com/tHnvbq24

hg status что показывает?

при импорте проблем не было?

root@noc /opt/noc# hg status

M etc/noc.defaults

как сказать, у меня что-то глюкнуло когда я делал hg pull -u

поэтому я сделал hg clone и скопировал туда весь etc

значит в этом дело

eue

угу

поаккуратнее

мне показалось что оно необычно долго делало пулл

ну да

там тысяча иконок

:)

как теперь быть?

dvolodin, а вот про что я вчера говорил

http://imageshack.us/photo/my-images/823/bugsh.png/

и кстати, без лого, верхняя панель смотрится достаточно цивильно NOC: Inst_name

это у тебя старый CSS закешировался

я дальше пошел - выпилил нафиг flup и fastcgi и навернул django поверх tornado

dvolodin, очистка кеша помогла, но нок все еще крашится, как обновиться чтобы оно прекратилось?

крашится на чем?

все там же?

хз, я прозапустил и почти ничего не делаю, возможно еще и пинг_чек крашит

dvolodin, вот такое замечаю в логах шедулера No option 'prefix_list_optimization' in section: 'peer'

а после идет трейсбек

перезапустил его?

не один раз

в шедулере все трейсбеки ссылаются на секцию с пирингов

Ветки ещё не объеденили?

уже

и я уже успел вляпаться)))

dvolodin, в общем выдернул из хранилища нужные строчки для конфига больше пока не крашится

а как скачать до объединения ;) какой там номер релиза?

Staticvlan apps надо будет переписывать? с новым api работать они не будут? дока как написать своё sa приложение уже есть? ;)

gnu-linux: просто обновиться

весь API сохранен, твой staticvlan должен нормально работать в iframe

Ура!

завелось?

dvolodin, это нормально? http://pastebin.com/P6QAEFY6

Сейчас попробую..

zi_rus: да

а что там ненормального?

поставь его раз в день

dvolodin, он и стоит раз в день, а по логам уже седьмой раз за 10 минут запускает апдейт и никак не успокоится

таймаут у него какой?

я ему сделал run now, чтобы до завтра не ждать и вот оно не унимается, а так хочется

таймаута нет

сейчас проверю

2011-09-29 11:07:12,444 Periodic task=peer.update_whois_cache:Any status=completed

такое у тебя есть?

нету

а

заметь, у тебя scheduler рестартует постоянно

посмотри логи launcher'а

действительно, а что ему может ненравиться?

2011-09-29 11:06:03,040 Daemon noc-scheduler[#0] started as PID 4870

2011-09-29 11:07:33,125 noc-scheduler[#0]: Heartbeat lost. Restarting

2011-09-29 11:07:33,125 noc-scheduler[#0]: killing

2011-09-29 11:07:34,126 noc-scheduler[#0] daemon is terminated with status 4870

2011-09-29 11:07:35,127 Launching noc-scheduler[#0]

2011-09-29 11:07:35,128 Daemon noc-scheduler[#0] started as PID 4882

агаааа

отруби в etc/noc-launcher.conf heartbeat'ы ему

etc/noc-scheduler.conf

сделал, сейчас посмотрим. но ведь это злобный хак, так не надо делать?

dvolodin, работает, но...

нет, не хак это

либо heartbeat interval надо ему увеличивать

не успевает он у тебя за 3 секунды в базу записать

Пофиксил kevent polling

zi_rus: попробуй с ним, может меньше пропускать будет?

Так, коллеги, а теперь нужна помошь

кто хочет поковыряться с достаточно простой вещью

Задача такая - я сделал патчик, который выкидывает нафиг flup и FastCGI и запускает django поверх tornado

надо потестировать и запилить несколько моментов

из изменений

демон noc-fcgi уходит совсем, вместо него появляется демон noc-web

дебажный сервер ./noc runserver теперь использует его

новый сервер по идее должен быть самодостаточным и может работать как http-сервер

на web-frontend'е (nginx, lighttpd, apache) надо поменять конфиг

убрать FastCGI совсем и просто спроксировать все в нужный порт

нужно побороть несколько моментов

например, заставить отдавать запросы вида /<module>/<app>/(js|css|img)/.* как статические файлы /<module>/apps/<app>/(js|css|img)/.*

dvolodin: у меня на постапдейте валится http://pastie.org/2609819 это из за того что у меня на русском много названий....

dvolodin, kevent - теперь пропускает в 2 раза больше

В utf-8 у меня названия и описания объектов!!!

dvolodin, а последний пост-апдейт вывалился в http://pastebin.com/4yGA7gHK

права на local поправь

должен быть noc хозяином

gnu-linux: r4838

пофиксил

По поводу русских названий патч примешь или сам всюда объекты в smart_str() возьмёшь?

zi_rus: с kevent в два раза больше ошибок?

да

Хорохо смотрю;)

drwxr-xr-x 3 noc noc 512 Sep 28 18:04 local

local/supported.csv посмотри

поправил

о Application dns.reportmissedp2p is already registered уже сообщали ?

нет, не видел такого

у менятакое

http://pastie.org/2609853

обновился целиком?

сколько то времени оно рабтало.

обновился целиком. тестовый сервак

dvolodin, а еще у юзера с ограниченными правами не отображается боковое меню, и в хроме название инсталляции уехало за пределы экрана http://imageshack.us/photo/my-images/215/bugay.png/

да у меня такое жу было

лечится refresh'ем?

да

видел несколько раз такое

причины пока непонятны

кстати, из глобальных вопросов

имеет ли смысл нам поставить Confluence

и, может быть, Jira?

ага

куда постаивт ьподпись

конфлюенс ахрененен :)

жира ужас нах

В общем что я хочу в итоге

перекинуть сайт на другой сервак

хочу сделать следующее

точнее, что нам нужно в итоге

достаточно симпатичный сайт с толковым объяснением, что мы делаем и зачем это нужно

объяснение и на этом сайте есть

есть

но общий дизайн ограничен возможностями wiki redmine

далее некое, назовем его публичным пространством

где будет вестись работа над документацией и переводами

будет какой-то аналог wiki, KB, FAQ и прочее

документация на выходе должна быть юзабельная, типа такой http://www.mongodb.org/display/DOCS/Home

чтобы можно было группировать ее по книгам, главам

и на разных языках

где-то там же - скриншоты, скринкасты, преферанс, сисадминки и прочее

принципиальный момент - возможность организации выделенного пространства под разные подпроекты

у нас уже есть staticvlan, там же должна быть возможность сделать под него мини-сайт, форумы и прочие прелести жизни

форумы - там же в публичном пространстве

там же - блоги

это может быть один софт или разный - не принципиально

может быть там же со временем будет что-то, посвященное телекому

из принципиального - те же success story где-то должны лежать

если, например, я развернул где-то NOC и решил конкретные практические задачи - могу описать и поделиться

dvolodin, у меня в новом УИ не открываются меню у которых значек как у например пункта Shards (окошко с полосочками) а меню у которых другой значек (пустое окошко) открываются нормально

usage patterns нам интересны

zi_rus: у HTTP-сервера js-файлы прописаны как статика?

далее - issue tracker

нужны различные workflow для разных типов issue

нужны подзадачи

нужны приватные тикеты

jira мимо

нужен какой-то аналог self case для организаций, которые финансируют проект

self care

далее - mercurial repo с http и ssh-интерфейсом

и просмотром в красивом виде

еще нужно что-то вроде jenkins ci

чтобы проверяло unittest'ы

arch descisions - должны быть в виде сайтов/попроектов

то есть, например, если мы хотим обсудить возможности нового модуля, той же inventory, нужно место, где можно выложить идеи, ссылки на другие реализации и так далее

должен быть раздел download

желательно более гибкий, чем сейчас

желательно интеграция с соцсетями и твиттером

причем важный момент - возможно, будет какое-то количество full-time сотрудников

ага.

тогда жира оправдана

которые будут работать над проектом в целом и над отдельными заказными направлениями

и для них это еще и рабочий инструмент может быть

примерно такая раскладка

пока очень привлекательной показалась идея использовать Confluence

Возможно, в довесок, FishEye и Bamboo

с issue tracker пока - непонятки полные

dvolodin, про js-файлы чего-то не догоняю (в nginx) для какого location прописывать статику. а еще только что перезапустил веб-сервер, вроде пара ссылок открылись, а теперь опять болт

статика - /static/ и /media/

js пока не надо

а чего как тогда?

надо или нет?

как peering points открыть?

у тебя, видимо, проблема в том, что nginx пытается все файлы с расширением *.js обработать как статику

те, надо наоборот сделать?

но если уже сделано наоборот?

dvolodin, может другой веб-сервер поставить?

zi_rus, у меня тоже nginx

давай вместе добъем ?

это в последнем релизе похерили fcgi уже?)

еще не коммитил

новый ui хранит JS/картинки/CSS рядом с приложением

там трансляция нужна

freeseacher, если скажешь что делать, я могу только проверять

хм..то есть через nginx+fcgi оно не будет выводить их?

почему - будет

просто чуть попозже вместо fcgi будет обычный reverse proxy

аа, понятно.

сейчас проблемки такие

есть ./noc runserver, есть noc-fcgi

вместе - 4 разных человека

ни первый, ни второй не пригодны, например, для PUSH'а

В результате я выпилил из системы нафиг flup

и навернул django поверх tornado

ну счас попробуем взлететь на новом ui

Я взлетел, staticvlan заработал, (завтра выложу новую версию), но Topology discovery не работает!!!

что с discovery не так?

С консоли выдаёт ошибку http://pastie.org/2610199

С веба пустой файл...

ааа

Например я выбрал только по одним макам

там структура данных в меню поменялась

где гайку подкрутить?

попробуй у себя в скрипте в начале сделать

from noc.lib.app.site import site

site.autodiscover()

dvolodin, трейсбек когда пытаюсь открыть неоткрывающееся меню http://noc/peer/peeringpoint/js/Application.js?_dc=1317290154532

http://pastebin.com/5pQeV260

peeringpoint поломался нечаянно, да

Пока ошибки не даёт... чёто думает... когда перервать то скрипт вываливается там где wait_for_tasks... Запустил ещё раз, жду...

У меня даже в вебе Topology discovery не работает!!!

кста есть возможность перенсти узлы с одной системы мониторинга ZABBIX в NOC

&

?

dvolodin, дык это, починить бы

http://redmine.nocproject.org/boards/3/topics/2021

Да, топологию надо починить ;) А то я как раз добавил ~ 50 Линуксов и только пару успело приципится...

<gnu-linux> спасибо попробуем

zi_rus: пофиксил

спасибо

в результате сломался prefix list builder :)

Ладно я на сегодня всё, а завтра буду вылавливать баги...

dvolodin, ахахахах

да, подтверждаю баг на фаерфоксе - после первого логина нет бокового меню и верхнего с logout. После F5 появилось.

доброго всем

а кто расскажет - как SAE пингует объекты? потому как:

1) Managed Object zoo-ats-30-1 (IP: 10.251.0.74) has been pinged successfully. Object continues to process SA Tasks

и при этом

2) noc@noc:~$ ping 10.251.0.74

PING 10.251.0.74 (10.251.0.74) 56(84) bytes of data.

^C

--- 10.251.0.74 ping statistics ---

3 packets transmitted, 0 received, 100% packet loss, time 2015ms

и немного в другую сторону:

./scripts/post-update

........

Setting up permissions

Error: Invalid implied permissions: p, e, e, r, :, p, e, e, r, i, n, g, p, o, i, n, t, :, l, o, o, k, u, p

post-update: : sync-perm failed

http://tsolodov.blogspot.com/2010/11/import-hosts-from-zabbix-to-noc-project.html это кто нить пробовал?

ss_, подозреваю что с тех пор поля в cvs import mo могли поменятся

поэтому выгруженное в cvs надо будет проверить и если будут расхождения в формате - добавить нужное.

<_4ePTeHok> хм, тяжко походу будет из подружить

руками вбивать полтыши хостов заипешся, да и в забиксе я х не вбиваю все автоматом шарится и добавляется

ss_, а из нагиоса нет подобной возможности?

нагиоса у мну нет

у меня мониторинг на zabbix построен

говорят у заббикса проблемы на большом количестве железок

кто?

у меня их около 500

100 активных проверок

в секунду

порядка 100 000 активных элементов, и 10 000 триггеров, в том числе взаимосвязаных

просто слышал, не у всех руки правильной кривизны

+ оповещение +обнаружение по диапазонам типам железок

готовить надо его уметь

dvolodin, а можешь пофиксить обратно, но чтобы все работало а не только что-то из двух? :)

напримеп он ходит смотрит на установленные интерфейсные карты железа раз в сутки и если карта новая появилась то подцепляет соответвующий шаблон к железке, если карта исчезла то шаблон удаляется. И это только так для примера привел.

возможностей у zabbix я вижу гораздо больше чем у нагиос.

но эта тема холивара, не будеми об этом

я у нока вижу больше возможностей чем у нагиоса, но их еще пилить и пилить

ss_: у заббикса много проблем :)

начиная с хранения данных

<dvolodin> с этим не спорю, ссылку на костыль приводил

dvolodin, если использовать mysql и партишены, все просто летает

загрузка упала на порядок

zabbix@monitor:~$ top

top - 15:11:26 up 12 days, 2:13, 4 users, load average: 0.62, 0.68, 0.59

Tasks: 266 total, 4 running, 256 sleeping, 3 stopped, 3 zombie

Cpu(s): 13.1%us, 3.1%sy, 0.9%ni, 82.8%id, 0.0%wa, 0.0%hi, 0.1%si, 0.0%st

Mem: 10261624k total, 9999356k used, 262268k free, 500120k buffers

Swap: 5855652k total, 57092k used, 5798560k free, 6468500k cached

единственно БД очень любит память

9Gb RAM?

10

ничосе так жрет.

ну максимум мозга отадно под иннодб

оптимизация мускула под такие запросы очень и очень веселое занятие, <dvolodin> тут прав

по идее сервер БД нужно отделный, + web сервер + сам сервер забикса

можно делать распределенный мониторинг,

добрый день

не спасает

все в базу уприрается

у меня тож заббикс, только я все руками делаю

<dvolodin> Состояние Zabbix

Параметр Значение Детали

Zabbix сервер запущен Да localhost:10051

Количество узлов сети (под наблюдением/без наблюдения/шаблоны) 503 409 / 13 / 81

Количество элементов данных (активных/деактивированых/не поддерживаются) 149628 86376 / 61613 / 1639

Количество триггеров (активированных/деактивированных)[проблема/неизвестно/ок] 9411 8997 / 414 [74 / 353 / 8570]

Количество пользователей (подключенных в данный момент) 33 6

Требуемое быстродействие сервера, новые значения в секунду 97.32 -

напрягает работать с интерфейсами в заббиксе

вот как бы

в 1.9 что-то обещали

1,9 ветка альфа

в 2.0 буит все

ага

я пока не обновляюсь, все на 1.8.5 ибо чет как то глюков нарисовали

у меня 1,8,7

в забиксе поднимал количество итемов до 500 000

не замечал глюков

все работало и не тормозило, но для меня это количесво информации избыточно

к слову в пользу zabbix download.yandex.ru/company/experience/rit2008/highload_lapan.pdf яндекс описывает почему он выбрал забикс а не что то другое в качестве мониторинга, уж ему то можно наврено веритЬ?

dvolodin: а фикс когда будет этому - Error: Invalid implied permissions: p, e, e, r, :, p, e, e, r, i, n, g, p, o, i, n, t, :, l, o, o, k, u, p

ss_, яндекс как и гугл имеет возможности внести фиксы под свои потребности, а что будете делать вы

ну они в основном патчи наверх отправляют

zi_rus, а я использую их, как правило такие исправления не жилят

http://www.zabbix.com/forum/showpost.php?p=86451&postcount=3 картинка по хранению БД

ладно, здесь не заббикс делают)

вроде взлетел на новом ui

куда б ты делся

согласен не будем о мониторине будем о NOC

кста я так понял что можно обновляться?

какие + и -

после обновления что можно потерять?

скрипты не похерятся?

ss_, как знать, что они жилят а что нет, гугл на основе убунты сделал свою ось, в своей сети использует а делиться не собирается

оспаде, на основе дистриба линукса сделать ос ..

наплодили кучу а толку.

zi_rus, больше конкретики по zabbix. Что у вас там не работает? Мну почти все устраивает, а что не устраивет будет решено в след релизе

я его вообще не использую

тут помнится один школоло уже выпусил свой дистрибутив

гугл - не школоло

zi_rus, не стоит рассуждать о софте с которым плотно не работали

нене, не дистрибутив. он называет гордо - ОС.

я рассуждаю не о софте, а о предпосылках к выбору софта

zi_rus, я не про гугл я про то, что переписать убунту под себя и гордо это назвать своей осью

вы не знаете что они там переписали, чтобы говорить, что кроме названия, ничего не изменилось

zi_rus, я использую тот софт который наиболее точно решает те задачи которые я хочу решить, с минимум танцев с бубнами

я ленивый по жизни и мне нужно чем больше автоматизированых процессов тем мне лучше

вы не знали сколько будет танцев пока не поставили

мысль потерял пока писал ))) не так предложение построил

я использую его с ветки 1.6

и основываться на том что яндексу помогло, не значит что и другим будет так же хорошо

о яндексе я не знал

тогда

дак я и не говорю ставтье юзайте, я говорю почитайте почему яндекс выбрал эту систему

советовать что то ставить, знаете, неблагодарное дело.

эт точно

к чему вообще привел ссылку на яндекс? Просто там доступно описаны плюсы и минусы, решения. Мне как то их тут приводить не кошерно и лениво. Кому хочется тут пусть читает. ЗЫ Начал периписывать скрипт по забикс

хочу сделать так: проходим по БД забикса и нока и разницу добавлем в нок

у гугла было полно ядерных модулей

так что пилили они по делу

dvolodin, счас приоритеты как расставлены по дальнейшим работам?

FM?

С заббиксом обычно берут коммерческую поддержку

для ФМ надо новое приложение под новый ЮИ, и начинать уже пора хранить линки в базе

линки туда смогут прийти только через inventory

люди помогите с grep и фцл

awk

<33-Zhelez57p2>1.34.24... Connected to 10.21.34.24. of current VTY users on line is 1.

из этой строки нужно дернуть только 33-Zhelez57p2

на баше нужно

был бы питон небыло б проблем

mod= Trying Connected of <33-Koop1p6> как стандартными способами вырезать 33-Koop1p6

mod= <33-Koop1p6 уже осталось так, какой индуский код выходит)))

все написал индуский код

MOD=`(sleep 2; echo "логинка"; sleep 1; echo "паролька";sleep 1; echo "quit";) | telnet $I| grep "<" \

| awk -F">" {'print $1'} | awk -F"<" {'print $2'}`

чувствую программисты меня щаз прокляли)

ss_, за sleep я бы даже убивал, но что тут поделаешь))

железка не успевает вывести приглашение логина

ну и паролько тоже)

вообщем то и в целом надо api для работы с noc

и поидее написать прослойку на python для перекидываения из zabbix в noc

дык с REST это все и так можно будет

с чем чем?

грубо говоря можно делать GET для получения данных от noc, POST с JSON для создания нового объекта.

не знаю насколько оно уже работает с SA-MO, Володин с созданием языков показывал примеры.

ээ ниче не понял

хочешь создать managment object в noc? отправил POST запрос с предварительно сформированным по данным из заббикса JSON и все.

было бы хорошо это

дык говорю - пример с языками приводили. Насколько понимаю SA работает в iframe, и там этого еще нет, надо у Димы уточнять.

понятн

о

сейчас попробую пока на баше скрипт пот себя переписать

вот метод бы было бы хорошо заюзать

поуму надо все на питоне сразу же писать

попробую

SA пока не трогал

http://dpaste.com/623400/

вот итоговое извращение

даже работает

теперь примотать long poll handler - и будет у нас згыр

push

http://pastebin.com/Nc4GpyQ6 вот скрипт

пока наработки

ладно до завтар

а

пуш - это хорошо, фм без него никуда