nocproject.org

get_staticvlans для Zyxel ZyNOS: http://pastie.org/1996570

разкоментируйте строки с forbidden и advertisement, и наверно стоит строку vlan_inf=self.cli(cmd) заменить на vlan_inf="" работает быстрее, а имя их вланов я и так распарсить не смог...

Всем привет

Привет

2dvolodin: Что там слышно с эмулятором терминала?

Dmitry1: пока фолтом занимаюсь

:(

провел тестирование производительности lookup'ов MIBа

Это не ко мне D-Link + SNMP = (|)

на простых запросах MongoDB примерно в 2.5 раза быстрее PostgreSQL

Реорганизовываю классы событий в виде дерева

А не лучше ли статические таблицы в MySQL вынести? Он на маленьких данных пошустрее PostGre будет

Т.е. вместо Postge сделать mongo+mysql

не лучше

они как раз одинаковые примерно

зачем, постгрес хорош на своем месте

реально хорощ

Я, честно говоря, кроме ILIKE особых отличий не заметил

нормальный оптимизатор запросов, хранимые процедуры

и не имеет привычки резко складываться, как mysql

Странно. У меня почему-то не складывается. И хранимые процедуры работают. Единственные бока mysql - это отсутствие репликаций. Все решения по репликациям - это танцы с бубном.

Правдв я до сих пор на ветке 5.0 сижу.

5-я ветка уже тормознее постгреса :)

5.5

а 5.0 вполне шустрая

Плюс, если поотключать лишние движки хранилищ, то намного быстрее.

Чтобы там не говорили, но там реально работающих всего два хранилища: MyISAM и InnoDB. Причем, при проектировании базы для разных таблиц подходят разные хранилища.

Всякие там MemCached - это извраты.

Для этого есть штатный тип хранилища Memory.

ээээ

memcached - это совсем другая опера

Это для ленивых, когда хочется чтобы работало побыстрее, но при этом не хочется заморачиваться со структурой базы и оптисизировать запросы.

не скажи

в серьезных проектах без него никуда

:)

структурой тут не наоптимизируешься

В серъезных проектах проще поставить несколько физических серверов, каждый из которых будет отвечать за свой набор данных.

Тут уже в помощь mysqlproxy и подобные вещи. Когда запрос идет на тот сервер, определенные данные с которого можно получить быстрее всего.

Как самый простой пример - с одного сервера читать, а на другой - писать.

Или на определенном сервере хранить архивы, к которым редко обращаются.

Соответственно архивы в MyISAM, актуальные данные - в InnoDB, текущие - в Memory

После того, как у меня количество строк в таблице перевалило за пару десятков миллионов - я серънзно подошел к организации этого процесса.

Дим, у нас на одном проекте только под одну задачу было штук 70 серверов mysql

и это абсолютно не отменяло необходимости memcached

погоняем mongodb под нагрузкой, потестим

сходу пару костылей удалось убрать

Вообще предлагаю серьезно подумать над иерархией классов событий

имеет смысл сгруппировать их

линки отдельно, bgp-отдельно и так далее

хай

хм. а какой polling_method оптимальный для linux ?

epoll

а если соит optimal, он на линуксе сам выберет poll ?

а вот тут уже код читать надо

dvolodin, ?

да

должен выбрать epoll, если он скомпилирован

dvolodin, http://www.pastie.org/1996826 поправь. а то работать перестало

как так перестало?

http://www.pastie.org/1996835 так вот

r3751 проверь

да

заработало?

Ну а в r3752 - твой патч

до кучи

йа сделал 2 удаленных активатора. пашут. обновляются.

апдейт на них уполз?

http://www.pastie.org/1996897

ага

а на sa/script/snmp.py уехал?

да

ну чудно

крипто врубился?

Dmitry1: Добавил поддержку DGS3100 в get_version http://pastie.org/1996944 но не матчатся порты, строки 25-27... Может у них вывод кривой? Прошивка: DGS-3100-24TG 3.00.42 1.0.1.01

да

не в get_version а в get_staticvlans, о версии думал...

а зачем матчить forbidden?

О их выводит и у меня в сети есть коммутаторы с забанеными forbidden портами

Есть для них прошивка 3,60,38... пробывал кто с серией DGS-3100-24TG

я пробовал.

forbidden - это только для мультикаста. никакого отношения к vlan оно не имеет

у меня 3.60.28. полёт нормальный

если порт помечен как forbidden - это означает, ч то с него запрещено посылать multicast запросы

точно? или если порт forbidden то с него вообще ниодин vlan не вылезет?

Для справки - мультикаст запросы - это пакета с адресами назначения от 01-00-5E-00-00-00 до 01-00-5E-7F-FF-FF

Блин!

Есть опция config multicast filtering mode

которая разрешает все мультикаст запросы, или только для зарегистрированных групп

а есть опция router ports forbidden, которая запрещает вообще все мультикаст запросы

Кстати, я что-то не вижу в стандартных интерфейсах SA интерфейса IGetStaticVlans

Ладно с этим forbidden я таджет.антаджет для 3100 отматчить никак не могу, в консоли питоновской копирую строку матчится, а в скрипте None :(

IGetStaticVlans достань с моего пакета: http://redmine.nocproject.org/attachments/170/staticvlan.tar.bz2

скопируй только 2 файла:

Лучше скажи, как из этого pastie можно текст выдрать?

Лучше выложи необходимый минимум в виде патча.

Текст выдирается если акуратно мышкой выделить без номеров строк.

Не заморачивайся особо. Я потом все рано буду ковырять это скрипт. Просто я имею доступ к нескольуим десяткам моделей свичей D-Link с самыми разнообразными прошивками.

sa/interfaces/igetstaticvlans.py и для красоты sa/templates/interfaces/igetstaticvlans.html

да еще функции с staticvlan/models.py тянет

dvolodin: собрался закинуть патч как issue

большой точно не примешь решил дробить:

Ээээ.. Ошибки все время выдает :(

Наверное, буду ждать кумулятивного патча от Володина, а потом уде править платформу DLink

Какую? надо скопировать три файла: sa/interfaces/igetstaticvlans.py sa/templates/interfaces/igetstaticvlans.html staticvlan/models.py

и создать sa/profiles/DLink/DxS/get_staticvlans.py с http://pastie.org/1996944

Exception Value: No module named staticvlan.models Exception Location: /usr/local/noc/sa/profiles/DLink/DxS/get_staticvlans.py in <module>, line 12

ну staticvlan/models.py скопируй с http://redmine.nocproject.org/attachments/170/staticvlan.tar.bz2

Если взять из pastie:

Exception Type: SyntaxError Exception Value: invalid syntax (get_staticvlans.py, line 28)

Возьми от сюда http://redmine.nocproject.org/attachments/171/get_staticvlans.py

копируется только с номерами строк

xception Type: ImportError Exception Value: No module named staticvlan.models Exception Location: /usr/local/noc/sa/profiles/DLink/DxS/get_staticvlans.py in <module>, line 12

закиньте лучше на форум патч

staticvlan/__init__.py c http://redmine.nocproject.org/attachments/170/staticvlan.tar.bz2

dvolodin: по патчах:

в issue заброшу:

то же самое

2dvolodin: сможешь залить в апстрим ветку?

в etc/noc.conf добавь installed_apps = staticvlan, noc.inv и перезапусти нок если ты не через дебуг, а с веба дергаешь

dvolodin: лучше патчи в issue или архивы?

блин. у меня не исчезла ошибка "error=All activators are busy in pool 'default'" при выполнении "Version Inventory", хотя LA поднимается не больше 2 =((

одновременно запускаю на 379 объектах

1 Zyxel.ZyNOS - ping get_version

2 Zyxel.ZyNOS_EE

3748:412e7edd707f

3 добавления скрипта get_staticvlans, в Нок

dvolodin, в FM как со структурой закончишь, вспомни давнюю хотелку, по поводу указания конкретных портов у объектов для отслеживания...

может это в post-processing rule сделать?

матчинг по переменным еще

4 добавление sa/apps/checkstaticvlans и sa/apps/switchstaticvlans/

dvolodin, а переменные задавать в доп полях объекта все так же?

ммм

я вообще-то про переменные события

но, наверное, и по аттрибутам объекта надо matching сделать

хотя, нет

ну надо подумать как удобнее сделать

там и так селекторы есть

объекты по селекторам

и отдельные правила по аттрибутам

чтобы в код не лезть каждый раз

тогда делаешь post-processing rule и говоришь, что на свичах доступа такие-то порты игнорировать

тут вопрос не в том что на типе или группе свитчей игнорировать..а вплоть до того, что на определенном обхекте надо мониторить 1,6,24,28 порт(юрики допустим), а на другом другие абсолютно

другие порты

т е привязка к объекту нужна

думать надо

по идее - это атрибуты порта в inventory

давить с него события или нет

угу, удобно было бы

вплоть до того, что потом морду прикрутить - тыкнул по иконке порта - отслеживать, еще раз - нет.

ну это уже потом с юзабилити работать

сначала инвентори бы в работу

сейчас fault на основе наработок по inventory поттяну

там быстрый результат должен быть

и надо описывать общую модель сетевых событий

да, а то что-то у нас по-другим направлениям заморозилось развитие совсем... что по get_switchport, что по get_interfaces вопросы есть, мешающие писать дальше

да-да

Заодно очень хотелось бы интерфейс, показывающий физическое состояние порта

dvolodin, 2011-05-31 13:28:24,239 [ActivatorSocket(0x28c0f9ac)] Socket error: error(32, 'Broken pipe')

dvolodin, обнаружен стектрейс в гугловом протолокол буфере.

интересно ?

лфлие опции к патчу добавить чтобы пустые файлы __init__.py он отображал?

-urN пустых файлов в дифе не даёт..

Dmitry1: Попробуй патч от сюда http://redmine.nocproject.org/issues/136

а там точно русские буквы должны быть?

какие-то кракозябры. вроде как в utf8

нет руских нигде не должно быть...

стяни патч и посмотри сам

Да staticvlan/models.py в коментах имеет русские буквы в utf-8

можешь просто удалить эти строчки... Это коментарии к некоторым функциям...

А есть ли самые обычные файлики, не diff файлы, которые 100% будут работать?

Вернее только в функции get_switch_ports есть руские буквы... Это описание и TODO...

Выложу ещё один маленький архивчик без необходимости создания баз...

Вот удалил русские буквы http://redmine.nocproject.org/attachments/176/IGetStaticVlans.DxS.ZyNOS.patch

Также добавил sa.checkstaticvlansm sa.switchstaticvlans http://redmine.nocproject.org/attachments/175/sa.checkstaticvlans_and_sa.switchstaticvlans.patch

Вот архив http://redmine.nocproject.org/attachments/177/small.tar.bz2

инструкция по установки внутри.

dvolodin: issue 134 как просили вчера.

issue 135 новый профиль ZyNOS_EE для оборудования серии EE кардинально отличающиеся от A1

issue 136 добавляет новый интерфейс igetstaticvlans и скрипты для него.

issue 137 добавляет новые SA приложения использующие igetstaticvlans

всё это рабочие не затрагивает баз нока и других приложений.

Все дружно ждем Володина :)

У тебя получилось?

нет.

У меня не стандартная версия NOC, а с некоторыми моими изменениям. Особенно профиль DLink, на котором я эксперементирую.

там всего скопировать содержимое архива и выполнить "python manage.py sync-perm" перезагрузить и перезайти в нок.

уже перегружал много раз. не помогло. видать что-то конфликтует

в профиль оно докидывает файл get_staticvlans.py и всё. оно должно работать с изменёнными версиями нока. И не должно конфликтировать.

python manage.py debug-script get_staticvlans работает?

новые приложения в SA нока видишь?

я только в вебе пробую

mo -> scripts -> get_staticvlans запускал?

ошибки, которые я выше кидал.

видать где-то какие-то зависимости не видит

в каталоге /usr/local/noc/sa/staticvlan должно быть два файла __init__.py models.py и всё

есть эти 2 файла

__init__.py здесь не должен быть пустым! Оба с архива?

ась

2dvolodin: запулишь в апстрим минимум для работы static_vlan?

если переписать get_switch_ports с staticvlan/models.py чтобы она линки не с базы брала а с /tmp/topo.dot то ещё два приложения: addstaticvlan и switchlinks можно юзать не добавляя новых баз!

погодите, не успеваю обрабатывать хотелки

бьюсь с DISPLAY-HINT в MIB'ах