nocproject.org

сделал STOMP-сервер, и тест для замера латентности прохождения сообщений

и нашел в итоге проблему, которой уже года четыре

клева

исправил?

в общем - пойдут коммиты в lib/nbsocket, очень аккуратно с ними

опять snmp поломается? :)

там всю логику работы SocketFactory придется менять

проблема очень простая

фабрика висит в select/poll/epoll/kqueue и ждет, пока можно что-то прочитать

если в параллельном потоке пойдет запись в сокет, то в сеть она уйдет только после того, как фабрика выскочит из select

то есть если процесс только пишет и ничего не читает, то запись буферизуется и буферы сбрасываются раз в секунду

и-за этого возможны ощутимые задержки при перещелкивание пейджера и при отправке команд

и при отправке SNMP GET тоже

основная проблема пока

если один thread висит в select(), а второму приспичило записать в сокет -- он должен выбить select

как это сделать - пока не знаю

похоже, придется фейковый сокет делать

который будет менеджером ?

ну суть в том, что в нем должен возникнуть read или write-ready event

чтобы select вылетел

не дожидаясь таймаута

тогда он уйдет в следующий цикл уже опрашивая возможность записи

а нельзя сделать через сокетменеджер какой нить ? типа надо записать к нему надо прочитать тоже к нему. и у него очередь ? или я гоню совсем ?

так и есть

ага

но все сводится к тому, что вызывается select/poll/epoll/kqueue

и получается что чтение ждет запись ?

и ждет

наоборот

запись ждет чтение ?

если на момент вызова select не было необходимости записи, то этого сокета нет в маске

если она возникла в процессе select, и нет чтений -- то select дождется таймаута

:) ты сложно говоришь.

select получает маски на чтение и на запись

если они изменились - он про это не узнает

:)

а гляньте что за фигня http://pastebin.com/TsM7GXVr

при попытке ./noc test noc.sa.profiles.Huawei.VRP

You should rebuild using libgmp >= 5 to avoid timing a. - не в этом ли дело?

я смотрю торрент нормально уходит, вчера раздал еще на 600МБ, качает кто-то

А кто делал QTECH профиль? там 3 синтаксические ошибки в json-файлах... ./script/post-update не проходит

переделаем...

Пиши, какие ошибки

В файле Config.json: строка 18 ("value_re": "MDLINE-6-COMMAND: \(1\)( (?P<user>\S+):|) configure terminal$")

нужно "value_re": "MDLINE-6-COMMAND: \\(1\\)( (?P<user>\\S+):|) configure terminal$"

В файле Audit.json Строка 22 пропущена запятая

это все

пофиксил

dvolodin, смотрю эксперименты коммитишь, а можешь сказать, ты новым шедулером хвастался, он уже в работе или еще в разработке?

в работе

смотри классификатор

кто силен в epoll и poll?

dvolodin, не тот канал :)

нужен #python

могу просто закоммитить :)

на руснете есть Zart он мне много раз помогал.

правда у меня и вопросы попроще

да мне просто потестить и поправить код

http://dpaste.org/NhiyO/

ну он не площо шарит.

сначала слегка обсирает а потом говорит чего не так

есть подозрение, что remove_* у меня неправильный

lib/nbsocket после переделки вообще конфетка получилась

по сравнению с twisted

:)

быстродействие? нагрузка на cpu?

ээээээх....

как нехватает нормального Inventory с максимально автоматическим заполнение и автообнаружением оборудования, которое можно обнаружить

в НОКе нет, вбивать в KB как-то не сильно тянет, в заббиксе 100500 тыщ полей придется вручную заполнять :(

даа

:(

даже не знаю что сложнее, определить как хванить данные или их собрать автоматом

эээээ... бОльшая часть устройств группируется по тем же коммунитям. Пинг + snmpget sysDescr.0 достаточно для определения профиля.

дальше по профилю действовать.

это автодискавери, это из другой оперы

я про железо, серийники всего от шасси до трансиверов

у каталистов можно увидеть серийники

у всего можно увидеть сейриники

есть хорошая книжка для начинающих изучать питон

"Как и изучить питон за один день и остаться в своем уме" ?

нее

птон в системном администрировании

хотя твою я бы тоже почитал :)

python for the rest of us :)

реабилитационные курсы для тех, кто без ума от питона

:)

на академии не так давно видел курсы.

красивые на вебе прям

Лучший курс - это полное погружение. Вот когда начнут сны сниться на питоне, тогда точно, можно смело сказать, что выучил его.

Мне в последнее время сны на C++, C и ассемблере снятся

Dmitry1: в любом случае надо сначала прочитать книгу "Как нихуя не понять и не подать виду"

Судя по всему,у большей части начальства это настольная книга

Dmitry1: а расскажи что не так

чего у меня тест не проходит

там же указало, на каком файле валится

у меня попытка воспроизвести не получается

NOC-631?focusedCommentId=12015&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-12015

Возможно у тебя версия файлов отличается от тех, которые выложены в NOC-631

так даже тесты не запускаются

TypeError: __init__() takes exactly 1 argument (4 given)

я там трейс выложил

А. Так обнови всю систему. python до 2.7 и т.п.

а причем тут 2.7

Плюс libgmp обнови. Там же ясно пишет

You should rebuild using libgmp >= 5

Вместе с питоном обновятся и все его библиотеки

мде

В частности: py-json, py-coverage, py-gmpy и т.п.

ну это конечно хороший путь

все пересобирать

но как бы непонятно в чем дело-то

из-за чего ошибка

я щас начну обновлять и все сломается нахрен

Документация в помошь:

http://kb.nocproject.org/display/DOC/Upgrade

http://kb.nocproject.org/display/~dmitryluhtionov/FAQ#FAQ-Q%D0%9A%D0%B0%D0%BA%D0%BF%D0%B5%D1%80%D0%B5%D0%BD%D0%B5%D1%81%D1%82%D0%B8NOC%D0%BD%D0%B0%D0%BD%D0%BE%D0%B2%D1%8B%D0%B9%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80

оно все время работало и на питоне 2.6 и на libgmp

и сейчас работает

2.6.6 - работает

там нет ничего нигде про питон 2.7

и про libgmp

ну, было когда-то, но это быстро поправили :)

Not using mpz_powm_sec. You should rebuild using libgmp >= 5 to avoid timing attack vulnerability.

и что?

это выглядит как warning

Ну, я сужу по libgmp, скорее всего кроме нее еще какая-то старая библиотечка завалялась.

acid232: где трейс?

NOC-631

там трейс в конце

ну libgmp как бы к этому отношения иметь не должна

но что должен тестировать './noc test noc.sa.profiles.Huawei.VRP' ?

(rather than './noc test noc.sa.profiles.Huawei.VRP.get_interface_status')

ну очевидно все тесты

не совсем очевидно

но такой тоже не проходит - трейс такой же

2012-08-21 15:06:02,326 Test suite build: 1 test cases are found

2012-08-21 15:06:39,001 Test suite build: 86 test cases are found

а кто у нас есть из заведомо рабочих тестов?

evyscr: а у тебя запускатеся?

ну хуавей

например

или циско не знаю там хоть что нибудь

и это

от noc запускать не надо?

та все равно ошибка то другая

TypeError: __init__() takes exactly 1 argument (4 given)

цисковский get_version у меня работает

(строкой из документации)

от рута, да

но питон у меня уже 2.7

-rw-r--r-- 1 root root 18652 Апр 19 13:03 /opt/noc/lib/test_runner.py

(а dvolodin, например, может случайно добавить что-то 2.7-specific)

такой?

-rw-r--r-- 1 root root 18652 Feb 28 17:05 /opt/noc/lib/test_runner.py

./noc test noc.sa.profiles.Cisco.IOS.get_version

так же валится?

та да

md5sum от test_runner: 58591360e99de8ebb28c523dd23bedce

Python 2.6.6

%./noc test noc.sa.profiles.DLink.DxS

acid232: а hg status ничего не говорит?

2012-08-21 15:06:16,267 Found: 46 unittest modules, 19 python modules

2012-08-21 15:06:16,450 SSH: Using gmpy

2012-08-21 15:06:16,587 Using JSON library: cjson

бла-бла

Ran 65 tests in 0.188s

OK

2012-08-21 15:06:18,264 Test suite completed

evyscr: говорит, показывает мои локальные модификации http://pastebin.com/Nv2wLRzt

ну и на всякий - parent: 6509

что-то дофига у тебя модификаций

вроде ничего интересного

ну все то что я в issues бросал

но вообще defaults править - дурной тон

Что-то я не помню, чтобы менял классы для

M fm/collections/alarmclasses/NOC/Managed_Object/Ping.json

M fm/collections/alarmclasses/Network/Link.json

M fm/collections/eventclasses/Environment/Temperature.json

M fm/collections/eventclasses/Network/Link.json

M fm/collections/eventclasses/Network/STP.json

Что там такое поменяно по сравнению с апстримом?

а как глянуть

hg diff

но должно ли оно влиять на тесты?

та там мелочи

типа info вместо warning

Сделай себе отдельный каталог, который будет тосной копией апстрима. А все изменения делай у себя в рабочей копии

шаманство )

freeseacher: 2.6.6?

Кстати, как вариант - оно не может сделать тесты из-за того, что прав не хватает. Т.е. у каталога пользователь не "noc"

Но там другую ошибку выдает

при запуске от рута?

./noc test делается от пользователя "noc", и этот пользователь должен суметь создать в каталоге "tests" файлики

У меня в tests запись только для рута. И тест успешно выполняется от рута. Что я делаю не так?

до 2.7 не хочется обновляться вручную - будет зоопарт

зоопарк

сильно уж на перл с CPAN похож процесс апгрейда

пока ещё не выяснено, надо ли обновляться

evyscr: не кошерно

Dmitry1: ась?

эта виртуалка выделена чисто под noc

evyscr: Не верно "./noc" от рута запускать

ну...

а tuple как перевести

Dmitry1: не в синагоге, можна ;)

use dict, Luke

в словнике - кортеж

well

ТЕ, У КОГО PYTHON 2.6, - ОТЗОВИТЕСЬ!

кроме меня

и скажите, выполняется ли у вас ./noc test noc.sa.profiles.Cisco.IOS.get_version

def __init__(self, *args, **kwargs):

super(NOCTestResult, self).__init__(*args, **kwargs)

acid232: а ты можешь сделать чистую инсталляцию нока?

что бы это значило

боюсь замочить все что есть в рабочей

на другой тазик разве что, нужно подумать

ну да

или виртуалку

в образе виртуалки все работает и 2.7.2 )

2.7 неспортивно

%./noc test noc.sa.profiles.Cisco.IOS.get_version

2012-08-21 15:36:39,803 Found: 0 unittest modules, 1 python modules

2012-08-21 15:36:39,952 SSH: Using gmpy

2012-08-21 15:36:40,017 Test suite build: 1 test cases are found

2012-08-21 15:36:40,018 Running test suite

Ran 1 test in 0.000s

OK

2012-08-21 15:36:40,018 Test suite completed

питон 2.6?

питон написан на С

epic fail

linux kernel написан на C

история успеха?

Dmitry1: так таки питон 2.6 или нет?

Х.З. У меня 2.7.3

а какие модули к 2.7.3 нужно ставить - я уже забыл )

py27-Jinja2-2.6

py27-MarkupSafe-0.15

py27-WebTest-1.3.3

py27-asn1-0.1.2,1

py27-cjson-1.0.5

py27-coverage-3.5.1

py27-creole-1.0.1

py27-django-1.4

py27-django-tagging-0.3.1

py27-docutils-0.9

py27-flup-1.0.2_1

py27-gmpy-1.15

py27-netifaces-0.6

py27-protobuf-2.4.1

py27-psycopg2-2.4.5

py27-pycrypto-2.5

py27-pygments-1.5

py27-setuptools-0.6c11_3

py27-snmp4-4.2.1

py27-south-0.7.3

py27-sphinx-1.1.2

py27-webob-1.2.b3

pymongo-2.2

python27-2.7.3

версии могуо отличаться в большую сторону