nocproject.org

dvolodin: привет

чего поправить, если тест так говорит:

noc@noc:/opt/noc$ ./noc test

Creating test database for alias 'default'...

Got an error creating the test database: template database "template_postgis" does not exist

Type 'yes' if you would like to try deleting the test database 'test_noc', or 'no' to cancel: yes

Destroying old test database 'default'...

Got an error recreating the test database: database "test_noc" does not exist

noc@noc:/opt/noc$ ./noc test yes

запускается

я качнул тушенку

тебе только тушенку проверить?

текущие скрипты, по железкам, которых у меня нет --- "Unhandled exception"

у меня две цели --- узнать актуально ли это

./noc test --reuse-db --beef-filter=????? noc.stop

beef-filter -- имя профиля, скрипта или uuid

и сделать тушенку для dgs3100 и погонять свои скрипты

dvolodin: да, спасибо, я прочел про синтаксис запуска

хочу обратить внимание:

noc@noc:/opt/noc$ ./noc test --- не запускается

noc@noc:/opt/noc$ ./noc test yes --- запускается

на значительной части тушенки актуальные скрипты в экспешн

плюс выпадание в трейс

File: /opt/noc/lib/test/beeftestcase.py (Line: 185)

начиная с Microtik

TSergey: это перед релизом буду в чувство приводить

dvolodin: хорошо

расскажи, плс, как правильно тогда протестировать подготовленные мною скрипты для DGS3100

dvolodin: noc test только на девелопе работает?

1. готовлю тушенку по максимальному количеству прошивок

2. как-то ее заливаю в репозитарий?

3. тестирую скрипты?

так?

TSergey: да

хорошо

TSergey: тестируешь ./noc test --reuse-db --beef-filter=<название скрипта> noc.sto

спасибо

output и будет тушенкой? есть какие-то слоглашение о именах, включающих дату, прошивку, что-то еще?

"/opt/noc$ ./noc debug-script get_version router1 -o output.json"

*соглашения?

нет, там UUID будет

по нему и поставится в репо

погоди

я делаю output.json, как он попадет в репо?

из http://kb.nocproject.org/display/DOC/Canned+Beef

не разберусь

./noc beef --import ....

там два репо минимум

sa_public и sa_private

и как помещается json в репо?

по DGS3100 в публичной нет ни get_interfaces ни get_portchannel

./noc beef --import, --push

noc@noc:/opt/noc$ ./noc beef --import --repo https://bitbucket.org/nocproject/noc-sa-beef-public

Error: Repo not found

снова здравствуйте

dvolodin: надеюсь я ничего не пропустил

1. готовим тушенку

"/opt/noc$ ./noc debug-script get_version router1 -o output.json (--private)"

2. делаем импорт или пушим?

"./noc beef --list-repo"

"E P T Name Repo"

"+ N sa sa_public https://bitbucket.org/nocproject/noc-sa-beef-public"

"./noc beef --import --repo sa_public"

как json попадает в репо?

а наверное я знаю как

думал, что выполняя debug-script json копируется в /loalc/repos/sa/sa_public/

но это не так

вопрос в силе, как json поместить в репо?

отдать его Dmitry1

как-то нетехнологично получается

а это?

# 8[10:49] dvolodin: ./noc beef --import, --push

freeseacher: плюс Дима сказал, что нет соглашений по имени json

"Each beef accepts unique GUID number, which can be used as unique identifier."

GUID есть в сгенерированном json

<zi_home> с этим repom также

freeseacher: а что так кисло с тушенкой? вроде проект нуждается в свежей и разнообразной, для совместимости

Dmitry1 не берет мой патч по dgs3100 без тестирования на тушенке (что разумно)

а тушенки для dgs3100 в публичном репо на get_interface и get_portchannel просто нет

и заслать свеженького самому нельзя?

exus-omsk # 07:47

так как теперь с тушёнкой быть? я прогоняю с fixed-beef-base и потом высылаю на beef@ ?

Dmitry1 # 07:49

Да. Но это в том случае, если тушенка верная

что это значит?

dvolodin: расскажи, плс, про ./noc beef --import, --push

импортная туш0нка ;)

непатриотичненько

ответные санкции, все дела, надо переименовать

назвать 'rcgjhn

экспорт

экспорт тоже есть

TSergey_: можно и свои репы делать

у меня их с десяток

zi_rus: можешь рассказать про тушенку?

lexus-omsk: ты на зухелях линки делал? и на чем?

собрал я интересующие json

чего дальше-то? как их в репо добавить?

хотя бы в локальное

Всем приветы

нет

не пользуюсь

Скажите, а если у меня есть куча неизвестного оборудования, которое мне лень заводить, можно просто от них json куда-то скинуть?

IRevent у меня ES-2024, 2108, GS-4012, в прошивке 3.9 есть lldp, а так - вручную... ещё пытался OAM пилить, но не довёл до ума ещё

есть почта beef@nocproject.org

lexus-omsk: lldp нормально работает глюков не дает?

у меня таких пока мало, но вроде нормально

TSergey_: спасибо!

buggy-funhouse: скажи, как ты будешь делать json, не заводя оборудование?

разве в unknown models нет возможности взять?

нет

кроме как сделать руками(или попросить кого то это сделать)

ты про инвентори, я все про тушенку

дебаг скрипт работает и на не заведенном в нок оборудовании

достаточно полный url указать

я так писал скрипты для железок, которых у меня нет

но есть вывод с них

"дебаг скрипт работает и на не заведенном в нок оборудовании" ну да, но тушенка-то должна быть? и ее как-то нужно получить?

блин

что-то совсем левое говорю?

http://kb.nocproject.org/display/DOC/Canned+Beef

и?

тушенка --- это json, сформированный набором команд нока

в чем вопрос то?

а, понял

пожно напустить скрипты прям на железку

*можно

да

и снять таким образом нужную тушенку

только руками тогда проименовать версии и платформы

и чего будет, если скрипт спросит команду, которой нет на железке?

от скрипта зависит

если нет обработчика ошибки - ругнется и тушенки не будет

если обработчик есть - то в соответствии с его логикой

./noc debug-script -c public Cisco.IOS.get_version ssh://foo:bar%00superpassword@192.168.0.1 -o output.json вот как пример полного урла

ну так-то да

да читал я

скажи, вот get_interface не корректно разбирает, что на порту есть STP, есть толк от такой тушенки?

ошибки нет

вывод на пасту покажи

от дебага

но и уверенности, что есть корректная инфа с коммутаторао --- тоже нет

полный

а не резулт

не, я "теоретически"

в тушенке хаписываются все команды

вывод с коммутатора

ага

и итоговый результат отдаваемый в нок

оно для того и сделано, чтобы можно было не имея железки дебажить

если команда на железке не отдает данных, чего можно отдебажить? а тушенка будет нормальной, без ошибки

_4ePTeHok: то есть в целом мне достаточно этот json получить?

Cisco.IOS.get_version нужно вызывать или это был пример?

dvolodin: как поместить json в локальный репо?

хочу сделать 24 файла, и потом кучей протестироваь их как тушенку и скрипты на них

и ещё вопрос, я хотел, чтобы в модели были переменные типа номер в стеке, чтобы порты сразу писались так, как есть: Gi 1/0/1, к примеру.

а где твой вопрос-то?

"я хотел?"

Вопрос: так можно?

например я не против

глупо ждать ответа на второй, если не дали на первый =)

просто, у меня есть стек, 3 свитча, а модели портов для всех зовутся едино

а что за железка?

с3750x

это циска?

fuf

Ага

модели нет

buggy-funhouse: http://kb.nocproject.org/display/DEV/stack

то есть я её нарисовал, но она пока только у меня

Да, поля is stackable в модели я проставил

как только это сделали

но переменную номер стека в модели юзать нельзя

вообще никакие нельзя, это считай, как картинка пока

а не в инвентори, порты как отображаются?

а где, например?

в SA\MO\Edit\Interface

Так, как это есть на коммутаторе

"Gi 5/0/1", "Fa 0"

то есть get_interfaces работает нормально

а в Inventory\Inventory\Inventory? номера портов просто повторяются?

а там просто модель отображается, одна и та же для каждого свитча из стека. Что напишешь там, то и покажется

т.е. инвентори не понимает, что это теперь один коммутатор?

интересно как это должно быть в логике нока

Наверное, я плохо объяснил.

а вот это смотрел? http://kb.nocproject.org/display/DEV/management

buggy-funhouse: хорошо объяснил

в инвентори это три объекта, не один

Есть железо, это 1 свитч. Под него написана модель, где 24 порта названы как "Gi 0/1" -- "Gi 0/24".

,,

buggy-funhouse: ага, и не учтен номер стэка в интерфейсе, я понял

ага

не путайте порты на свиче и порты в софте

зачем тогда модели нужны?

в инвентори не должно быть "Gi 5/0/1"?

показать, что там 24 порта?

не в моделе, а в инвенторе, стэк же должен быть собран?

модели нужны ещё и чтобы втыкаться друг в друга

ну и , в объектах в Inventory\Inventory стэк должен отобразиться как три желекзти или как одна?

*три железки?

три

впрочем, you "должен" may vary...

*your

отображается как три

я не против того, чтобы оно было как 3 железки

если бы они ещё воткнулись друг в друга стековыми интерфейсами...

они и так 3 железки физически

я хочу, чтобы в inventory были разные порты

я думал, что один

ты смотришь порты - у тебя объекты разные

инвентори это чистая физика

на каждой 24 порта

номер в стеке там в имени объекта фигурирует

Да, тогда зачем она нужна? Допустим, корзина расширения воткнута в 3-й модуль, где это будет?

если в третьем свитче что то воткнуто - оно и будет в инвентори в нем

"при верно работающих скриптах гкт_инвентори"

Тогда смысл лепить модель? Сделать динамический шаблон

24 порта? Показать 24 порта

эм

типы портов

48 и 1 mgmt? ПОказать 1-48

Ну с типами, ок

Gi, Te, Fa

характеристики, размеры железок тоже выдумывать с потолка?)

PoE впиши

_4ePTeHok: кстати, PoE таки нужен

Сейчас при заведении модели я руками прописывал эти все gi 0/1, gi 0/2

Это я лох, можно проще?

я копировал подходящий шаблон и правил... *red_ears*

ну типа того

модель делается один раз

хе-хе

для конкретной модели железки

а железок у вас может быть и 100 и 1000

хоть как то цените труд тех, кто уже создал модели присутствующие в ноке)

_4ePTeHok, я тебе 3 трансивера для инвентори кину. закоммитишь?

они в девелопе будут, а ты же на графите фроде

да похер, локально они у меня есть, я поделиться хочу

Ох. То есть везде будет писаться "Gi 1/0/24", к примеру? На всех 6-ти свитчах одного стека?

_4ePTeHok: я несколько месяцев назад кидал (в жиру) модельки, они утонули?

ну и про размеры железки, это вообще ад

buggy-funhouse: там вообще пишется Gi24, вроде

Ещё лучше xD

_4ePTeHok, http://pastebin.com/kzD2Q5NL

http://pastebin.com/7Wse3Pvh

http://pastebin.com/UhMehFyS

_4ePTeHok, ок?

zi_rus: разве это не sfp6?

*sfp+

которая 10ка

сфп+ выпиливаем

ваще?

все идет как сфп

дырка же одна

месяц назад наоборот было)

Ок

buggy-funhouse: нет

хуя

уже год как решили

SFP+ можно по протоколу опознать

то есть если порт не поддерживает SFP+, там просто не будет гигабитных протоколов

то же самое и с сотками

о_О

волшебники, ну научите, как в локальный репо тушенку накидать

dvolodin: гигабитные будут, почему же

TSergey_: поштучно -- Dmitry один

buggy-funhouse: я про другое

все 10-ки это же sfp+

указывая протоколы можно показать, поддерживает ли железка 100M, 1G или 10G в данной дырке

dvolodin: правильно понимаю, что ./noc test работает от репо, поместить в который я сам не могу?

Почему в Inventory/Setup/OM нет сортировки по полю Built in?

о, там есть кнопочки

вопрос снят

которые дают Failed to Fetch data, ok

Не могу победить логин одного устройства. В виндовом телнете подключается и я wireshark перехватил его сесию.

Обычным telnet-bsd с линукса так и не смог до него достучатся...

а что за свитч?

в перехваченой виндовой сесии user_name0x0d0a то есть user_name\r\n

в __init__ прописал username_submit = "\r\n" ....

в дебаг-скрипте после вывода submit(u'user_name', bulk_lines=None, streaming=False) - тишена... и тикание..

Что ему не нравицо? u'user_name' вместо cp1251 или \r\n не переводятся в 0d0a?

Может streaming=True установить? Где и как?

xetle: посмотри, может быть дело в telnet negotiations

может железку плющит от IAC

или она сама чего-то ждет

zi_rus: починил графики

теперь часть функций работает

для вычисления

хорошо... наверное

dvolodin: если выложить json в /local/repos/sa/sa_public/

./noc test увидит эту тушенку?

теперь нужно подумать, нужен ли нам рендеринг графиков непосредственно на сервере

или просто отдавать данные

TSergey: сделай там свой репо

dvolodin: при нажатии на кнопку False в поле Is built-In в OM, у меня вылезает Failed to Fetch.

TSergey: и пропиши его в beef.conf

Что прислать, url запроса?

*inv/objectmodel/?_dc=1413880965170&is_builtin=false&__format=ext&__page=1&__start=0&__limit=43

вот после этого

а что в трейсе?

dvolodin, нужен иногда

график в письмо нотификации встроить

или еще как

мы с freeseacher за серверный рендеринг

остальный хз

dvolodin: Если смотреть в FM/Events, то там пусто

ниправда.

я за наличие серверного рендеринга

"dvolodin: TSergey: и пропиши его в beef.conf"

сделал opt/noc/local/repos/sa/sa_tomica, в конф прописал

"noc@noc:/opt/noc$ ./noc beef --list-repo"

"E P T Name Repo"

"+ N sa sa_public https://bitbucket.org/nocproject/noc-sa-beef-public"

"+ N sa sa_tomica /local/repos/sa/sa_tomica"

freeseacher, и что неправда? я так и сказал

dvolodin: в http://kb.nocproject.org/display/DOC/Canned+Beef видимо опечатка, в

Test single repo (i.e. sa_public)

"/opt/noc$ ./noc --beef=local/repos/sa/sa_public/ noc.stop"

пропущен test

допустим, серверный рендеринг и нужен

но нужно тогда свой править

dvolodin: как трейс получить?

в браузере в js-консоли посмотри

""/opt/noc <class 'mongoengine.queryset.InvalidQueryError'> Cannot resolve field "is_builtin""

ну и могу всю пасту скопировать

dvolodin: http://pastebin.com/kH9ARFj8

dvolodin: эта...

а ты что-нить помнишь про RESTful API, который делал?

меня интересует создание объекта в ноке. В частности, если я завожу ManagedObject - как передать туда такие вещи как object_profile и т.п.

туда все, что ForeignKey - только по id параметром отдавать чтоле?

сам себе отвечу: да, отдавать надо id.

а как же иначе

название

либо прослойку писать, конвертер

(лукапер)

либо айди

noc.lib.test.beeftestcase.BeefTestCase.runTest: DLink.DGS3100.get_portchannel [60a30d5f-1230-42ce-9a55-85f782b9e80e]

AssertionError: None != []

чего ругается? и должно возвращать [] если нет портчэнала

mikevlz|2: да, по id

можешь еще попробовать что-то вроде object_profile__name = "name"

не __label ?

dvolodin: подскажи, пожалуйста

test говорит на тушенку AssertionError: None != []

ну нет портчэнала, так и возвращается []

(сделал тушенку get_version, get_interfaces, get_portchanel для моих 14 DGS-3100)

сделеал локальное репо

./noc beef --list --repo= его показывает

test для get_version, get_interfaces дает

Ran 14 tests in 0.004s

OK

dvolodin, почему такие различия в моем ноке и в файле который в репо лежит?

http://pastebin.com/8b8B1hUm

dvolodin: работает тестирование, красота

а в чём бонусы?

но если скрипт возвращает [], то test говорит на тушенку AssertionError: None != []

хм, а может это в классе igetportchanel так

нет, все кошерно, igetportchanel, при отсутствии должен возвращать []

zi_rus: а ты метрики сейчас в монгу кладешь?

dvolodin, да...вно уже

как запилил ты так и кладу

комрады, нужен совет

в длинках "современных серий", как пошутил представитель длинка, портчэнал не отображается как отдельный интерфейс, но мы знаем что он T1, T2 и т.д.

в его параметрах есть мастер порт, настраивая который, настраивается портчэнал

много набежало?

для того, чтобы показать настройки портчэнала нужно знать какой является мастером

я добавил его в igetportchenal

правильно ли это?

или нужно было только поменять в get_portchannel для длинков?

что именно добавил?

поле "master"

нет, интерфейсы не надо править самостоятельно

ок, тогда несколько криво будет get_portchannel, что только в нем master

почему криво?

в portchannel может быть и один порт

есть описанный класс, а я скриптом возвращаю больше, чем в нем описано

там сейчас три поля: interface, members, type

ок, уберу master

dvolodin: расскажи где код ./noc test

хочу поправить None != []

и вроде схема локального тестирования готова

dvolodin, mongodb │ 17958M

yj 'nj c av

но это с фм

это вся монга

ты ее жмешь? :)

нет

TSergey: используй --fixed-beef-base

он исправит кривую тушенку

а возврат скриптом [] это кривизна?

dvolodin: так что не так с тем полем в inventory? Его реально нет везде или только у меня?

dvolodin: не исправляет

а может неправильно вызвал

AssertionError: None != [] START OF TRACEBACK ...

вот такая петрушка

dvolodin, я все равно не понимаю почему у меня файл отличается от репо

BRANCH=feature/graphite

hg branch скажи

dvolodin,

root@noc:/opt/noc # hg branch

feature/graphite

buggy-funhouse: с каким? stackable?

оно рабочее вполне

с ним стеки и кластеры работают

что тебе не нравится?

dvolodin: нет, я про эксепшен в inventory

когда на кнопку жмёшь

его нет

Тогда зачем там кнопка такая?)

Сортировка желательна, конечно

dvolodin: действительно, поправил тушенку, с 613 байт до 611

ну да

теперь такую fixed тушенку и можно засылать Диме или на beef@nocproject.org?

да

zi_rus: а посмотри размеры дневной коллекции

db.noc.ts.p2014 .....

dvolodin, а как?

.stats()

и .count() -- посчитать количество записей

> db.noc.ts.p2014.p10.p18.stats()

{

"size" : 118025744,

storageSize меня волнует

сколько там

и сколько всего записей

"storageSize" : 174735360,

freeseacher: нужно поправить http://kb.nocproject.org/display/DOC/Canned+Beef

dvolodin, а количество записей это какое поле

"count" : 2458866,

freeseacher: в коде, который ниже "Test single repo (i.e. sa_public)" пропущен "test"

готово

zi_rus: ну да, примерно 71 байт на запись

как и на тестах

обязательно в модельке писать размеры свитча и т.д.?)

не обязательно

но лучше сделать

если у нее будет, скажем, вес -- то можно будет вес стойки расчитать

dvolodin, если я руками заменю файлы на те что лежат в репо, hg скажет же что у меня незакоммиченые изменения

как тогда получить их?

dvolodin: пока это не так важно, я стоек в ноке не юзал и даже не бумал пока.

ты - нет

но потом придется вылавливать, где и чего пропустили

zi_rus: hg revert <файлы>

dvolodin,

root@noc:/opt/noc # hg revert /opt/noc/pm/apps/render/data.py

no changes needed to pm/apps/render/data.py

-rw-r--r-- 1 noc noc 2912 Oct 15 23:07 data.py

dvolodin: ок. Как порты называть всё-таки в модельке, "Gi 1", "Gi 0/1", "Gi 1/0/1" ?

Gi 1

там явно нужен еще какой-то метод для сопоставления порта на объекте с интерфейсом в базе

даже если по факту в жини оно gi1/0/1?

я не могу понять этого, простите.

если он у тебя в стеке второй -- то будет Gi 2/0/1

что тебя волнует?

а теперь возьми железку вроде Juniper SSG320M

путем заливки JUNOS она становится Juniper J2350

и интерфейсы начинают называться по-другому

считай это уникальным идентификатором дырки в корпусе

что там у 3750x на морде написано?

я бы сказал - надпись под портом)

да

на линейных картах тоже не написано в какую дырку их воткнут

а порты имеют наименование 3\3\3

в общем в инвентори имя порта - это сущность линейной карты\модуля\свитча, а не стека

кто нить имеет у себя на сети eltex 3124F или

этого производителя.

dvolodin: Именно, что там нет никаких Gi, потому что это может быть как Gi, так и Fa, в отличии от Te

Ладно, будем писать Gi 1.

ну пиши просто 1

кто нибудь до практики это довел http://kb.nocproject.org/display/DEV/Discovery+Managed+Objects

dvolodin: я не белка-истеричка, просто хочется логики и единообразия. В разных моделях по-разному.

buggy-funhouse: тут только что собирать применительный опыт

и потом махом все причесать

Хорошо

ага как sfp+

там где получалось формализовать - формализовали бы

год прошел, никто выпиливать не собирается

zi_rus: да

если было бы, где стырить идею - стырили :)

dvolodin, меня все еще беспокоит ситуация различия репо и нока

bee26, нет к сожалению. все ушло в графики.

хотя задача не менее актуальная и нужная

dvolodin, причем я сделал hg clone http://bitbucket.org/nocproject/noc noc -b feature/graphite там тоже другой файл прилетел

dvolodin, обновился все норм стало

всем привет.

я в ноке пытаюсь отобразить список закрытых алармов (версия 0.7). и он у меня почему-то подвисает намертво.. в htop кажет, что процессор грузит mongodb.

и висит так доолго, пока ngix не отлупит по тайм-ауту

с этим что-то можно сделать?

я так понял, слишком много данных в бд?

да

слишком долго обрабатывается запрос

ни как нельзя бороться?

таймер подкрутить снова на ngix?

я просто его уже увеличивал в свое время

еще увеличь

блин..

напомни, где? в /etc/ngix/ngix.conf?

я не знаю

ты же увеличивал

это скорее в ноке

hg diff сделай

да нет. вроде, в ngix подкручивал... х.з. не помню уже :(

zi_rus, не помнишь команды самой монги? мне бы посмотреть в базе просто закрытые аварии по одному из объектов.

а потом и вовсе грохнуть можно их

ха, нашел кого спросить

я знаю как в ноке посмотреть

from noc.sa.models import *

оно залипает почему-то даже если взять объект, где закрытых аварий много быть не может. странно. я причем, указываю время показать аварии за вчера - сегодня.. и все-равно виснет

zi_rus, напиши подробней

from noc.fm.models import *

в консоли надо?

mo = ManagedObject.objects.get(name="ASD")

a = ArchivedAlarm.objects.filter(managed_object=mo)

ну или как-то так

мог очепятаться

в монге в большинстве случаев надо знать две команды: 'show collections' и 'db.noc.<collection>.find()'

drop()

без нее никак :)