nocproject.org

так себе была идея обновитсья сегодня утром.

я бы не стал это повторять.

монгоенджин 0,9 не хило так ломает старую инсталяцию в части неизвестных полей

hi all

after latest upgrade i have this error

ImportError: No module named bson.errors upgrade-user: : Unable to connect to mongodb database. Check noc.conf settings

how can i resolve this?

.

mpanait_, you should reinstall pymongo and mongoengine.

currently last upgrade breaks the noc installation.

i spend about an hour fixing it

and how do that without loosing datas

?

thre is nothing about loosing data.

all your data is safe

but you have no access to it.

have you already tried reinstalling pymongo and mongoengine?

no

do it

step by step pls

is possible?

sorry, no. i have no so much time

ok

thx anyway

at the moment i had reverted noc to commit previous to the last and manually reinstall mongoengine to 0.8.7

Installing collected packages: mongoengine Found existing installation: mongoengine 0.9.0 Uninstalling mongoengine-0.9.0: Successfully uninstalled mongoengine-0.9.0 Running setup.py install for mongoengine Successfully installed mongoengine-0.8.7

modified requirements/noc.txt

after that?

mpanait_, was it helpfull ?

dvolodin, is here so he need bullets to fix that problem. can you please copy your installation log to pastie ?

no

same problem

upgrade-user: : Unable to connect to mongodb database. Check noc.conf settings

чуваки, а почему https://cdn.nocproject.org/bs/Ubuntu-12.04.txt тут используется postresql? в выпуске сети для самых маленьких рассказывали про mongodb

тьфу, не в сети для самых маленьких, а подкасте lunkmeup, прошу прощения

я тебе по секрету скажу, используются оба

а, т.е. в этом смысле настраивать ничего не нужно?

настраивать все нужно

нок и монге и постгрес используе

поковырял вчера noc на тестовом железе, вот думаю добавить небольшой город в MO

народ, кто еще рисковал сегодня обновиться?

bars: не спеши

какое железо?

лучше медленно, штук 10-20 для начала

zi_rus, не стоит

там адовый баг

l2-l3 циски, парочка qtech, l2-l3 длинки

zi_rus: я пытался обновиться. в результате - http://pastebin.com/DjVEcikh

всего штук 20 как раз

bars: вон Dmitry1 с длинками страдает от нока

>настраивать все нужно

где копать?

freeseacher: я видел тебя поэтому и спросил, может уже поправили

или есть инструкция как пережить обновление

У меня dev10939, вчера обновлялся. с 10-20 штук работает, как раз хотел попробовать с парой сотен железок.

народ, давайте все дружно попытаемся сказать dvolodin'у что с введением этих uuid стало вообще не возможно что-то добавлять/изменять

ну тогда дерзай

bars: я за циски спокоен, нок с ними нормально работает

никто не помер

кроме одного случая

ну да

но это циска виновата

собственно, вопрос - сейчас есть автоматизированное добавление девайсов в MO? или самому скрипт писать

кстати, парочка микротиков роутерами еще

(cloudcore)

не загорятся?)

bars: все уже написано https://kb.nocproject.org/pages/viewpage.action?pageId=19169410

и второй вопрос - как автоматически добавить железки из MO в inventory?

шта?

мо профиль - ассет дискавери

ну вот добавляю я десять длинков в MO, и они появляются в inventory, привязанные к MO

или как то так

конфиг - енабле дискавери

evyscr: и пиздец длинкам

спс

bars: мой тебе совет. сделай отднльный профиль для длинков, где отключи все дисковери, все проверки и т.п.

Dmitry1: а у меня не пиздец

а лучше - вообще сними галочку "is managed" с длинков

да я уже понял, спс

ассет страшного не делает

страшное - динки отслеживать

evyscr: сволько у тебя в среднем mac адресов на длинках ?

велл, порты

не знаю, я сеть не админю

evyscr: у меня в среднем 2-4k MAC адресов

ну ок

ассет дискавери имеет отношение к макам?

когда NOC пытается выгрести таблицу MAC или ARP - свич тупо умирает

это какой свич?

длинковский

2К здесь вполне может встречаться

загрузка проца подскакивает до 100%

в результате - срабатывает Safeguard Engine

В результате - рвется сессия BGP, отваливается UDLD, LLDP, OSPF и т.п.

короче, ломается все, что на проц завязано

3627?

да

ну ок

повторюсь - как с этим связан ассет дискавери?

лишний раз дергает свич

Вот типичная картина:

60052: Feb 9 12:31:49.115 EET: %BGP-5-ADJCHANGE: neighbor 10.110.0.66 Down Peer closed the session

460053: Feb 9 12:31:51.627 EET: %BGP-5-ADJCHANGE: neighbor 10.110.0.59 Down Peer closed the session

460054: Feb 9 12:32:25.983 EET: %BGP-5-ADJCHANGE: neighbor 10.110.0.66 Up

460055: Feb 9 12:32:32.967 EET: %BGP-5-ADJCHANGE: neighbor 10.110.0.59 Up

очередной раз шедулер нока решил опросить длинки

и что же у тебя включено?

не поверю, что только ассет дискавери

(не то, чтобы я был в восторге от шедулера though)

evyscr: я вручную ставлю галочку "is managed", опрашиваю, а потом снова снимаю эту галочку

а в mo profile всё включено что ли?

это же ж...

я обрубаю всё лишнее в mo profile и выставляю правильные interface profile

evyscr: у меня на dgs-3627 работают: BGP, OSPF, PIM-SM, IGMP, IGMP Snooping, DHCP Relay, UDLD, LoopDetect, BPDU Protection, LLDP, и всякое другое

evyscr: в MO у меня выключен ip_discovery и mac_discovery

ты на железки еще не боишься заходить?

а то захочешь посмотреть маки

а он бгп уронит

Потому как вместо того, чтобы в IPAM занести IP адреса интерфейсов, оно заносит несколько тысяч IP полученных по DHCP

zi_rus: если оно уронит BGP, то я рядом сижу

работа у него такая, заносить эти адреса по ip discovery

не, ну сделать дискавери по локал л3 можно же

А если оно мне начинает его ронять вечером, в пиковые нагрузкки, когда я дома сижу, то оно мне нафиг не нужно

dvolodin: У меня на сетку /16 несколько десятков IP адресов, принадлежащих интерфейсам MO. В IPAM я вижу что угодно, только не их

evyscr: по поводу "выставляю правильные interface profile" повторюсь еще раз - это не мои свичи, и я их не настраиваю.

эм

Т.е. я не знаю, какой порт куда у них смотрит

тогда нужны ли они в ноке?

кроме как сислог/трапы

evyscr: я сижу в головной конторе, и другим операторам раздаю интернет

ну ок

их свичи - их мониторинг

хотя про interface profile - это и 3627 коснулось бы

у меня на условно nni портах маки не собираются

evyscr: для того, чтобы автоматос настроился interface_profile, должна построиться топология

Топология для длинков нормально не строится

если при этом рни все выковыриваются - надо смотреть насколько правильно скрипты написаны

эм

почему не строится?

dvolodin: http://pastebin.com/DjVEcikh

evyscr: потому что я отключил mac_discovery и ip_discovery

Объясняю топологию нашей сети

несколько десятков DGS-3627 работают как L3

ты что конкренто предлагаешь?

к ним подключены абонентские сети, а заодно внутренние сети операторов (управление свичами и т.п.)

Я не знаю, как они дробят там свои сети, какие у них подсети для управления собственными свичами и т.п.

Т.е. я не знаю, какие сети мне нужно НАСТРАИВАТЬ в IPAM

пусть они сами настраивают

это их ЗО

Они сами и настраивают

ты говоришь что тебе нужно

Только я открываю IPAM и вижу несколько десятков тысяч каких-то IP

напиши скрипт

пируль

который будет чичтить IPAM ?

Вот пример

да

или наоборот

который будет заполнять ипам

6509_core_switch#show log | i PIM

460225: Mar 16 14:21:25.590 EET: %PIM-5-NBRCHG: neighbor 10.111.0.7 DOWN on interface Vlan3 (vrf default) non DR

460226: Mar 16 14:25:32.208 EET: %PIM-5-NBRCHG: neighbor 10.111.0.7 UP on interface Vlan3 (vrf default)

460553: Mar 18 07:59:07.315 EET: %PIM-5-NBRCHG: neighbor 10.10.9.152 DOWN on interface Vlan446 (vrf default) non DR

460554: Mar 18 07:59:39.192 EET: %PIM-5-NBRCHG: neighbor 10.10.9.152 UP on interface Vlan446 (vrf default)

Открываю IPAM и вижу записи 10.111.0.7 и 10.10.9.152 как бла-бла.some.domain

ХОТЯ ЭТО РЕАЛЬНЫЕ MO

настрой нок правильно

и напиши скрипт

маленький, простенький

я уже использую такой скрипт. Microsoft Excel называется

радуйся

а у меня мой коллега вручную переписывает все серийники свичей и SFP модулей себе в электронную таблицу

плюч у нас для отображения карты сети стоят friendly pinger и the dude

с серийниками, конечно, надо что-то делать

перезаписывание без аудита - диверсия

не только

вот смотри ситуацию

Dmitry1: ты же повесил issue?

спиздили свич на 24 SFP

evyscr: кто-то говорил что в инвентори есть лог изменений

я просто проверить это не могу

монтажники бегут менять

zi_rus: а в каком месте?

а я хз

где-то там

у них в коробек куча SFP. Как узнать, в какие порты втыкать 1310, а в какие - 1550 ?

повесил issue?

я подпишусь

evyscr: у меня серийники не менялись, но смотри, выбираешь любой объект, там есть вкладочка лог

там не только серийники нужны

что нок туда пишет?

это лог

туда изменения логируются

у железок есть еще и программная ревизия

которая у нас вообще не учитывается

всякий микрокод и т.п.

а оно надо?

временами - очень

микрокод по бухгалтерии не проходит

а прошивка обычно с основным софтом обновляется

zi_rus: очень надо.

приведи пример

6509_core_switch#show module all

Mod MAC addresses Hw Fw Sw Status

--- ---------------------------------- ------ ------------ ------------ -------

2 0013.80f5.10a0 to 0013.80f5.10b7 2.2 12.2(14r)S5 12.2(18)SXF1 Ok

3 0018.73b8.9508 to 0018.73b8.950b 2.4 12.2(14r)S5 12.2(18)SXF1 Ok

4 c47d.4f0a.8eb8 to c47d.4f0a.8ebb 3.1 12.2(14r)S5 12.2(18)SXF1 Ok

5 0013.807b.6594 to 0013.807b.6597 5.3 8.4(2) 12.2(18)SXF1 Ok

6 0012.dae4.5d80 to 0012.dae4.5d83 4.3 8.1(3) 12.2(18)SXF1 Ok

7 0012.7f6a.7844 to 0012.7f6a.7847 2.0 12.2(14r)S5 12.2(18)SXF1 Ok

zi_rus: увидел ?

нет

колонка 'Sw'

Коллеги, проблема с обновлением. http://pastebin.com/GktLcRcd

6509_core_switch#show module version

это я вижу, я не вижу смысла, за 4 года мне это ни разу не понадобилось

5 2 WS-SUP720-3B SAD111701D1 Hw : 5.3

Fw : 8.4(2)

Sw : 12.2(18)SXF16

Sw1: 8.6(0.306)R3V39

я вижу версию

я не вижу смысл

zi_rus: открой для себя http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst6500/rommon/OL_5631.html

в отличме от того же cat3660, где новый rommon зашит прямо в IOS, в модульных свичах rommon вручную обновляется для каждого модуля

Всем привет. На https://kb.nocproject.org/pages/viewpage.action?pageId=1507406 есть описание функционала "Support for temporary allocations, offering to reclaim the resources that considered to be freed upon a time" - как воспользоваться этим ? На веб интерфейсе редактирования IP адреса или префикса нет возможно�

Frosting: выставляешь ему не allocated, а planned, например

выставил, но нет поля в котором можно задать дату окончания периода

в таблице БД есть колонка allocated_till но в веб интерфейсе она не доступна..

коллеги, хелп плиз

запустил обновление:: Checking mongodb database connection Traceback (most recent call last): File "./scripts/check-db.py", line 36, in <module> check_mongo() File "./scripts/check-db.py", line 23, in check_mongo from noc.lib.nosql import get_db File "/opt/noc/lib/nosql.py", line 18, in <module> import pymongo File "/opt/noc/lib/python2.7/site-packages/pymongo/__init__.py", line 90, in <m

ну, там в расплывчатом смысле upon a time. -)

Dubridze: не смогло присоединиться к монге

Frosting: можно повешать issue, но его вряд ли поправят в обозримом будущем.

это я понял. Как фиксить?

evyscr: :( у меня на bt.nocproject.org открыто 12 штук issue ... ни по одному движений нету...

Frosting: это минусы, когда продукт пишет один человек и под себя

Dmitry1, а чего не так с uuid?

это же тупо id события

freeseacher: ты много коммитов от сторонних людей видел в FM после ввода uuid ?

я и до много не видел

как id жить мешает не пойму

механизм добавления их в дерево мягко говоря не очень

еще больше повышает порог входимости для разработчиков

ибо я бы хотел делать это прям из морды

я бы тогда свои пошарил все

и так у нас полтора разработчика, а Дима и им усложняет жизнь

но uuid вообще ни как не мешает этому процессу

Dmitry: еще больше повышает порог входимости для разработчиков

раньше достаточно было тупо поменять что-то в правиле fm, и оно сразу применялось

правда приходилось перегружать noc

сейчас более круто

меняешь правило

запускаешь ./noc collection install

угадываешь, как оно перименовало имя файла

ищешь, куда его засунуло

если переименовало, удаляешь старый файл

Дим, да, нужен интерфейс

и более того он почти написан

делаешь /noc collection sync

его надо немного подпилить

он называется support

там весь код есть

перезапускаешь нок

если правило не сработало - возвращаешься к пункту 1

Раньше достаточно было 2-х телодвижений

Сейчас - от 5-ти до 6-ти

в чем выгода ?

Dmitry1: как пофиксить это?

Dubridze: посмотри логи монги для начала

нужно просто слегка упростить методику добавления нового события

при чем тут uuid не понятно

freeseacher: я вот тут вижу, что Дима занялся правилами для CM

процесс усложнился да

и надо искать методы его оптимизации

Вот к примеру

root@noc:/usr/local/noc/cm/collections/errortypes/Interface # cat CDP_Enabled.json

{

"name": "Interface | CDP Enabled",

"uuid": "c65aced9-ec4b-457d-b9a7-1c1e86860eff",

"description": "Interface must not have CDP enabled",

"subject_template": "Interface {{obj}} has enabled CDP",

"body_template": "Interface {{obj}} must have CDP disabled"

}

я объяснял диме что так не дело.

что это за поля ?

где они учавствуют ?

Где берется поле {{obj}} ?

для меня пока вся инфраструктура этой валидации - не годна вовсе.

пока core разработчиков не станет больше упрощения механизмов в ноке не будет

пункт 1 - убрать uuid

да не надо убрать uuid не виноватый он

он просто должен назначаться автоматом

вот и все

при импорте

не должно быть в текстовом файле информации, которогй нельзя редактировать вручную

это не текстовый файл.

это машиночитаемвый кусок базы данных

да пусть назначается. только в текстовый файл не пишется

а т очто он еще и человеком читается это приятное дополнение

как тогда отслеживать изменение ?

freeseacher: а чего мы мучаемся то ?

так давай вообще все коллекции делать вв виде

"INSERT INTO бла-бла VALUES (value1, value2)"

И читаемо, и для машины удобно

да что ты прицепился к полю синхронизации.

я согласен что процесс совсем не очень

но как удаление этого поля изменит процесс искренее не понимаю

прицепился потому, что раньше любой человек мог что-то поменять в файле

а сейчас ему нужно как минимум изучит json, python и два института

давай без преувеличений а?

Dmitry1: Thu Apr 9 12:10:09 [clientcursormon] mem (MB) res:69 virt:8374 mapped:4047 Thu Apr 9 12:15:09 [clientcursormon] mem (MB) res:69 virt:8374 mapped:4047 Thu Apr 9 12:20:09 [clientcursormon] mem (MB) res:69 virt:8374 mapped:4047

ничего

freeseacher: так реально ведь

реально сложный процес

надо упрощать

смотри: json, python, mongo, pcre, postgresql и т.п.

постгрес то тут причем ?

монга тут причем ?

дима, надо упрощать.

давай упрощать

зачем ругаться то ?

freeseacher: если монга не при чем, почему тогда у Dubridze не получается связать noc + mongodb ?

да ещеи со мной. который на твоей в общем то стороне :)

ну так поддержи меня

раньше то FM работал нормально ?

а я и поддерживаю.

только я не понимаю что ты хочешь

без всяких лишних телодкижений

опенсорс это опенсорс

если ты думаешь что можешь что то улучшить ты просто берешь и делаешь это

пул реквесты видимо нужны

я не шарю в питоне

если на твоей версии нока будет жить проще и цивильнее пользователи уйдут к тебе

хихик

Dmitry1: но ведь ты хочешь

"fork it!" &

а даваить на какого то чувака и обвинять в том что он что то делает так как не нравитья тебе это не коструктивно просто

а Дима, вместо того, чтобы упростить API для сторонних разработчиков, только усложняет его

да, дима не стремиться к упрощению api.

*стремится

zi_rus, спасибо. никак не дается мне этот мягкий знак.

freeseacher: я не давлю. я просто не понимаю, зачем делать то, что будет отпугивает потенциальных разработчиков

ты как-то слишком громко не понимаешь

Dmitry1: ты же рассказывал про "полное использование си"

Dmitry1, потенциальные разработчики это те которые будут разрабатывать

люди, хелп плиз

монгу перезапустил

для них в апи нет проблем

Dubridze: не стоило обновляться

стартует не ругается

а вот у пользователей проблемы есть

Dubridze: тебе, видимо, только dvolodin поможет

а нок после апдейта не коннектится к ней

так что дима не разработчиков отпугивает а пользователей

freeseacher: а кто такие "потенциальные разработчики"? а откуда они берутся?

а ты думаешь здесь разработчики-непользователи могут появиться?

ну B_M именно такой был

могут, если им заплатят

был

вполне себе платный разрабочик на питоне.

его позвали в другой отдел и предложили больше денег

всё

и его может отпугнуть сложный АПИ?

нет

сложного апи нету

то что Dmitry1 называет api на самом деле не имеет к нему никакого отношения

это детали

у димы сложный процесс. а api простое как дерево

так что нам делать?

freeseacher: раньше даже обычный пользователь мог под себя поменять правило FM, изменив там пару букв

мне так никто и не объяснил, зачем нужен uuid, если раньше без него все нормально работало

я честно ненавижу опенсорс. и бесплатный софт. я бы лучше заплатил. это как правило сэкономит мое время. и довольно значительно.

а кроме uuid появился еще и manifest, который нужно постоянно синхронизировать с этим uuid

а поле нужно для того что бы адресовать события. раньше они адресовались по имени. но это приводило к тому что имя нельзя поменять. а это плохо

и дима просто взял и недоделал.

не хватило энтузиазма или еще чего то

что значит "адресовать события" ?

вот кусок из класса link down

или как обычно и dvolodin бывает - появился вопрос который надо решить. он его сформулировал на канале. его никто не понял. и вопрос повис в воздухе

"disposition": [

{

"name": "dispose",

"condition": "True",

"action": "raise",

"alarm_class__name": "Network | Link | Link Down"

}

]

вот адресация - "alarm_class__name": "Network | Link | Link Down"

причем здесь uuid ?

Dmitry1, это кусое поебени.

механизм попросту недописан

тут должен был быть выбор из списка

в морде

но ее не сделали

то что ты делаешь все это через json это проблема отсутствия морды

тогжа жолжна быть морда дла всегт

ее надо написать

да

именно должна быть морда

но ее нет

и uuid тут не причем

надо писать морду

для ее написания все готово

или делать все файлы json read-only и web-морду

надо сложить кирпичи вместе

или делать так, чтобы json файлы можно было редактировать как угодно

Но

файлы должны не импортирвоаться и экспортироватьася в центральное хранилище

json файлы это просто кусок бд. я повторюсь

а прикручивается это довольно здорово.

1. морда для создания алармов и евентов

2. морда отдачи в центральную хранилку

я за то, чтобы вообще не было никаких CLI, а все было через web-морду

3. контора для приема платежей

4. морда для создания алармов и евентов из событий

именно для этого и переходили на ExtJS

5. сбор этого дела в коллекции по платформам

6. магазин по продаже поддержки профилей

эта схема отлично работает у атлассиана

Дима все замкнул на себя

и уверен что за какие нит ьнезначительные деньги типа 100 баксов поддержка каждой платформы была бы уже реализована

или подписка на разбор событий

да я без понятия

тот же PM

или виртуальные плюшки из разряда "кармы", "лингтов"

в каталоге probes там живут какие-то пробы

его тоже не дописали.

описание всех механизмов есть

@metric("BRAS | PPPoE | Sessions",

profile="Cisco.IOS",

caps=["SNMP", "BRAS | PPPoE"],

preference=metric.PREF_VENDOR)

Вот что будет, если я в первой строке напишу вместо @metric("BRAS | PPPoE | Sessions", @metric("BRAS | IPoE | Sessions", ?

за что эта строка отвечает ?

будет другая метрика

где будет ?

в базе, в json файле

просто в названии графика

бля. надоел троллинг.

пойду поработаю

:)

я про себя.

freeseacher: ты не мне, а Диме доказывай это.

А то я один только возмущаюсь

нее

не ты один

вон еще Егор

Илья бывает тут тоже кидает гавно на вентилятор

я с димой как правило общаюсь в привате

ты там хоть какашек накидал?

или там тихо

потому что эффекта не видно

у меня фм не в бою.

и я без коммерческой поддержки не буду даже думать про это

и правильно

а конфиги у меня собираются отлично

freeseacher: представь ситуацию, у тебя есть задача которую ты как-то решаешь, а потом открываешь нок и с его помощью ты можешь делать то же но в 10 раз проще и быстрее, но даже если нок сломается или еще что, ты всегда можешь сделать это по-стари�

например как у нас было с ФМ

я уже месяца 2 не обновляюсь, а что сейчас с ФМ стало?

mali_, не было коммитов туда

всем привет)

была коммерческая система, ее развернули, но никто ее не поддерживал, но продолжали пользовать, потом параллельно на подхвате встал нок

и с его помощью траблы решались еще до того как служба мониторинга вообще что-то успеет заметить

а потом и вообще сервера с коммерческим фм мы просто отключили

и никто и не заметил

а сейчас что стало с ФМ в ноке?

любая системма в отделе эксплуатации котороя уменьшает время граблей должна быть кем то обслужена.

любое обслуживание это время

mali_: волынка про фм в ноке тянется уже пару лет, мы тут какшками периодически перекидываемся, за пару месяцев ничего не изменилось

freeseacher: либо время пойдет на разгребание граблей, либо на обслуживание системы по разгребанию граблей

я за второе

это разные навыки

потому что настраивается оно один раз

но и те и другие по раздельности не очень фатальные

проблема в том что весь канал тут знает как работает Fast reroute но не может сделать сортировку списка

это не проблема

у меня у 1ного нету кнопки добавить оборудование в MO на линукновом хроме?))

ты перелогинился?

оп) перелогинился, теперь появилась, спасибо.

отож

никто не знает че может быть http://pastebin.com/Xpm0fWqs

t2me, плохо собрался clips

это какая то новая для меня по крайней мере ошибка

позырь чего с ним может быть не так

ну и пересобери

_4ePTeHok: ты тут?

так он же вроде теперь отседа

root@noc:/usr/local/noc # cat /usr/local/noc/etc/requirements/noc.txt | grep clips

noc-pkg-pyclips==1.0.7

а володин бывает тут вообще?

да

а ты тоже какашек набрал чтобы покидаться?

dvolodin же

zi_rus:

_4ePTeHok: если я запастебиню модельку для инвентори, закоммитишь ее?

я бы через багтрекер сделал по-правильному, но у меня пароля от аккаунта с собой сейчас нет

а из дома нет доступа к модельке

Actual DISK WRITE: 162.28 M/s ))) сервачок базу разворачиват

https://instagram.com/p/1Nw6SnTQ1D/

dl360 gen9 приехали))))

базу с ноком?

я не какашками кидаться

у меня нок теперь не работает после апдейта

чинить надо

у меня тоже)

я не хочу быть юзером который по словам Дмитрия должен страдать

а придется

:)

а говоришь не с какашками

вы обновились на девелоп

значит согласились что в любой момент все может навернуться

я вот почитал боль одного и не стал обновляться

не хотите страдать - не надо обновляться или иметь тестовую инсталляцию

это же так просто

почитайте ITIL

так в от это у меня в тестовой инсталяции, просто хочется сделат нок луче и стабильней

ну и получить новые плюшки

я уверен что ошибка проста\

но я не программер

сейчас нок не может к монге подцепиться

сама монга работает

t2me: мы все этого хотим, но тех кто ноет здесь предостаточно, еще два голоса нам точно не помогут, а вот если бы фиксы присылали

zi_rus, не только нок, много всего будет)

zi_rus: есть только один неприятный момент - в ноке нет стейбла

а фиксить не свои баги мало кому интересно, естессно

а ещё неинтересно фиксить тяжёлые баги, из-за которых приходится, например, глубоко закапываться в какой-нить extjs

в ноке есть релиз

фиксить для начала можно свои баги

уже будет хорошо

потому что "свои" - понятие относительное

и тяжесть бага тоже вопрос относительный

тяжесть - в плане трудоёмкости фикса

для меня и примитивный extjs баг - тяжелый, я жаваскрипт вообще не понимаю, наркомания какая-то

что значит трудоемкость

может там запятой не хватает

а может 10 строк надо написать

это всё лёгкое

а вот переделывать модель из-за изменившихся отношений - это тяжело

у кого сейчас проблемы с mongoengine?

Dubridze

так - у Dmitry1

у меня

у Dubridze может быть ещё с чем-то связанное, но монга

upgrade-user: : Unable to connect to mongodb database. Check noc.conf settings

freeseacher ещё чего-то поймал

dvolodin: http://pastebin.com/DjVEcikh

evyscr: вот взял и всех сдал. я бы с тобой в разведку не пошел :)

zi_rus: таму що я быв девелопер!

Dubridze: у тебя монго в replica set'е или один сервер?

один сервер

mongoengine/pymongo какой версии

http://pastebin.com/GktLcRcd

подскажите. на джуне mx80 есть команда show ethernet-switching table (для просмотра вланов) и есть скрипт ./sa/profiles/Juniper/JUNOS/get_vlans.py . Стоит ли для мх серии отдельный профиль заводить?

на мх нет команды show vlan brief из скрипта

bee26: а чем профиль Juniper.JUNOS не устраивает?

всем устраивает. только вланы не собирает

bee26: делается так:

try:

ок. понял

c = self.cli('show vlan brief')

а дальше?

except self.CLISyntaxError:

c = self.cli('show ethernet-switching table')

а ещё один try не нужен?

ща запилю. результат потом

ну можно и езе один

Dubridze: ./bin/pip freeze | grep pymongo

pymongo==2.8

./bin/pip freeze | grep pymongo /opt/noc/lib/python2.7/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:79: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning. InsecurePlatformWarning

dvolodin: а что по моему вопросу скажешь?

Dubridze: система какая?

TSergey: ты тут?

debian

Linux noc 3.2.0-4-amd64 #1 SMP Debian 3.2.65-1+deb7u2 x86_64 GNU/Linux

Dubridze:

попробуй так

./bin/pip uninstall pymongo

./noc upgrade

dvolodin: что это за noc upgrade?

это типа алиас для scripts/upgrade?

помогло!

спасибо!!!!!!

dvolodin: Дим, а по моему вопросу ? http://pastebin.com/DjVEcikh

Dmitry1, это один и тот же вопрос

грабля в 0,9,0

оно начало делать валидацию по моделе

не по крайней мере это рабочая версия

так что мне делать?

либо даунгрейд либо патч

сносить pymongo иди ждать фикса ?

нет

mongoengine

пимонго не при чем

снес mongoengine и pymongo

результат тот же

эм...

а какого эффекты ты ожидал от удаления пары утилит для связи с бд ?

да я не знаю куда копать

так, итого для bson.errors -- лечится сносом и переустановкой pymongo

EXCEPTION: <class 'mongoengine.errors.FieldDoesNotExist'> The field 'is_builtin' does not exist on the document 'OIDAlias'

чем лечится ?

как в таблицу OIDAlias засунуть поле is_builtin ?

не надо совать

:-D

dvolodin: Дим, реально ли сделать миграцию от релиза к релизу ?

Например, я ставлю 0.8 и одним файлом обновляюсь до 0.9 ?

нафиг?

Как нафиг ?

если сильно хочется -- делай hg diff между релизами и накатывай его

Вот у меня сейчас в базе данных отсутсвует поле. Как мне узнать, на какой миграции и в какой из подсистем оно там добавлялось?

тупо чтобы был "слепок" баз данных на какой-то релиз, а потом уже плясать от него

А то у нас сейчас "слепок" наверное от 0.6 версии

Dmitry1, дело в другом.

по крайней мере первая миграция идет 2009 годом

миграции это дял постгреса

для монги миграций пок абыло не надо

но видимо теперь будет надо

неужели я один на эти грабли наступил?

меня никто не понял видимо

у нас есть зачаток этого

./noc fix

почему бы не сделать команду, которая разворачивает базу данных с уже нажными структурами и полями?

и кто это будет сопровождать и ловить баги?

какие баги ?

смотри пример - postgis

вся инсталляция одной командой - psql < postgis.sql

т.е. сделать файлик sql с базой, соответсвующей какому-то релизу

эээ. кумулятивные обновления. так понятнее ?

не нужно будет стопиццот файлов миграции

и сопровождать проще будет

у тебя в одной миграции добавляется поле, в другой переименовывается и т.п.

а так будет сразу конечный результат

единственное, что совместимость будет только в пределах одного релиза

а не так как сейчас, когда от 0.6 плавно ползем до 0.9

dvolodin: опять же выше говорилось. Если все коллекции - тупо куски базы данных. То не проще ли их действительно сразу в SQL файл засунуть?

а то у меня сервер скоро скажет "no free inodes"

не проще

это самый жопный способ обновления

dvolodin: почему не проще ? Сделать "слепок" на какой-то момент времени

бранчи рулят

надо просто один раз переделать

зачем переделывать то, что работает?

наверное за тем, что постоянно баги на этом ловим

вот у меня сейчас не обновляется

https://github.com/MongoEngine/mongoengine/commit/4cca9f17dfa4065d1ab673fa01083a87fbfcf593

вот этим коммитом нам все поломали

dvolodin: все равно ведь рано или поздно нужно будет переходить на ту же mongodb-3.0 и postgresql-9.4

и нужно будет перетаскивать ВСЕ данные на другой движок

dump/restore

на монгу я уже перешел

на 3.0 ?

правда через replica set, без дампа

да

пропатчил mongoengine, проверяйте

Checking virtualenv

Reverting local patches

patches/Django==1.4.15

patches/mongoengine==0.9.0

Patch patches/mongoengine==0.9.0 does not remove cleanly (refresh it or enforce with -f)

Traceback (most recent call last):

кстати, файлик patches/series

там еще старая монга

я думаю, нужно поднапрячься и перекинуть все в монгу

нет

наоборот

в постгрес все

ты хочешь вообще от postgresql отказаться ?

как по мне, так лучше в постгрес все

только сначала обновить его до 9.4

все за постгрес

но dvolodin нас всех провернет, и запилит на rocksdb

да, хочу совсем отказаться от постгреса

нам не нравится твоя хотелка

dvolodin: а почему ты не хочешь использовать преимущества версии 9.4 ?

это какие?

jsonb, materialized views

и что делать с этим счастьем?

jsonb - хранит документы, но в более компактном формате

materialized views работает быстрее, чем обычный view

и?

где мы используем view?

https://wiki.postgresql.org/wiki/What%27s_new_in_PostgreSQL_9.4

view можно для отчетиков делать

http://obartunov.livejournal.com/175235.html

postgresql с jsonb обогнал mongodb

Благодаря новому типу данных JSONB, пользователи более не обязаны выбирать между реляционными и нереляционными хранилищами данных: теперь можно одновременно пользоваться и тем, и другим. Для JSONB реализована поддержка быстрой выборки и простых поиск

Версия 9.4 также содержит ряд улучшений производительности, позволяющих пользователям получить ещё больше от каждого из своих PostgreSQL-серверов. Среди таких новинок:

Улучшения GIN-индексов — теперь они на 50% меньше и в 3 раза быстрее.

Материализованные представления могут обновляться без простоя, что полезно для быстрого получения более актуальных отчётов. Возможность быстрой загрузки данных в кэш СУБД после перезагрузки, предоставляемая расширением pg_prewarm.

ускоренная параллельная запись в журнал транзакций PostgreSQL.

Dmitry1: тут?

bee26: да

не пашет

try:

v = self.cli("show vlan brief")

except self.CLISyntaxError:

v = self.cli("show bridge domain brief")

в junos не было паттерна на ошибки

нк так значит надо придумать

вываливается в трейсбек

если нет паттерна, то и ошибки не будет

я добавил паттерн

Какой добрый человек постоянно vagrant для FreeBSD делает ? Не работает оно !!!!!!

Сколько раз уже повторять можно

pattern_syntax_error = r"syntax error" - скрипт падает в трейс

сломали что-то ? падает при апдейте..

Checking mongodb database connection

Traceback (most recent call last):

upgrade-user: 36: Unable to connect to mongodb database. Check noc.conf settings

Terminating

и все =\

dvolodin: вот тебе еще один плюс в сторону postgresql

ufir:

./bin/pip uninstall pymongo

./noc upgrade

bee26: посмотри, что пишет. возможно ошибка синтаксиса

dvolodin: образы для FreeBSD не рабочие

только вручную все ставить нужно

смотрим внимательно :

# cat /usr/ports/graphics/gdal/Makefile

OPTIONS_DEFINE= ARMADILLO CFITSIO CURL ECW EXPAT FREEXL GEOS GTA HDF5 ICONV \

JASPER KML LIBXML2 MYSQL NETCDF ODBC OPENJPEG PCRE PGSQL PROJ \

SQLITE WEBP XERCES

OPTIONS_DEFAULT=JASPER

Капитан Очевидность нам говорит, что gdal по умолчанию собирается без поддержки GEOS

исправь на рабочее

рабочее - только из портов вручную ставить

или поддерживать свой репозиторий для пакаджей

то есть ставиться будет три часа?

типа того

и как минимум, коллекция портов на компе должна быть

хотя, если не использовать модуль GIS, то все работает

dvolodin: че мне с quilt делать?

atch patches/mongoengine==0.9.0 does not remove cleanly (refresh it or enforce with -f)

Traceback (most recent call last):

File "./scripts/apply-patches", line 68, in <module>

revert_patches()

File "./scripts/apply-patches", line 38, in revert_patches

subprocess.check_call(["quilt", "pop", "-a"])

File "/usr/local/lib/python2.7/subprocess.py", line 511, in check_call

raise CalledProcessError(retcode, cmd)

subprocess.CalledProcessError: Command '['quilt', 'pop', '-a']' returned non-zero exit status 1

upgrade: 235: Failed to revert local patches

руками сделай

quilt pop -a

или quilt pop -a -f

выкинуть бсд

только линукс, только хардкор

я смотрю сейчас фрю 10.1

и

очень косо инсталляция проходит

я вроде ставил

ничего странного

или я 10,0 ставил

не помню

не просто очень косо, а через такие грабли !

Dmitry1: переходи на генту/калькулятор, там тоже компилять можно

У меня FreeBSD выбор из-за netgraph и geom

в линуксах пока такого нету

зачем ноку netgraph и geom?

на 9-ку нормально ставился

я на машине с noc поднимаю кучу туннелей для доступа к оборудованию - netgraph

всякие извраты с винтами (зеркало, удаленное монтирование и т.п.) - geom

линуксу до этого еще очень далеко

зачем?

как бы помягче сказать

у меня везде freebsd стоит. только ради noc ставить линукс не вижу смысла

зеркало и все прочее делает storage или гипервизор

а какая система в виртуалке - пофиг

хм. у меня железо до виртуалок еще не сильно доросло

ну не сейчас, так через пару лет дорастет

не на всех компах есть SVM, VT-x и DMAR

а без аппаратной виртуализации грустно

dvolodin: ты виртуалки без DMAR пробовал запускать?

зачем?

народ никто не узнал как это пофиксить http://pastebin.com/Cjk3SVM8