nocproject.org

dvolodin: привет

cli можно запускать в shell?

да

чем shell отличается от всего остального?

я-то и вовсе не знаю чем :)

названием процесса

self.cli("create vlan %s tag %d" % (name, vlan_id))

self в данном случае это МО?

ух-ты чего я нашел

"./noc link с ключами --show, --add, --remove"

dvolodin, отчёт в ipam для ответа на вопрос "какие у нас есть свободные префиксы по всем vrf сразу" - это из разряда "хочется странного"?

lexus-omsk: overview report не спасает?

http://kb.nocproject.org/pages/viewpage.action?pageId=13926411

кто не застал

overview не совсем удобно как раз из-за того, что у меня как бы один vrf, но прописан в виде x.x.x.x:y на разных железяках

нок его считает за разные, и приходится по ним всем искать

например, захотел клиент белую сеть определённого размера - и вперёд, на поиски..

ну погоди

если x.x.x.x:y разные, то как NOC'у знать, что он один?

разве только в группу с уникальными адресами пихнуть

в смысле x.x.x.x разные, вторая часть одинаковая

с группой пробовал, там другое неудобство:

у меня некоорые префиксы созданы для удобной группировки: например /24 на юриков там-то, а в ней уже /30 по конкретным клиентам

тогда на вот эти /24, которые чисто для удобства группировки ругается, что пересечение в другим vrf

т.е. в теории понятно, что это всё последствия кривого дизайна и миграции со старой сети, но всё равно неудобно

ну так разбирать, наверное, надо

_4ePTeHok: прогрузил адреса?

dvolodin, неа, твой рецепт у меня есть

видимо из репо

cat lib/python2.7/site-packages/sitecustomize.py

import sys

sys.setdefaultencoding("utf-8")

но не работает

ага

>>> import sys

>>> sys.setdefaultencoding("utf-8")

Traceback (most recent call last):

File "<console>", line 1, in <module>

AttributeError: 'module' object has no attribute 'setdefaultencoding'

это из нок шелла

все нормально

хм

getdefaultencoding метод вижу

а сета - нет

он сносится принудительно

ну ошибка при засасывании адреса осталась

lib/python2.7/site.py

посмотри

там sitecustomize у тебя заливается?

def execsitecustomize():

"""Run custom site specific code, if available."""

try:

import sitecustomize

except ImportError:

pass

в main() есть execsitecustomize()

т е вроде да

ага, вижу где оно выносится потом

if hasattr(sys, "setdefaultencoding"):

del sys.setdefaultencoding

собственно из шелла

>>> sys.getdefaultencoding()

'utf-8'

а попробуй в sitecustomize воткнуть print "BLABLABLA"

т е отработало

но не помогает при парсинге

File "/usr/local/noc/gis/parsers/address/base.py", line 29, in info

print "[%s] %s" % (self.name, msg)

UnicodeEncodeError: 'ascii' codec can't encode characters in position 16-25: ordinal not in range(128)

а

заметь, тут unicodeencodeerror, а не decode

а если ты сделаешь print "РУССКИЙ ТЕКСТ"

напечатает?

у меня локали русской там нету

в консоли не смогу

в других местах кода это вроде не мешало никогда

scrnmap="koi8-r2cp866

=)

а

может из-за этого

ну а консоль то причем

в ноке у меня русские буковки работают

если бд выводить в консоль - то да, лажа

но в веб - ок

при том, что при печати юникода оно смотрит, во что его отдает

LC_ALL=en_US.UTF-8

у меня так

ех, чо переводить на утф локаль систему)

зачем

просто процессу, из которого импорт запускаешь

да вы рехнулись

#for csh

cp /etc/csh.cshrc /etc/csh.cshrc.orig

echo 'setenv LANG ru_RU.UTF-8

setenv LC_CTYPE ru_RU.UTF-8

setenv LC_COLLATE POSIX

setenv LC_ALL ru_RU.UTF-8' > /etc/csh.cshrc

типа того?

у меня freebsd

b?

и?

сейчас проверю.

обновись только

я там багу вчера дурную поправил

zi_rus: где рехнулись?

с кодировками баловаться системными чтобы нок заработал

freeseacher, плюсадиную твой пулл реквест про admin domain в FM

ох блин

теперь новенькое

dvolodin, http://dpaste.com/1775513/

номер дома с буквой Г?)

в питере таких подъебов имхо овердохера)

расскажите, как выдрать из MO "HW version"? атрибуты хранятся как-то по другому, не как поля?

Г3 у тебя

где последнее -- не буква 3, а тройка

так?

TSergey: sa_managedobjectattribute

mo.get_attr("HW version", default="") тоже дернет?

да

dvolodin, вроде да

TSergey, o.managedobjectattribute_set.all()

вместо alll = можно и get и filter

m.get_attr() --- то что нужно

всем спасибо

_4ePTeHok: в fias.py -- есть такое

rx_letter = re.compile("^(\d*)([^\d]*)$")

rx_letter2 = re.compile("^(\d*)([^\d]*)(/\d+)?([^\d]*)$")

тебе нужно бы заменить ([^\d]*) на что-то вроде такого

([^\d]\S*)

в трех местах

Питер?

да..

парадные)

а set_attr тоже есть?

dvolodin ([^\d+]\S*) может? на двухцифренное не сработает же

а, хотя там вначале же

туплю

у вас там свои заморочки с литерами были, насколько я помню

я их еще не вкуривал как следует

прокатило?

,

на другой улице легло

File "/usr/local/noc/gis/parsers/address/fias.py", line 305, in sync_buildings

num, num2, num_letter = split_num2(r.housenum)

File "/usr/local/noc/gis/parsers/address/fias.py", line 258, in split_num2

raise ValueError("Invalid number: '%s'" % s)

ValueError: Invalid number: '3'

rx_letter = re.compile("^(\d*)([^\d]\S*)$")

rx_letter2 = re.compile("^(\d*)([^\d]\S*)(/\d+)?([^\d]\S*)$")

ты полный трейс давай

что там за номер дома был?

http://dpaste.com/1775546/

забавная запись

./log/noc-discovery.log.1:2014-04-09 08:44:10,382 [inv.discovery: lldp_discovery(fsw-2-stroitelei-8-35-sar)] Linking error: Cannot link with self

dvolodin, это со вторым регексом проблема?

Всем привет

подскажите, а нок смогет по mac-address-table на коммутаторах построить в Inventory - Network Map зависимости?

_4ePTeHok: да, на дробном доме

SeSte, нет

поиску по макам нельзя доверять

для этого есть куча других методов поиска линков

SeSte: можеш попробовать http://forum.nocproject.org/index.php?topic=301.0 но у меня только один линк помакам нашло

пичально

ок щас гляну

по макам нет возможности построить достоверные линки

чисто математически

Kostua, а причем тут сбор маков в макдб и линки?

dvolodin, как быть с дробным номером?)

1 3/4 ?

или так

давай конкретно номер?

Дим, я выложил на пасту трейс полный

там не видно какой номер

6 - housenum : u'3 '

http://dpaste.com/1775546/ вот же полный

_4ePTeHok: эээ, я включал MAC discovery и думал что это поможет в обнаружении линков по макам

дом 3 строение А

14 - strucnum : u'\u0410 '

а через что тогда в ноке лучше собрать обнаружения линков?

куча методов

lldp\stp\bfd\rep\udld\cdp\oam

=) ну это понятно что куча =) но вот один из них уже завернули =(

помучаю stp ...

dvolodin, да, строения часто встречаются

с регулярками косяк

нельзя так было делать

rx_letter2 = re.compile("^(\d*)([^/]*)(/\d+)?(\S*)$")

вот так попробуй

dvolodin, http://dpaste.com/1775597/

-)

это видимо первый регекс надо править

вернул в исходник его, пока едет

господи, какой у них там в базе пиздец)

dvolodin, http://dpaste.com/1775610/ вот такое еще есть

hi

i have an problem with noc and juniper srx100

can somebody help me?

whitch problem?

в базе у них полный писец

я даже не знаю, как они налоги собирают

dvolodin, глянь там, дробный номер дома

по их версии улица крылатская в Строгино находится

первый регекс я в исходное состояние сбросил

rx_letter = re.compile("^(\d*)([^\d]*\S*)$")

rx_letter2 = re.compile("^(\d*)([^/]*)(/\d+)?(\S*)$")

вот так там должно быть

1 - buildnum : u'5-6 '

то ли 5, то ли 6

ага

то-ли мальчик, то-ли девочка

это может два дома

причем в номере корпуса

в едином здании быть

стоп

наеборот - два корпуса

в едином здании

house -- дом

build - корпус

object_name: "5" script: "Juniper.JUNOS.get_configure" 2014-04-10 12:57:46,629 Running socket factory (SelectPoller) 2014-04-10 12:57:46,630 Running script thread 2014-04-10 12:57:46,630 Creating transaction id=143807708 method=None callback=N one 2014-04-10 12:57:46,630 Error: Invalid script 'Juniper.JUNOS.get_configure' 2014-04-10 12:57:47,631

struct - строение

access_profile { profile: "Juniper.JUNOS" scheme: SSH address: "10.33.0.2" port: 22 user: "" password: "xxxx" super_password: "xxx" path: "juniper_test_sv" snmp_ro: "public" attrs { key: "platform" value: "srx100b" } attrs { key: "vendor" value: "Juniper" } attrs { key: "version" value: "12.1X44-D20.3" } } object_name: "5" script: "Juniper.JUNOS.get_configure"

this is profile

get_config

not get_configure

mihaipanait, noc doesnt script get_configure

2014-04-10 13:00:00,718 [SSH: 10.33.0.2] event(SSH_SHELL) 2014-04-10 13:00:00,718 [SSH: 10.33.0.2] ==> SSH_SHELL 2014-04-10 13:00:00,718 [SSH: 10.33.0.2] Requesting shell 2014-04-10 13:00:00,718 [SSH: 10.33.0.2] Sending message type MSG_CHANNEL_REQUEST (98) 2014-04-10 13:00:00,725 [SSH: 10.33.0.2] Receiving message type MSG_CHANNEL_WINDOW_ADJUST (93) 2014-04-10 13:00:00,725 [SSH: 10.33.0.2] Receiving message type MSG_CHA

2014-04-10 13:00:00,725 [SSH: 10.33.0.2] ==> START 2014-04-10 13:00:00,725 [SSH: 10.33.0.2] set_patterns([('([Uu]sername|[Ll]ogin):', 'USERNAME'), ('[Pp]assword:', 'PASSWORD'), ('^(({master(?::\\d+)}\\n)?\\S+>)|(({master(?::\\d+)})?\\[edit.*?\\]\\n\\S+#)|(\\[Type \\^D at a new line to end input\\])', 'PROMPT'), ('(^---\\(more.*?\\)---)', 'PAGER')]) 2014-04-10 13:00:00,740 [SSH: 10.33.0.2] on_read: '--- JUNOS 12.1X44-D20.

mihaipanait: use pastebin

2014-04-10 13:00:01,094 [SSH: 10.33.0.2] on_read: 'H\x1b[25;65H\x1bH\x1b[25;73H\x1bH\r\r' 2014-04-10 13:00:02,095 Tick 2014-04-10 13:00:02,096 Resetting wait ticks 2014-04-10 13:00:02,299 [SSH: 10.33.0.2] on_read: 'root@% ' 2014-04-10 13:00:03,301 Tick 2014-04-10 13:00:03,301 Resetting wait ticks 2014-04-10 13:00:04,302 Tick

mihaipanait, what do you need to get from juniper?

configuration files

root@% -- here is problem

set up user with JUNOS shell, not with freebsd one

hmm

_4ePTeHok: чего делать с этой порнухой?

можешь еще разок запустить импорт, оно мимо этого дома проскочит

ok

i try thx

dvolodin: it works

thsnk you

thank you

так чего с тире-то делать?

2014-04-10 14:26:08,166 [inv.discovery: mac_discovery(asw-367-sar)] Error linking asw-367-sar: GigabitEthernet0/0/15 with d-link-lpu-9-10-367-sar: System: Cannot connect physical interface to SVI

это норма?

dvolodin, пока едет

2014-04-10 13:53:26,267 [inv.discovery: mac_discovery(asw-635-sar)] Error linking asw-635-sar: GigabitEthernet0/0/20 with d-link-lpu-stom2-635-sar: System: Cannot connect physical interface to SVI

у меня один такой попался

счас смотрю линки на асв -

это хуавей . всё нормально. обычный эзернет

[FIAS] Creating street Санкт-Петербург, город Пушкин, садоводство "ЛШУАПК", Вишнёвая улица ул

гг)

ну нормально

ой наловимся лулзов с етими базами

_4ePTeHok: я их в РТ и так ловлю

ну тебе не привыкать)

мне - нет

я же говорю -- легкой жизни не будет

и не зря ужастики пишу

=)

переживем

там из недоработок еще -- пока нет импорта нормативных документов

NORMDOC которые

а это, как апликашку включить в веб-морде адресную

она там есть

в gis > setup

залилось у тебя?

льет еще

а, забыл перелогиниться

блин, вот они удоды

форматы разные местами вообще

доброго всем

_4ePTeHok: ;)

http://dpaste.com/1775655/

смотри

./noc dump-addr --country=ru

и будет тебе выгрузка

inoyat_kayumov: некритично

dvolodin, еще льет)

я в процессе смотрю

так оно тебе в процессе выльет

dvolodin, Дим, а почему в зданиях названия - то Российская Федерация, г Санкт-Петербург, г Колпино, ул Северная д. 12

то вот так - Российская Федерация | Санкт-Петербург, г | Зеленогорск, г

через |

это нормально

:(

черточки и запятые - мои

ох е

http://dpaste.com/1775657/ - оно же? это уже crashinfo. ну и полные логи вот такого http://dpaste.com/1775658/

57к домов уже всосало

ты бы проверил правильность

в морде дома видишь?

да

Российская Федерация, г Санкт-Петербург, муниципальный округ Автово, ул Червонного Казачества д. 38

=)

ну сносно еще

это оно по ОКАТО выправляет косую иерархию ФИАСа

Российская Федерация | Санкт-Петербург, г | муниципальный округ Волковское

вот ето сосвсем не дом)

я скопировал файлики в local/cahse/fias, а что дальше?

=)

ага

еще один сильный духом

конфиг настроил?

сделал fias.conf

там прописал include.0 = 52

если я правильно понял про коды регионов

не нашел где написано

да

"Сведения о составе информации ФИАС"

стр 84

да по номерным знакам гаи

проще всего

да, они совпадают

не все правда

нижний, да, 52

после-введенные - типа 199\198 нет таких в базе

со знаками акуратнее

99 - Иные территории, включая город и космодром Байконур

:)

не, на номера вводили

для питера точно

дополнительный код, а то машин понакупали

первые 2 цифры твоего ИНН, короче ;)

=) не надо про ету страшную бумажку

для москвы вообще дофига

=)

77, 99, 177, 199, 777

я помню как ее получал

вы отвлеклись

что делать то

вообще налоговая - филиал ада на земле

отмель кала

мультиканальная

./noc update-addr

zi_rus: ты всю область грузить будешь?

он тебе все скажет

да

у меня по всей области

гг. готовься

а еще федеральный город Саров

даже не знаю попадет ли он

или отдельно добавлять

должен попасть если в том же коде

ЗАТО это

а не федеральный город

ну, я округлил

заморочки там короче

тогда накати апдейты

вознеси молитву

и ./noc update-addr

я уже запустил

и №бись оно конем)

с утра обновился

еще обновись

=))

если у тебя дома есть вида 1А666

это портал в ад

кажется есть

а может мне повезет

первая парадная

"вымой руки", "обнови NOC"

_4ePTeHok: вот в этом тоже проблема, я реально нифига не понимаю ваших приколов

=)

а теперь подумай, сколько у нас регионов

это не мы

это кадастровая, градостроительная и прочие гадливые слова

как минимум на один больше

нам ведь зулусы из улусов мозг есть будут, что у них дома по узелкам различаются

на два

мне тут кстати китаец написал

откуда то на емыло

про ip discovery)

ага

dvolodin, не наебешь, я сказал как минимум

с учетом того, что baidu меня очень утомило

и я нафиг его выпилил на сайте

только вот не помню уже -- только байду, или весь китай вообще :)

у кого длинков много? это какой профиль надо поставить в ноке для железки? http://dpaste.com/1775682/

гг)

кто возьмет дилинков пачку, тот получит водокачку

:)

со шлангом в жопу да

а как быть тому - кому всучили насильно? :)

inoyat_kayumov, проставляться Dmitry1

ви таки имеете что-то против колоногидромассажа?

на создание нового профиля? да с удовольствием. у меня тут еще чудо-гробы имени алситека есть...

чудо-грибы?

не без того

75к домов уже..

UnicodeEncodeError: 'ascii' codec can't encode characters in position 16-25: ordinal not in range(128)

это уже чинили?

ДА!

локаль поставь

UTF8

и искратели еще :( - http://dpaste.com/1775684/

dvolodin, куда поставить?

в shell'е

echo $LC_ALL что говорит?

root@noc:/opt/noc # echo $LC_ALL

LC_ALL: Undefined variable.

ну пропиши локаль

хоть ru_RU.UTF8

хоть en_US.UTF8

ммм

_4ePTeHok, как сделать то что он просит?

Добрый день!

У меня несколько вопросов по NOC, буквально пару дней его ковыряю.

1. Как расширять WEB-интерфейс? Нужны специфичные вещи, делаю пока через скрипты в sa/profiles/...

2. Как увеличить таймаут скриптов? Запускаю через Service Activation › Managed Objects › ... › Scripts. TIMEOUT и пр. не помагает.

solo1h, http://kb.nocproject.org/pages/viewpage.action?pageId=2687537

это по первому

zi_rus, пасибо большое, очень тяжело искать на вашей Wiki

она не моя

2014-04-10 15:33:40,727 [inv.discovery: mac_discovery(asw-27-sar)] Error linking asw-27-sar: GigabitEthernet0/0/12 with d-link-labsudekspert-221-sar: System: Cannot connect physical interface to SVI

2014-04-10 15:33:40,829 [inv.discovery: mac_discovery(asw-27-sar)] Error linking asw-27-sar: GigabitEthernet0/0/13 with d-link-lpu-7-27-sar: System: Cannot connect physical interface to SVI

2014-04-10 15:33:41,693 [inv.discovery: mac_discovery(asw-27-sar)] Error linking asw-27-sar: GigabitEthernet0/0/8 with d-link-soczaschita-27-sar: System: Cannot connect physical interface to SVI

ыыыы

e_zombie, и чего же ты хочешь? все логично

zi_rus

cat /home/noc/.cshrc |grep setenv

setenv LANG en_US.UTF-8

setenv LC_CTYPE en_US.UTF-8

setenv LC_COLLATE POSIX

setenv LC_ALL en_US.UTF-8

zi_rus: да ничего. просто с двух сторон обычный эзер что там что там.

_4ePTeHok, это я сделал, да оно прошло дальше и снова трейс

zi_rus, и запускай команду от su noc

на чем?

ну разве что может в хуавее в асв оптическая сфп

ну так давай трейс

_4ePTeHok, http://pastebin.com/59NtjM1J

dvolodin, туда же

dvolodin: я не знаю как сделать дрейс процесса линковки

ыыы

zi_rus,

да у тебя рекурсия

серьезно? :) а я и не заметил

кто бы мог подумать

:)

и таки что?

бесконечная

сразу после колхозной

совхоз ильича парсер неосилил?)

сейчас проверю

область, вроде, небольшая

фигасе

ты видел сколько он та записей вывел

у меня при первом импорте - 5х1000

так то питер

а у него 74х1000

спокуха

копыта он отбросил почти сразу

86к уже

блин мне страшно.

сам пожадничал

во блин

я даже такиз названий то незнал

[FIAS] Creating street сдт Трансмаш Яблочная ул

[FIAS] Creating street сдт Гипроникель Новая у

на самом деле нужно просто распарсить и положить готовые нарезки по муниципальным округам

что такое сдт ?

почем я знаю)

типа дачного кооператива поди

село дачного типа

селение*

содомия какая

ну правь тогда ru.py

dvolodin, таки как?

воспроизвелось

в ОКАТО колечко

на Выксе

таки жопа мироздания

а что делать

разбираюсь

96к. йопт.

вроде понял причину

Creating street Марьино, садоводство "Красные Зори", Садовая ул

так а эти данные будут в монге лежать?

да

а то я под /opt не выделял раздел, он в корне лежит

а там всего 23G свободно

там не так много

Добрый день. Поставил Nocproject с ветки default. Сам nocproject слушает на 127.0.0.1:8000. Для доступа снаружи поставил апач-прокси. Сам nocproject открывается, но при попытке открыть Assigned Addresses пытается стучаться на http://127.0.0.1:8000/ip/ipam/1/4/0.0.0.0/0/

, безрезультатно, само собой. Подскажите, пожалуйста, куда копать?

vlitvin, посмотри по поводу установки в документацию

на сайте

неожиданный ход :)

там есть описание настройки апача или нджинкса

Спс. ProxyPassReverse спас. Извините за беспокойство :3

vlitvin, вообще говоря там же в документации есть сценарий упрощенной установки одной командой

когда ж оно нахрется

уже 105к)

_4ePTeHok, в прошлый раз когда я ставил с инструкции под дебиан там вообще какой-то страшный головняк получился

а когда ручками - оно как-то уже начинаешь понимать из чего ноги растут и куда в случае чего смотреть

ничего не мешает по тому же сценарию из файла пошагово ставить

там есть только нюанс

для некоторых ос там только в девелоп ветке отработает

почитал http://cdn.nocproject.org/bs/Debian-7.0.txt, в следущий раз с него, наверное, и сделаю

zi_rus: костыль наваял, проверяю

dvolodin, как из модели достать адрес дома?))

в print i.building.data нету)

либо .primary_address

либо по адресам смотри

москва вроде построилась по новому алгоритму

не издевайся так

я 3й час жду

когда оно дольется)

а тут переделывать

область пролажала

буду разбираться

ты возьми пару районов и гоняй на них

House number parsing improvements for St. Petersbourgh

ну ты силен :)

чота я пожалуй ещё недельку подожду, пока вы все баги обкатаете основные :)

хотя адресную базу я уже года два жду

гг

ссыкун)

давай с нами

по хардкору

;)

Дима

скажи где съебывать это все с монги)

я устал ждать)

в проверь инмексы на noc.divisions

[FIAS] Creating street сдт Коллективный Сад N3 Сиреневая аллея

тебя смущает коллективная сиреневая аллея?

оно все льет...

знал бы ты их сколько там таких)

ну а чего ему не лить-то

зато будет чего подключать ;)

вот еще, понравилось

садоводство "Волхонское", Изящная улица ул

вот вам

dvolodin, я понял чо такое СДТ

это Садово Дачное Товарищество

я еще рабочие поселки нашел

вахтовки

там нефтяных вышек нетк?)

москву и облать починили

проверяю нижний

бесконечную рекурсию вроде поборол

[FIAS] Creating рп Сява

> db.noc.buildings.count()

13989

грузится нижний

> db.noc.buildings.count()

50495

[FIAS] Creating street Борисово (Линдовский с/с) д

да, с аккуратностью у них все хорошо

:)

zi_rus: закоммитил фикс от твоей печали

IAS] Creating street Подстанция Радуга ул

хоть конкурс устаивай, на самое идиотское название

_4ePTeHok: > db.noc.buildings.createIndex({"data.FIAS_HOUSEGUID": 1})

такой фокус капитально разгоняет импорт

в Томске есть улица Радиостанция №16

а при импорте домам присваиваются же какие-то уникальные id?

или дома изначально обладают каким-то уникальным идентификатором?

Есть Нижний

> db.noc.buildings.count()

494352

примерно пол-миллиона домов

заливалось меньше двух часов

Unbeerab1e: если импортировать из ФИАС, то сохраняется фиасовский GUID

по нему всегда склеить можно