nocproject.org

Рендеринг своих карт из данных OSM победил окончательно

теперь картинка практически полностью совпадает с сайтом OSM

и еще гугловый спутниковый слой пришлепнул

привет

все можно тестовую обновлять ?

как пользовать ся то ?

напишу сегодня гайд небольшой

теперь надо векторные слои с данными понаделать

постгис сам при пост апдейте поставится ?

а нет вижу

если он правильно поставлен в системе, то накатится на базу автоматом

если не накатился, то ручками по инструкции

Кто профиль Zyxel.ZyNOS админит? Есть 1 бага и 1 совет...

чего там?

get_mac_address_table -не поддерживает параметр MAC

тоже в ZyNOS_EE - постараюсь сегодня исправить и закомитить...

Совет как get_switchport через SNMP написать...

dvolodin, а у меня что-то не получилось вчера до конца обновиться, можно ли по этому поводу на что-то рассчитывать?

У кого DLink можете протестить get_switchport http://pastie.org/3164358

gnu-linux, а сам файлик можешь выложить?

dvolodin, а у меня что-то не получилось вчера до конца обновиться, можно ли по этому поводу на что-то рассчитывать?

что именно не получилось?

su - postgres

psql noc

....

dvolodin, это я сделал, потом стала вылезать http://pastebin.com/vLY8cjxg , потом сделал как misak подсказал, что ему помогло, но у меня ничего не изменилось и все еще та же ошибка

<misak> noc=# GRANT ALL ON SCHEMA PUBLIC TO noc;

<misak> GRANT

<misak> noc=# grant all on geometry_columns to noc;

<misak> GRANT

<misak> noc=# grant all on spatial_ref_sys to noc;

не

ALTER USER noc SUPERUSER;

делай все

и потом отбирай права

не хватает прав именно на установку C - расширений

если честно, я нисчего не понял что ты сейчас сказал

su - postgres

psql

ALTER USER noc SUPERUSER;

и ставь дальше

dvolodin, root@noc /opt/noc# su - pgsql

$ psql

psql: FATAL: database "pgsql" does not exist

$

psql template0

или psql noc

$ psql noc

psql (9.1.2)

Type "help" for help.

noc=# ALTER USER noc SUPERUSER;

ALTER ROLE

post-update тоже самое выдает

что именно?

http://www.osqa.net/

dvolodin http://pastebin.com/GQREWJfq

нашел вот такую штуку

пригодится нам?

бага

лаконично

пофиксил

или у меня руки не из того места или после этого фикса стала вылазить та же ошибка что и в прошлый раз, а фикс через \i <ПУТЬ>/postgis.sql не работает

тебе надо \i <ПУТЬ>/spatial_ref_sys.sql

ок, пробую

dvolodin, File not found: /usr/local/share/postgresql/contrib/postgis-1.5/postgis.sql

а он там есть?

нет

он в /usr/local/share/postgis/contrib/postgis-1.5/postgis.sql

а pg_config --sharedir куда показывает?

root@noc /home/iz# pg_config --sharedir

/usr/local/share/postgresql

мда

и какой чудвин его туда положил?

короче, накатывай руками в базу postgis.sql, postgis_comments.sql и spatial_ref_sys.sql

какая система?

freebsd 8.1

из портов?

да

python

import os

os.uname() что говорит?

>>> os.uname()

('FreeBSD', 'noc.kis.ru', '8.2-RELEASE', 'FreeBSD 8.2-RELEASE #0: Thu Feb 17 02:41:51 UTC 2011 root@mason.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC', 'amd64')

ой, у меня 8,2

но думаю, это не приципиально

неважно

добрый день

zi_nnov там файлик и есть http://pastie.org/pastes/3164358/download только переименовать надо в get_switchport.py, скопировать в sa/profile/DLink/DxS/ и перезагрузить NOC...

ну а где интерфейс этого ГИС-а ? :)

у меня ни одного намека на ГИС

gnu-linux http://pastebin.com/7N99hEZ7

попытался выполнить на тестовой железке

zi_nnov: закоммитил фикс для FreeBSD

ок, пробую

http://code.nocproject.org/browse/noc/gis/migrations/0001_check_postgis.py?hb=true

если что, вот оно

пост-апдейт прошел, проверяю

угу

там единственная засада - для установки postgis в базу нужны права суперюзера

с другой стороны -- в доку допишу, чтобы при инсталляции его ставили

GIS > map не работает

пустое окно

да

что проверять?

попробуй /gis/map

точнее /gis/map/

опаньки

?

кто может сделать компоненту для поля ввода в ExtJS

нужно поле ввода координат

карту вижу

ты пока самого интересного не увидишь

пододите, tutorial набросаю

это понятно

вопрос

ставь пока mapnik2 и питоновскую привязку

откуда данные идут?

с сервера нока? а как они туда попадают?

я в качестве ликбеза спрашиваю

попадают они из векторных данных

ты пока видишь только внешние источники

два гугловых и openstreet map

сейчас распишу, как можно вытащить данные из openstreetmap себе в базу и отрендерить для них тайлы

понятно. а так и будет всегда? а если у сервера нока нет выхода в интернет?

ты можешь взять свои векторные данные в любом формате

и работать со своими картами

к гуглу и OSM сейчас ходит твой браузер

может быть потом прилабаю локальное кеширование

так и подумал, все равно что открыл сайт osm

на самом деле это важно, так как надо сверять данные

zi_novv какая железяка? Данный скрипт только для профилей DLink.DxS ! Для остальных скопипасти с Eltex.MES или LInksys.SPS2xx...

gnu-linux, DGS-3627g

это DLink.CiscoCLI ... Для неё скопипасти с Eltex.MES или LInksys.SPS2xx всё кроме кли...

gnu-linux, нет, это нормальный длинк

этот профиль для него всегда работал

snmpwalk -v 2c -c <passwd> IP_address 1.3.6.1.2.1.31.1.1.1.1

root@noc /root# snmpwalk -v 2c -c public 172.18.244.56 1.3.6.1.2.1.31.1.1.1.1

IF-MIB::ifName.1 = STRING: 1/1

IF-MIB::ifName.2 = STRING: 1/2

IF-MIB::ifName.3 = STRING: 1/3

и т.д.

Что даёт? У меня для всех DLink.DxS (~5 моделей) интерфейс в формате 1/3

Вот!

Смотри в 24 строку твоего трейса "n = 'Black-ring1'"

В этом проблема.. Что такое этот интерфейс Black-ring1'? Он нужен или нет? Можно If вырезать..

Aggr-ats77-test:admin#sh ipif Black-ring1

Command: show ipif Black-ring1

IP Interface : Black-ring1

VLAN Name : Black-ring1

Interface Admin State : Enabled

DHCPv6 Client State : Disabled

IPv4 Address : 10.9.64.1/22 (Manual) Primary

Proxy ARP : Disabled (Local : Disabled)

IP Directed Broadcast : Disabled

IP MTU : 1500

он нужен

это работающий интерфейс

строго говоря, это SVI в терминах циско

это не физический порт

не знаю, нужен ли он для этого скрипта

gnu-linux, у длинка физические порты имеют снмп номера менее 1023

потом идут виртуальные

Я могу поставить проверку:

Это не мой скрипт.. Я уверен что ты для DGS-3627g должен использовать профиль DLink.DxS_Cisco_Cli

НО можешь решить данную проблему исключением Black-ring1:

if '/' in n:

iface = n.split('/')[1]

else:

iface = n

К стати Dmitry1 ищет тестера для профиля DLink.DxS_Cisco_Cli и в этом профиле get_switchport какой то есть...

gnu-linux, для DGS-3627g должен использоваться профиль DLink.DxS, не понимаю с чего ты взял обратное, у меня не один такой длинк,везде именно этот профиль и пользую

Уточни это в Dmitry1. У меня есть одна DGS-3610 с супервеланами и она именно в профиле DLink.DxS_Cisco_Cli

Если берёш скрипт с http://pastie.org/pastes/3164358/download то для обхода Black-ring1 надо поставить проверку if в 62 и 80 строке... чёто на подобие того что есть в 95 строке....

Кто пишет Zyxel.ZyNOS??

А скажите, граждане, как простому репортеру иссью реопеннуть?

коммент напиши что проблема осталась

реопенуть низя

тока девелоперу :(

Ability to resolve and reopen issues. This includes the ability to set a fix version.

а ресолв надо оставить тока девелоперу

Крайне удобно...

Ну да ладно

dvolodin! надо твоего менения

zi_nnov http://pastie.org/pastes/3164917/text здесь профиксил другие порты кроме 1/2

по идее reporter должен иметь возможность повторно открыть issue

http://kb.nocproject.org/pages/viewpage.action?pageId=2687475

нате

ага

сколько весит тайтл кеш ?

смотря сколько хранить будешь

там прикол в том, что хранится верхние 5 слоев с картой мира, а дальше - только выбранные области

посмотри на Area в gis/models.py

это то, что отрисовываться будет

ага гляну.

а можно скриншоты полученого результата ? :)

> db.noc.gis.tilecache.stats()

{

"ns" : "noc.noc.gis.tilecache",

"count" : 3620,

"size" : 13214580,

"avgObjSize" : 3650.4364640883978,

"storageSize" : 24862720,

"numExtents" : 6,

"nindexes" : 2,

"lastExtentSize" : 12320768,

"paddingFactor" : 1,

"flags" : 1,

"totalIndexSize" : 416976,

"indexSizes" : {

хм...

А в db.py точка с запятой для постгреса не нужна?

http://imageshack.us/photo/my-images/607/screenshot20120111at124.png/

кусок 2x2 км -- примерно 24 мега в кеше

evyscr: где именно?

непосредственно в строке запроса в check_postgis

нет, не нужна

точно, это я торможу - на предыдущий вывод смотрел

теперь надо затолкать карту в панельку UI

dvolodin: http://pastebin.com/RmGiPGsE

dvolodin, а чего на этой картинки есть отрисованое ноком ? :)

misak: hstore для postgresql еще надо

freeseacher: все :)

это из тайлового кеша

а девайсы то где :) ?

а координаты девайсов известны ? :)~

ну давай тестовые :)

просто хотчется понять чего я буду иметь за гемор обновления с 8,3 до 8,4 :)

ибо постгрес обновлять на тестинге надо :)

9-ку ставь

а кто тут элтекс юзает?

ну или на 9-ку :)

freeseacher, а чего геморного то?

сделать дамп на пожарный, обновиться..

Я элтексы 3124F & 1024 имею...

gnu-linux, как оно в работе?

не тупят, не виснут, не горят?

Ну плюс дохрена телефонии...

я прошлый раз когда переезжал наелся :)

По телефонии замечаний нет одно удовольствие, как серверные, так и клиентское оборудование..

1024 в какую цену обходятся?

По коммутаторам 3124F работают в бою, есть список багов/пожеланий - уже пол года без остановки и проблем..

1024 - прототип!!! Вам его не продадут...:)

епт.

ежики перестают делать 3526, на длинк не хочу переезжать, куда глядеть...

Только перед новым годом выбил с них прошивку для 1024 с веб интерфейсом.. Так они умудрилиль загрузку SFP драйвера похерить.. С включённой SFP после обновления не грузится...

1024- наверно за месяц допилят.. В вебе уже всё работает.. Надо баги им поправить...

1024 - 6-7 тр

gnu-linux http://pastebin.com/HLu0f52x,

2024 ~8-9тр

там между гигабитным и 1024 меньше 2тр разницы...

2124 всмысле?

2024 нету же

да

Софт под Eltex у нас пилят?

gnu-linux, в 1024 есть нормальная работающая реализация MVR?

Да ониже и пилят.. И их можно напрягать!!! Можно звонить их начальнику и сказать надо в MES31xx ip unnumbered как у Cisco... :)))

MVR точно есть у 31хх

1024 - нет документации и функионал недокументирован.. Они просто шлют прошивки и просят отсылать баги и пожелания..

Привет, немного о базе postgesql, в настоящий момент все данные сохраняются в схеме public

сейчас туда(в схему public) добавится PostGIS, это пара сотен функций и т.д. и т.п.

т.е. все сливается в одну "папку"

в будущем (при изменении версий Postgresql, Postgis) это может привести к некоторым неудобствам...

таблицы от функций все-таки можно отфильтровать

zi_nnov уже писал что делать! В 28 строке надо вставить if:

if '/' in n:

iface = n.split('/')[1]

else:

iface = n

а что тебе помешало изначально это сделать в скрипте

?

dvolodin: отфильтровать можно, но намного проще дать команду "pg_dump бла.. бла.. --schema noc noc", а потом развернуть все это в новой базе

zi_nnov я уже переделал: http://pastie.org/pastes/3164917/text

У меня все интерфейсы DLink.DxS есть 1/N

gnu-linux, я это уже и скачал, это был трейс от этого скрипта http://pastie.org/pastes/3164917/text

К стати на очень старых прошивках DES3048 и DES3526 он не работает, там нет портов vlan...

zi_nnov if не так написал, надо перед iface = n.split('/')[1] Как я уже 2 раза здесь пишу!!!

И ещё один момент.. Этот алгоритм простой но медленно работает на при большом количестве vlan >100 http://pastie.org/pastes/3164917/text

Для большого количества vlan очень быстро будет работать алгоритм для DLink приведённый здесь: NOC-36?focusedCommentId=10701&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-10701

Очень быстрые алгоритмы для SNMP можно будет написать когда закроем NOC-290

zi_rus get_interface_status.py для DLink.DxS трогать не надо он рабочий!

Лучше get_portchannel напиши через SNMP для DLink

get_interface_status.py не трогал

gnu-linux, выложи или закоммить рабочий get_switchport.py для длинка

Ждем Dmitry1... Для DLink обязательно надо его рецензию.. Кроме того есть намного лучший алгоритм который при 1000 vlan будет работать напорядки быстрее...

запустил установку mapnik 2.0.0 из портов, он уже полдня зависимости компилит

gis, mapnik etc - очень хорошо. но где-нибудь написано - как теперь обновиться до текущей версии?

Running migrations for gis:

- Migrating forwards to 0002_world_area.

> gis:0001_check_postgis

PostGIS is not installed. Trying to install ...

Failed to install PostGIS: Not found: /usr/share/postgresql/9.0/contrib/postgis-1.5

Install PostGIS according to your operation system procedure

Stopping...

post-update: : migrate failed

http://kb.nocproject.org/pages/viewpage.action?pageId=2687475 - читал, только ничего не прояснилось

inoyat_kayumov: а где-нибудь этот файл есть?

apt-cache search postgis osm2pgsql - Openstreetmap data to PostgreSQL converter libpostgis-java - geographic objects support for PostgreSQL -- JDBC support postgis - geographic objects support for PostgreSQL -- common files postgresql-8.4-postgis - geographic objects support for PostgreSQL 8.4 qgis - Geographic Information System (GIS)

а в системе сейчас - работающий 9.0 постгре

мне вот интересно - это во всех других дистрах кроме дебиана ну просто обязан быть /usr/share/postgresql/9.0/contrib/postgis-1.5

в `dpkg -L postgis` присутствует postgis.sql ?

каталог из pg_config берётся

dpkg -L postgis - нету postgis.sql

вывод на пастебин можно?

в опенсузе, в частности, есть /usr/share/postgresql/contrib/postgis-1.5/postgis.sql

из пакета postgis

http://dpaste.com/685878/

мдя, там (в дебиане) оно в postgresql-8.4-postgis ...

угу - пошел искать для 9.0 64бит

http://serverfault.com/questions/306477/using-postgresql-9-0-and-postgis-1-5-on-debian-squeeze

походу unofficial

хотя в баге 639474 говорят, что пофиксили. Для 9.1 :)

http://imageshack.us/photo/my-images/513/screenshot20120111at323.png/

все, впилил я его в UI

печально

dvolodin, осталось сделать так чтобы это была не просто картинка

dvolodin: тут сбоку вопрос задавали насчёт кастомных слоёв. Что-то будет?

будет

dvolodin, прям сразу же, пусть бы он запоминал положение "камеры" для каждого юзера, а то сомневаюсь что тут каждый второй рулит трансеонтинентальными сетями

zi_nnov: в тулбаре будет список area

при выборе - сразу будет позиционироваться

возможно еще - закладки

а не проще автоматически запоминать?

ну и поиск по дому/улице

не проще

http://dpaste.com/685888/ - это после http://serverfault.com/questions/306477/using-postgresql-9-0-and-postgis-1-5-on-debian-squeeze

вот прямо сейчас открыл в двух табах две карты

inoyat_kayumov: это известная проблема

делай все от postgres'овского суперюзера

только чтобы поиск как в веб-сервисах, поиск в пределах фокуса, а не по всему миру

su - postgres

меня сейчас другое больше беспокоит

и не забудь потом поменять owner'а у таблиц

пост-апдейт от постгреса?

нет, руками применяй postgis.sql

установку postgis

или на время дай постгресовскому юзеру noc superuser'а

собственно первое и очевидное, что вылезает из применений

поверх домов рисовать красивые кружочки разных размеров и цветов

в зависимости от количества квартир, количества клиентов или уровня проникновения

для этого надо вести базу клиентов в ноке

но думаю это надо для красивых отчетов а не для работы

занятость портов на свиче/ах вполне может быть в ноке

не вижу связи с ГИС

Точечный объект с координатами и негеографическими характеристиками :)

zi_nnov: скрытые закономерности выявлять

Как раз объект ГИС

dvolodin, may be, но это уж точно не самая важная задача

смотря кому

[+1], задачи у всех разные

еще одно применение - зеленая/желтая/красная лампочки на доме

в зависимости от аварий

dvolodin, не верю что всем так сразу появилась необходимость знать количество занятых портов по домам, тем более что еще надо понять какой порт считать свободным а какой занятым

хех, то же самое можно и про ip-адреса/префиксы говорить.

и эту проблему так и не решили

хотя я говорил, что префиксы можно тегировать соответствующим образом

но это в ручном режиме

тегировать? не вкусно

кажется, кто-то говорил о неких таблицах состояний

зато гибко, в пределах одной возможности навешивать теги, можно добиться разного функционала, в зависимости от созданных правил

ну так доделайте кто-нибудь морду для просмотра интерфейсов

когда в теге набивается более нескольких сотен элементов - он становится не слишком удобоваримым

dvolodin: мы уже за префиксы говорим :)

для префиксов/ip'шников/портов и vlan'ов надо делать привязку к каталогу сервисов

когда у элемента более сотни тегов, это значит что и свойств и него будет сотню и ничего не меняется

я вообще-то говорил про обратное...

dvolodin: к сожалению, на сейчас представление о каталоге сервисов есть только в одной голове. И эта голова не всегда стремится делиться замыслами ;)

Я вот не имею никакого представления о том, каким видится этот каталог сервисов и почему.

а я - весьма приблизительные

кто-нибудь может сделать NOC-294 ?

нужен новый тип полей для форм, для ввода широты и долготы

А можно как-нибудь добавить описание того, как правильно импортировать postgis.sql ?

Потому как стандартный post_update не проходит.

Может поиграться с os.seteuid() и os.setegid() ?

В крайнем случае использовать что-то типа этого:

os.spawnle(os.P_WAIT, 'su' , 'su', '-', 'phsql')

эnj cjdctv ;tcnm

это совсем уж жесть

может тогда с помощью sh скрипта сделать миграцию?

Типа os.exec("import_gis.sh")

А в нем уже сделать su или sudo

зачем

http://postgis.org/documentation/manual-1.5/ch02.html#id2619431

что еще надо?

ровно это самое делает и миграционный скрипт

У меня стандартный post-update, запущенный из-под юзера "noc" не хочет работать.

permission denied for language c

ну да

можно на время дать ему суперюзера

Я могу конечно вручную все сделать. Но я интересуюсь поддержкой этого именно в скрипте.

все, что можно делать, от делает

на jenkins у нас обрабатывается ведь

максимум, что можно сделать, выводить краткую инструкцию

типа проверь, что суперюзер, сделай то-то и то-то

Как минимум можно. Как максимум - сделать, чтобы работало при любых условиях.

не стоит овчинка выделки

в новых инсталляциях этой проблемы не будет

А как же обычные юзеры?

обычные юзеры проапдейтятся по инструкции

процедура-то разовая

в блог напиши

хорошо

поползу я

обычные юзеры полдня мучились

у меня так и не получилось.

noc# su pgsql

%cd /usr/local/share/postgis/contrib/postgis-1.5/

%psql -d noc -f spatial_ref_sys.sql

BEGIN

psql:spatial_ref_sys.sql:5: ERROR: duplicate key value violates unique constraint "spatial_ref_sys_pkey"

psql:spatial_ref_sys.sql:9: ERROR: current transaction is aborted, commands ignored until end of transaction block

при post-update вылетает

django.db.utils.DatabaseError: permission denied for relation spatial_ref_sys

owner'а таблицам поменяй

alter table spatial_ref_sys owner to noc

и ещё для одной таблицы и одного view

ALTER TABLE spatial_ref_sys OWNER TO noc не помогло

permission denied for relation spatial_ref_sys

а, нет, вроде заработало...

там ещё таблица и view, по \dt показывает

по \d то есть

вроде у меня и без этого заработало

как посмотреть права на таблицу и view ?

или как поставить нужные права?

ох...

говорят, что права по \z показывают

проставляются - командой grant

с соответствующими параметрами

Мне хватило того, что \d показывает owner'а