nocproject.org

dvolodin: привет

привет

про вчерашнее ".1.4.1.171.12.23.4.1.1.1", это не от хорошей жизни, почемуто в OID прилетает так:

"1.3.<port>.1.4.1.171.12.23.4.1.1.1" что очень похоже на косяк длинка

http://pastebin.com/yfbs4DhY

а точки заэкранирую, спасибо

ну и в правиле есть IpMacBindingIpIndex, при корректном OID на нем сработает

если я вижу DLINK-ID-REC-MIB::dlink-products.61.2 это значит у нас в ноке нет миба, в котором есть кусок для 61.2?

не совсем так

у dlink'а на платформу свой базовый oid

чтобы не париться с большим количеством MIB'ов мы их alias'им

а Dmitry1 ведет хитрый сводный MIB куда попадают все эти OID'ы

и если 1.3.6.1.4.1.171.10.61.2.5.3.0 мы видим как DLINK-ID-REC-MIB::dlink-products.61.2.5.3.0,

то это значит, что чего не хватает?

в конечном же счете значения из миба?

чтобы Dmytry1 его внес в сводник?

как-то так, по деталям для DLink'ов лучше к Диме

спасиб

dvolodin: подскажешь его почту?

он в IRC бывает

на ноке нашел mitya@cabletv.dp.ua

написал на этот адрес

вот такое нок не понимает: http://pastebin.com/dPs9NN0x

.

..

здрасте

а чего коммитов нет моного дней, не в курсе?

много

misak: их в гравит делают

жди пока ветки сольют

*в графит

там уже от графита ответвление успели сделать

пасиба

никто не хочет написать конфиг файл для systemd чтобы нок запускал?

у меня не получилось

freeseacher, ты на графите последнем сидишь

у тебя в ноке железок много?

на загрузку цпу жалоб нет?

а то у меня печально

Теперь develop будет default, где ничего нет и на неё забили =)

лолд

в sa - mo - config есть поиск?

ctr-f не ищет

у меня вот так

http://i66.fastpic.ru/big/2014/1002/13/ed75c2856535b2509b18f2786f5dc913.png

почти типично

7800 обьектов

те ищет , но в пределах видимого куска конфига

bee26, у тебя поиск браузерный? просто там в конфиге какой-то свой поиск по цтрл-ф запускается

e_zombie, у тебя девелопная ветка, активаторы все жрут. я хотел про пробу узнать

нуда.

там ещё корелятор взбрыкивает и монга

интересно что у тебя будет когда ты метрики с интерфейсов начнешь собирать

пиздец у него будет)

будет как всегда.

опять будем сидеть с володиным и заниматься индексированиями монги и другой поеботинкой

не

мтрики не в монге

там свой стораж

bee26: нет поиска в конфиге и конфигах

есть. ctr-a ctr-c в текстовый редактор ctr-v и ищем

ctrl+a у тебя весь конфиг отмечает?

ага

о, точно

в firefoxe

dvolodin, есть аларм TCAM entry capacity exceeded, который периодически самозакрывается, хотя закрывающего сообщения для него не существует. как так?

Dmitry1 говорит что это не он

dvolodin, в логах написано Cleared by disposition rule "Ping OK"

типа оно закрывает когда я перезапускаю нок

ахренеть

а зачем?

как чего-нибудь завернуть циски?

snmp-server enable traps snmp authentication linkdown linkup coldstart warmstart

она пока молчит

ну выдерни патч

Добрый день. NOC каждую минуту лезет на железку и засыпает логи следующей информацией: Command executed by xxx: quit Command executed by xxx: display interface brief Command executed by xxx: display version Command executed by xxx: screen-length 0 temporary. Создал отдельный Managed Object Profile, в котором есть только ping

поздравляю

или отключать логирование команд или не включать никакие методы дискавери

или доработать и поделиться скриптами чтобы нок ходил по снмп

zi_rus: не могу я так с циской :)

TSergey, воткни патч а потом выдерни

она на другом конце города

а про stp она должна сообщать по snmp?

как настроил

spanning-tree logging

можно попробовать включить

но это сислог

в принципе тоже можно завернуть в нок

zi_rus, спасибо за ответ

Revenant, если у тебя циски, то есть фича для фильтрации лога. я использую, все сообщения о юзере нока зафильтровал чтобы не отвлекали

zi_rus, у меня Huawei, склоняюсь к отключению дискавкри

дискавери на самом деле полезная штука

а может на хуавеях есть фильтрация логов. они же копируют циску как могут

да, надо будет почитать

noc-probe

для чего у нас?

как в ноке опрос по snmp включить? в мо communityro прописал

а что ты называешь опросом?

хочешь читать ноком трапы?

если скрипт для твоей железки поддерживает - пойдет по снмп

у профиля есть snmp

кусок трейса http://pastebin.com/MW9895fv

в профиле опрос по snmp есть. в трейсе ничего. сразу telnet

-с для snmp

snmpwalk -v 2c -c xxx 10.21.255.194

iso.3.6.1.2.1.1.1.0 = STRING: "QSW-8200-28F-AC-DC Device, Compiled May 21 12:21:20 2014

SoftWare Version 7.0.3.5(R0224.0020)

в профиле править?

Run script with SNMP RO community public:

"./noc debug-script -c public get_version"

другой коммунити. в sa - mo прописан

"./noc debug-script get_interfaces Metro_s5328-45.4"

ты запускаешь дебаг без snmp

Debug SA Script

manage.py: error: no such option: -

./noc debug-script -с xxxx get_interfaces

профиль QSW

да

telnet править ... может через snmp пройдет. нихт

разве тут есть поддержка snmp?

https://bitbucket.org/nocproject/noc/src/c55b6e111cbbc4484c7f4e8cda020cef56c4c3a6/sa/profiles/Qtech/QSW/get_interfaces.py?at=develop

через sa-mo-script тоже без snmp

"bee26: у профиля есть snmp" --- ? в QSW.get_interfaces.py нет поддержки snmp

а в чем изначально был вопрос? почему не отрабатывает get_interfaces?

как же нет? а это

# Try SNMP first

"""

# SNMP working but without IP

........

if self.snmp and self.access_profile.snmp_ro:

try:

# Get mac

mac = self.scripts.get_chassis_id()

# Get switchports

for swp in self.scripts.get_switchport():

оно заремарчено же

"""

текст

"""

http://pastebin.com/gRDUXr77

ну и смотри, кусок с snmp заремарчен

85, 138 строки

раскомитил. тоже самое

ты думаешь его от нехер делать закомментировали

да, я не успел так написать

bee26: надо разбираться почему у тебя до "show interface" дело не доходит

вроде на стандартную ветку кутек отвечает

в 8200 нет такой команды show ip interface и такой show ip

а можешь патануть чего говорит тебе кутек после входа?

если руками зайти

*пастануть

show ip interface brief

Index Interface IP-Address Protocol

11088 Vlan88 10.21.255.194 up

11101 Vlan101 10.21.0.1 up

17500 Loopback 127.0.0.1 up

Q8200_ATS-45_SW4#

не, прям логин-пассворд

ведь до этих команд дело не доходит

скрипт в железку заходит

паста неполная http://pastebin.com/MW9895fv ?

посмотри скрипты в своем ноке

дает команду

2014-10-02 14:34:53,317 [TELNET: 10.21.255.194] submit('show interface brief', bulk_lines=None, streaming=False)

а нет такой команды

я потерял нить

и я

ты чего хочешь?

show interface ?

IFNAME Interface Name

detail Detail information of the port(s)

ethernet Ethernet port

loopback Loopback

port-channel Port-channel

vlan Vlan port

| Output modifiers

<cr>

ты чего хочешь?

причем тут снмп

хочу чтобы нок собрал инфу по нитерфейсам

по snmp?

по телнету не хочет (и по снмп тоже). хотябы как-нибудь

почему у тебя нет той команды?

хз

может зависит от версии софта

и почему те не выгладываеш полный дебаг по гет_интерфейс?

*почему ты?

а может там софт другой и надо отдельный профиль создавать

show version

QSW-8200-28F-AC-DC Device, Compiled on May 21 12:21:20 2014

sysLocation Russia, Moscow, Novozavodskaya st 18, bld 1

CPU Mac 00:1f:ce:86:45:f2

Vlan MAC 00:1f:ce:86:45:f1

SoftWare Package Version 7.0.3.5(R0224.0020)

BootRom Version 7.2.3

HardWare Version 2.0.3

мне это ниочем

у меня нет кутечей

HaLVeR кажется имеет

bee26: сделай полный дебаг и будет видно где трейсится и чего править

дебаг выкладывал

TSergey, да понятно в чем дело, у него нет команды которую нок дергает

исходя из ответа почему, можно думать о следующих шагах

щас еще раз. видимо не полный получился

zi_rus: так щас насоветуем как поправить :)

так надо советовать правильно

просто если там одна команда другая, может еще regexp придется править

так мы правильно и насоветуем

иссе, +тушенка

тушенка - это что?

http://kb.nocproject.org/display/DOC/Canned+Beef

что бы можно было попробовать поправить скрипт, нужен json, который отдает скрипт

что бы можно было запустить без железки

http://pastebin.com/JV7BUFv3 трейс дебага

"/opt/noc$ ./noc debug-script get_interfaces -o output.json"

вот так делается json

вроже же здесь ошибка:

"2014-10-02 14:48:25,591 [Qtech.QSW.get_switchport(Metro_s5328-45.4, 10.21.255.194)] cli(show description interface)

2014-10-02 14:48:25,591 [TELNET: 10.21.255.194] submit('show description interface', bulk_lines=None, streaming=False)"

http://pastebin.com/0Jt5BA3F

bee26: ты пробовал дебажить get_switchport?

нет еще. отдебажить?

такая команда "show description interface" на железке есть?

нет

аналог поискать?

не знаю

делай иссе и туда данные прикладывай

похоже?

show interface ethernet status

Codes: A-Down - administratively down, a - auto, f - force, G - Gigabit

Interface Link/Protocol Speed Duplex Vlan Type Alias Name

1/0/1 UP/UP a-1G a-FULL 1 SFP test

1/0/2 UP/UP a-1G a-FULL 1 SFP

до завтра

что должно быть в show description interface

это надо спросить у того кто писал профиль

или посмотреть в тушенку

кютечи кривые профили вроде как

по поводу "медленной" монги http://www.mongodb.com/blog/post/eliot-horowitz-making-mongodb-dramatically-faster-much-more-pluggable-and-easier-scale

смотреть pluggable store

и document level locking

dvolodin, так что делать с высокой загрузкой цпу из-за пробы?

в 100 раз выросла с обновлением

а попробуй убери этот отлов BrokenPipe

dvolodin, какой? manhole? так он и был выключен, дело-то не в нем

не

там где в сокетах write заворачивался в try .. except

как просто

я не знаю где это

dvolodin, а ты что новую синкалку днс в графит влил?

нет

там отдельная ветка сбоку

а

там наоборот

графит туда уехал

коммиты просто смотрю

да, там же фиксы были

я там еще переделал обновление удаленных демонов

и сейчас доделываю быстрое развертывание всяких активаторов, проб и прочих синков

в noc-web теперь встроен mercurial-server

;)

ты тогда научи лаунчер несколько инстансов проб запускать

он это и так умеет

но не запускает

запускает

config =

config.0 = .....

[noc-probe]

enabled = true

user = noc

group =

config.0 = etc/noc-probe.conf

config.1 = etc/noc-probe.conf

config.2 = etc/noc-probe.conf

config.3 = etc/noc-probe.conf

config.4 = etc/noc-probe.conf

config.5 = etc/noc-probe.conf

config =

config.6 = etc/noc-probe.conf

config.7 = etc/noc-probe.conf

впиши такое и имено так

config =

config.0 = etc/noc-activator.conf

config.1 = etc/noc-activator.conf

а то он будет считать, что конфиг у него строго один

да

root@noc:/opt/noc/etc # /usr/local/etc/rc.d/noc restart

Stopping noc.

Waiting for PIDS: 43144.

Starting noc.

root@noc:/opt/noc/etc # ps aux | grep noc-probe

noc 43421 76.8 0.1 158588 24596 ?? S 8:38PM 0:00.52 /opt/noc/bin/python ./scripts/noc-probe.py launch -c etc/noc-probe.conf -i 0 (python2.7)

root 43608 0.0 0.0 16332 1708 3 S+ 8:38PM 0:00.00 grep noc-probe

ой

да, спасибо помогло

http://pastebin.com/UgenQSLa

все

теперь всякие клоны и манифесты не нужны

а удаленом серваке делается что-то вроде

cd /opt/

make-node.py <NOC URL>

оно все само вытащит, размотает и ланчер настоит

остается только включить у него в конфиге нужных демонов

ланчер при этом периодически ходит к центральной инсталляции и синхронизируется с ней

при этом умеет запускать PIP и ставить требуемые пакеты сам

когда запустил несколько инстансов загрузка до нормы упала

ага

кроликом будешь для тестирования синхронизатора?

готов

на новую ветку идти?

да

накатывайся на нее

топай на свой DNS

тебе там нужен будет python и virtualenv

то есть старый сносить?

да

ну или рядом поставь

первый шаг -- подготовка новой ноды

делается так

cd /opt

curl <URL NOC>/main/update/make-node.py | python -

NOC у тебя поставится в /opt/noc

конфиг ланчера полностью готов и настроен

на нем загашены все демоны

размотал

?

ланчеру в конфиге в секции [update] подкрути check_interval, поставь, например, в 60

тогда нода будет апдейты проверять раз в минуту

по умолчанию - 300 секунд

обновляюсь

dvolodin, abort: uncommitted changes

как обойти?

у меня тут пара изменений

hg diff > blabla

hg revert --all

костыль, ну ладно

dvolodin, не пошло http://pastebin.com/2940sgvq

где у него heartbeat'ы засели?

эммм

где-то

вижу

я вычистил все из конфигов

он там выше еще ругнулся

Unknown command: 'sync-manifest'

обновляйся

поправил вс

все

проехало?

xkis# curl http://noc/main/update/make-node.py | python -

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

100 3963 100 3963 0 0 229k 0 --:--:-- --:--:-- --:--:-- 241k

Failed to get updates: <urlopen error [Errno 61] Connection refused>

dvolodin, почти

xkis# python make-node.py

Failed to get updates: <urlopen error [Errno 61] Connection refused>

URL = "http://127.0.0.1:8000/"

это же неправильно

ну так это ты URL кривой ввел

я на днс должен разворачивать

погоди

он тебе в make-node прописал 127.0.0.1:8000 ?

да

usage = "usage: %prog [options] <NOC URL>"

URL = "http://127.0.0.1:8000/"

PIP_FIND_LINKS = "http://cdn.nocproject.org/pkg/simple/"

мммм

когда руками поправил

xkis# python make-node.py

abort: error: Connection refused

Cannot clone repo http://127.0.0.1:8000/hg/noc/

ну на самом деле я дернул файл через фетч

xkis# fetch http://noc/main/update/make-node.py

а потом его запускаю

xkis# python make-node.py

но какая разница

через курл тоже был 127,0,0,1

он должен был тебе правильный URL подставить

в принципе -- ./make-node.py <URL>

но не спортивно

фокус в том, что URL должен подставиться сам

как видишь нет

у тебя HTTP или HTTPS?

http

fetch http://noc/main/update/make-node.py

сам NOC за nginx стоит?

lf

да

кусок nginx.conf покажи

где ты на tornado скидываешь коннекты

http://pastebin.com/nbT7saBZ

proxy_set_header Host $http_host;

proxy_set_header X-Scheme $scheme;

в location /

да, так заработало

вот это надо бы в доку и в шаблоны

накати апдейты, там еще распознавание ssl

Downloading mercurial-3.1.2.tar.gz (4.0MB): 6% 262kB

как-то грустно качает

ты машинку еще не настраивал что я тебе давал

пока еще нет

я в uk настраиваю для переезда

Downloading mercurial-3.1.2.tar.gz (4.0MB): 45% 1.8MB

ну как есть

не от нас качается

у меня сейчас за секунды вытаскивалось все

Downloading mercurial-3.1.2.tar.gz (4.0MB): 68% 2.7MB

ты уверен, что у тебя DNS в хорошем месте?

dvolodin, в смысле?

ну как сказать

у меня mercurial качается за пару секунд

никто не жалуется

будь уверен, по сети у меня все норм

dvolodin, я скопировал старый конфиг синка. стомп из него выпиливать?

и запускать?

нет

смотри

в noc-launcher.conf включи sync

посмотри в его default конфиг

там есть закоментированая секция под bind

они по семантике соответсвуют более-менее

лаунчере включил

то есть старый конфиг вообще не годится

и как теперь это настраивать

у меня один сервер синкаося по двум каналам

настраивать так

идешь в main > setup > sync

сходил

прописываешь эти синкалки

оно тебе должно было скопировать все

и синкалки лепишь на dns server в морде

там, где раньше каналы были

сделал?

так

погодь

включи пока noc-sync'у дебаг

у меня нок в двух экземплярах

нок отвратительно стопится

?

постоянно процессы залипают

приходится киллять

dvolodin, я переименовал два синка которые приехали из днс и два удалил, теперь при открытии вкладки с днс серверами трейс http://pastebin.com/jir87SGT

удалил какой-то из используемых?

ну видимо

ns1.local

синка то у меня два будет

пропиши на нем правильный синк

зачем тебе два

dns один?

два сервера

ну пока один

а

ну да

два так два

два dns в базе, у них два синка разных

ну вот и как делать

я не могу открыть днс и поправить как надо

update dns_dsnzone set sync=null where name='ns1.local';

noc=# update dns_dsnzone set sync=null where name='ns1.local';

ERROR: relation "dns_dsnzone" does not exist

LINE 1: update dns_dsnzone set sync=null where name='ns1.local';

очепятка

noc=# update dns_dnszone set sync=null where name='ns1.local';

ERROR: column "sync" of relation "dns_dnszone" does not exist

LINE 1: update dns_dnszone set sync=null where name='ns1.local';

dns_dnsserver

туплю уже

а

снес?

да

ну вот

все прописано

так

теперь разок перестрой кеши ему для синкаа

открой и сохрани zone profile

есть

ну и логи синкали смотри

поставь ей раз в минуту ходить за апдейтами

чаще не надо

я ее еще не запустил

все говно к тебе приедет

я не понимаю как ее правильно настроить

смотри

у меня сервер отвечает за два, скажем, профиля

внутренний и внешний

раньше было два канала в синкалке

а как теперь это делать?

а в ноке соответственно два сервера прописаны

мне теперь в настройках днс серверов, для серверов которые на самом деле являются одним и тем же сервером прописать один и тот же sync channel?

я ничего не понимаю

зачем тебе два канала

один сервер - один канал

у сервера 2 ip

и?

ты ему внутреннюю и наружную раскладку делаешь?

да

а на сервере как разводишь?

никак

смотри

два профиля

различаются набором мастеров

шпдшные мастер сервера и глобальные

ns.local и ns.kis.ru соответственно

но в реале это один сервер

раньше разные каналы писались в разные папки

autozones-shpd и autozones-global

но в принципе в одну папку записать не проблема

ну свали в одну

я пока не вижу проблемы

если хочется именно в разные папки -- то два сервера на noc, и две синкалки на одном хосте

они достаточно легковесные

их можно из одного ланчера поднять с двумя конфигами

как и пробы

dvolodin, проблема вот где, dns-server, ns.kis.ru - канал 1, ns.local - что писать?

тоже канал 1?

в NOC ты их хочешь держать как один или как 2?

их два, они по ip попадают в зону

в разные зоны

ну тогда сделай два конфига для sync с разными настройками

пропиши их в ланчере

в зонах для локальных юзеров там серый адрес, для глобальных - белый

и у тебя будет два sync'а со стороны NOC

раньше это решалось двумя каналами

по одному на каждый DNS

смотри

[noc-sync]

а если я пропишу один канал для двух?

config =

config.0 = noc-sync-0.conf

config.1 = noc-sync-1.conf

не, с инстансами я идею понял

ищу прямее варианты

прямее вариант - оставить один DNS в NOC

какая тебе разница, откуда приходят юзеры

там разные зоны

совершенно

локальным юзерам адреса брасов раздаются

глобальным - обслуживаем клиентские зоны

тогда 2 DNS и 2 sync в NOC, и два instance

и пиши в разные каталоги

ровно как и сейчас

dvolodin, http://pastebin.com/PBB8wv2e

зафиксил

dvolodin, а как теперь его обновить?

он же ставился твоим скриптом

обновляешь центральную инсталляцию

этот сам притопает за апдейтами

так он не запускается

ну вот опять, лаунчер остановился, но забыл поубивать других демонов

какой из них

центральный?

центральны

да

и вот опять

давай трейс

а это похоже из-за необновленности

сейчас разберемся

надо тестовый нок заводить

давно пора

взлетело?

обновил центр только

dvolodin,

2014-10-03 00:04:21,198 [noc.lib.debug] UNHANDLED EXCEPTION (2014-10-03 00:04:21.195927)

Working directory: /opt/noc

<type 'exceptions.AttributeError'>

'Activator' object has no attribute 'heartbeat_enable'

START OF TRACEBACK

http://pastebin.com/Qmm4Cfia

поправил

снес синк, запустил еще раз

меркуриал в лет скачался

а зачем снес?

иначе не обновить

ладно, синк что-то крешится, завтра разберусь. уже поздно

а у нас ночные работы, не хватало единственный мониторинг перед ними сломать

:)

сам синк можно было обновить по hg pull -u

;)