nocproject.org

народ, а кто-нибудь ФМ в ноке пользуется, есть небольшой вопросик по давителю повторных сообщений

dvolodin, привет, подскажи пожалуйста про ФМ. я вчера перенаправил сислог на нок, было много сообщений unknown source, несколько распознаных сообщений, а потом наступила тишина, я настроил каталист как надо, имитирую изменение конфига, он генерит сообщение "%SYS

-5-CONFIG_I: Configured from console by", но в ФМ Events тишина, по этой железке кроме пинг ОК других соощений нет, и я не пойму, это так задумано, или где-то косяк у меня или косяк в ноке

классификатор посмотри

и вообще ресурсы системы проверь

теперь у меня все сожрал дискавери...

dvolodin, еvents: 51, failed: 0, deleted: 0, suppressed: 51 - это я смотрел, не пойму почему он давит, и попадает ли сюда "%SYS-5-CONFIG_I, ведь по нему хотя бы один, но должен быть

задавил он у тебя их как повторы

я попробую причесать каталисты, посмотрю что изменится, но все же по тестовому каталисту нет даже одного сообщения, если только он не схватил не классифицированное из-за unknown source и теперь классифицированные давит потому что они совпадают

пливеты

кцтате

noc-sync уже два раза стопанулся на 16 минуте работы. К чему бы это?

real 16m40.242s

user 0m0.239s

sys 0m0.070s

третий раз. 16 минут 40 секунд. Как-то очень подозрительно =)

системные лимиты?

от рута запускается, какие лимиты?

http://dpaste.org/WIDWV/

на всякий

а в логах что?

очередной обмен сообщениями, потом STOP

без трейсов и прочих радостей

save as new вроде профиксил

ок

dvolodin, а у тебя работает кнопка save в interface profile?

ой, только что само заработало

zi_rus: да, работает

фигня какая-то, создал профиль, жму сохранить, никак не реагирует, закрыл, заново создал, нормально прошло

с кешами проблемы нет?

не знаю, не должно быть

Dmitry1, подхватывай, я там еще issue для тебя накидал

ага

dvolodin, а как решить проблему, я не хочу чтобы поднимались алармы по LInk Down, но этих интерфейсов нет в инвентори. это пидимо виртуальные интерфейсы типа As29, As31...

dvolodin: понаблюдал топом за процессом. SIZE порядка 93Мбайт, RES дошел до 14350кбайт, после этого время вышло :)

dvolodin, NOC-742 решение с SIGKILL работает.

привет

а вчера вроде говорили про такое <class 'mongoengine.base.ValidationError'>\u000aUnable to dereference <class 'noc.inv.models.interfac

e.Interface'>:4fa3a65b0825545a9e000d55

интерфейс пропал?

свичпорты в инвентори продублировались но с разными наборами vlan

на хуавеях

да

как лечить? дропнуть их из монги?

угу

надо будет тулзу для валидации слабать

а в каком коллекшне хранятся свичпорты?

acid232_: noc.subinterfaces

а вот и нет, у меня там svi

хотя кто его знает

для монги нет веб-морды какой-то?

что svi, что switchport - всё там должно быть... вроде :)

какой-то веб есть встроенный в монгу, включается в конфиге, но не знаю, тот ли это веб, что нужен

а кто помнит, какое решение было сделано чтобы отключить алармы для интерфейсов которых нет в инвентори?

а оно было?

у меня для этого свитчи не шлют трапы, которые не надо

ну можно северити понизить

но это как бы не дело

т.е. все свитчи доступа по сути

это не совсем свич

я прошелся по доступу через noc shell и поставил профиль access

но правда только по хуавею

так нету этого интерфейса если в базе... я так понял в этом проблема

да, в этом и проблема

просто, кто-то уже этот вопрос поднимал, думаю, может придумали тогда чего

как удалить свичпорты из монги - db.noc.subinterfaces.remove( { name: { $regex: '^Ethernet0/0/*' } } );

я думаю нок их нанюхает снова

dvolodin: NOC-748 =)

lexus-omsk: web там -- для статистики

n acid232_ : name: /..../

это был не вопрос, а так, чтобы осталось, гугл исправно индексирует логи irc

dvolodin, эм. чего то не так с заданием dns_touch.

1016 писем в папке noc/dns

вс всех дифах инкремент серийника.

и все

разовое

нет

или регулярно?

отнюдь

тупо мотает серийники на всех зонах?

зоны всего 4. а писсем 1016.

тупо мотает

=)

отключение дискавери не помогло :(

а расписание dns-pull?

раз в 300 секунд.

но непохоже

12:41 потом 12:45 потом 13:01

freeseacher: с новой схемой или со старой?

эм ни с какой.

на боевой инсталяции заведены зоны просто позырить дабы.

не применены никуда

апдейт уж самый последний стоит

dvolodin: save as new у меня не работает

dvolodin, да кстати у меня также намотал, зон у меня 256, но терроризировал только 2 из них

4к писем

а вот сдвиг задания на pull/push помог.

пока больше не шлет.

новый механизм сам по себе не будет мотать serial

а вот в комбинации со старым - пока не скажу

ну тач зоны вызывался

тач зоны отложен на 5 секунд и сдвигается

а вот serial, да

его крутит и старый механизм, и job

logging.debug("DNS.global_pull: Zone %s changed" % z.name)

z.serial = z.next_serial

z.save()

в cm/models.py

вот тут и touch дергается

так может не сам тач откладывать, а вообще все изщменения в зону?

да, с новым механизмом кому-нить бы проверить на живом тазике, только ли у меня эта задница с остановкой Noc-sync

и дальше они по кругу молотить будут

уже проверили в 2 местах

я один такой?

при отключенном старом механизме нормально все

как старый механизм вырубить?

dns_push уже отключен

dns_pull отключить

отключил, посмотрю

а как бы посмотреть почему LA возросло до 6 не так давно кстати

в top - python + postgres

у меня все логи забиты сообщениями

2012-10-09 11:32:41,823 Cancelling stale script DLink.DxS.get_interface_status(10.116.0.39)

2012-10-09 11:32:41,823 [script-10.116.0.39-DLink.DxS.get_interface_status] Trying to kill already dead thread

2012-10-09 11:32:41,823 Cancelling stale script DLink.DxS.get_interface_status(10.116.0.39)

2012-10-09 11:32:41,823 [script-10.116.0.39-DLink.DxS.get_interface_status] Trying to kill already dead thread

что сделать, чтобы прибить, наконец, этот скрипт ?

еще летом noc как-то пошустрее ворочался

dvolodin: не помогло. noc-sync все-равно свалился через 16 минут 41 секунду.

запустил у себя, посмотрим

и эта, не пора ли настраивать кеш-бэкенд, чтоб веб-морда хоть как-то ворочалась? а то тупит нереально из-за того, что дискавери объедается

dvolodin: для чистоты эксперимента, поллер kevent/kqueue

да, дискавери что-то тупит мрачновато

а можно ограничить количество процессов дискавери?

2012-10-09 13:08:28,352 STOP

0.395u 0.216s 16:41.39 0.0% 0+0k 0+2io 0pf+0w

опа...

само свалилось?

таки да

трейсов нет, инфы нет, просто стоп на 16:4[01]

16 минут 40 секунд это 1000 секунд

блин

!

мать-мать-мать

бугага

к.о.

там же слип :)

на 1000 секунд

в коде демона

def run(self):

self.stomp_client = ThreadedSTOMPClient(

self.stomp_host, self.stomp_port,

client_id=self.stomp_client_id)

self.stomp_client.start()

for c in self.channels:

self.channels[c].init()

import time

time.sleep(1000)

:)

помогите теперь мне пожалуйста :)

может отключить что-то или увеличить интервал дискавери

mikevlz: пофиксил

забавная ляпа

acid232_: initial_submit_* вроде то, что тебе нужно

в noc.conf

dvolodin: кросафчег

ща обновлюсь, проверю

совсем из головы вылетело

надо было написать "Триальная версия, отправьте sms на короткий номер"

ведь правильно говорил - не подпускать погроммистов к продакшену

угу

mikevlz: здесь есть погроммисты?

mikevlz: а где количество одновременных задач?

dvolodin: а ты хто?

acid232_: concurency ?

по описанию оно вроде отвечает за число одновременно планируемых джобов

mikevlz: хм, а в глаз?

типа как initial_submit_concurrency = 5

т.е. +- к-во ядер проца

dvolodin: а за что?

acid232_: попробуй

за дело

acid232_: не поможет тебе это, совсем не тот параметр

или к-во активаторов?

dvolodin: а я без злого умысла - раз, два - достать тяжко будет, далековато

initial submit -- это процесс при котором появляются новые job'ы

то есть, например, мы создали новый management object

прежде чем по нему пойдут задачи, они должны быть запланированы

вот этим и занимается initial submit

хорошо, когда доки есть...

так что уменьшть к-во активаторов?

сдернул, обновил, смотрю

Dmitry1, ты тут?

да

блядь...

слушай, есть такое предложение, когда bgp падает на одной железке, но потом поднимается на другой то аларм не закрывается - не порядок

знаю

dvolodin: а это нормально, что из Main > Setup > Schedules у меня через неустановленное время пропадает pyRule:Make FQDN?

правило для этого разве нельзя нарисовать?

я потихоньку давлю dvolodin'а, чтобы он сделал datasources с поиском по IP

Т.е. у нас сейчас в datasources есть описание интерфейса, имя VLAN'а

просто в сообщении передается neighbor ip, можно было бы по нему матчить, и не важно какая железка прислала up, а какая - down

ну так к этому и веду, чтобы в FM была возможность по IP найти железку

вы уверены, что это возможно?

как случай MPLS PE - CE по BGP отслеживать?

dvolodin: обижаешься все еще?

да

сегодня явно не мой день :)

Извините, дядя Дима. Я больше не буду

я понял, что называть погроммистом разработчика такой сложной системы - это портить себе карму и кривить чакры

я вот тоже настроил BGP, а в ACL пира не добавил. Еще и объяснял гуглу, что это у них руки из задницы...

я последний раз программистом был году в 95-м, или 96-м, не помню уже Ж)

а теперь кем?

он же говорил, теперь он начальник

к нему обращаться "Большая шишка"

;)

:)

dvolodin, а можно пример сообщения когда падает PE-CE сессия?

мне кажется там vrf еще указывается

вот что нагуглил

%BGP-5-ADJCHANGE: neighbor 10.1.2.3 vpn vrf inet Down

не вижу проблемы

http://www.linkedin.com/in/dvolodin

primerno tak

в каком логе посмотреть, доходят ли до нока сислоги? не пойму от одной железки сообщений не видно, непонятно

а он у тебя на том интерфейсе слушает?

кто он?

все, по крайней мере большинство доходят кроме одной

я перенаправляю с другого сервера

на том сервере записи в файле есть

хочу узнать есть ли у нока на входе эти сообщения, или они не перенаправляются

tcpdump глянул, по входу ничего нет, буду разбираться

черт, опять телепатический канал сбора данных поломали, пойдем фиксить Ж)

странно, вообще нет сообщений, syslog-ng тупо перестает отправлять данные

это странно, да

рестартанул его и побежало

а в локальный файл пишет без перерыва, только в сеть не отправляет

что-то похожее помню

кстати, как вариант еще

можно сделать локальных агентов

которые будут читать файлы и по stomp посылать сообщения в базу

это излишне, надо полагать что нок является центральным и единственным сервером

у меня переходный период, пока нок не умеет все что мне надо

ну умеет он всяк больше, чем syslog :)

dvolodin, файл сислога можно грепать самыми извращенными способами, а что нок?

а нок макисмум сможет выдать список по МО

Тут меня огорошили: народ ищет за $1000 железку, поддерживающую до 3-х BGP сессий, OSPF, и имеющую 2 10G порта.

,

,

а какие права надо дать пользователю, чтоб мог добавить/отредактировать адреса?

кнопки Add Address нет, свободные адреса неактивны

mikevlz, надо ipam > setup > prefix access

есть он в этом префиксе

Dmitry1: и при этом хотят 512k ipv4 префиксов минимум?

не згаю

вроде как 8-16k

dvolodin: http://pastebin.com/YG0QgTuz не лечится

рецепт прост -- старый шеститонник на ebay

все, порешалось

старый шеститонник обычно идет без линейных карт. а с линейными картами получается гораздо дороже

=)

шеститонник вещь хорошая

даже без линейных карт, в нем жить можно, если он на 13 слотов

и стоит, даже б.у. больше $1000. Только что специально на e-bay смотрел

Force10 S60, кстати

цена?

Плюс, если имеется ввиду BGP и OSPF - то будет в основном L3 трафик, а не L2

ebay

Т.е. свич загнется. Нужно роутер.

Dmitry1, 3627 это свич или роутер?

свич

роутер это DIR100 =)

л3 умеет? загибается?

не SOHO роутеров у D-Link'а dвообще нету

вот и 6500 также

L3 у него через CPU идет, поэтому любой broadcast или multicast шторм, SNMP запросы и т.п., тупо ложат весь L3 трафик

нормально у него все хардварно свичуется

по крайней мере у 3627G

его кладет то что на CPU идет

а для это специально есть enable cpu_rx_rate_control

Dmitry1, глянь, я там за сегодня issue с сислогами еще накидал

видел

и ничего не забрал, и правил нету

новых

zi_rus: cpu_rx_rate_control позволяет резать исходящий трафик. Входящий редется на портах.

Dmitry1, я тебе по секрету скажу RX - значит входящий

Т.е. кроме PCF этот свич еще умеет и резать трафик по сервисам. Вот для образования исходящей очереди и существует cpu_rx_rate_control, который тоже неслабо жрет ресурсы CPU

cpu_rx_rate_control - оганичивает трафик идущий на CPU

не весь трафик, а именно тот, который в софтварных очередях

а софтварные очереди - это rate-limit в зависимости от сервиса

пример:

config access_profile profile_id 1 add access_id 1 ip tcp dst_port 80 port 1 permit rx_rate 100 counter enable

zi_rus: Вот именно этими очередями и управляет cpu_rx_rate_control

Кстати, там еще вроде есть команда, типа show flow_meter, посмотреть который текущие очереди можно

Purpose Used to set CPU receiving rate as predefined limit.

да

МОЖЕТ быть под это и попадают еще какие-то сотварные очереди, но все что идет хардварно - так и идет

ты этот поток , засовываешь в одну из 3-х очередей, которые, в свою очередь контролирует CPU

Это корявая попытка сделать шейпинг вместо rate-limit

Т.е. стандартное поведение резалки D-Link - это rate-limit

Для шейпинга сделали 3 софтварные очереди, которые обрабатывает CPU

Стандартные 7 классов QoS формируются в 3 очереди, которые могут обрабатываться как аппаратно, так и программно

делается это так

это какие грибы они ели?

не буду спорить

config scheduling_mechanism ports 1 strict - аппаратная очередь

а есть какая-то ситуация когда алармы с мак флапами сами закроются?

config scheduling_mechanism ports 1 weight_fair - программная

zi_rus: А как они закрыться могут? Закрывающего ивента ведь нету.

да я и не уверен что он открываться должен

dvolodin, нок не смог схавать такой поток http://pastebin.com/6kVyCGZ5

почему? MAC Flap - это где-то петля на оборудовании

совершенно не обязательно

zi_rus: почему не смог?

в ивентах не вижу

падение физики отработал, а этих нет

вернее тут ап, а еще перед этим был down

или он поумнел и сразу связал все в одну проблему?

блин, не могу найти, где в DGS-3627 стандартные 7 очередей QoS преобразовываются в 3 аппаратные

а ты посмотри

кто? куда?

в DES-3010 была команда "show cos tos", где можно было посмотреть соответствие TOS одной из 4-х очередей

На DGS-3627 не нахожу такого

show 802.1p user_priority

Хм. Похоже на DGS-3627 7 аппаратных очередей. Только бы узнать, как эти аппаратные очередт транслируются в программные

На CPU три программные очереди с COS 0,1,2

На портах по 7 аппаратных, с COS 0,1,2,3,4,5,6

Короче - это загадка D-Link, которую разгадать очень трудно

обычно с CPU идет в 7-ю все

в нее кладутся всякие STP и прочая нечисть

чтобы при перегрузке линка дерево не развалилвалось

В DGS-3627 это аппаратно прибито. Все пакеты, уходящие с CPU имеют TOS 7

это у всех так

В DES-3200 по умолчанию стоит 0, но с помощью "control_pkt" это можно регулировать

ну или в 3-ю очередь, если их 4

D-Link и тут отличился :)

DES-3200-26:5#show control_pkt

Command: show control_pkt

Protocol Priority DSCP

--------- -------- ------

igmp None None

vrrp None None

rip None None

pim None None

dvmrp None None

ospf None None

mld None None

ipv6 pim None None

ipv6 ospf None None

ripng None None

nd None None

Success.