nocproject.org

кто использует кутеки на доступе? глючнее чем длинки?

доброе утро

утро добрым не бывает

вот именно, у меня с 15-го числа не собираются конфиги

Activator pool is down пишет

ничего за эти два дня на канале не писали ?

misak: а из SA\MO\Edit discovery руками запускается?

(и вроде не писали такого)

логи смотри

неа

т.е. не запускается?

у меня так было с новым МО

перешедуливал программно

и не факт что это помогло

потер логи, запустил заново

посмотрю что

но есть непонятные ошибки, пока что не связанные

начало собирать вроде-бы

[noc.lib.nbsocket.basesocket] [Ping4Socket] Failed to create ping socket. Check process permissions - а вот с этим как бороться кто знает?

а еще эти две ошибки

[noc.lib.daemon.configuration] Cannot get config from http://127.0.0.1:8000/main/sync/default/0/config/: HTTP Error 403: FORBIDDEN

[noc.lib.daemon.configuration] Cannot get config from http://127.0.0.1:8000/pm/probe/default/0/config/: HTTP Error 403: FORBIDDEN

активатор надо запускать от рута, это первая проблема

misak, ты тоже инструкцию не до конца читаешь?

zi_rus: просто не успеваю все логи канала читать

нашел уже все

работы у меня много, как ни банально это не звучит

TSergey: а как ты INTERNAL SERVER ERROR победил?

dvolodin, пируль при стандартной работе и при запуске через noc shell может давать разные результаты?

не должен

а вот дает

у меня валидатор конфига выдает

interface FastEthernet0/18

no mac access-group NOVRRP in

interface FastEthernet0/13

no mac access-group NOVRRP in

interface FastEthernet0/16

no mac access-group NOVRRP in

interface FastEthernet0/17

no mac access-group NOVRRP in

interface FastEthernet0/14

no mac access-group NOVRRP in

хотя я в коде сделал костыль чтобы эта и некоторые другие настройки игнорились

с консоли все нормально

m3g_ignore_config = set([

'description ',

'switchport mode',

'switchport trunk allowed vlan',

'mac access-group NOVRRP in',

'speed ',

'duplex ',

'switchport access vlan',

'l2protocol-tunnel ',

'media-type',

'shutdown',

'channel-group',

'port-type eni',

])

все эти настройки игнорятся

а при сборе конфига с железок тоже все работает

но почему-то пропускает NOVRRP и предлагает его удалить

подозрение что что-то залипло

потому что эту строчку я добавил последней

http://www.opennet.ru/opennews/art.shtml?num=41291

TSergey: у меня кутеков 1500 стоит. ну не знаю как длинки , но работает. но через анус. если там айпитиви.

кютеки второй месяц ищут баги у себя.

e_zombie1: спасиб

мы видимо начинаем на этих граблях прыгать

dvolodin, есть варианты как можно разлипнуть пируль?

если у тебя такое же гавно типа 2800 и 8200 то главное профиль для него ставь который qsw.2800 а не тот что идёт стандартно

e_zombie1: зная наши "надмозги", может еще передумают

и спасибо за советы, буду спрашивать

ну по факту вариантов у тебя почти нету. это типа русская контора.

"8[12:36] misak: TSergey: а как ты INTERNAL SERVER ERROR победил?"

это про пробы-метрики?

хотяи п делают всё в китае

TSergey: да, но я создал дефолтные, вроде-бы все ок сейчас

e_zombie1: наши почему-то думают, что кутеки будут дешевле длинков

misak: ок

ну это сколько денег занесут.

у нас хотябы есть представительство длинка под боком и чуть что - сразу мордой об стол.

длинк нормально

остальное или по функционалу плохо или запредельно дорого

надеюсь мы это обнаружим быстро, до того как накупим значительное количество

обнаружишь да

а как на айпитв сказывается?

я не в курсе всех подробностей но были баги со стабильностьюкоммутаторов на 7 ветке вообще

и для мультикаста в частности.

это вы про кутеки?

но них радимых

нда

а кроме логов канала, про графики есть где почитать?

про то как с нула настроить

нуля

https://kb.nocproject.org/pages/viewpage.action?pageId=17858564

пасиба!

ггыгыгы . у тебя всё равно не получится

:)

а 8000 порт надо оставлять?

в настройке строеджа?

да

там путь который у тебя в браузере

http://noc.gnc.am:8000/render - у меня так получается, при открытии с браузера коннекшен рефюзд

мне кажется порт не 8000

смотри в логи noc-web

без порта трейсбек вываливается

а с 80?

global name 'cairo' is not defined - подозреваю, что что-то надо доустанавливать

а, ты на другом этапе :)

да, именно с 80-м портом

:)

я тебе говорил что не получится :)

я еще побарахтаюсь

мнда. не получилось .

всего в 10 потоков идёт

dvolodin: привет

а чего может быть такое, save MO сам не заканчивается

он метрики там всякие пересчитывает

я вроде вырезал все по интерфейсам

ну и не закрывается совсем, я оставлял на час --- крутилось

закрываешь вкладку

снова заходишь --- сохранено

dvolodin, почему активаторы могут случайным образом отваливаться?

работают, ваыполняют скрипты

отправляют результат

и инстансы от сае начинают отваливаться

конектятся заново

потом опять отваливаются

и так по кругу

2014-12-18 11:49:09,554 [root] Registering as 'noc'

2014-12-18 11:51:38,171 [root] Registering as 'noc'

2014-12-18 11:52:28,408 [root] Registering as 'noc'

2014-12-18 11:52:53,560 [root] Registering as 'noc'

2014-12-18 11:55:43,925 [root] Registering as 'noc'

2014-12-18 11:57:56,061 [root] Registering as 'noc'

в логах сае только трейс http://pastebin.com/dBVw9gUF

но мне кажется это следствие а не причина отвалов

есть такая поебень

хотя у меня трейсов нету

но непонятное поведение присутствует

там в логах бывает при этом что-то типа SAE is overwhelmed by MRT scheduling

во во

это проблема с постгресом

вариант быстрый и грязный -- truncate sa_maptask; reindex sa_maptask

вариант правильный -- подтюнить постгрес

тоесть если валится оверхелмет - тюнить постгресс?

да

и в какую сторону?

for mt in MapTask.objects.filter(

status="W",

next_try__lte=t,

managed_object__activator__shard__is_active=True,

managed_object__activator__shard__name__in=self.shards

).order_by("next_try").select_related().select_for_update():

чтобы нормально выполнял такой вот запрос

можно, кстати, сделать индекс по полю next_try

может и поможет

давайте сделаем

отвлечённый вопрос. как по русски найти инфу как собрать на с\с++ прогу с отладочными символами но на клиента отправить только исполняемый файл, и иметь возможность у себя по core файлу отследить что там упало.

dvolodin, а у меня нет overwhelmed

2014-12-18 12:25:19,588 [noc-sae] SAE is overloaded by MRT scheduling (took 1.460105s)

?

или это не то?

root@noc:/var/noc/log # grep overl noc-sae.log

2014-12-18 11:52:46,025 [noc-sae] SAE is overloaded by MRT scheduling (took 5.617778s)

2014-12-18 11:53:11,413 [noc-sae] SAE is overloaded by MRT scheduling (took 5.727386s)

2014-12-18 11:53:31,105 [noc-sae] SAE is overloaded by MRT scheduling (took 1.298574s)

2014-12-18 11:53:32,577 [noc-sae] SAE is overloaded by MRT scheduling (took 1.299712s)

да

вот у меня оно же

[root@nocproject log]# grep overloaded noc-sae.log | wc -l

161

последние пару часов работы

мне тут уже freeseacher подсказывал

я тюнил постгрес

хотя

а ты что тюнил?

какой это нахрен тюнинг

e_zombie1, там какой-то сайт есть, вводишь данные, а он показывает какие параметры постгресму лучше захерачить

http://habrahabr.ru/post/217073/

есть в стандартных репах

e_zombie1, да, этот сайт

maintenance_work_mem = 1GB # pgtune wizard 2014-12-18

effective_cache_size = 24GB # pgtune wizard 2014-12-18

work_mem = 208MB # pgtune wizard 2014-12-18

wal_buffers = 8MB # pgtune wizard 2014-12-18

shared_buffers = 8GB # pgtune wizard 2014-12-18

не помогает

2014-12-18 12:52:19,000 [noc-sae] SAE is overloaded by MRT scheduling (took 1.717952s)

2014-12-18 12:52:22,798 [noc-sae] SAE is overloaded by MRT scheduling (took 2.076081s)

2014-12-18 12:52:26,098 [noc-sae] SAE is overloaded by MRT scheduling (took 1.563214s)

2014-12-18 12:52:30,544 [noc-sae] SAE is overloaded by MRT scheduling (took 2.377718s)

2014-12-18 12:52:34,059 [noc-sae] SAE is overloaded by MRT scheduling (took 1.503781s)

2014-12-18 12:52:37,763 [noc-sae] SAE is overloaded by MRT scheduling (took 1.507259s)

хотя меня походу ничего не спасёт. дисковые массивы просто не осиляют более 100 tps

TSergey у меня qtech 2800 серия, уже года полтора, пара сотен, наверное. Не жалуюсь, скорее наоборот, особенно на фоне недавнего получения DES-1210-28/ME/B2

lexus-omsk: спасиб

но у нас мультикаста нет в сети

100 tps -- совсем детский лепет

How much can I expect from my storage? It depends how fast the disks are spinning, and how many there is. As a rule of thumb I assume for a single disk: 7.2k RPM -> ~100 IOPS 10k RPM -> ~150 IOPS 15k RPM -> ~200 IOPS Our hadoop servers were pushing about 70 IOPS to each disk at peak and they are 7.2k ones so that is in line with this estimate.

dvolodin, так чего делать? видишь нас тут много и ничего не работает

:-D

у вас все время ничего не работает

нет

у нас все время не работает только нок

посмотрите, сколько записей в sa_maptask

работа у него такая - не работать

еще с залипающими пробами не могу отловить багу

dvolodin, noc=# select id from sa_maptask;

id

---------

1216649

...

1216645

(43 rows)

ну вот теперь вопрос - что вы делаете с постгресом, что он 40 записей за 2 секунды извлекает?

я ничего с ним не делаю

noc=# SELECT count (*) from sa_maptask;

постгрес только на нок работает

count

-------

4849

удваиваю предыдущего оратора

noc=# SELECT count (*) from sa_reducetask;

count

-------

7276

(1 строка)

как только маптаск\редусе выползает за 1000 - всё пиздет

у тебя железок много

у меня 43

и там и там

нок нашел ответ на самый главный вопрос

e_zombie1, ты настраивал метику для постгреса в ноке?

zi_rus: я настраивал

чего там надо выбирать?

а, ты наверное про другое

zi_rus: у меня оно каким то чудом запустилось . чёто страдало хуйнёй и я в ужасе вырубил до лучших времён более подробной доки. в ней кстатине хватает как график на графоне поглядеть

я добавил в PM\Setup\Metric Configs

оставид метрики, которые берутся по умолчанию

*оставил

прописал хост, порт, базу и пользователей

и метрики потсргеса полезли в PM\Setup\Metrics

zi_rus: про это спрашивал?

да

я ответил?

не уверен

зайди в PM\Setup\Metric Configs, есть хэндлер "Postgres"

есть

но метрики почему-то не создались

у меня не сразу

e_zombie1: попробуй индекс по полю next_try сделать

провеб probeconfig

*проверь

может и отпустит

dvolodin: знаешь про косяк, что при переключении между Metric Config в PM\Setup\Metric Configs, отображаются поля и из текущего метрик конфига и из предыдущего?

zi_rus: ./noc probeconfig --list

показывает постгресовские?

да,все уже появилось

еще бы кто объяснил какие метрики критичны чтобы посмотреть на сколько ему плохо

noc=# CREATE INDEX sa_maptask_next_try ON sa_maptask (next_try);

CREATE INDEX

походу пофигу

noc=# EXPLAIN ANALYZE SELECT * from sa_maptask;

QUERY PLAN

--------------------------------------------------------------------------------------------------------------

Seq Scan on sa_maptask (cost=0.00..966.67 rows=4867 width=495) (actual time=0.012..4.490 rows=4868 loops=1)

Total runtime: 7.422 ms

(2 строки)

noc=# EXPLAIN ANALYZE SELECT * from sa_reducetask;

QUERY PLAN

--------------------------------------------------------------------------------------------------------------------

Seq Scan on sa_reducetask (cost=0.00..20377.11 rows=7311 width=320) (actual time=0.013..33.997 rows=7297 loops=1)

Total runtime: 37.906 ms

(2 строки)

e_zombie1: на select * у тебя в любом случае будет seq scan

а какой туда запрос идёт?

select * from pg_stat_activity;

:)

:-D

шайтана

научись админить постгресс и уйду в сбербанк работать

а не ломали недавно kb.nocproject.org? что-то пускать перестал, причём говорит, что не неправильный пароль, а ошибка при регистрации

а без входа не всё видно, не все блоги

точнее, не блоги, а пространства, или как там оно называется

dvolodin: чёто у меня запросов туда ваще не видно

http://pastebin.com/7dVw3h79

interface_discovery стал трейсить этим

<type 'exceptions.AttributeError'>

'NoneType' object has no attribute 'default_collector'

как лечить?

у сае может нету этого атребута

а какие метрики сделать, чтобы следить за самим нок-ом?

и как пофиксить этот global name 'cairo' is not defined ?

установить каир,вестимо

дык стоит

Package cairo-1.12.14-2.fc19.x86_64 already installed and latest version

Package cairo-devel-1.12.14-2.fc19.x86_64 already installed and latest version

bee26: давай полный трейс

dvolodin: http://pastebin.com/KqDTUM3c

она тоже перешла на графит https://pp.vk.me/c623222/v623222151/f34e/7aRRzqCn48k.jpg

и теперь она вштыряет в картинку что он рисует https://pp.vk.me/c623222/v623222151/f301/4a5UUZrPeLQ.jpg

у меня девелоп. 0.8dev10428 (прошел правда через графит)

bee26: ты в pm > setup > storages не указал коллектор

dvolodin, snmp v1 посмотри в issue

чего его смотреть?

ну закоммить если все заебись

dvolodin, я эпушки в нок добавил, а он их обнюхать не может без v1

какой именно issue?

dvolodin: дефолтный на месте

bee26: скриншот покажи

dvolodin, 1495 или 1132

rfrjq nt,t ,jkmit yhfdbncz

какой тебе больше нравится

в лончере может запустить надо что-то?

Всем привет! Просьба подсказать, то такое MIB в модуле Fault Management

freeseacher, привет, просьба помоь с доступом в документацию, по-прежнему не работает

dvolodin: картинко http://i65.fastpic.ru/big/2014/1218/42/d74e5917eb3ff6c0593ef558c6b9f942.png

bee26: он один?

да

[noc-pmprobe]

enabled = false

user = noc

group =

config = etc/noc-pmprobe.conf

может включить?

в лончере

нет

это старая проба

удали вообще этот конфиг

и это тоже?

[noc-probe]

enabled = false

user = noc

group =.

config = etc/noc-probe.conf

а это новая проба

это надо настроить

dvolodin, нашел issue про snmp v1?

нашел

полджела сделано :)