nocproject.org

,,

не ставьте последний коммит.

локов становится больше и всё в гавно скатывается

поздно) на самом деле уже несколько дней что-то не то... в noc-discovery.log как-то совсем пусто, задачи где-то залипают

у меня десяток МО не могут отдискавериться несколько дней

e_zombie: "локов становится больше" найчи как посмотреть

запускаешь на каком-нибудь объекте, например, interface_status_discovery - next run меняет на "сейчас", в монгу в schedules.inv.discovery тоже пишет, но не запускает

select * from pg_locks

NOC-1633

у меня munin рисует графики.

к проблеме со, скажем так, медленным запуском запланированных задач это вряд ли связано, там же вроде в монге всё живёт

не факт.

хотя да, maptask и reducetask в pg

во во

добавил в NOC-1633

<TSergey> "у меня десяток МО не могут отдискавериться несколько дней"/ Я думал так только у меня.

и давненько так, я думал у меня что-то сломалось

fumufu86: добавляйся в NOC-1633

Но у меня такое не только с дискавери. У меня в алармах мо которые нормально пингуются уже 15 дней висят

fumufu86: сделай селекты, добавь в таск

если у тебя база в локах хер ты что сделаешь нормально.

Ещё проблема из 2000 доступных скриптов, используется 1-2. Но при этом при запуске ран дискавери ноу или чего нибудь вручную выполняется по пол дня

ещё при запуске ран командс, на 150 мо. половина отваливается по таймауту. Хотя раньше и 600-1000 не было проблемой.

вот вот.

ууууу. меня размер базы прыгнул в два раза

кхм. с 257 -> 333

не два.

но пик заметный

lexus-omsk: да ты шутник-)

dvolodin: :) всё плохо после коммитов. локов стало в два раза больше

локи не страшны

точнее

считай количество локов, у которых granted = False

тем не менее факт, что задачи шедулятся, но не запускаются

может это и не с локами постгреса связано, но оно есть

но не с последним коммитом связано

он просто не пишет понапрасну в reducetask

и не трясет ее

dvolodin: а в чем же дело? дискавери 10 объектов длится третьи сутки

не с последним, да

noc=# select count(*) from pg_locks where granted = false;

count

-------

0

(1 row)

noc=# select count(*) from pg_locks where granted = false;

count

-------

0

(1 row)

noc=# select count(*) from pg_locks where granted = false;

count

-------

0

(1 строка)

ну вот, блокирующих локов нет

dvolodin: а чего тогда происходит-то?

в noc-discovery.conf посмотри

# Maximum threadpool size

max_threads = 30

это количество обработчиков в пуле

можно его расширить

там возможна ситуация, при которой обработчики заняты тяжелыми методами вроде config_discovery

который cpu bound

dvolodin: нажать на одном Run и не дождаться окончания его обработки, что поменялось-то у меня как было около 1000 МО, так и осталось.

научи как увидеть чем заняты обработчики

аналогично количество MO меняется на +50 в месяц, при 1500 первоначальных.

транзакции появились

введение транзакций увеличило, к примеру, время выполнения interface_discovery с 3 секунд до 123 секунд

До одного из обновлений, нок-активатор занимал 17-30% процессора. Сейчас его почти не видно в процессах

evyscr: научи как смотришь

noc-scheduler.log

сравнение времени выполнения с transaction = False и без оного

у себя я первым делом поднял интервал uptime_discovery до 300 секунд

evyscr: noc-discovery.log

uptime_discovery имеет смысл пускать раз в 15 минут

зачем?

зачем noc-discovery.log?

впрочем, туплю

это я уже конкретных выискивал

dvolodin: говори чего делать, дискавери не работает

TSergey: ты уже поднял интервал uptime_discovery?

нет

зря

делай 600

тема производительности шедулера будет вставать очень остро, да

а где это сделать, что-то я такого ни в конфиге дискавери ни в главном не вижу

TSergey: в профилях

managed objects profile

Min.interval в SA|Setup\Managed Object Profiles ?

да

спасиб

сделал

но Run по прежнему висит колом, на МО, вот на одном вижу как config_discovery висит

после /etc/init.d/noc-launcher stop нок разве должен открываться?

dvolodin: чего происходит? скрипт отрабатывает мигом, Run в дискавери висит колом

так вы min или max в 600 ставите?

у меня max и так был 600

а min - это же повторение при неудачной попытке... или нет?

Минимальный, скорее. Чтоб не так часто рыпался.

да

я не понимаю чего присходит

этого никто не понимает

в SA\Monitor\Scripts 4 скрипта

по 10 МО за три дня до интерфейс дискавери так и недобрались

ща вовсе одни скрипт

смотри, что в постгресе творится

чем нок сейчас занят-то?

например, pg_stat_activity

напиши чуть подробней, плс

это база?

11 rows

это типа процессы

похоже это мое дискавери висит

три в in transction

ежели у тебя порт не равен -1, то можно отследить процесс

во всех -1

все лезут через юникс-сокет

чтобы изменить, надо в noc.conf прописать host = 127.0.0.1

в [database]

два постоянно висящих (у меня) в idle in transaction процесса - noc-notifier и noc-classifier

у кого есть MUNIN можно поставить https://github.com/aouyar/PyMunin/blob/master/pymunin/plugins/pgstats.py

угу, теперь разные client_port

pymunin есть в репах

yum install PyMunin.noarch

munin-run pgstat -debug

evyscr: и как узнать кто это?

netstat -nap | grep 5432 | grep python

ps afxw

для бзди - искать аналоги

17297 ? Ss 0:09 \_ postgres: noc noc 127.0.0.1(33559) idle

17298 ? Ss 0:00 \_ postgres: noc noc 127.0.0.1(33560) idle in transaction

17300 ? Ss 0:02 \_ postgres: noc noc 127.0.0.1(33561) idle in transaction

17301 ? Ss 0:00 \_ postgres: noc noc 127.0.0.1(33562) idle in transaction

17303 ? Ss 0:00 \_ postgres: noc noc 127.0.0.1(33565) idle

17313 ? Ss 0:00 \_ postgres: noc noc 127.0.0.1(33567) idle in transaction

17495 ? Ss 0:00 \_ postgres: noc noc 127.0.0.1(33713) idle

ООООООбля. у меня БД постгри мухнет как на дрожжах. просто линейно.

TSergey: ну вот смотри: http://dpaste.com/1QDH8VC

после /opt/noc# /etc/init.d/noc-launcher stop не один из процессов нока не остановился. обновления стали накатываться и по вебу доступ остался.

это нормально?

evyscr: http://dpaste.com/26ZWT3S

ну, четыре шедулера уже есть

добавил дополнительный сброс статистики по использованию потоков в noc-discovery

чет SA\Monitor отвалился :(

а нет, это он так на перезапуск реагирует

dvolodin: рассказывай чего копать еще, Run в SA\MO\Edit\Discovery зависает, что при этом происходит?

прямо в интерфейсе зависает?

TSergey: посмотри, для этой железки другие методы discovery сейчас не выполняются?

у меня не зависает, но и в run не переходит, только дату next run меняет

это нормально

в run его перегоняет шедулер

dvolodin: как посмотреть? (таких у меня 10 штук)

TSergey: да хотя бы во вкладке discovery

раньше почти сразу переходил (пара секунд максимум)

dvolodin: во вкладке --- другие не выполняются

ну да

так, погодите, у меня идейка есть

Run только на одном

lexus-omsk: у тебя так и для старых? на новых такой ведел

*такое

на любом вроде, да вообще после перезапуска дискавери что-то зашедулил, что-то даже успел запустить - и всё, часов 5 прошло - ни одной записи в логе

о а на старых нажимай, не нажимай Run, ничего не еняется

*не меняется

https://pp.vk.me/c625724/v625724151/4228d/6BRLT9c_duY.jpg

я все больше понимаю почему тебе нравится нок

https://pp.vk.me/c625724/v625724151/4227a/xVcGFfp2wHQ.jpg

а другие варианты пробовал?

openNMS

например.

гыгыгыгы.

там тот ещё адок и пиздецок (с)

e_zombie: не, я сразу и безнадежно влюбился в нок

мнда. я думал это я извращенец.

и в обещание кабельного инвентори

а тут оказывается есть ещё хуже

всяко

я пытался занести тестовый сегмент в crosspro, есть такая система

нашел причину бед

после ответа разработчиков: "Импорт данных - сложная операция. Обычно наши клиенты, по договору сопровождения, высылают нам требования, какие данные они хотят загрузить импортом, далее мы готовим и тестируем шаблоны, и высылаем клиенту вместе с инс�

dvolodin: нок? :)

++

dvolodin: ну давай, выкладывай

а есь что-нибудь на подобии opennms или zenoss, только нормально работающее, пусть и уёбищное?

ну там чтобы графики снимались через rrdtool и чтобы автодискавери был

https://pp.vk.me/c625724/v625724151/422a1/E3Yh2LO1UyE.jpg

PavelGloba: что есть "нормально работающее"

выкатил мегафикс

мне страшна

мне самому страшно

ты внутрь посмотри

система мониторинга с построением графиков в этом формате

ээээ чёт не видна его в коммитах

битбакет пока не видит

уехало

opennms у меня например переставал в какой-то момент графики снимать, пока его не ребутнешь

PavelGloba: почему именно rrd?

видит

ща

посмотрите внутрь

есть ещё какой-нибудь формат, который место не жрёт?

NOC с роксом жрет меньше

что то не видна коммита

e_zombie: уже видно

DEBUG:south:south execute "DELETE FROM sa_maptask" with params "[]"

DEBUG:south:south execute "DELETE FROM sa_reducetask" with params "[]"

DEBUG:south:south execute "ALTER TABLE "sa_maptask" ADD COLUMN "stop_time" timestamp with time zone NOT NULL;" with params "[]"

в общем там все в diff понятно

максимальное время выполнения задач всегда определялась reduce task

Ну хорошо. Или с этим.

когда мы перестали использовать их для запуска одиночных задач, стало непонятно, когда пректащать ее по таймауту

мнда. коммандочки знатные

e_zombie: это лучше, чем лепить костыль в коде

чёт оно у меня стоит и альтер долго делает

ну и чего должно произойти? Run так и тупит

и меняет время Last Run не меняя Status

типа живой

или что-то должно сначала убиться?

у меня пока никаких улучшений не видно, запуск Run также тупит

TSergey: SELECT id, managed_object_id, map_script, next_try, retries_left, status, script_timeout, stop_time FROM sa_maptask ORDER BY next_try;

и похоже столько всего запустилось, что SA\Monitor не может прочухаться

вот так можно посмотреть, что сейчас выполняется

http://dpaste.com/39ZK01J

это первый экран

noc=# SELECT count(*) FROM sa_maptask;

count

-------

23523

(1 row)

вероятно всё выполняется?

count --- 3

r 11321

TSergey: причем они отработали почти все

status = "C"

noc=# SELECT count(*) FROM sa_maptask WHERE status != 'C';

count

-------

25481

(1 row)

а сделай status = 'R'

noc=# SELECT count(*) FROM sa_maptask WHERE status != 'R';

count

-------

28345

(1 row)

сорри

noc=# SELECT count(*) FROM sa_maptask WHERE status = 'R';

count

-------

107

(1 row)

Как остановить нок если он на /etc/init.d/noc-launcher stop и sudo service noc-launcher stop не реагирует, при удалении процессов их перезапускает?

сотнями по таймауту отваливаются

kill

убиваешь родителя, затем - потомков

fumufu86: я килю "noc-launcher start", отсальные, как правило тоже гибнут

noc=# SELECT count(*) FROM sa_maptask WHERE status = 'F';

count

-------

31240

(1 row)

так это должно работать?

select map_script, status, count(*) from sa_maptask group by map_script, status;

F - это failed?

наверное

evyscr: http://dpaste.com/37WPTT7

это страничка, не всё

аптаймы что-ли выключить

W -- новые задачи, которые ожидают запуска

R -- запущенные

C -- успешно завернешшые

F - завалившиеся

noc=# SELECT count(*) FROM sa_maptask WHERE status = 'W';

count

-------

4116

(1 row)

TSergey: ябать у тя фэйлов...

noc=# SELECT count(*) FROM sa_maptask WHERE status = 'F';

count

-------

36974

(1 row)

TSergey: допиши там в конец еще ORDER BY 3 DESC

а нок ущербен при работк с фэйлами

почему ущербен?

по наблюдениям

иной раз может и колом встать

да ну

однажды было

верхняя страничка http://dpaste.com/3HNHAM2

TSergey: вот и ответ на твой вопрос

DLink'и у тебя нихрена не работают :)

TSergey: а в failed scripts что-нить есть?

dvolodin: это у тебя не работает

да, все падает по таймауту

debug-script всё покажет нормально

dvolodin: у меня только нок не работает, сорри

эта, тормози нок

сноси всё из таблицы

лимиты проверяй на сессии активаторов

эту раскоряку нок уже не преодолеет

скорее всего - слишком много пытаешься выполнять одновременно

лол

сколько активаторов в пуле и сколько скриптов на них

оно встречается на мизерном количестве оборудования

стопанул

dvolodin: все по дефолту

всегда хватало

эээ

только до 100 скриптов поднимал

100 скриптов

сколько активаторов в пуле?

dvolodin: так всё-таки, где ответ на рост длительности дискавери?

dvolodin: вероятно один

TSergey: понятно

запусти хотя бы 4

не хватает

рекомендовали по количеству процов, это виртуалка

докинь процов

эм

а load avg какой?

народ говорит, что загрузка проца в минимуме

load average: 0.05, 0.62, 1.44

ну запусти их штуки 4 сразу по 100 сессий

он не успевает у тебя разгрести очередь

где добавлять активаторы? в вебе?

в конфиге для начала

дайте пример, плс

но почему активатор не успевает разгрести очередь? какие записи в логах смотеть?

и, вообще говоря, нахрена дискавери по одному элементу идёт в map/reduce?

evyscr: а как еще?

они независимы

TSergey: в noc-launcher.conf

добавить config.1 ?

ога

ок, можно на тот же noc-activator.conf ?

файлик тебе скинуть ?

noc-launcher.conf ? там же просто

дык да

где еще нужно прописать?

нигде ;)

а добавлять активатор с дургим именем?

dvolodin: кто независимы? речь про один конкретный дискавери по одному конкретному мо.

нет, с тем же

это пул будет

evyscr: и?

TSergey больше ничего не надо

там ровно одна задача

ну

в процессах есть

ща будм базу смотреть

для ровно одной задачи нужен механизм map/reduce?

(непараллелящейся, разумеется)

и 1000 скриптов я поставил

доели что-ли: All activators are busy in pool 'default'

SELECT count(*) FROM sa_maptask WHERE status = 'W';

всего 175 штук

500

и опять до чуть больше 200

ну погруппируй опять

я утерял скрипт :(

эм?

select map_script, status, count(*) from sa_maptask group by map_script, status;

это?

угу

можешь с order'ом

так я базу же не чистил

чего мы увидим?

http://dpaste.com/1KWKCP0

dvolodin: кстате, в sa - monitor неплохо бы добавить поле scripts: max, а не только current

вот он у меня не работает сейчас

DLink.DxS.get_interfaces | R | 814

каждый будет выполняться две минуты

и это, у тебя Dlink.DxS сколько всего девайсов?

штук 900

reports - Managed Objects Summary

DLink.DxS 883

так

DLink.DGS3100 14

DLink.DES21xx 82

dvolodin: какого хрена запускается новая версия дискавери при незавершившейся прежней?

сорри, я убег

огромное спасибо, оставлю это дело, может разгребет

ха. сломали что-то ?

логер есть, значит завтра дочитаю

дискавери падает с трейсом и постоянно рестартует

дык, давно уж сломали

ufir: где трейс?

self = <noc.inv.discovery.daemon.DiscoveryDaemon object at 0x7fdb6423a510>

------------------------------------------------------------------------

END OF TRACEBACK

2015-07-10 15:05:40,795 [noc-discovery] Removing pidfile: /var/run/noc/noc-discovery.pid

2015-07-10 15:05:40,796 [noc-discovery] STOP

2015-07-10 15:05:44,720 [noc.lib.perf] Stats are disabled

2015-07-10 15:05:44,720 [noc.lib.threadpool] Pool settings: name=pool start_threads=1 max_threads=30 min_spare=1 max_spare=7 backlog=30

2015-07-10 15:05:44,720 [noc-discovery] Initializing solutions

и так постоянно

у меня так не падает

ufir: трейс мне на почту пришли

ufir: ты того, кидать концовку без начала?

все, теперь прям ушел

господа, делайте ваши ставки, что это опять bad unicode

http://pastebin.com/n7J6M5gR

ну, скрипта нет, окай

ufir: вижу, сейчас поправлю

пофиксил

спасибо ;) теперь заработало

какие-нибудь изменения есть?

я не помню, было ли ето

2015-07-10 15:36:08,812 [noc.lib.scheduler.job] [inv.discovery][interface_discovery][42] UNHANDLED EXCEPTION (2015-07-10 15:36:07.612822)

BRANCH: develop TIP: 8afb51520477

PROCESS: ./scripts/noc-discovery.py

WORKING DIRECTORY: /opt/noc

EXCEPTION: <class 'mongoengine.errors.ValidationError'> Unable to dereference <class 'noc.inv.models.interface.Interface'>:533219a27e85c95907cb5663

START OF TRACEBACK

ну это может как-то на жунипере локально скрипт глюкнул

это, похоже, висячие сабы остались

с удаленного интерфейса

кстати да.. запросто

ну и еще какие-то 2015-07-10 15:36:09,046 [noc.lib.scheduler.job] [inv.discovery][interface_discovery][287] Missed ifindexes for: Eth 1/25, Eth 1/24, Eth 1/21, Eth 1/20, Eth 1/23, Eth 1/22, VLAN 2002, - и так далее

судя по названию интерфейсов - какой-то фттбшный коммутатор

и раньше в логи дискавери постоянно всякое сыпалось, а щас что-то ничего почти нет

а, нет. поперло

да, на missed ifindexes затыкается надолго

разбираюсь

н-да. похоже падает что-то опять

рестуртую нок, начинают бежать всякие мессаги по разным логам. как только приходит [287] Missed ifindexes for: в лог дискавери - все файлы перестают изменяться

да, точно

да

еще один фиксик закоммитил

ну что зачинили багу?

ээ

логи активаторов стремительно засрало

2015-07-10 16:22:26,668 [script] Ignoring unknown interface Po 1: Invalid interface 'unrouted VLAN 3121'

2015-07-10 16:22:26,668 [script] Ignoring unknown interface Po 1: Invalid interface 'unrouted VLAN 3122'

из живых остались только логи noc-classifier.log

в noc-discovery снова прилетел 2015-07-10 16:22:24,157 [noc.lib.scheduler.job] [inv.discovery][interface_discovery][287] Missed ifindexes for: Eth 1/25, и все сдохло

или несдохло, хз. веб работает вроде

гг не я пока не буду старый инстал обновлять

месяц не обновлял точно

все, в логи активаторов тоже больше ничего не прилетает ;)

чертовы транзакции, блин

понял, чего он там виснет

:)

ура, до создателя дошла бага!))))))))

ништячок ;)

у меня загрузга проца на серваке с 32 ядрами и 16 гигами DDR4 была овер 3000%

@classmethod

def run(cls, object, script, params=None, timeout=None):

object = cls.resolve_object(object)

t = MapTask.create_task(object, script, params, timeout)

while True:

for mt in MapTask.objects.filter(id=t.id, status__in=["C", "F"]):

if mt.status == "C":

result = mt.script_result

else:

крал 3000 процентов блядь

result = None

mt.delete()

return result

time.sleep(1)

бага в том, что когда все это запущено в транзакции, MapTask.objects.filter() будет видеть только то, что сам записал

а не то, что ему выдал SAE

dvolodin, т.е. старое будет висеть и не убиваться?

и не контролироваться что там жрет все?

насчет жрать - нужно смотреть, какой процесс

пролечил залипание на уточнении ifindex

хм, чот я не помню таких ошибок 2015-07-10 17:50:14,016 [noc.cm.engine] [AGG-CENTR-05] Creating template error

2015-07-10 17:50:14,016 [noc.cm.engine] [AGG-CENTR-05] Define template (deftemplate MAIN::error

(slot type)

(slot obj)

(slot msg))

<dvolodin> чертовы транзакции, блин

ну, кто ещё не верит в силу моих предсказаний?-)

верю) давай вангуй еще что сломают