nocproject.org

Доброе утро! господа, есть вопрос. как вручную дернуть конфиг из железки. из scripts отрабатывает, а из задачи нет в логе лишь Map Task error: Cancelled

я так понимаю по достижению таймаута

в логах активатора и SAE что-нибудь есть?

и тот и другой согласно кивают на то что задача отменена

видимо по таймауту

2011-01-18 10:48:32,873 ERROR script(Alcatel.TIMOS.get_config,bsr01,**{}) failed: Cancelled

2011-01-18 10:48:32,926 ERROR Map Task error: Cancelled

по таймауту отлетело

как првоерить чего пошло не так ? с скриптов пашет

можно запустить отдельный активатор с loglevel = debug, пересадить на него эту железку и посмотреть, на чем оно залипает

я сессии логирую

туда что-нибудь попадает?

можно еще скрипту поставить TIMEOUT побольше

в логе сесси меня смущает сильно тот факт что оно команды выдает не в той поседоваетльносьти

сначала просмотр конфига потом отключение пейджера

в каком порядке они передаются то ?

я и так уже 900 выставил и ретраев 3

в правильном должны выдаваться

да в логе сесси есть только команды отправки

но не принимается

лучше посмотреть debug логи активатора

ага

согздал активатор через веб

а как его в конфиг запихать где почитать ?

отдельный конфиг ему можно сделать и запустить так

./scripts/noc-activator.py -f -c etc/noc-activator-debug.conf

алкателовский BRAS?

как они, кстати?

fuf

ага

7750?

не без проблемм.

да

забавная штука, смотрел несколько лет назад, но остановились в итоге на juniper'е

e120/320 ?

там порты выставлены их поменять надо ?

host = 127.0.0.1

ssl_port = 19703

port = 19701

ssl пока не in use

были E120 и ERX310

name ему надо поменять

port и loglevel

хм

такаое ощущение что он его листит

тоест ьполсдеовательность команд не верная

но иногда он его собирает

http://freebsd.pastebin.com/CAbbQYDg

собирает потихоньку, потом cancel ловит?

ага

потом счастиливо говорит что прибил зомбака

а иногда отдает быстро и успевает пролететь?

да

с консоли он всегда быстро отдает

версия noc какая?

3140

3140:903e2442abf4

пейджер у него отключается?

да

но говорю же

он в логе сессии выводит их в неверном порядке

как профиль выглядит?

и скрипт

http://freebsd.pastebin.com/nL79RmZJ

http://freebsd.pastebin.com/zjrLephK

config_volatile="#\sFinished.*" в скрипте не нужен

в логах активатора команды в каком порядке уходят?

я уже вынес

это были первые попытки

верно уходят

в правильной последовательности

то есть пейджер ему не мешает?

да пейджер не мешает

но с каокго то момента в логе кроме on_read появлется еще и Asynchronous check

надо сказать есть один момент который может все портить

конфиг TIMOS-а легко может быть по 28 мегов

asyncronous check - это все правильно, как раз для больших конфигов

сколько ему нужно времени, чтобы слить конфиг по ssh?

через веб минуту он быстро делает это

щас засеку

58 секунд

а по ssh?

17

активатор проц и память сильно жрет, когда конфиг выскребает?

не очень.

но если делаешь дерганье через config manager то он вместо отменечнного дергает все почему то

и тогда в полку.

по времени что получается?

15 минут пытается выцарапать конфиг и получает по шапке?

или раньше обламывается?

он раньше отстреливется

по времени 900 секунд и примерно половина в канселед

python manage.py debug-script Alcatel.TIMOS.get_config <имя железки в базе>

такое проходит?

кстати virtualbox

вряд ли это сильно влияет

хотя, кто знает, может оно активатор ущемляет настолько, что он ничего не успевает

а если эту железку вынести на отдельный персональный активатор, ему легче становится?

щас с локалхоса моего перенесем на esx там поболее ресурсов дать можно

дебаг отработал

без траблов

быстро

ага

сколько по времени?

меньше минуты

ага

сколько конфигов в параллель вытягивается?

38

2011-01-18 12:34:20,266 INFO 37 script threads left (200 max)

может быть многовато для localhost'а

для начала можно попробовать 20

и подождать какое-то время - он должен равномерно растрясти сбор конфигов

http://redmine.nocproject.org/boards/1/topics/1849

Перенеси в developers corner

перенесли на другую тачилу. теперь мамяти и проца ей вдоволь. теперь если я правильно понимаю надо разносить по активаторам ?

ибо сбор с конфиг манагера так и не идет

А он никогда там и не шел. Я об этом уже несколько раз говорил.

Единственный вариант немедленно вытянуть конфиг - это через Service Activation -> Task Schedules -> Run Now

Если ты хоть один раз воспользовался Configuration Management - Configs -> Get Now, то с этого устройства у тебя перестанут сливаться конфиги.

если выбирать "Get Now", то автоматом пройдет "Run Now" для cm.pull_config

Попробуй сам. Я танцевал с бубном много раз. Выставлял интервал pull в 5 секунд. Ни разу конфиг через Get Now не слился.

Создай новое устройство и попробуй вручную слить с него конфиг.

ага ща попробую

после запуска лучше поставить небольшой лимит на количество сессий

и он потихоньку все высосет

выставил в конфиге 10 сессий

запустил через сервис активатор

пошло тянуть?

вытянуло 4 которые раньше не могло. один так и не побеждается

Этот "один" пробовал вытянуть через Configuration Management - Configs -> Get Now ?

да я многие пробовал

Именно этот, который не стянулся

У меня решалось полным перезапуском NOC

там такой принцип

пускается задача cm.pull_config

она берет конфиги, для которых next_pull < now

и пытается вытянуть

в зависимости от результата меняет next_pull

и так до следующего запуска

next_pull меняется с рандомной вариацией

Хм. Попробуй сам поменять время Pull. В поле "Next Pull" выставится время в формате отличном от того, которое стоит в остальных конфигах. Это ни на что не влияет?

поэтому через некоторое время после запуска сбор конфигов более-менее равномерно размазывается по времени

Т.е., если нормальное время стоит "2011-01-19 09:39:09.605638", то после изменения будет "2011-01-19 09:39:09"

И конфиг перестает сливаться.

а

если из формы менять?

"Enter a valid time"

Я об этой проблеме еще месяц назад вопрос поднимал.

не воспроизводится

давай по шагам, что делаешь и на чем запарывается?

Home -> Configuration Management -> Configs -> Нажми возле конфига "Change"

сделал

Save сделай

сделал

микросекунды пропали

Во.

и?

И после этого конфиг с этого устройства перестает сливаться.

Видать функция работы с временем неверно конвертирует полученный формат.

Ради интереса выставь время сливания конфига через 5-10 секунд и понаблюдай

2011-01-18 12:42:27,149 INFO cm.config_pull: sw-3-ti.msk.inn.ru, status=OK, reason=OK

пошло и вытянуло с первого раза

может с локалью у тебя проблема?

еще может влиять, как собран psycopg2

с нативным DateTime или с mxDateTime

у мя дебиан судя по всему есть тоже такая же трабла

а если Get Now делать, время правильно выставляется?

Хм. У меня сейчас заработало. Но я неделю назад обновил все порты. django до 1.2.4. и Jinja до 2.5.5

А. И pygments до 1.4, и sphinx до 1.0.5

Возможно проблема была в contrib

а что такое Mysterious death

:)

как это диагностировать ? :)

Странно это

у меня с contrib все нормально отрабатывало

dvolodin, а что такое Mysterious death

и как это диагностировать ? :)

может быть с последними коммитами и пропало

race condition хитрый

собираемся прибить запущенный thread

и обнаруживаем, что он в это время подох сам

некритично, это реакция на cancel

в Django 1.2.4 мелкие фиксы - не должны влиять на обработку даты

А остальные модули? Я честно-говоря changelog к ним не смотрел.

еще момент script concurrent session limit reached это точно error может warning ?

я пытаюсь понять задание не выполнено вообще или там очередь

это очередь

пришел запрос к активатору, а у него достугнут лимит сессий

для скриптов, отбитых таким образом, таймаут будет небольшой

так может это надо поднять в уровнях. если это не критично до info ?

зачем?

ну просто это не похоже на error :)

формально - это error

попросили активатор выполнить скрипт, а он отказал, сославшись на головную боль :)