nocproject.org
04:06
поправил чуть линковку, теперь еще есть интересный момент, есть
04:06
DLink DGS-3120-24SC - Cisco 6500 - DLink DGS-3100-24TG
04:07
в зависимости от того, с кого начигать дискавери, то комитятся линки DLink DGS-3120-24SC - Cisco 6500, то Cisco 6500 - DLink DGS-3100-24TG
04:07
*начинать
04:08
?
04:09
несколько раз проверил, стабильно повторяется, то одни найдет и подтвердит, то другие (убив первые)
04:12
эффект гонки?
04:13
в коем то веке приехал к 8 на работу. а совещание с главным инженером отменили. такое шоу не будет.
04:14
TSergey, у длинкков случаем id не совпадают?
04:15
Identity found: Chassis MACs = F0:7D:68:C8:E8:9D - F0:7D:68:C8:E8:9D, hostname = None, router-id = None
04:15
Identity found: Chassis MACs = 84:C9:B2:AC:50:40 - 84:C9:B2:AC:50:40, hostname = None, router-id = None
04:16
маки шасси не совпадают
04:16
про это ты спрашивал?
04:16
да
04:16
если только метод линковки использует эти маки
04:17
а вот так и у одного и у другого:
04:17
Scheduling check for s41-1-2.intt:1:21 -> s2-1-1.tomica.ru:None
04:17
где s2 это циска
04:18
ну и for ... <- тут имя и порт длинка
05:38
опять всё коммитят не в девелоп.
05:45
у меня в Inventory \ Reports \ Object Summary отображается "DLink | DGS | DGS-3200-16" как бы его половчее найти в базе? что-то я сомневаюсь что у меня вовсе есть такой
05:46
а, вру, знаю такой
05:46
e_zombie1, а зачем тебе комиты в девелоп ?
05:46
noc-collector: Process invalid event sources properly
05:47
05:58
e_zombie1: там блок "L2 portchannel, tagged (if1 is aggregated interface of if2(LACP) and if3(static))"
05:58
неправильный
05:58
нет типа type = "aggregate"
05:59
и невозможно (насколько знаю) LACP и static в одном портчэнале
06:00
"если он добавляет только пустые строки" --- меняет пробелы на пустую строку
06:21
Dmitry1, GLEAN - еще один тип для ipv6 - добавь в скрипт пожалуйста
06:23
и во что его транслировать? или интерфейс поменять?
06:28
закоммитил
06:29
знатоки циски. что может быть в ней такого, что когда льется мультикаст около 40К PPS, загрузка по прерываниям достигает 99% ?
06:32
мультикаст с CEF не хочет работать?
06:32
06:33
народ, а почему у меня все правила помечены как не builtin
06:33
опять монга?
06:33
а как застамить мультикаст с CEF работать?
06:33
Dmitry1, какая платформа
06:35
Dmitry1: смотри в сторону RPF Failure
06:36
у шеститонника при RPF мультикаст сбрасывается на CPU
06:36
как посмотреть rpf failure ?
06:36
лечится статиками на multicast sources в правильный интерфейс
06:36
по маршрутам посмотри
06:37
если шеститонник считает, что source должен быть на другом интерфейсе он скидывает мультикаст на CPU
06:38
Dmitry1, настрой статик роут
06:38
он по динамике их не цепляет
06:38
IMHO платформе, которая вообще теоретически может сбросить трафик для форвардинга с data plane на control plane - место на помойке
06:38
_4ePTeHok: он и не может их зацепить
06:38
багу вроде фиксили в SRC релизах еще при мне
06:39
ну мы статиком прописывали и трафик уходил в хардвейр
06:39
rpf должен быть статическим
06:39
тогда оно живое
06:40
dvolodin, что мне с монгой делать? все сыпется, ничего не работает
06:40
спасибо за информацию. буду копать. обновить ios пока не могу
06:40
да, мы тоже статиком прописывали
06:40
другое дело, что аккуратность нужна
06:41
Dmitry1: SRC формально на шеститонники не ставится
06:41
у меня на RSP720 такой баг был
06:41
но он метров 250 мультикаста умудрялся своим процом прогнать
06:43
полулёжа я так думаю)
06:43
у нас на 32м цпу в полку улетал сразу от такого трафика
06:43
правда управляемость сохранял
06:44
хоть за это спасибо
06:44
ну стравнил
06:44
жопа в том, что фейковые маршруты приходилось в ISIS инжектить
06:44
иначе дальше по дереву было бы то же самое
06:45
а источники были не наши и весьма вольно относились к использованию приватных сеток в качестве multicast source
06:45
фм вообще не работает из-за этого
06:46
чините уже FM, я только кусок сети выдрал для экcпериментов с FM
06:46
dvolodin, у меня столько вазелина нет
06:47
пользуйся литолом, будь мужиком
06:47
я за всеми не успеваю
06:47
ааааа
06:48
и убежал
06:48
гг
06:48
ну цу выдал и ушел
06:48
беги за литолом))
06:49
ЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫЫ
06:49
жжёте
06:49
xetle: у тебя литол есть?
06:51
у каждого мужика должен быть
06:51
да. володин сказала пользоваться литолом. быстро. решительно. быть мужиками.
06:51
у меня вот в гараже есть
06:51
)))
06:52
06:52
иначе ФМ не заработает
06:52
06:52
_4ePTeHok, посодействуешь? а то без фм мне тут плохо будет
06:54
Последние 3 фотки страшные... Я бы сбежал ))))
06:54
e_zombie1:nice picture. helps at noc gui? :))
06:54
aermike: help relax after fantastic sex with NOC
06:55
zi_rus, и давно у тебя так?
06:55
make foto nude girl - good relax after hard work day
06:56
_4ePTeHok, как по совету Володина обновил монгу
06:56
сначала перестави приходить письма
06:56
может тогда и пимонго надо обновлять
06:56
но там ошибка в типе
06:56
а там все свежее
06:57
что было в портах фряхи
06:57
новая инсталляция
06:57
ну ты нашел на что равнятся
06:57
у меня монга в них древнее мамонта была
06:58
нормальная там версия
06:58
2,6,4
06:58
актуальная
06:58
ураааа счас будет пиздиловка :0
06:58
5ed3c5d mongoengine 0.8.7
06:59
пимонгу
06:59
она отлуп дает, что ты ей ключ не в строковом виде пихаешь
06:59
а в ссылочном
07:05
_4ePTeHok, я тебе по секрету скажу, я ей вообще ничего не пихаю, это все нок
07:09
e_zombie1, это ты что за версию выдал?
07:10
коммит где?
07:10
не вижу в ноке
07:10
или это коммит монги?
07:10
ты следишь за ними?
07:11
e_zombie1, 2014-09-06
07:12
какой же он крайний
07:44
18 сентября 2014 г. в рамках проекта «Месяц знаний» Самарский филиал ОАО «Ростелеком» совместно с ГУФСИН России по Самарской области, проведет познавательную программу для сотрудников компании и их детей «Преступление и наказание».
07:44
ыыыы
07:45
тур по лучшим местам УФСИН
07:45
"золотое кольцо" уфсина
07:46
"Дважды по 15 суток знаний"
07:47
Участвуя в мероприятии вы сможете увидеть собственными глазами госучреждение изнутри. Подержать в руках оружие, которым пользовались сотрудники Федеральной службы исполнения и наказания, начиная от 19 века и вплоть до сегодняшнего дня. А так же у
07:47
слышите удивительные истории о побегах, о жизни и судьбах заключенных.
07:47
бгг
07:47
Обращаем ваше внимание, что количество мест(нар) ограничено.
07:48
dvolodin, вазелин кончился
07:49
литол
07:49
будь мужиком блеять
07:49
_4ePTeHok еще не подогнал
07:49
быстрее до магазина
07:49
чем от меня)
07:54
сейчас аварию организовали, чисто случайно заметили, а в ноке фм не работает, и вазелин уже не помогает
07:55
переходи на графитовые смазки. у него температура рабочая выше значительно. плюс не воняет.
07:55
ароматный любрикант)
07:56
а счас начали делать лубрикант который можно как массажное масло юзать. ваще ляпота.
07:56
и массаж и не боишься что от масла гандон порвётся
08:09
я бы тоже с тобой плакался. но у меня фм не используется.
08:09
жаль
08:09
а ты начни
08:09
я честный. я не могу.
08:09
но у меня тоже нихуя не работает.
08:10
а может кто знает как бороться с интерфейсами, которые дискавери нашел, теперь их нет, но нок упорно пытается их опрашивать и крашится? наподобие этого
http://pastebin.com/kjX1VGfw
08:10
у меня счас чтобы опросить телнетом практически все свитчи доступа уходит почти два часа.
08:12
чёто ссыкатно
08:12
такие штуки делать
08:13
irr123: я пользовал для того, что бы МО оставить, а порты убить
08:14
да мне важно было суть понять как это сделать, сейчас погуглю и буду в консоли нока вручную порты лишние чистить
08:14
а последний раз я так лечил порты на DGS-3100, в результате экпериментов дискавери интерфейсов стал трейситься, нок не мог нормально обновить инфу по портам
08:32
так частично или все соседи?
08:32
ща все, но есть нюансы :)
08:33
DLink DGS-3120-24SC - Cisco 6500 - DLink DGS-3100-24TG
08:33
в зависимости от того, с кого начигать дискавери, то комитятся линки DLink DGS-3120-24SC - Cisco 6500, то Cisco 6500 - DLink DGS-3100-24TG
08:34
не ошибка, все именно так
08:34
находят друг друга кандидатами
08:34
какие выводы/предположения?
08:34
потом на одном запускаю повторно дикавери, на другой паре кандилаты удаляются
08:34
и наоборот
08:35
evyscr: вааще пока не понимаю
08:35
проверил пяток раз
08:36
дык, смотри в корень^Wлоги
08:36
а какие? дискавери регулярно пишет что есть кандидат и шедулит проверку
08:37
ну у тебя три MO, стал быть по всем трём расписать два варианта
08:38
TSergey, а логи что говорят
08:38
на длинках проверка циски пишется так:
08:38
Scheduling check for s41-1-2.intt:1:21 -> s2-1-1.tomica.ru:None
08:38
какие логи-то?
08:38
все
08:38
джобы
08:38
дискавери
08:39
dvolodin, почини что-нибудь с монгой. нока раком стоит, а ебут меня
08:39
а я и не умею дебажить
08:39
debug-script, i mean
08:40
или там та самая проблема с кривой отдачей lldp?
08:40
вау вау. как 30 человек ебут одного - это что то
08:40
ежели оно, то нормально не починишь, только хаком
08:41
evyscr: :)
08:41
да чего там увидишь-то? если нок то линкует, то потом удаляет линк?
08:41
это явно liink-discovery так отрабатывает
08:42
Я вижу None - это уже повод задуматься
08:42
ну не отдает циска названия порта
08:44
пасть sh lldp rem
08:44
по тому порту
08:49
evyscr: секунду
08:50
08:51
и скажи по какому порту сделать sh lldp rem
09:16
TSergey: ну ты показал 1:21
09:16
по нему и сделай
09:24
преогромное преспасибо
09:24
а есть мысли, как так может быть что они поочередно находятя, подтвержадются и удаляются?
09:25
*подтверждаются
09:26
хреф его знает
09:27
либо там выдача lldp по-разному проходит
09:27
"remote_port_subtype": 128 --- это что значит, что тип порта не определен?
09:27
да
09:28
циска хреново живёт с lldp
09:28
у тебя там DGS3100?
09:28
ага
09:29
а сдругой стороны DGS-3120 на профиле DxS
09:29
ну т.е. это не особенности 3100
09:30
хотя DGS-3120 видит порты циски как "remote_port_subtype": 1
09:31
как 128 видит пока что только циска
09:32
а с 3120 кинь sh lldp rem
09:41
09:42
как-то так
09:42
(хотя это всё смотрится ужасно)
09:44
а в каком get_ ты это прописал? а то построчно у меня 123 другой текст
09:45
TSergey, шапку смотри inv/discovery/jobs/lldp_discovery.py
09:45
:) в какой функции мне нужно знать
09:46
get_remote_port_by_description
09:47
вообще, похоже, надо логику менять
09:53
в целом по рассматриваемому, это, похоже, или бага, или мисфича 6500/её текущей прошивки
09:53
ifAlias должен быть именно дескрипшном интерфейса
09:54
а Дима же сегодня про 6500 что-то спрашивал?
09:55
не, патч не спас
09:56
есть, конечно вариант, что я его кривенько прописал, но дискавери в трэйс не падало
09:57
запустил дискавери на всех трех участвующих
09:57
потом еще раз на циске
09:57
они перестали подтверждаться
09:58
а кандидатами становятся и удаляются стабильно
09:58
там надо другой блок вставить
10:01
10:10
неа
10:11
не подтверждаются
10:13
а скажи, можно как-то проверить дискавери на тушенке? или в этом json просто глазами смотрят?
10:16
хреф его знает
10:16
а что не подтверждается - странно
10:17
завтра сделаю иссэ с json и "sh lldp r <> m n"
10:17
покажи логджоб со стороны длинка
10:19
и debug-script бы неплохо...
10:19
ты нок ведь рестартовал, да?
10:20
в пасте --- длинки, что соседи циске
10:20
офкос рестартовал
10:20
не должно быть None уже...
10:21
lldp_discovery.py и .pyc одного времени
10:23
10:29
вот еще странно, что с еще одним дгс-ом (DGS-3200-16) циска слинковалась
10:29
а что на нём sh lldp rem говорит?
10:30
или она слинковалась после патча?
10:31
10:31
не, линковалось и раньше
10:32
может это из-за того, что на него линк один, а там парные (два и четыре)
10:34
an joke for amuzament, after such lldp
10:34
10:35
у меня парные нормально определялись
10:36
фигня какая-то, не должен он был без патча линковаться...
10:36
да понимаешь, такое дело, и они ведь линковались :) но потом, при дисквери на другом соседе, отваливались
10:37
я начинаю подозревать, что время от времени вываливается другой lldp
10:38
evyscr: а скажи, как же так, если они соседом показываются --- и хост и порт, и правильно, на мой взгляд, то почему нельзя подтверждать по этому имени хоста и порту?
10:39
а, Neighbor не обязательно как МО показывается
10:41
хотя нет, Neighbor правильно
10:41
не доходит до меня, почему, если в SA\MO\Edit\Links вся инфа уже есть, почему ее не хватает для комита
10:42
эм
10:42
в Links её не должно быть же
10:42
Те, кто там, уже отбрасываются
10:43
в Links отображаются незакомиченные кандиаты
10:44
да? не видел, но и не смотрел особо
10:45
а с двух сторон надо, потому что некоторые девайсы выдают вроде как корректную инфу, а на самом деле - фигню какую-то
10:45
так с двух сторон и есть
10:45
одинаково?
10:45
или небольшая разница имеется?
10:48
10:49
вааще одинаково, даже порты через ":" и "/"
10:51
это может быть один и тот же
10:51
не понял тебя
10:51
это соседи
10:51
кандидаты у них выглядят зеракально
10:51
в смысле, кандидаты получены с одного и того же устройства
10:51
как это?
10:52
наверху один сосоед, внизу другой
10:52
*сосед
10:52
я не про то
10:53
(или про то?)
10:53
жжешь :)
10:53
смотри, там есть четыре линка: port_chanel_1 и до 4
10:53
в первом случае, например, показываются линки с local_object = mo1
10:54
а во втором - с remote_object = mo2
10:54
линки сняты только с одного объекта
10:55
я думаю кандидаты заполняются по get_neigh...
10:55
они ж перезаписываются
10:55
ну вот сейчас, в этом состоянии, они есть как кандидаты на обеих
10:55
ты в монгу посмотри
10:56
а если на третьем запустить, то они дропнутся
10:56
не, все, я домой
10:56
db.noc.inv.pending_link_check.find()
10:56
спасибо преогромное, завтра соберу иссэ, удобней в него будет инфу кидать
10:56
еще раз спасибо, я убежал
11:03
ну вот TSergey планирует завтра иссэ собрать, а я предполагаю, что получится ишью
11:41
ахуенчик. "сервера пусть работают пока не сломаются. а пока менять смысла нету. "
11:41
это блять начальник развития.
11:41
в запой срочно
11:41
зачем так реагируешь?
11:41
сломаются да и похуй
12:05
ага. тебе скажут "чини. и не ибёт."
12:05
причём в усной форме
12:05
а ты чини :)
12:06
просто даунтайм будет большой
12:06
а мне думаешь в кайф выходить в ночь работать ? или случать в трубку голос этого пидора?
12:06
да им похуй да
12:06
ну так сделай это их проблемой
12:06
никак не получится .
12:07
попка у них прикрыта.
12:07
ага.
12:07
разбудили ночью для починки требуй выходной или оплаты :)
12:07
и между ними и мной стоит моя начальница
12:07
начальница была на фотках ?
12:07
такой вариант меня тоже не торкает.
12:07
не. она не секси и в возрасте.
12:08
вот стоит ли под монгу ебашить ssd диски?
12:08
неа. лучше fdd
12:08
они надежнее
12:09
и скорость записи в рейде выше
12:09
ну ясен перец что без бакапов неполучится.
12:40
fdd какие? 8-дюймовые?
12:40
e_zombie: у меня монга на SSD
12:41
тихо по ночам :)
12:41
вообще есть, монга не пытается упорядочить IO
12:42
12:43
это я увидел. свеферический конь в вакууме
12:43
все зависит от памяти
12:45
ладно, вот следующая развлекуха
12:45
в последних коммитах появилась такая штука, как Metric Config
12:45
и я сделал пробу для монги
12:45
я сефйчас увеличил с 6 гиг до 32 в виртуалке - не шибко заметил разницу
12:45
работает нормально, но есть один косячок
12:46
там при смене handler'а должна меняться форма
12:46
у меня такое ощущение, что оно делает это только один раз
12:46
кто подебажить может?
12:47
завтра с удовольствием что угодно. но сейчас я должен писать письмо и уходить.
12:47
кстати в cli-command ограничение на 50 потоков осталось или уже нет?
12:47
и еще - теперь проба умеет писать сразу в несколько коллекторов одновлеменно
12:48
e_zombie: а оно было?
12:48
ты мне говорил такое.
12:48
cd /opt/noc/ && ./noc cli-commands --limit=50 -d --timeout=600 @sar.fttb.huawei
12:48
у меня поэтому везде вот так
12:48
во всяком случае в примерах давалось так
12:52
так это ограничение не в NOC
12:52
а в здравом смысле
12:52
насколько активаторов тебе хватит, столько и прокачает
13:15
Привет
13:16
вопрос такой, можно ли настроить NOC для mySQL?
13:16
у емня есть кластер на mysql и много много свитчей
13:16
дорого еще кластер покупать
13:17
там скорее для монги надо кластер
13:17
)
13:17
а на том же кластере поднять постгрес с монгой?
13:17
Hanapi1: у меня около 7000 железок - и обычного сервака хватает.
13:17
можно попробовать
13:17
а так mysql нельзя значит?
13:18
хаебёшься слой абстракций писать
13:18
Hanapi1, оно с посгресом только
13:18
понятно
13:18
ладно что нибудб придумаю
13:18
на посгрес там нагрузка не большая
13:19
для 9к
13:19
плюс ты удивишься когда узнаешь что часть данных хранится в монге
13:19
а с zabbix базу перетянуть трудно на НОК?
13:19
импорт через текстовые файлы
13:19
кто-то даже автоматическую синхронизацию делал
13:19
тут есть уже перетянувшие
13:19
даже скрипты какие то были
13:19
я видель скрипты есть , но хотелось бы знать какие из них самые проверенные
13:20
зависит от версий
13:20
проверять все равно придется
13:20
Hanapi1: главное - у тебя там программисты на питоне есть?
13:20
а как можно найти кто это делал уже?
13:20
есть
13:20
это ключаевой залог успеха
13:21
ну тогда прекрасно
13:21
у тебя есть шансы
13:21
а чем тебя забикс не устроил?
13:22
честно говоря zabbix остается, NOC нужен для хранения конфигов и истории их изменения
13:22
аааа ну это фигня. будет всё нормально
13:22
залить базу хостов и всё будет
13:22
у zabbix API есть, есть что то подобное у NOC?
13:23
Hanapi1, ты очень наивен, я тоже думал что нок для конфигов и IPAM
13:23
и тут понеслась...
13:23
ЫЫЫЫЫЫ
13:23
и он не мог не подсесть на эту дрянь (с)
13:23
я тоже надеюсь, что смогу что то сделать больше, но не стану пока начальству обещать
13:24
и правильно.
13:24
но раз у тебя есть программеры то они тебе допилят что будет глючить и шансы высоки тогда
13:26
и не только тебе... я надеюсь
13:26
предположительно какое количество ОЗУ и на винте займет конфигурация 9000 свитчей + сохранение каждодневно конфигов имеется ввиду для PG и MongoDB?
13:26
в десятку гиг виртуалки влезет.
13:27
там растёт только БД в монге если туда лить по сислогу\снмп
13:27
Hanapi1, конфиги 600 свичей занимают 13М
13:27
если же порезать фильтрами на входе - то очень мало.
13:27
Если без FM то мало, и конфиги оно в hg репозитарии держет..
13:27
для конфиго тебе закладываться туда сильно нет необходимости.
13:27
нет
13:27
конфиги в монгу перехали
13:28
gridvcs
13:28
как я понял основное место занимает monga?
13:28
точно
13:28
у меня доходило до 100 гигов :)
13:28
не монга а данные
13:28
алармы и ивенты попадают в монгу
13:28
но у меня туда валилось всё что в сети происходило. хватало гдето на пару месяцев
13:28
Вот захочешь FM, на 9к свичей... монга расти будет гигабайтами...
13:28
это немного, там у меня 2ТБ RAID 6
13:29
а в обозримом будущем может нок еще и графики научится рисовать
13:29
еще данные прибавятся
13:29
тогда остается найти кто делал конвертер из zabbix в NOC
13:30
выгрузи из забикса список хостов и залей через механизм импорта
13:30
там формируется csv файл и импортится
13:31
типа такого
13:31
"name","is_managed","administrative_domain","activator","profile_name","description","scheme","address","port","user","password","super_password","remote_path"
13:31
"fsw-2-ogorodnjaja-204-96-sar
13:31
","True","default","activatormain","Huawei.VRP"," ул. Огородная, 204",0,"10.64.97.131",,"admin","admin","admin",,,,"tlg","tlg","True","10.64.97.131",,,,,"96-9
13:31
"fsw-4-ogorodnjaja-204-96-sar
13:31
","True","default","activatormain","Huawei.VRP"," ул. Огородная, 204",0,"10.64.97.132",,"admin","admin","admin",,,,"tlg","tlg","True","10.64.97.132",,,,,"96-9
13:31
"fsw-3-ogorodnjaja-206-96-sar
13:37
можно и так конечно, но скриптом удобней, т.к. каждый день прибавляются свитчи или могут удалиться
13:37
поэтому, автоматическая ежедневная синхронизация был бы кстати
13:40
13:40
13:40
два разных подхода, какой из рекомендуете?
13:41
13:42
Табе рекомендуют два варианта или скриптом загонать или через csv
13:43
Следовательно надо или скрипт для создания CSV файла для импорта в NOC или скрипт прямо пишущий в базы нок..
13:43
Скажу сразу, весной через CSV сильно намучался, он почимуто очень долго работает.
13:44
Могу дать примеры обеих вариантов..
13:44
работает долго но это не страшно
13:44
зато надежно
13:44
писая в базы можно наломать
13:44
Результат идентичен.
13:45
пока все работает да
13:45
если косяк, то csv не пропустит
13:45
а в базу пакость вольешь
13:46
никакой пакости, оно через нок в базу пишет..
13:52
скрипт если через питон то норм
13:59
спасибо, буду изучать
14:01
14:02
14:04
также я использовал "custom fileds" по этому и результат работы скриптов вам тоже надо будет править, некоторых полей в стандартной базе НОК нет.
14:14
Для заббикса и какти стоит написать конверторы, для автоматического импорта объектов...
14:14
Как один с методов дискавери..
17:50
если уж делаете интеграцию, настоятельно советую пользоваться либо python API, либо REST
17:51
там еще кеши разные могут быть
17:51
да и новый PM заточен на обработку сигналов и автоматом настраивает пробы
17:58
dvolodin, слушай, сообщения заведомо новые продолжают сыпаться. правило игнорирования на порту не работает
17:58
а интерфейсы нормально у него привязываются?
18:00
dvolodin, не понял. в инветори у всех интерфейсов прописан правильный профиль. я пробовал в профиле менять log на ignore и обратно, нок долго думает (в монге переписывает), но ничего не меняется
18:01
я про то, находит ли он интерфейс при обработке события?
18:01
ад
18:01
да
18:01
у алармов дескрипшен с интерфейса появляется
18:02
и я для дефолтового профиля тоже включил не поднимать алармы
18:18
своих обработчиков не воротил
18:19
нет
18:19
новая инсталляция
18:19
hg diff - только исправленные темплейты для писем
Share this page
Share this page:
About
Forum
Blogs
NOC Docs
Downloads
KB
Issues
Code
CI
Registration
