nocproject.org
04:55
комрады, кто-то разворачивал данные в чистую монгу?
04:55
из бэкапа нока
05:05
bee26: привет
05:18
хотел поспрашивать, не разворачивал ли ты случаем дамп в пустую монгу
05:19
да
05:19
и постгрес тоже
05:22
пользунов надо заводить в базах предварительно?
05:22
или из дампа все развернется?
05:22
нет
05:22
mongo noc2
05:22
db.dropDatabase()
05:22
db.addUser("noc2", "thenocproject")
05:22
на доноре
05:24
где-то в форумах полное описание было - не найду никак
05:24
ты отвечаешь что не нужно или что из дампа не развернется?
05:24
из дампа не развернется. надо самому юзера создать
05:24
остальное из дампа
05:25
кстати при разворачивании лишние таблицы удалить сразу можно
05:42
я в sudoers написал для юзера
05:42
looper ALL= (root) NOPASSWD:ALL
05:42
еще что-то добавить?
05:43
должно хватить
05:43
только не (root), а (ALL)
05:44
bee26: я думал ключ --restoreDbUsersAndRoles восстанавливает пользователя
05:45
вообще не понятен смысл деланья юзера - если ему потом выдаются все права рута
05:46
следующий ошибка
05:46
TASK: [migrate | Apply pools] *************************************************
05:46
failed: [myNode] => {"changed": false, "cmd": ["/opt/noc/scripts/deploy/apply-pools"], "delta": "0:00:00.499326", "end": "2015-10-21 10:44:16.915288", "rc": 1, "start": "2015-10-21 10:44:16.415962", "stdout_lines": [], "warnings": []}
05:46
stderr: Traceback (most recent call last):
05:46
File "/opt/noc/scripts/deploy/apply-pools", line 41, in <module>
05:46
main()
05:46
File "/opt/noc/scripts/deploy/apply-pools", line 31, in main
05:46
name=p["name"],
05:46
TypeError: string indices must be integers, not str
05:55
teroni: смысл деланья юзера очень простой - рут не имеет прав на логин. Ну в нормальных системах
06:05
teroni: у тебя пулы заведены в башне?
06:06
посмотри у себя etc/noc.yml
06:06
есть там секция pools?
06:06
башня делает один суперконфиг на все ноды и демоны
06:07
мда
06:07
в NOC'е -- 756 скриптов из коробки
06:08
noc.yml
06:08
pools:
06:08
default:
06:08
description: Default pool for Myenv
06:08
services:
06:08
correlator:
06:08
- 192.168.13.116:19000
06:08
там и должно ипишника не быть?
06:10
так
06:10
зайди туда юзером noc
06:10
из каталога /opt/noc сделай
06:10
./scripts/deploy.apply-pools
06:10
вместо точки слеш
06:10
к статит в башне в сервисах я галки поставил только на GLOBAL
06:10
./scripts/deploy/apply-pools
06:11
а
06:11
ошибка там
06:14
делай pull и deploy
06:14
в принципе - ты уже очень далеко зашел
06:14
:)
06:14
filonov: присоединяйся тоже
06:15
попингуйки и коллекторы сислогов и трапов уже вполне живые
06:15
и общий результат мне начинает нравится
06:15
диагностика стала в разы проще
06:16
кстати, новые активаторы будут грузить не все скрипты сразу
06:16
а по требованию
06:16
from noc.core.script.loader import loader
06:16
s = loader.get_script("Cisco.IOS.get_version")
06:16
s
06:16
Out[3]: sa.profiles.Cisco.IOS.get_version.Script
06:16
dvolodin: у меня тут день доброго электрика и роскомнадзор :( не до того пока
06:17
и умеет на ходу их перезагружать
06:18
то есть скрипт пропатчить можно на ходу
06:18
опа. все сработало
06:19
и где увидеть нок теперь?
06:20
06:20
где nginx
06:21
Вроде нормальный процесс установки?
06:21
Welcome to nginx on Debian!
06:22
да только в начале там долго висит без надписей
06:24
06:28
а почему в конфиге написано
06:28
upstream noc-web {
06:28
server myNode:8000;
06:28
}
06:28
noc.conf
06:29
откуда опять взялся myNode
06:30
как догадываюсь должен быть мой ип там
06:34
hosts мосмотри
06:34
:)
06:34
в /etc/hosts
06:34
:)
06:53
1. в начале деплоя очень долго без изменений страница висит.
06:53
ощущение что все повисло
07:03
10 минут тишины напрягает..
07:04
2. ngnix после окончания установки надо я думаю перегрузить
07:04
он же не перечитывает конфу сам
07:05
научите, плс
07:05
pg_restore -c -d noc "дамп"
07:05
говорит "pg_restore: [archiver (db)] connection to database "noc" failed: FATAL: database "noc" does not exist"
07:06
для равзертывания уже нужна база?
07:06
*развертывания
07:17
teroni: он при смене конфига рестартует
07:18
в том плане, что там в playbook'е указано, что его нужно рестартовать
07:18
notify: restart nginx
07:18
насчет пп 1 -- не наблюдал такого
07:19
он сразу же пишет gathering facts
07:27
на полностью новый комп поставь...
07:27
тогда 10 минут кукует
07:28
про ngnix сейчас выдается страница Welcome to nginx on Debian!
07:44
TSergey: это боль
07:44
я разворачивал
07:44
ебался полдня
07:45
развернул - дропнул - развернул - дропнул
07:45
и развернул
07:46
вроде не
07:46
не помню
07:47
zi_rus: да, сейчас видимо трабл на SERVER_ENCODING
07:57
уффф
07:58
хотя
07:58
теперь
07:58
" role "noc" does not exist"
08:09
я же говорю это боль
08:09
спрашивай e_zombie, он dba
08:09
какой в пизду бда
08:09
сам дэбил (с)
08:12
с ролью тоже вроде квест пройден
08:13
но явно постгреса недостаточно
08:13
вот это откуда лезет?
08:13
"pg_restore: [archiver (db)] could not execute query: ERROR: type "geometry" is only a shell"
08:14
явно постгис
08:14
он нужен?
08:17
чет я и позабыл как мучительно все это может быть :)
08:18
да постгис надо сначала раскатать
08:18
а потом уже дамп раскручивать
08:27
да уж, а постгис не хочет
08:29
говорит, что на 9.1 потсгрес он ставиться не намерен
08:29
постгис
08:30
"Some packages could not be installed. "
08:30
"The following packages have unmet dependencies:
08:30
postgis : Depends: libgdal1 (>= 1.9.0) but it is not installable
08:30
Recommends: postgresql-9.4-postgis-2.1 but it is not going to be installed
08:30
Recommends: postgis-doc but it is not going to be installed
08:30
E: Unable to correct problems, you have held broken packages."
09:16
у кого-то нок работает на дебиане?
09:30
походу нет таких
09:31
ты уточняй сразу на каком.
09:37
на восьмерке
09:37
все, настоящий админ развернул
09:38
ща буду пробовать в новый доливать из бэкапа
09:43
На убунте работает. чего б на дебиане не работать
09:47
TSergey: какую-то фигню ты делаешь
09:48
в дебьяне, конечно, периодические баги всплывают, но разломанных репо я за ними давно не помню
09:51
альзо, нахера тебе поцгрес 9.1 при наличествующем 9.4?
09:51
dvolodin: про ngnix после деплоя выдается страница Welcome to nginx on Debian!
09:52
сделал бы руками sql'ный дамп
09:52
evyscr: только для переноса, но и на 9.4 у меня постгис не поставился
09:52
даже 9.2 до хрена проигрывал 9.3 по производительности
09:52
evyscr: сейчас настоящий админ развернул 15.1 и ща я на него в базы зальюсь
09:53
ну или как там у нас последний стабильный нок номеруется
09:55
стабильного нока не существует
09:55
сидеть на чём-либо отличном от develop - чревато
09:56
попробую на него залиться
10:01
а уж там апгрейд
10:02
а дамп у тебя от кого?
10:06
от девелопа вестимо
10:10
TSergey: ноку уже давно не нужен postgis
10:11
и это замечательно :)
10:16
Никто не помнит как в Address Space Managment > Assigned Addresses > default 0:0 IPv4 удалить лишнии хосты, а то HTTP страничка не успевает от рисоваться?
10:23
снова прошу помочь
10:23
поставили чистый нок
10:23
поменял ветку на develop
10:23
проапгрейдился
10:23
10:23
ругается на миб
10:24
нок читсый, базы без моих данных
10:24
*чистый
10:25
NOC 15.05.1dev11726
10:26
ноку не нужен постгис???
10:26
как теперь жить :(
10:26
научи как поправить трабл с мибами
10:27
wat? postgres нинужен?
10:27
запускай апгрейд пока не пройдет
10:27
это китайский метод
10:27
но работает
10:27
китайцы паралельно запускают апгрейд
10:28
t2me: из шелла вестимо
10:30
zi_rus, непосредственно есть метод через ./noc shell? или из шела системы на которой он установлен =)?
10:31
как тебе больше нравится
10:31
хоть из шелла постгреса
10:32
хех
10:33
префиксы создать, куда лишние адреса уйдут
10:33
таймауты поднять
10:35
"8[16:09] dvolodin: TSergey: ноку уже давно не нужен postgis"
10:35
а в от это?
10:35
"pg_restore: [archiver (db)] Error from TOC entry 387; 1259 22402 VIEW geography_columns noc
10:35
pg_restore: [archiver (db)] could not execute query: ERROR: function geography_typmod_dims(integer) does not exist
10:35
LINE 2: ...AS f_table_name, a.attname AS f_geography_column, geography_...
10:35
^"
10:35
не про постгис?
10:47
zi_rus, если возможно из шела noc можешь подсказать способ как посмотреть все записи и потом по маске прибить лишнии?
10:49
zi_rus: действительно апгрейды накатились
10:49
z pyf.
10:49
я так делал
10:51
TSergey: ты пытаешься размотать дамп с постгисом?
10:52
я пытаюсь размотать дам от сеого нока, от ветки девелоп
10:52
и видимо в нем это есть
10:52
*дамп
10:54
но вроде (тьфу-тьфу-тьфу) финт удался
10:54
а чо, нок не умеет в требования мибов в мибах?
10:54
косячники
10:54
zi_rus, да спасиб это то что надо)
11:08
TSergey: это у тебя 15.1?
11:09
да, после перрвого апгрейда на девелоп
11:10
несколько апгрейдов и он это съел
11:10
эм, _после_ апгрейда?
11:11
удивительней что апшрейды потом прошли
11:11
битбакет ёбнулся сайтом в 500, где посмотреть содержимое 15.1?
11:11
несколько раз была эта ошибка, потом еще часть мибов залилась
11:11
и опять ошибка
11:11
(_без_ установки и скачивания)
11:12
ага
11:13
ну и на дебиане у меня так же не льет в upgrade.log
11:14
такое может быть, если вначале заливаются мибы, а потом - мибпреференсиз
11:15
короче, нок by definition - ненадёжная фигня.
11:19
upgrade.log кажется ниукого не льет)
11:21
ну что, бэкап сделался, можно выдохнуть наверное
11:28
у меня в упграде.лог вроде как последнее
11:28
"upgrade complete
11:28
Saving upgrade log to /srv/noc/log/upgrade.log
11:28
root@noc2-devel:/opt/noc# cat /srv/noc/log/upgrade.log"
11:28
с 02.10.2015 я не апгрейдился
11:29
у меня в /var/log/noc
11:29
потому что я - не dvolodin
11:32
и у меня в /var/log/noc
11:32
UPGRADE_LOG=`mktemp /tmp/noc-upgrade.log.XXXXXX`
11:33
проверьте ваш /tmp
11:45
как проверить?
11:46
есть в нем noc-upgrade.log.lIFWmb, он пустой
11:47
"root@noc2-devel:/opt/noc# ./scripts/upgrade
11:47
./scripts/upgrade: 88: ./scripts/upgrade: cannot create /tmp/noc-upgrade.log.wi6G0W.pipe: Interrupted system call
11:47
Logging to /tmp/noc-upgrade.log.wi6G0W"
11:51
сталбыть, mkfifo вываливается
11:51
у башни логи деплоя на самой башне лежат
11:52
11:52
вот микросервисный SAE
11:52
да абсолютному большинству, если честно, насрать на башню
11:52
evyscr: научи как проверить где затык с пайпом лога
11:53
evyscr: абсолютно ненадежная, как вспомогательную систему можно юзать, но основной я ниокму не рекомендую
11:54
zi_rus: башню или вообще нок?
11:56
dvolodin: как бы upgrade.log починить?
11:56
zi_rus: пока ещё есть ipam
11:58
нок вообще
11:58
ипам да
11:58
остальное говно
11:58
графики рисует
11:58
но херова туча проблем
11:58
фм работает, но алармы постоянно не закрываются
11:58
дискавери перестает работать
11:58
и прочая херня
12:00
TSergey: 88-я строка - это exec &> $UPGRADE_PIPE ?
12:01
это где?
12:01
ща
12:02
да, это она
12:05
evyscr: выражаться от мнения большинства - порочная практика
12:06
почему если это правда
12:06
у нока куча проблем и rolling release этому не помогает
12:06
то что работало вчера, сегодня сломано
12:07
и ломается все чаще чем чинится
12:08
как я понял проблему с тем что нок отключает все джобы по железке, а потом не может вернуть их обратно, ты так и не исправил
12:08
а когда-то все просто работало
12:08
ладно, графики хз как работают, но их только запилили
12:09
а фм старый как говно мамонта, а мне людям показать его стыдно
12:09
аварии копятся, не закрываются
12:10
и это самое крупное из грустьпечального что только я сходу могу назвать
12:11
а сколько кровавых слез от e_zombie
12:11
за фм
12:13
zi_rus: микросервисы, в том числе, и из-за fm делаются
12:13
dvolodin: на канале есть teroni804. Кто ещё?
12:15
с учётом того, что канал всё ещё является основным источником информации - выборку могут признать репрезентативной.
12:28
< 2015-10-20 11:29:14.738 MSK >LOG: unexpected EOF on client connection with an open transaction
12:29
# grep "unexpected EOF" ./pg_log/postgresql-2015-10-20.log | wc -l
12:29
702
12:29
e_zombie: вот я его и переделываю
12:29
прямо сейчас
12:29
SAE который вообще ничего не пишет в постгрес
12:30
ну с божьей помощью это произойдёт.
12:30
я так. для пруфов.
12:31
иногда подход, который хорошо работал в 2007, становится тормозом
12:35
я всё это принимаю. и поэтому не взбухаю и не засираю багзиллу последние пару месяцев.
12:36
я уже с год не открываю issue
12:36
их все равно не чинят
12:37
только периодическое сношение мозга dvolodin может что-то сделать
12:38
это абсолютно бесполезное занятие
12:38
мне нужны тестеры на микросервисы
12:38
это единственное как можно решить проблему
12:39
zi_rus: половина ростелекома с тобой полностью согласна
12:39
:)
12:40
вот видишь
12:40
меня поддерживают
12:40
значит мы правы
12:43
million lemmings can't go wrong
12:43
:)
12:43
ладно, вернемся к тестам
12:44
teroni804 так или иначе взлетел с башней
12:44
я пас. у меня импотенция на работу
12:44
собственно с sae/активаторами
12:44
подход такой
12:45
активатор - это сервис с json-rpc интерфейсом
12:45
sae - тоже
12:47
./noc rpc sae.script 9 get_version
12:47
вот запуск скрипта
12:56
обычный http запрос
12:56
который можно сделать откуда удобно
12:57
в develop -- сначала запись в таблицу sa_maptask и постоянный ее опрос
12:57
теперь хочу увидеть что-то вроде: "а вот так мы убираем sa_maptask"
12:57
sae постоянно сканит таблицу и апдейтит поле
12:57
evyscr нет больше sa_maptask
12:57
совсем
12:58
и нет поллинга
12:58
вот и рассказывай про подводные камни отказа от неё
12:58
клиент висит и ждет, когда ему ответят на http-запрос
12:59
кто клиент(ы) в случае выполнения скрипта с вебморды?
13:00
web является клиентом sae?
13:00
sae не является клиентом activator?
13:00
sae является
13:01
==> var/log/sae.log <==
13:01
2015-10-21 15:54:48,262 [sae] [RPC call from cli] sae.script([u'9', u'get_version'])
13:01
2015-10-21 15:54:48,263 [noc.core.service.rpc] [activator-default] [CALL>] activator-default.script((u'Vyatta.Vyatta.get_version', {'super_password': None, 'user': u'vyos', 'address': u'172.16.222.101', 'path': None, 'password': u'vyos', 'cli_protocol': 'telnet'}, {}, None, None), {})
13:01
==> var/log/activator-default-00.log <==
13:01
2015-10-21 15:54:48,267 [activator] [RPC call from sae] activator.script([u'Vyatta.Vyatta.get_version', {u'super_password': None, u'user': u'vyos', u'address': u'172.16.222.101', u'path': None, u'password': u'vyos', u'cli_protocol': u'telnet'}, {}, None, None])
13:01
2015-10-21 15:54:48,268 [noc.core.script.loader] Loading script Vyatta.Vyatta.get_version
13:01
2015-10-21 15:54:48,450 [root] SSH: gmpy not found. Using python implementation
13:01
==> var/log/sae.log <==
13:01
2015-10-21 15:54:48,518 [noc.core.service.rpc] [activator-default] RPC call failed: Failed: global name 'script_registry' is not defined
13:01
2015-10-21 15:54:48,521 [tornado.access] 200 POST /api/sae/ (172.16.222.10) 260.34ms
13:01
==> var/log/activator-default-00.log <==
13:01
2015-10-21 15:54:48,527 [tornado.access] 200 POST /api/activator/ (172.16.222.10) 260.62ms
13:01
вот пока у меня такое
13:01
реакция на ./noc rpc sae.script 9 get_version
13:01
из cli дернулся SAE
13:01
sae поднял все, что нужно, по железке из базы
13:02
и сделал rpc-вызов на пул активаторов
13:03
далее
13:03
активатор не грузит все скрипты подрял
13:03
у него загрузка по требованию
13:03
вызвали скрипт -- он его загрузил
13:04
и есть возможность на ходу перезагрузить скрипт
13:04
время взлета активатора сейчас в virtualbox -- 20ms
13:04
выгрузка чего?
13:05
по sighup он выгружает все скриптовые модули
13:08
и потом опять подгружает
13:08
по мере поступления запросов
13:08
все сервисы построены на tornado + tornado ioloop
13:10
TSergey: попробуй в scripts/upgrade заменить /bin/sh на /bin/bash
13:10
в шебанге
13:10
а сами сервисы пускаются через supervisord
13:11
root@n01:/opt/noc# ./noc ctl status
13:11
activator-default:activator-default-00 RUNNING pid 30428, uptime 0:15:28
13:11
classifier-default RUNNING pid 30202, uptime 0:21:36
13:11
correlator RUNNING pid 30203, uptime 0:21:36
13:11
fmwriter-default RUNNING pid 30195, uptime 0:21:36
13:11
omap RUNNING pid 30199, uptime 0:21:36
13:11
ping-default RUNNING pid 30198, uptime 0:21:36
13:11
probe-default RUNNING pid 30213, uptime 0:21:36
13:11
probeconf-default RUNNING pid 30196, uptime 0:21:36
13:11
sae RUNNING pid 30212, uptime 0:21:36
13:11
syslogcollector-default RUNNING pid 30200, uptime 0:21:36
13:11
trapcollector-default RUNNING pid 30197, uptime 0:21:36
13:11
web RUNNING pid 30201, uptime 0:21:36
13:15
supervisord умеет в cgroups?
13:17
насколько я знаю - нет
13:18
чем он лучше systemd при наличии последнего в системе?
13:37
тем, что systemd нет на фре
13:37
и не во всех линуксах
13:38
когда будут, тогда и поговорим
13:38
опять же, чем башня хороша -- если уйдет супервизор, никто этого не заметит
13:48
что-то с трудом верится
13:48
впрочем, нок и без неё может терять сислог-мессаджи
13:50
если в микросервисах - не уверен
13:50
там коллектор не в активаторе
13:51
и по проекту умеет буферизовать данные
13:51
и переживать отвалы связи
13:54
боюсь, это не спасёт в случае ухода коллектора
13:58
интересный вопрос. действительно, кого? не то, чтобы я понял, как оно пристёгивается к моему сомнению.
15:29
TSergey: или можешь 88-ю строку заменить на 'exec > $UPGRADE_PIPE 2>&1'
Share this page
Share this page: