nocproject.org
07:48
дык, претензии к yum'у в немалой степени основаны на его питоновости.
07:48
питон вообще язык довольно средненький (q)
07:48
тормознутости. я на dnf как перешёл - ненарадуюсь.
07:49
это потому что в dnf ещё мало что накручено
07:49
как захотят в питоноприложении кучу доп. опций - так оно и рзарастается
07:50
хотя нок в этом отноении уёбищен вполне самостоятельно.
08:48
filonov: какие-то дебажные print'ы остались
08:48
обнови башню
08:53
dvolodin: полчаса назад ставил - куда еще обновлять?
08:54
NOC_ENV=XXXX ./bin/tower-inv --list
08:54
попробуй так
08:54
со второго деплоя оно так ругаться перестало
08:54
может дебажное что-то пробегало?
08:54
теперь у нее host unreach. Тот самый на котором оно стоит
08:56
пробег дебага еще не повод фэйлить инсталляцию
09:03
Понять бы еще - нафига там постгря 9.3
09:04
это особенности ansible
09:05
ansible тут не причем, что ему написали - то он и ставит. Но вот нафига нычне писать 9.3 - непонятно
09:05
я про обработку print'ов
09:09
filonov: а кто писал 9.3?
09:09
Автор tower/var/tower/playbooks/bks/ansible/roles/node/tasks/os/FreeBSD/main.yml очевидно
09:09
а, ну это к Dmitry1
09:10
и что-то я в упор не вижу монги
09:10
а что не так с 9.3 ?
09:11
Dmitry1: с 9.3 не так 9.5
09:11
dvolodin: помоги лучше с CDP
09:12
filonov: нафуя ? мы все равно не используем даже возможности 9.4, потому как вес JSON у нас в монге
09:12
а во FreeBSD версия посгре "по умолчанию" 9.3
09:13
/usr/ports/Mk/bsd.default-versions.mk
09:13
смотрим:
09:13
PGSQL_DEFAULT?= 9.3
09:19
что вы уперлись в этот JSON, спрашивается?
09:19
монгу выбирали не за отсутсвие схемы, это дело наживное
09:19
в 9.4 не json, а bjson, что гораздо быстрее
09:35
в монге bson, и что с того?
09:36
pg проигрывает монге по скорости записи в 2-4 раза
09:36
как этому json поможет?
09:36
и репликации, считай, нет нормальной
09:36
а нафига запись ?
09:36
коллекции там хранить
09:37
dvolodin: как раз с репликацией в 9.5 подвижки
09:37
запись потому, что в базу писать надо
09:37
dvolodin: Дим, сделай лучше "рыбу" для CDP, а я туда уже правил накидаю
09:37
я думаю, как это нормально сделать
09:37
я честно курил мануалы по питону и yeld, и нифига не понял
09:38
твой метод - кривой
09:38
Dmitry1: монга башней не ставится сейчас?
09:38
заодно такая же петрушка, как к CDP, может быть и для OAM, и NDP, и LLDP, и т.п.
09:38
filonov: ставится
09:39
на голую машину с нуля все ставится
09:39
filonov: на freebsd 10.3
09:39
Голая машина. с нуля. FreeBSD-11
09:39
нету монги
09:40
skipping: [noc2] => (item=/opt/noc/var/etc/mongo)
09:41
а нет ошибки. Все завершается успешно
09:43
партизан ?
09:43
в логах монги что ?
09:43
в etc/rc.conf что ?
09:43
в /usr/local/etc/mongod.conf что ?
09:43
ничего
09:43
нету монги
09:43
совсем нету
09:44
ее логов соответственно тоже нету
09:44
ok=53 changed=6 unreachable=0 failed=0
09:44
покажи все логи, там где про монгу что-то
09:45
См выше. Оно все идет в skipping
09:47
похоже на глюк интерфейса башни
09:49
Угу.
09:53
09:56
гыгы. помогла смена hostname на ip. При том что только что все работало.
09:56
И таки версию постгри надо сделать настраиваемой - как сделано у монги
10:08
Dmitry1: лулзы нумер два - ты уверен что оно таки взлетит на свежепоставленной FreeBSD?
10:08
да, специально пробовал
10:09
dvolodin: привет
10:09
там пул с деплоем бубунты
10:09
Ну тогда рассказывай как у тебя взлетала постгря с max_connections = 300
10:10
filonov: для для FreeBSD специально делается
10:10
Dmitry1: что делается?
10:10
Dmitry1: hint: max_connections = 300 из коробки не хватает семафоров
10:10
с 500 уменьшается до 300
10:11
хм, что за машинка то ?
10:11
у меня хватает
10:11
посмотри maxusers и т.п.
10:11
FreeBSD noc2 11.0-CURRENT FreeBSD 11.0-CURRENT #0 r295345: Sat Feb 6 08:40:13 UTC 2016 root@releng2.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC amd64
10:11
Не тупи. При чем тут maxusers?
10:12
и отдельный вопрос - нафига там 300 коннектов?
10:12
это не ко мне, а к dvolodin
10:13
300 коннектов - это еще цветочки
10:13
я вот сейчас discovery в 400 потоков гоняю
10:13
Dmitry1: почему оно пытается на дефолтных настройках SYSVSEM выжать 300 - это как раз вопрос к тебе
10:13
dvolodin: нафига столько?
10:17
А за host all all 0.0.0.0/0 в кого тапком кинуть?
10:18
:-D
10:18
это не бага. это фича
10:18
За такую фичу можно и присесть иногда. До 5 лет
10:22
dvolodin: может если конфиги постгреса уже есть - не мацать туда немытыми лапами?
10:27
dvolodin: а с какого <censored> потолка берутся имена хостов для таз банных?
10:27
Какого <censored> оно лезет на постгрю той же машины через ее внешний IP?
10:30
имя ноды куда мы ставимся, и имя хоста базы куда оттуда надо ходить - совершенно разные вещи. И даже перекрыть в конфиге это нельзя ибо оно его затирает и ломает deploy
10:38
filonov: как бы предусмотрено, что норда ставится на выделенный сервер
10:38
Dmitry1: как бы я о том и говорю
10:39
Адрес ноды для башни и адрес базы для нока - совершенно разные вещи. Какого <beep> оно пытается коннектится по адресу ноды, при том что она знает что постгря у нее локальная?
10:40
про то, что на том адресе никто не слушает - отдельная песня
10:41
соотвественно ./noc syncdb успешно идет лесом
10:50
tower is useless heap of bullshit
10:53
filonov: никто не мешает тебе сделать локальный noc.conf, а базы mongo и pstgre держать на разных машинах
10:54
а в башне в сервисах отключить установку mongo и postgre
10:55
локальный нок-конф можно сделать только после того как это гуано отработает, иначе она его перезатрет.
10:56
А держать монго и постгрю на отдельных машинах и ставить их туда руками - см выше про useless
10:58
Dmitry1: вот только не надо ваше общение с ноком проецировать на всю жизнь
10:59
filonov: ну так помогай разрабатывать и делать его лучше
11:00
башню закопать надо, а не делать лучше
11:39
filonov: нод может быть больше одной
11:39
и другим процессам тоже нужно коннектиться к постгресу
11:40
потому монга и постгрес и все сервисы слушают на нормальных адресах
11:40
какой толк от сервисного каталога, если в нем адрес сервиса - 127.0.0.1
11:40
dvolodin: давай не будем путать теплое с мягким?
11:41
dvolodin: какой толк от постгри которая слушает на localhost а нок к ней ломится на внешний IP с той же машины?
11:42
это проблема playbook для фри
11:42
сделайте нормально
11:42
Это проблема башни. Здесь вообще нет ничего специфичного для фри
11:44
на других системах такой проблемы нет
11:44
еще раз -- все сервисы, включая базы, адресуются по адресу ноды
11:44
нет проблемы только на тех системах где постгря голой жопой в инет торчит
11:44
и это не "нет проблемы", а проблема есть просто о ней не догадываются
11:46
dvolodin: еще раз - система которая лучше админа "знает" кто куда должен коннектится и не позволяет это настроить - useless heap of bullshit
11:47
она лучше админа знает, как она работает
11:47
и что ей нужно для работы
11:47
Она, очевидно, неправа
11:48
она делает то, что от нее требуется
11:48
или не делает
11:49
где ты выдишь админа в данном процессе?
11:49
поскольку она НЕ делает то, что от нее требуется - без админа никак
11:51
тут я с тобой не соглашусь
11:52
ну несоглашаться с очевидными фактами - тоже вполне метод
11:53
очевидный факт, что playbook во фре не настраивает постгрес должным образом
11:53
и это нужно исправлять
11:53
все остальное - демагогия
11:54
dvolodin: факт строго обратный - playbook во фре _настраивает_ постгрес недолжным образом, который ухудшает и производительность и безопасность
11:54
в лучшем случае - оно приведет к деградации производительности
11:54
не к деградации а к росту
11:55
нет там никакого роста
11:55
фре пофиг, через какой адрес гонять пакеты
11:55
это ее собственные адреса
11:55
ууу как все запущено.
11:57
Давай ты сам почитаешь документацию - куда и как коннектится libpq если ей не задавать host вообще
11:57
PING 127.0.0.1 (127.0.0.1): 56 data bytes
11:57
64 bytes from 127.0.0.1: icmp_seq=0 ttl=64 time=0.090 ms
11:57
64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.063 ms
11:57
ing 172.16.111.5
11:57
PING 172.16.111.5 (172.16.111.5): 56 data bytes
11:57
64 bytes from 172.16.111.5: icmp_seq=0 ttl=64 time=0.099 ms
11:57
64 bytes from 172.16.111.5: icmp_seq=1 ttl=64 time=0.074 ms
11:57
допустим я ее читал
11:57
dvolodin: если б ты ее читал - ты б не приводил идиотских примеров с пингом
11:58
так вот, к сведению, pg просто не в состоянии создать трафик таких объемов, чтобы была разница между tcp или unix sockets
11:58
от слова совсем
11:58
и, btw, NOC не мучает дедушку до такой степени
11:59
потому как дедушка сдохнет от iops'ов и IPC раньше, чем начнут проявляться мизерные overhead'ы на заголовках пакетов
12:00
а вот про безопасность unix socket'ов с правами 666 я бы не стал говорить
12:01
и про ident авторизацию постгреса
12:01
dvolodin: ууу, как все запущено
12:02
Разница tcp vs unix - до 40%, и вылезает она совсем не на заголовках пакетов
12:03
А сравнивать unix сокет c публично открытым tcp - это еще смешнее
12:04
И да, на мелком траффике выигрыш от unix vs tcp БОЛЬШЕ
12:05
еще раз -- до 40% где?
12:05
и на каком железе
12:05
и на каких запросах
12:06
А железо тут при чем?
12:07
а при том
12:08
что для того, чтобы увидеть хоть какую-то разницу тебе нужно приложение с короткоживущими коннектами и короткими запросами
12:08
и ядра 32 для начала
12:09
С короткоживущими коннектами - ты опять в лужу
12:10
накладные расходы на коннект от сокетов минимальны
12:11
У тебя есть под рукой постгрес, который делает хотя бы 10K TPS и прогружает хотя бы гиговый интерфейс?
12:12
не там накладные расходы считаешь
12:13
dvolodin: т.е. от "деградации производительности" ты пытаешь соскочить "а че ее считать - и так всем хватает".
12:14
когда "деградация" производительности на конткретной задаче меньше статистической погрешности, на нее не стоит тратить время
12:14
безусловно, есть задачи, где такая оптимизация необходима
12:15
dvolodin: как ты жестоко с башней то)
12:15
короче, после торжественных похорон sa_maptask постгрес почти незаметен
12:20
теперь нок вообще нихуя не делает
12:20
а питон раздулся ещё больше?
12:22
:-D
12:23
Green Crow – Продавец Кувалд
12:24
выигрыш от башни в реальной эксплуатации нока - меньше статистической погрешности ergo на нее не стоит тратить время
12:27
ну думайте сами
12:27
башня делает 100-150 технологических операций для подготовки и запуска ноды
12:27
если охота делать то же самое руками - пожадуйста
12:28
после девелопа нас такое не пугает
12:29
если playbook делает то, что должен, то проблем с башней не будет
12:29
dvolodin, не знаю как там в башне, но в девелоп, в ипам очень не хватает групировки IP в одном vrf,
12:29
или хотя бы тего починить
12:31
теги*
12:31
а лучше группы с возможностью вложения(дерево)
12:37
dvolodin: из этих 100-150 90% заменяется простым, наглядным шелловским скриптом, в который лазать не надо вообще. а оставшиеся 10% против геморроя с башней - не так уж и страшно выглядят
12:37
где ты видишь геморрой?
12:37
поставил debian, накатил, все работает
12:37
на канале
12:37
ежедневно
12:38
dvolodin: кроме тех случаев когда не работает. N раз перезапустить деплой потыкав в кнопки неочевидным образом и пару раз перезагрузив вебинтерфейс - это не работа
12:39
Затирание изменений сделанных админом - это не работа
12:39
где нужно перезагружать web-интерфейс?
12:40
не замечал за webix такого
12:40
dvolodin: в подменюхах Services ахинея была
12:41
счетчик узлов для каждого сервиса кроме dev и correlator был 0 при этом количество инстансов всюду стояло 1
12:42
См выше когда я ругался что монгу оно не ставит
12:43
это он бейджики не обновляет
12:43
при установке количества
12:43
dvolodin: количество оставалось нулевым
12:44
невозможность задать хост и версию постгри - как бы уже обсосали
12:45
хост и версия - в playbook
12:45
нету там ни хоста ни версии.
12:45
есть база, юзер и пароль
12:45
ну и все
12:46
playbook должен ставить правильную версию
12:46
не усложняй
12:46
dvolodin: и ты еще спрашиваешь где я вижу геморрой
12:48
я не вижу конструктива в разрешении геморроя
12:48
микросервисы - относительно новая платформа
12:48
которая сейчас только обкатывается
12:49
но обкатывается на реальных крупных сетях
12:49
Типичный расклад - у меня есть отдельный сервачок с постгрей которая стоит и работает. добавить туда базенку - не проблема. Но не средствами башни
12:52
Более того - башня этому активно мешает
12:53
и отдельный вопрос - в какой позе нынче авторизация через LDAP?
12:53
в той же, что и была
12:54
со временем перекочует в сервис login
12:54
в ldap оно даже коннектится, но даже искать ничего не пробует
13:06
dvolodin: а насколько сложно будет сделать per users задание типа авторизации?
13:06
посмотри, я там прикрутил login
13:06
и думаю над такой схемой
13:06
13:07
в идеале -- nginx должен сам заворачивать запросы в login, кешировать результат, а в web должен просто падать заголовок X-WebAuth-User
13:07
А чего не штатный REMOTE_USER?
13:09
это где это такой штатный?
13:11
Много где. Со времен CGI-1.0
13:11
его кто-то должен проставлять
13:12
Но тут мы опять влетаем в очередную засаду с башней. Ибо nginx под ldap надо будет отдельно конфигурить
13:13
вот я и говорю - нафиг не надо
13:13
посмотри auth request
13:13
есть внешний процесс, который авторизацией занимается
13:13
13:13
13:14
там суть в том, что nginx делает дополнительный запрос во внешний сервис
13:14
который, в случае необходимости, и окно логина покажет
13:14
а web-сервисы дальше -- вообще без авторизации
13:14
им просто юзера передают
13:16
dvolodin: это называется закат солнца вручную. "внешний сервис" нафиг не нужен в 90% случаев. Я его напрямую заверну в свой ldap и будет мне счастье без всяких костылей
13:16
он уже есть и есть-пить не просит
13:16
ldap тебе будет форму логина рисовать?
13:17
форму логина мне браузер нарисует
13:17
и графану ты в ldap завернешь?
13:17
а если ldap'а нет, и только локальная аутентификация
13:17
или radius?
13:17
да пофиг на самом деле
13:18
радиус имеет свои неявные грабли
13:19
вот я и говорю -- пусть отдельный сервис этим занимается
13:20
посмотри на досуге как интеграция с внешними авторизаторами сделана в том же RedMine например
13:21
через жопу
13:21
так же, как и в django
13:22
Подцепить юзеров из ldap там занимает 2 минуты, не ломая при этом локальных логинов. Чего нельзя сказать о
13:26
И мне глубоко пофиг где у нее унутре там жопа, пока оно работает как надор
13:28
но не работает
13:28
старый нок это ебаный пиздец который не работает
13:29
то не дискаверит
13:29
то зоны не синхрит
13:30
то метрики с портов не снимает
13:30
zi_rus: Угу. ТО при прописанном интервале в 120 секунд - снимает раз в 9 минут
13:30
9 'nj nt,t gjdtpkj
13:30
9 это тебе повезло
13:30
у меня 15
13:32
zi_rus: не знаю че там насчет повезло - у меня fault manager в принципе не работает
13:32
ну у меня работал раньше
13:32
если б внезапно заработал - возмонжо было бы 15
13:32
сейчас новое железо
13:32
проблемы есть
13:35
Ну вот текущая проблема - noc лезет в ldap, коннектится, и тут же отваливается заявляю юзеру что он его знать не знает
13:36
никакого поиска реально не производится
13:51
лидер разработчиков пакетного менеджера DNF, который недавно пришёл на смену Yum в дистрибутиве Fedora, рассказал об инициативе по переработке DNF на языке Си
13:54
ну там вопрос курица-яйцо
14:07
а смысл... пакетный менеджер может быть написан на чем угодно - от него особой шустрости никто и не ждёт
14:13
ufir: всегда можно написать еще медленнее
14:27
filonov: нет препятствий патриотса ! (С) ДМБ
14:27
\патриотам
14:31
а можно я буду матом ругаться?
14:31
а то я таки понял почему ldap дурит
14:32
у нока оче оригинальная схема работы с ldap
14:32
это придает некую пекантность
14:33
оно коннектится binddn, находит dn пользователя, коннектится еще раз им, и уже от пользователя начинает ковыряться в группах
14:34
причем на группы внутри самого нока и флаг админа оно _ТОЖЕ_ кладет болт
14:35
zi_rus: мат в том, что от dn пользователя даже список групп не виден, и это правильно. От dn noc-а - виден, но он оттуда и не смотрит
14:35
И эти люди говорят что в RedMine сделано через жопу
14:38
Т.е. 2 (два) коннекта, на одну авторизацию. и в итоге через жопу
14:38
редмайн это еще няшечка, по сравнению с ноком
14:38
ну как бы да
14:39
причем если проверку групп убрать - оно таки пускает. но без прав)
14:39
да, но нахрена нужен лдап без прав...
14:39
причем тут лдап, речь про права нока
14:43
Блин, надеялся хоть в этот раз попытаться это побороть
14:47
Mne trudno sudit, ya tut novichek. No esli AD i ldap eto toze samoe, to na localnie gruppa NOC kladet, no gruppu iz AD vykalupuvaet i rabotaet.
14:47
azhdanovich: для AD другая схема
14:47
и политика безопасности тоже другая
14:49
Ugu...
14:49
Nastoit NOC i umeret.. :)
14:50
Vchera chasa poltora potratil ponyat kak ono teper sinhrit zony. Da.. ya ego vizhu v pervy raz.. :)
14:50
I vse chto est, stari server c NOC 0.8
14:51
нок это зыбучее дерьмо
14:51
затягивает и вымазывает
14:51
zi_rus: и еще воняет
14:51
а воняет да, до слез
14:51
100500 других программ
14:53
а как же импортозамещение
14:53
e_zombie: жаба и эксэмэль?
14:53
и там ипам вроде нету
14:54
ты ещё скажи включить нок с писок софта для закупок.
14:54
кстати надо подкинуть эту тему.
14:54
тогда и автоматом победа в любых тендерах.
14:54
у dvolodin откат только проси
14:54
ну.....
14:54
вариант.
14:54
e_zombie: тут говрят для успеха надо цену повыше задвигать, бесплатные решения слабо покупают
14:55
а схуёв оно бесплатное ?
14:55
в тендере указывает не только цена ПО а стоимость внедрения.
14:55
а это золотое дно.
14:55
у меня СОРМ по документам стоит 100 рублей. а его установка 100 000 .
14:55
ещё вопросы ?
14:56
сормович
14:56
иван петрович
14:56
e_zombie: сорм тебе вообще ничего стоить не должен
14:56
не это было ДО сормовица. году так в 2008.
14:56
А вот установка - 100К это копейки
14:56
у нас этот сорм отдельный шкаф занимает
14:56
я цифры поставил от фонаря. там реально были цифры ебануться
14:57
а тогда это был ОДИН сервак с Р4 внутри.
14:57
и его стоимость была около 2 000 000
14:57
e_zombie: угу. мы аккурат на прошлой неделе закончили замену СОРМ
14:57
поздравляю.
14:58
у меня народ с ним сношался с ноября по январь
14:58
А то с 4x10 уже даже предфильтр еле справлялся
14:58
у кого есть под рукой шестая центось ?
14:58
а чо с ним сношаться-то ? подал с аплинков через сплиттера сигнал, и забил
14:59
`kk у меня есть ;)
14:59
у меня даже нок на ней
14:59
сношаться это расширять сплиттер и монтировать серваки в шкафы в которые серваки не влазят.
14:59
e_zombie фу, гадость какая.
15:00
e_zombie: репы обновлены ? появился yum info epel-release ?
15:00
из extra
15:01
хм
15:01
у меня оно в From repo : epel
15:02
интересует именно родной реп центоси
15:02
в 7-ке епел запихали в extra
15:03
rpm нинужын, как следствие центось - нинужна
15:03
нет в мире совершенства
15:03
фраза про rpm добила володина окончательно
15:04
когда нок с гавном мешали - он молча терпел :)
15:07
Name : epel-release
15:07
Arch : noarch
15:07
Version : 6
15:07
Release : 8
15:07
Size : 22 k
15:07
Repo : installed
15:07
From repo : epel
15:07
Summary : Extra Packages for Enterprise Linux repository configuration
15:07
15:07
License : GPLv2
15:07
Description : This package contains the Extra Packages for Enterprise Linux (EPEL) repository
15:07
: GPG key as well as configuration for yum and up2date
15:10
хм
15:10
а если так
15:10
yum --disablerepo "*" --enablerepo "extras" info epel-release
15:10
или как там только 1 репу посмотреть
15:26
тоже самое
15:27
но походу он в экстра
15:28
16:50
Tknite menya nosom v One-command NOC node deployment please
17:28
Tut kto nit vashe byvaet?
17:29
Softina Qwest blin
17:30
Obbysnite please chto takoe <URL NOC> v curl <URL NOC>/main/update/make-node.py | python -
18:07
18:07
18:07
Gde nit est opisanie.. lal eto sdelat?
18:08
в рабочее время заходи
18:08
Ne mogu ya :)
18:09
U menya seychas rabochee
18:09
Togda mne nochu nozhno ne spat radi etogo
18:10
I ne fact chto ktonit udostoit otvetom
18:11
Blin chto vo Vlade zhil vechno posjel nah
18:11
U menya rab den zakonchilsya.. v Moskve u ih velichistva nachalsya
18:12
Documentaciay nuzhna...
18:12
Putka a ne proect
19:11
19:12
19:12
OSError: [Errno 2] No such file or directory v obshem
19:13
BRANCH=develop
19:13
To est ono slomano..
19:22
19:39
dvolodin: make-node sloman.. Mozhet tolco v moen sluchae.
21:16
Go to bed :)
Share this page
Share this page: