nocproject.org

dvolodin, hi

sync не запускается

http://pastebin.com/PDJrQyX3

угу

сейчас поправлю

зафиксил

обновляй центральную конфигурацию, sync сам обновиться должен

dvolodin, новый трейс http://pastebin.com/ACf2iPRk

у тебя там python 2.6 ?

нет

$ python --version

Python 2.7.8

странно

а еще нашел трейс почему у меня нок не отсанавливается по-нормальному

http://pastebin.com/QfqyMPSD

обычно он с sqlite собирается

сейчас проверю ключи

может и без него собрал

│ │ [ ] DEBUG Build with debugging support │ │

│ │ [x] IPV6 IPv6 protocol support │ │

│ │ [x] NLS Enable gettext support for the locale module │ │

│ │ [x] PYMALLOC Enable specialized mallocs │ │

│ │ [ ] SEM POSIX semaphores support │ │

│ │ [x] THREADS Threading support │ │

│ │───────────────────────────── Unicode support ────────────────────────────│ │

│ │ ( ) UCS2 Enable UCS2 Unicode Strings │ │

│ │ (*) UCS4 Enable UCS4 Unicode Strings │ │

выбора особого нет

или та какой-то другой пакет?

./bin/pip installl db-sqlite3

попробуй так

из портов сейчас поставлю

cd /usr/ports/databases/py-sqlite3

https://docs.python.org/2/library/sqlite3.html

посмотри пока http://pastebin.com/QfqyMPSD

это я зафиксил

сейчас?

да

уже залил в репо

ага, вижу

установил py-sqlite

синк взлетел

мне на самом деле нужен любой key-value store

sqlite3 из коробки идет, а с разными dbm дурка

его установку куда-нибудь прописать, в бсд как видишь по-дефолту его нет

заработало?

сейчас обновлюсь, а то задрала кривая остановка демонов

dvolodin, да

2014-10-05 13:26:47,995 [noc.lib.daemon.configuration] Creating object e36def9e-6606-48f3-a118-b5890583a10c: {'type': 'dns.DNSZone', 'data': {'records': [['170.92.212.in-addr.arpa.', 'SOA', 'ns.kis.ru. hostmaster.kis.ru. 2014100500

2014-10-05 13:26:47,995 [noc.main.sync.kvstore] [/etc/namedb/autozones-global/zones.db] SELECT uuid, zone, serial FROM kv WHERE uuid = ? ['e36def9e-6606-48f3-a118-b5890583a10c']

а манифест теперь можно сносить?

файлик-то?

ну да

все, уложил он тебе зоны?

если что, первый раз можешь просто открыть и сохранить профиль зон

они как бы там и были

он следит?

если я файлы снесу он восстановит?

файлы зон? только при изменении

он инкрементальный

тогда не буду трогать

ну да

только проверь include

в нем все зоны прописались?

dvolodin, не, не все

сейчас профиль дерну

там разовая операция, ему нужно как-то сказать, чтобы зоны перестроил

./bin/pip freeze | grep sqlite

что у тебя показывает?

xkis# ./bin/pip freeze | grep sqlite

-sqlite3==0.0.0

эх, раньше стомп пушил изменения, а теперь приходится ждать пока синк по таймауту соберется

второе решаемо, кстати

и я над этим думаю

там возможен long polling

db-sqlite3 или -sqlite3 ?

-sqlite3==0.0.0

так и выдало

чудно

самую главную зону почему-то не обновляет

и профиль пересохранил

и в ипам fqdn переписывал

serial меняется у нее?

нет

нок ее не перестраивает

несколько адресов удалил

сейчас профиль еще раз дернул

и еще несколько зон нашел

даже хэдер не обновляется

в новом есть ;; Generated by NOC (http://nocproject.org)

xkis# ll | wc

274 2459 18447

274 файла всего

xkis# grep nocproject * | wc

75 375 5054

обновилось 75

центральный нок не все перестроил

в базе тоже все старое лежит

перезапусти sync

установку sqlite я добавил

эмм

а смысл

в центральном ноке зоны тоже не обновлены

и не обновляются, что бы я не дергал

он перестроит зону только тогда, когда за ней придет sync

эммм

а как он за ней придет, если о ней ничего не знает

не, при создании зоны ему пометочку поставят

попробую удалить зону и создать

при перезапуске только это видно

2014-10-05 13:56:04,862 [noc.lib.daemon.configuration] Configuration has been applied: Items: 54, Created: 54, Changed: 0, Deleted: 0, Errors: 0

ну и кучу zone serial not changed. Skipping

во, при пересоздании зоны, сразу прилетело

но меня что-то ломает заново создавать 200 зон

во, другое дело, не просто пересохранил профиль, а поменял один параметр

и все зоны прилетели

а может не все

у некоторых файлов еще старая дата осталась

но

2014-10-05 14:06:18,906 [noc.lib.daemon.configuration] Configuration has been applied: Items: 269, Created: 214, Changed: 35, Deleted: 20, Errors: 0

все равно не все перегенерились

может я просто не дожадлся

подержу немножко дольше

там отсечка, да

он перестраивает в течении 10 секунд

все, что не успел - идет в следующий раз

при генерации он еще косячит

604800 ; expire (1 week 3 days)

это же ровно 7 дней

а он пишет что 10

калькулятор сломался?

пфф

все равно что-то не так

http://pastebin.com/RKKM7z1g

часть перестоилась, а часть осталась старой

дата 20 сентября

и 1 октября

я бы мог попробовать через csv перезалить зоны

но мне кажется неормальным что нок не перестраивает их

а что если в продакшене его так заклинит

логи noc-web в дебаг поставь и перезапусти sync

посмотри, все ли там нормально

уже в дебаге

сейчас тулзу еще сделаю одну

2014-10-05 14:30:35,291 [tornado.access] 200 GET /main/sync/xkisglobal/0/config/ (127.0.0.1) 2227.39ms

в общем и все

криминала больше никакого

n_instances у тебя какой?

:)

noc 50009 0.0 0.6 122376 23364 ?? S 2:30PM 0:00.34 /opt/noc/bin/python ./scripts/noc-sync.py launch -c etc/noc-sync-global.conf -i 0 (python2.7)

0

как и положено

попробуй так

обновись

и ./noc sync

оно раскладку выдаст

http://pastebin.com/S9dXg1Un

список полный

changed и expires смотри

похоже еще не все перестроило

брр

то есть до завтра?

2014-10-05T14:10:16.285000,2014-10-06T13:59:39.285000

не

это как раз нормально

зону забрало и должно прописать

ну вот зона которая не перестроилась

42ef7b14-c300-44a4-bf27-46016d549d51,dns.DNSZone,83,19.189.89.in-addr.arpa,542d97e5f3b682c0b6b9787e,0,2014-10-05T14:52:41.026000,2014-10-05T14:52:41.026000

на тебе чудо тулзу

сделай ./noc sync --refresh

./noc sync --list --- покажет состояние

запустил рефреш

во, рефреш обновил

но опять не все

30 зон еще обновилось

xkis# grep nocproject * | wc

102 510 6842

они чем-нибудь отличаются?

самый простой способ дернуть все

from noc.dns.models.dnszone import DNSZone

for z in DNSZone.objects.all():

z.save()

не понял про отличия

это на 95% обратные зоны

сделай save на все

из ./noc shell

я так и делал с самого начала

может миграцию сделаю потом

сделал

посмотрим

хм

в базе зоны обновились, но файлы на днс сервере отсались старыми

значит в них изменений не было

это нормально

хм

но там заголовок изменился

попробую профиль поменять

изменил профиль

нок не перестроил в базе ничего, ни на сервер ничего нового не приехало

хотя в логах синка появились какие-о сообщения об изменениях

2014-10-05 15:43:42,655 [noc.lib.daemon.configuration] Configuration has been applied: Items: 4, Created: 4, Changed: 0, Deleted: 0, Errors: 0

хм, это прямые зоны

а про обратные ничего нет

да и прымые не все

прямых штук 10 есть

жопа какая-то

с синком постоянно какие-то проблемы

еще и rndc не работает

2014-10-05 15:43:42,644 [noc-sync] [sync:bind] Running 'rndc reload'

2014-10-05 15:43:42,654 [noc-sync] [sync:bind] Failed (retcode 1)

в старом синке тоже самое было

от юзера нок с консоли работает

xkis# su noc

$ rndc reload

server reload successful

ну так с rndc настраивай его нормально

да-к какие там настройки

вот команда

он ее выполняет

но хер

права выдал

у него же ключик там

ну да

предалгаешь в команду прописать путь до него

хм

ок

все зависит от настроек

может он не тот конфиг подхватывает

я понял, попробую поиграться ключами

к rndc команде

осталось с синхронизацией разобраться

почему зоны не регенерятся

и не синкаются

он у тебя за апдейтами зон раз в минуту приходит?

да

2014-10-05 16:06:03,822 [noc.lib.daemon.configuration] Getting config

2014-10-05 16:06:03,988 [noc.lib.daemon.configuration] Config retrieved

2014-10-05 16:06:03,989 [noc.lib.daemon.configuration] Configuration has been applied: Items: 0, Created: 0, Changed: 0, Deleted: 0, Errors: 0

2014-10-05 16:07:03,823 [noc.lib.daemon.configuration] Getting config

2014-10-05 16:07:03,989 [noc.lib.daemon.configuration] Config retrieved

2014-10-05 16:07:03,990 [noc.lib.daemon.configuration] Configuration has been applied: Items: 0, Created: 0, Changed: 0, Deleted: 0, Errors: 0

при обновлении зон притаскивает изменения?

открыл ипам

поменял у ip 89.189.0.94 fqdn

http://pastebin.com/biU3PsEE

ghzvfz pjyf j,jyjdbkfcm

прямая зона обновилась

обратная - неи

то есть не обновился реверс при смене Address ?

да

а что это за unbound? все я смотрю прям кипятком писают от того какой он быстрый на рекурсивных запросах. а про прямые я что-то не видел отзывов

он вообще-то рекурсивный

но если у тебя несколько зон всего, можно и на него вытащить

сейчас в моде связка NSD + Unbound

NSD для авторитетных запросов, unbound - как рекурсивный кеш

то есть он в принципе зоны держать не может

тогда на powerdns продолжу смотреть

может

там есть локальные зоны

для powerdns NOC умеет писать зоны

нужно только из старого sync портануть

не, у меня еще клиентские зоны есть, достаточно много, просто в нок пока не выводили, в ноке с днс постоянно нескладуха

давай починим, я погоняю на продакшене, тогда посмотрим

я помню что powerdns был в прошлом синке

мне еще надо найти способ мониторинга днс, чтобы обосновать смену сервера

а то наши бинды может запросы теряют, а мы и не знаем

powerdns я восстановлю, да

да, нашел лажу с реверсами

отлично

наверное

зафиксил

держите меня семеро, а то я портану ipam на extjs

эй

ты не спеши

у меня реквестов на много фич для ипам

очень много

как раз сегодня вспоминал

может в дискусиях начать обсуждение на тему нового ipam'а?

начни, будет куда мысли скинуть

там не только про ипам

но с ним свзязанное

dhcp

vrrp

новый sync напрямую с DHCP связан

и с RADIUS

у меня прям мозг чешется, если все это реализовать

ну а чего чесаться-то

посмотри как работает sync

есть SyncCache, куда делается выкладка того, что нужно синхронизировать

сначала кладется заглушка, что объект вообще должен уехать на синхронизацию

когда noc-sync за ним придет, он увидит, что объект устарел и полностью его перестроит

что это за объект будет -- конфиг пробы, зона dns, пул dhcp или прочее -- ему по барабану

ну у меня задумка про обратную связь

если у тебя в базе будут юзеры и тарифы -- они точно также поедут на sync

а там уже их можно будет разложить в RADIUS

есть файл аренды и лог dhcp сервера, откуда можно достать полезную информацию

сейчас есть импорт зон из файлов в базу

;)

в ипам надо хранить инфу о порту, куда абонент включен, эти данные можно заполнять по базе маков или по option 82

а по файлу leases можно вычеркивать из ипам свободные адреса

* <zi_home> в ипам* не в ипам а в сервис-связке

конкретной услуги

HaLVeR, ты о чем?

zi_home> в ипам надо хранить инфу о порту, куда абонент включен

про вот это

слушай, у меня ip это транспорт, а не сервис

мне называют адрес, и найти свич куда оно включено было бы просто обосраться как вкусно

zi_home: не в IPAM

оно везде как бы транспорт))

это в OFM сделано

там есть привязка услуги к ресурсам

в том числе и адресам и портам

ну нет у меня услуги

есть базовая станция

у нее ip

и?

нахер этот офм

ip лежит в ипам

у нас базовые станции тоже как заявки лежат ;)

раздача по дхцп адреса - это уже услуга

и по DHCP тоже

раздача по дхцп это не услуга

тогда там хранится привязка к динамическому пулу

услуга это iptv

и у пула задается допустимый коэффициент переподписки

ты путаешь услугу коммерческую

а ip от дхцп это транспорт

и техническую

zi_home: мракобесы на эту тему говорят так

есть customer facing service

т е то, за что берут деньги, и то за что нет

есть resource facing service

первое -- это то что по договору ты продаешь клиенту

второе -- это твои потроха, которые нужны, чтобы сделать услугу

выделение порта под БС -- это тоже внутренняя услуга

да, с деньгами это не всегда так

погорячился

zi_home: пролечились реверсы?

HaLVeR: ну не суть важно

да кажись

а может и нет

проверяй

с DNS нужно еще подумать относительно view

и относительно vrf в ipam

2014-10-05 17:45:59,048 [noc.lib.daemon.configuration] Creating object 7e9f560b-d5b7-4072-8a9f-1376d1780798: {'type': 'dns.DNSZone', 'data': {}, 'uuid': '7e9f560b-d5b7-4072-8a9f-1376d1780798'}

2014-10-05 17:45:59,048 [noc-sync] [sync:bind] Zone must contain SOA record at least

это нормально?

ну ему пришла голая зона

совсем

а

попробуй найди, что это такое по UUID

ну такие есть

./noc sync --list --uuid=7e9f560b-d5b7-4072-8a9f-1376d1780798

root@noc:/opt/noc # ./noc sync --list --uuid=7e9f560b-d5b7-4072-8a9f-1376d1780798

UUID,Model,Object ID,Object,Sync,instance,Changed,Expire

хм

ну ладно

пока спишем на то что это пустые и статические зоны

может быть последствие сейва всех зон

даже не автогенерируемых

dvolodin, я поспешил радоваться, какие-то новые зоны приехали на сервер, но теперь ни прямая ни обратная зоны не обновляются, что бы я ни делал в ипам

что пишет?

да ничего не пишет

зоны не перегенерятся

в логах нули

2014-10-05 18:59:34,166 [noc.lib.daemon.configuration] Configuration has been applied: Items: 0, Created: 0, Changed: 0, Deleted: 0, Errors: 0

при любом изменении, ничего не меняется

не заметил такой детали, мы где-нибудь привязываем пробы к МО? ну чтобы в распределенной системе, железки опрашивала ближайшая проба, а не как попадет