nocproject.org

Привет.

noc-web кто-нибудь уже пробовал?

ЧТо это?

это вместо noc-fcgi

а вроде он не врепах еще

в пятницу обновил но как то не айс по скорости первого открытия веб морды

ку

до 3-5 минут

d htgf[ jy e;t

в репах он уже

а как узнать на чем сейчас работает?

ss_: Если ты настройки не менял, то скрее всего на fcgi у тебя.

не менял

может быть в этом причина медлнной работы?

freeseacher: А вы в продакшн новую морду ставили?

неее

так в тестинге валяется.

Ясно.

KTO-TO_, как поменять fcgi на noc-web и какие в этом плюсы?

ss_: Да я собственно и хотел узнать, ставил ли кто :) Я еще не запускал. Плюсы - это то что можно будет для FM push запустить. Правда еще вопрос как оно пролезет через nginx... или это отдельный коннект будет. Это к dvolodin'у :)

KTO-TO_, что есть FM push?

уведомление что что произошло

без рефреша

поезно

полезно

в некотором смысле,я новую морду в продакшн запустил. из плюсов - более-менее нормальный построитель префикс-листов; из минусов - юзеры с ограниченными правами не работают

http://en.wikipedia.org/wiki/Push_technology

кстати, у кого сколько managed object в ноке?

1110

freeseacher: только l3?

124 пока

хм. надо прикинуть

freeseacher: В смысле - судя по количеству - доступ вы туда не добавляли?

порядка 300

нее.. для доступа у нас отдельная система

Совмещать не планируете? :)

а хз. пока не ясна нагрузка и выгоды.

без автодискаверинга доступ добавлять смех

а я вот в прошлую пятницу добавил пять сотен, для эксперимента, сколько нок выдержит

и он сломался(

freeseacher: ну это да...

zi_rus, а что сломалось ?

не может пинговать - это для начала

для постгреса 500 записей ниочем

валится ошибка и все тут, раньше было нормально

для активатора если их 2-3 тоже

но тогда он пинговал только 60

Periodic task=fm.ping_check:Any status=failed

хм. мотивирует чем ?

а хз. в логах активатора я даже не вижу чтобы он пытался пинговать

а щас то пингует ?

нет

а в логах сае вот такое

2011-10-03 09:22:44,548 script NOC.SAE.ping_check(SAE)

2011-10-03 09:22:44,552 1 script threads

2011-10-03 09:23:28,383 Script NOC.SAE.ping_check(0.0.0.0) completed

тоесть он пингует только нок ?

пинг нок делает до Trap Source IP

если не указан пинга не будет

как бы вам, все там с параметрами в порядке

вот еще в логах повторяется такая строка

2011-10-03 07:52:37,973 MRT task=16489/43473 object=SAE(0.0.0.0) script=NOC.SAE.ping_check status=running args={'activator_name': u ... 6'

, '172.19.30.34']}

все дни только этот айпишник

и честно говоря, это удивляет, если раньше хотя бы предполагал что может быть причина, то тут я вообще ничего не делал, оно просто перестало работать. несколько раз перезапускал нок, но это не помогло

у меня тоже только один ип кажет

2011-09-24 17:23:00,748 MRT task=151458/4762360 object=SAE(0.0.0.0) script=NOC.SAE.ping_check status=running args={'activator_name': u ... .1', '10.243.24.1']}

при этом опредеоение работает

активаторы разные правда

хочется отметить что в ФМ он отражает адреса которые действительно не пингуются

на что влияет timeout в шедулере?

опаньки. повысил таймают и ошибка ушла!

:)

а сколько был ?

был 30, сделал 60

2011-10-03 09:47:36,049 Periodic task=fm.ping_check:Any status=running

2011-10-03 09:48:21,247 Periodic task=fm.ping_check:Any status=completed

45 секунд он потратил на >600объектов

dvolodin, смотрю в выходные много коммитов было. они как, рабочие? можно обновляться?

zi_rus, post-update не проходит

значит подождем

вовремя сказали ;)

теперь приходится быть аккуратней

рановато еще, потребуется перенастроить http сервер

это не самое сложное, в коммитах же было обновление инстукции, главное чтобы заработало

было, да

если есть возможность, допишите для lighttpd и apache

т.е. апач после апдейта надо будет перенастроить?

да

пробовать уже можно?

вместо демона noc-fcgi с FastCGI будет noc-web с обычным http

пробовать можно, только не в боевой инсталляции

ну как сказать у меня не особо боевая, только для себя пока изучаю смотрю проверяю, так что ничего не потеряю

манул есть по перестройке сервера http

а я тогда обожду

?

а чем fastcgi не устроил (долек от темы)

да не то, чтобы не устроил

там несколько проблемок есть

2011-10-03 10:10:11,077 Launching noc-web[#0]

2011-10-03 10:10:11,078 Daemon noc-web[#0] started as PID 8222

2011-10-03 10:10:12,081 noc-web[#0] daemon is terminated with status 8222

и по кругу...

1. flup, который используется как fcgi-сервер, немного тормознутый и под нагрузкой дропает коннекты

эээ

inoyat_kayumov: логи его надо посмотреть

не пишет

и ./scripts/sync-contrib

а это не сделал

в конфиге лаунчера:

[noc-web]

enabled = true

user = root

group =

config = etc/noc-web.conf

и еще вопрос, как то будет поддержка smart-web ?

через ытьз

snmp ?

user noc

это эксперименты

когда будет полный AJAX в клиенте, запросов будет больше и они будут более легковесные, могут возникнуть проблемы

а fcgi в конфиге лаунчера запретить?

inoyat_kayumov: да, он не нужен уже

ну не стартует все равно

и 2. с fast cgi long polling пришлось бы делаьб отдельным демоном

inoyat_kayumov: ./scripts/noc-web.py -f start

вот оно

noc@noc:~$ /scripts/noc-web.py -f start

-su: /scripts/noc-web.py: No such file or directory

dvolodin, а есть какой либо api для работы с обьектами? Т.е. добавить обьект удалить обьект, запросить о нем инфу и прочее? Или только праямая работа с бд?

noc@noc:~$ ./scripts/noc-web.py -f start

Traceback (most recent call last):

File "./scripts/noc-web.py", line 17, in <module>

from noc.main.web import Web

File "/opt/noc/main/web.py", line 14, in <module>

import tornado.ioloop

ImportError: No module named tornado.ioloop

ss_: для REST, которые уже сделаны, есть

там по HTTP GET, POST, PUT, DELETE

можно хоть CURL'ом делать

имена полей можно посмотреть в соответсвующем models.py пока

а есть какой либо мануал по работе?

чуть попозже сделаю волшебный HTTP метод describe

который будет выдавать информацию по полям

zi_rus: о каком таймауте речь? такая же ситуация у меня похоже

inoyat_kayumov: sync-contrib прошел нормально?

tornado построился?

да

торнадо - нет

он вытащился?

нет

cd contrib/src

hg in

lexus-omsk, в настройках шедулера для задачи

noc@noc:~$ hg tip

changeset: 4863:91b22e3cd142

hg pull -u ему

торнадо вытащился, но

noc@noc:~$ hg pull -u

pulling from http://hg.nocproject.org/noc

searching for changes

no changes found

ну все хорошо

еще раз

./scripts/sync-contrib ему

сделал - но торнадо там не увидел

cd contrib/src; hg pull -u; cd ../..

обновил тоже сделал ./scripts/sync-contri торандо тоже нет

)

http://dpaste.com/626058/

права надо поправить

pull от рута делается обычно

у меня от рута - только запуск демонов

2011-10-03 10:27:45,457 Launching noc-web[#0]

2011-10-03 10:27:45,459 Daemon noc-web[#0] started as PID 16367

2011-10-03 10:27:46,462 noc-web[#0] daemon is terminated with status 16367

2011-10-03 10:27:47,464 Launching noc-web[#0]

2011-10-03 10:27:47,467 Daemon noc-web[#0] started as PID 16372

2011-10-03 10:27:48,470 noc-web[#0] daemon is terminated with status 16372

в каком месте надо подправить apache где почитать?

ss_: нок-веб на 8000 порту висит?

да

апач там висит

FastCGIExternalServer /opt/noc/noc.fcgi -socket /tmp/noc.fcgi

<VirtualHost *:8000>

DocumentRoot /opt/noc

# ServerName localhost

Alias /media /opt/noc/contrib/lib/django/contrib/admin/media/

RewriteEngine On

RewriteRule ^/(media.*)$ /$1 [QSA,L,PT]

RewriteRule ^/(static.*)$ /$1 [QSA,L,PT]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^/(.*)$ /noc.fcgi/$1 [QSA,L]

<Directory /opt/noc>

Order allow,deny

Allow from all

</Directory>

<Location /media>

Order allow,deny

Allow from all

</Location>

</VirtualHost>

ээээ......а fcgi от нока в /tmp/noc.fcgi есть?

и вообще - речь идет о том что от fcgi избавиться совсем

ну я то сейчас обновил на последнюю версию

вроде сказали что нок-веб должен быть.

а в том конфиге что привели - прямо fcgi прописано

вот и спросить хотел как подправить

не на чем попробовать - у меня nginx

тоже хватило таймаута в 1 минуту... почти 800 девайсов... вот такие вот недокументированные фичи )

dvolodin: торнадо я так понимаю запустили для LongPull? А NGINX не пропустит через себя LongPull

я вообще сейчас сделал с запасом, 600сек - период, 300сек - таймаут. потенциально ожидается 3000 устройств в систему заводить

noc-web посыпал куча крашинфо

[Errno 98] Address already in use

2011-10-03 10:36:46,131 Launching noc-web[#0]

2011-10-03 10:36:46,134 Daemon noc-web[#0] started as PID 18593

2011-10-03 10:36:47,137 noc-web[#0] daemon is terminated with status 18593

как победить?

очевидно надо искать почему он терминируется, логи лаунчера тут не помогут

хм. а где поискать логи noc-web?

noc-web.log? :)

ss у тебя же апач на порту висел?

да

скопировать noc-web.default в noc-web.conf, отредактировать последний

дык порты должны быть разные

так, т.е. сейчас апача не нужен получается?

в принципе да... потом если будет дюжая нагрузка... можно будет добавить кого-то

8000 порт надо просто освободить?

угу

на него noc-web по умолчанию сидит

а сколько нок-веб должно быть?

ps axw | grep pyth

17863 ? S 0:00 python ./scripts/noc-launcher.py start

17865 ? S 0:00 /usr/bin/python ./scripts/noc-scheduler.py launch -c etc/noc-scheduler.conf -i 0

17866 ? S 0:01 /usr/bin/python ./scripts/noc-web.py launch -c etc/noc-web.conf -i 0

17867 ? S 0:00 /usr/bin/python ./scripts/noc-sae.py launch -c etc/noc-sae.conf -i 0

17868 ? S 0:00 /usr/bin/python ./scripts/noc-activator.py launch -c etc/noc-activator.conf -i 0

17869 ? S 0:00 /usr/bin/python ./scripts/noc-activator.py launch -c etc/noc-activator.conf -i 1

17870 ? R 0:02 /usr/bin/python ./scripts/noc-classifier.py launch -c etc/noc-classifier.conf -i 0

17871 ? S 0:01 /usr/bin/python ./scripts/noc-correlator.py launch -c etc/noc-correlator.conf -i 0

17873 ? S 0:00 /usr/bin/python ./scripts/noc-probe.py launch -c etc/noc-probe.conf -i 0

17903 ? S 0:00 /usr/bin/python ./scripts/noc-web.py launch -c etc/noc-web.conf -i 0

17904 ? S 0:00 /usr/bin/python ./scripts/noc-web.py launch -c etc/noc-web.conf -i 0

ога вижу конфиг, сейчас попробую, спасибо

зачем их три???

там автодетект стоит определяет сколько процов столько и .. вебов

3 проца? :)))

:-)

3 ядра?

2011-10-03 10:42:02,635 200 GET /fm/event/events/?page=&status=A&from_time=&to_time=&managed_object=&event_class= (127.0.0.1) 22

2.41ms

2011-10-03 10:42:53,837 200 GET /fm/alarm/alarms/?page=&status=A&from_time=&to_time=&managed_object=&alarm_class=&order_by=-time

stamp (127.0.0.1) 62.07ms

2011-10-03 10:43:02,489 child 1 (pid 17904) killed by signal 11, restarting

2011-10-03 10:43:53,853 200 GET /fm/alarm/alarms/?page=&status=A&from_time=&to_time=&managed_object=&alarm_class=&order_by=-time

stamp (127.0.0.1) 69.38ms

2011-10-03 10:44:02,503 child 1 (pid 18059) killed by signal 11, restarting

а еще есть глюк .. наверно .. при остановке из лаунчера он noc-web не весь останавливает

да - пришлось руками прибивать

как вариант - попробовать автодетект процов отключить и посмотреть

сработало

2011-10-03 10:50:49,392 Launching noc-web[#0]

2011-10-03 10:50:49,395 Daemon noc-web[#0] started as PID 22171

2011-10-03 10:50:50,398 noc-web[#0] daemon is terminated with status 22171

нестартует

##------------------------------------------------

## noc-web default configuration.

##------------------------------------------------

## WARNING: Do not edit this file directly!!!

## Override settings using etc/noc-web.conf

##

[main]

logfile = /var/log/noc/noc-web.log

loglevel = info

logsize = 0

logfiles = 0

pidfile = /var/log/noc/noc-web.pid

кстати - возвращаясь к глюкам интерфейса...кто писал про дергание всей таблицы (алармы или эвенты) при наведении мыши на первый столбец?

heartbeat= off

[web]

# Address and port to listen to

listen = 10.58.167.250:8000

# Number of worker processes

оно ведь осталось

# 0 - detect number of CPU cores

workers = 2

логов нет

ss_: листен на локалхосте! оно ведь только с веб-сервером будет взаимодействовать - который уже на 80 порту будет слушать на тех ип которые укажете

inoyat_kayumov, что то не понял(

на веб сервере что нить нужно делть?

Нужна какая нибудь конфигурация для взаимодействия?

надо Дмитрия че бы политику партии объяснил...

inoyat_kayumov, я заметил этот глюк с интерфейсом, но не вижу смысла о нем писать, для ФМ все равно будет новое приложение

по идее сейчас можно выставить на реальны порт noc-web и будет оно молча работать

так и сделал вроде

[web]

# Address and port to listen to

listen = 127.0.0.1:8000

# Number of worker processes

# 0 - detect number of CPU cores

workers = 2

если делать 127.0.0.1:8000 то надо что-бы кто-то подслушивал и передавал данные

а как?

он даже и не стартует

а чего говорит?

он там не висит старый запущенный?

он сам логи не пишет, есть только лог нок лаунчера

2011-10-03 10:54:29,322 Launching noc-web[#0]

2011-10-03 10:54:29,325 Daemon noc-web[#0] started as PID 23137

2011-10-03 10:54:30,328 noc-web[#0] daemon is terminated with status 23137

./scripts/noc-web.py -f start

ss_: на примере nginx - нок и nginx меж собой через локалхост:8000 общаются, а через 80 nginx юзверю все отдает

noc@monitor:~$ ./scripts/noc-web.py -f start

Traceback (most recent call last):

File "./scripts/noc-web.py", line 17, in <module>

from noc.main.web import Web

File "/opt/noc/main/web.py", line 14, in <module>

import tornado.ioloop

ImportError: No module named tornado.ioloop

опа. торнадо хочет

торнадо не скачался

hg pull -u

pulling from http://hg.nocproject.org/noc

searching for changes

no changes found

noc@monitor:~$ hg tip

changeset: 4863:91b22e3cd142

tag: tip

user: Dmitry Volodin <dv@nocproject.org>

date: Mon Oct 03 01:53:30 2011 +0400

summary: noc-web.conf editing

ну у меня в линуксе торнадо есть..

в репозитарии вроде есть папка с торнадой... но как оно там пускает не скажу

т.е. это зависимость, сам ручками доставь?

Сейчас сделаю

вот Володин хак привел: cd contrib/src; hg pull -u; cd ../..

noc@monitor:~/contrib/src$ hg pull -u

abort: repository default not found!

а потом ./scripts/sync-contrib

не проходит(

ss_: от корня нок попробуйте hg update -r 4863

а потом вышеприведенное

hg update -r 4863

0 files updated, 0 files merged, 0 files removed, 0 files unresolved

мне hg pull -u внутри contrib/scr помог

у меня он в той директории не запускается

у тебя в этой папке клон репозитария?

в нос то? да клон

здрасте

у меня после сегодняшнего апдейта вылазит http://pastebin.com/V6UQz9Rs

как можно пофиксить ,

?

я смотрю апдейты то сыроваты вышли, ниче зато натестим)

а куда нажимал

торнадо поставил

http://bukashk0zzz.org.ua/nix/ustanovka-y-nastrojka-django-nginx-cherez-tornado-v-debian-ubuntu вот линк манула как это сделать. Осталось подружить его с апачем

а зачем тебе апач?

э тут выше писали что нужно дружить

нгникса хватит

зачем мне еще один веб сервер?

зоопарк целый будет

да и на время тестов можно на прямую повесить

апач снести :-)

ух вы злые

апач нужен сервак не просто так стоить

заработало напрямую

все летает

)

дык пересадить всех на нгникс

на апаче забикс крутится. хотя можно его и на нгникс перекинуть, но не вижу смысла

с noc-web все заработало быстрее в разы

морда сразу открывается.

угу торнада...

всех не просто так пересадить

она сама без посреднеков хорошо летает

ну тогда так и оставлю. тока фаерфолом от чужих закрою

дык пущай лазят ломают :-)

нах нах нах, я сам пока ломать буду

в продакшен выводить не буду.

Этот инструмент больше для меня, и облегчения моей работы

привет, dvolodin, что думаешь на счет #290?

у меня такая потребность есть, может кто еще хотел бы различные юниксовые конфиги хранить в репозитории?

nixwizard: выползает иногда этот вопрос, да

собственно возможность хранить несколько файлов - есть

попробую реализовать тогда

оо dvolodin, а всетаки торнадо надо ставить отдельно или он должен поставиться сам ?

dvolodin: здравствуйте, нок на последнем апдейте ругается - http://pastebin.com/V6UQz9Rsб как можно пофиксить ?

nixwizard, у мя тоже такая же беда.

тоже хачу.

надо подумать как лучше сделать

tar - плохой вариант? :) или хочется по каждому конфигу - историю?

нет хочется например сервисы для джуника в отдельные файлы.

или аликовские li и bof в отделтьные файлы

ибо это разные настройки и в общий конфиг не попадают

пацаны у меня тут астер бекапили. 6 или 7 файлов

и и стория нужна. да

сделать, чтобы get_config возвращал список - "имя"-"конфиг" и потом все это кучей в репо? :)

он уже так и делает

но складывает не в разные файлы

а в один

Т.е. осталось научить в разные файлы складывать?

ага

и отображать разные файлы

и связывать разные файлы с MO

придумал киддер-фичу для ИПАМ

*киллер

трави

сделать возможность объединять префиксы по определенному признаку и отображать их как единое адресное пространство

например по автономке

да

дык в пиринг менеджменте есть уже.

нет я про другое

пример:

я понял в виде одной страницы

берешь несколько префиксов которые никак не связаны и могут быть сильно разрознены и говоришь, из этих адресов я буду выделять ip клиентам, и когда надо будет найти свободный адрес, просто открываешь эту группу префиксов и делаешь show free и оно цельным

образом показывает свободные адреса среди всех префиксов в группе

а уведомление на подписанный аларм работает?

zi_rus, идейно это должно быть предопределенынми ранжами

типа этот ренж запланируем под стыки с пирами

и тебе скорее интересна эта информация

хотя при стихийном ip менеджменте твой вариант лучше

согласен, я так сейчас и делаю, но например RIPE выдает адреса не непрерывными блоками

или например мне сейчас в некоторых местах выделять адреса двумя префиксами подряд чтобы экономней третить адреса

чтобы меньше простаивало

вот например

172.19.88.0/21

172.19.96.0/22

идейно я выделил префиксы по назначению, но пришлось их сделать 2

идейно у нас еще 8 различных префиксов объединены смыслом но среди них приходится метаться

Можно ли в пиринг менеджере импортнуть информацию из ripe, чтобы не забивать? :)

я про org, mnt, persons

вот кстати, тоже об этом думал, но не спрашивал

^)

это было бы логично и удобно

уже на прошлой неделе спрашивал - тишина, еще раз...

Periodic OK: fm.ping_check:Any

притом что один из объектов - ну явно не ОК:

ping 10.251.0.74

PING 10.251.0.74 (10.251.0.74) 56(84) bytes of data.

^C

--- 10.251.0.74 ping statistics ---

2 packets transmitted, 0 received, 100% packet loss, time 1008ms

куда копать???

пинг нок точно делает ?

для 10.251.0.74 и Address и Trap source IP прописаны одинаково

а как проверить - что он точно делает?

tcpdump ?

угу - костыль :(

для проверки то ?

ну если нок и остальные объекты также "пингует" - смысл таких проверок вообще?

запустил tcpdump - в шедулере пинг раз в минуту, жду

кстати - а если действительно не пингует - в чем причина?

нда

tcpdump -i eth0 host 10.251.0.74

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes

^C

0 packets captured

0 packets received by filter

0 packets dropped by kernel

в логе SAE:

2011-10-03 15:14:51,974 MRT task=80825/92619 object=SAE(0.0.0.0) script=NOC.SAE.ping_check status=running args={'activator_name':

u ... 50', '10.251.0.74']}

еще интереснее...tcpdump на другой объект (который заведомо доступен) тоже ничего не показал...вывод - нок ничего не пингует???

проверьте кто-нибудь у себя плз

у меня пингует - однозначно

и в дампе видно?

не смотрел, я просто вижу как он меня уведомляет о тех кто не пингуется

у меня весь ФМ красно-желтый

на 2 листа

я не стал из нока нагиос делать сознательно - но вот сейчас стало интересно.

и в какую сторону копать

fping стоит?

fping -v

fping: Version 2.4b2_to $Date: 2002/01/16 00:33:42 $

а прописан в активаторе ?

А если руками запустить fping - что говорит?

fping 10.251.0.74

10.251.0.74 is unreachable

grep fping /opt/noc/etc/noc-activator*

re

о как - нет его там

/opt/noc/etc/noc-activator.conf:fping = /usr/bin/fping

как то так должно быть

у меня такая ситуация: под фоксом в линухе менюшка на яве есть, а под виндой нет. ни в фоксе ни в эксплорере с установленной явой 6

e_zombie: под виндой в ff 6 есть, под ие9 - нет, под хромом тоже есть.

e_zombie: рефрешь не помогает?

Ни у кого peer.update_whois_cache не зацикливается? :)

А то он все обновляется и обновляется.... Уже 30 минут по кругу :).

Перезапустил шедулер - посмотрим...

у меня такое было

посмотри в лаунчере

в логах

zi_rus: да есть такая фигня. heratbeat отключить надо? где7 :)

шедулер не терминируется случаем?

в фоксе после рефреша появилась. а ие6 чистая страница

в конфиге шедулера

даже авторизации нет

e_zombie: в ие6 - ничего и не будет.

ибо старый он...

дока по установке в центосе кривая

надо править

так же почему то у меня не отображаются элементы странц

/media/img/admin/icon_searchbox.png

типа такого

freeseacher: а можно подробнее - в какую секцию конфига активатора fping запихнуть?

дык прям через веб можно

inoyat_kayumov, получилось ?

нет

[path]

fping6 = /usr/bin/fping6

fping = /usr/bin/fping

/opt/noc/etc/noc-activator.conf

о, path

дык

10.10.10.10/main/config/

freeseacher: спасибо, задышало

amazon ec2 юзал кто ?

эээ

а где теперь хосты добавлять?

нашёл

но как то странно всё стало

e_zombie, это про новый интерфейс?

ага

по мне удобнее

хотя хосты руками добовлять это адовое дело

ну у меня тут свё криво отображается

ну как вталкивать хосты я то знаю

я тут скриптик написал

как?

импорт вроде работает нормально

я прямым запросом в pg

а нафиг?э

забиваешь один хост

потом экспортиуешь его в цвс

и потом по подобию заполняешь его

пердварительно просканив диапазон например нмапом

из забикса выбираю активные хосты по определенным критериям и перекидываю в нок

профит

ууууу

нифига не профит

ибо диапазон ip /27 сеткой

в этой диапазоне разношерстное железо

ну тогда да

этих диапазонов за одним районом несколько и они не подряд

это засада

ни и нажо учитывать что некторые хосты уже добавленны, ну и актуальный хостнайм тоже должен быть

у нас тоже строители пидорасы напихали в кольца комутаторы двух разных фирм

гг я от такого кольца отмахался

кста тоде в РТ пашешЬ?

тоже в РТ?

=) ушастики)

про логотип то? ;)

дак про него только ленивый не пошутил

гг тот еще вибратор)

дада..и какашка и вибратор

да. в рт

вибратор круче

пару лет назад "побирушкой" называли

а теперь вот - всем гордый вибратор

интересно сколько бабла отмыли под это дело

так, чисто для статистики)

дохрена

на логотипах джея и то меньше

ггг распил он такой)

а дизанер небось за еду нарисвоал

кста заметл такую странность что теги при редактирвоании объекта в новой веб морде не рисуются сразу

раньше наберешь пару символов и он ищит уже варианты а сейчас надо вводить полностью

у нас с большим отрывом лидирует "сопля мебиуса"...

тоже неплохо

так у меня уже 170 железок в нок добавилось

еще 5 районов)

dvolodin: hey.. is the lack of an side-menu an known issue? ;)

try to refresh browser cache

dvolodin: ah..