[Moscow.pm] Проблема со встроенным в nginx перлом

[Dmitry Simonov]

Яндекс, утро понедельника, невыспавшийся небритый руководитель одной
из групп разработки монотонным голосом проводит планёрку:

- Раньше у нас было правило: не выкатываться вечером в пятницу...

пауза...

- Теперь у нас новое правило: совсем не выкатываться.



---
Dmitriy V. Simonov,
Perl & Python programmer


2012/10/18 Warstone на list.ru <warstone на list.ru>:
> Про идеал - я с вами согласен, а вот правда жизни:
> Стоит сервер... На нем крутится приложение, у которого 50К коннектов...
> В 4 часа дня выкатили новую версию... Все нормально...
> 12 часов ночи... Включился новый функционал... Полет нормальный...
> 4 часа ночи... оперативка падает , но медленно...
> 8 часов утра следующего дня... оперативка резко упала из-за того, что народ
> начал просыпаться... Это нормальное поведение
> 8 часов 30 минут оперативки нету из-за утечки в 100 байт на коннект.
> 8 часов 30 минут 10 секунд... Скорость обработки резко упала... Мастер начал
> запускать дополнительные воркеры для обрабоки поступающих коннектов.
> Коннектов стало больше, так как старые выбивает.
> 8:30:20: Мастер скооперировался с остальными нодами и началось перекидывание
> пользователей... Памяти нету, своп засирается...
> 8:30:50: Машине плохо... нет, не так... всему кластеру ОЧЕНЬ ПЛОХО.
> 8:33:00: Свопы забились и начал работать "убиватор".
>
> Время на реакцию админов было: 3 минуты. Я сейчас утрирую, но факт тот, что
> они не успели, так как сменных админов небыло, да и если-бы они были, то
> что-бы они сделали? Приложение - основной бизнес компании.
>
> Так что про идеал не надо... Вы правы только в том случае, если сервер ни
> разу не нагружен, нету пиков и программы на нем не разрабатываются в режиме
> непрерывной разработки. В то время как хай лоад будет нагружен всегда (более
> или менее), пики там бывают часто и выкатки идут чуть-ли не раз в неделю...
>
> Как-то так...
>
> Thu, 18 Oct 2012 20:20:57 +0400 от Daniel Podolsky <onokonem на gmail.com>:
>
>> засрать своп надо минуту-другую и есть врея реакции...
> Ваши представления о работе сисадмина пугают меня...
>
> На самом деле - в идеале в нашей работе вообще не должно быть места
> для "реакции", ее должна заменять профилактика.
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
>
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>