[Moscow.pm] Проблема со встроенным в nginx перлом

[Warstone@list.ru]

Про идеал - я с вами согласен, а вот правда жизни:
Стоит сервер... На нем крутится приложение, у которого 50К коннектов... 
В 4 часа дня выкатили новую версию... Все нормально... 
12 часов ночи... Включился новый функционал... Полет нормальный...
4 часа ночи... оперативка падает , но медленно...
8 часов утра следующего дня... оперативка резко упала из-за того, что народ начал просыпаться... Это нормальное поведение
8 часов 30 минут оперативки нету из-за утечки в 100 байт на коннект.
8 часов 30 минут 10 секунд... Скорость обработки резко упала... Мастер начал запускать дополнительные воркеры для обрабоки поступающих коннектов. Коннектов стало больше, так как старые выбивает.
8:30:20: Мастер скооперировался с остальными нодами и началось перекидывание пользователей... Памяти нету, своп засирается...
8:30:50: Машине плохо... нет, не так... всему кластеру ОЧЕНЬ ПЛОХО.
8:33:00: Свопы забились и начал работать "убиватор".

Время на реакцию админов было: 3 минуты. Я сейчас утрирую, но факт тот, что они не успели, так как сменных админов небыло, да и если-бы они были, то что-бы они сделали? Приложение - основной бизнес компании.

Так что про идеал не надо... Вы правы только в том случае, если сервер ни разу не нагружен, нету пиков и программы на нем не разрабатываются в режиме непрерывной разработки. В то время как хай лоад будет нагружен всегда (более или менее), пики там бывают часто и выкатки идут чуть-ли не раз в неделю...

Как-то так...

Thu, 18 Oct 2012 20:20:57 +0400 от Daniel Podolsky <onokonem на gmail.com>:
>	
>
>
	
	
>
		
		
			
>> засрать своп надо минуту-другую и есть врея реакции...
>
Ваши представления о работе сисадмина пугают меня...
>
>
На самом деле - в идеале в нашей работе вообще не должно быть места
>
для "реакции", ее должна заменять профилактика.
>
-- 
>
Moscow.pm mailing list
>moscow-pm на pm.org | http://moscow.pm.org
>
			
		
		
	

	
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20121018/ea6ea137/attachment-0001.html>