[Moscow.pm] HighLoad - Как там с хранением файлов в Пг?
Sergey Homenkow
sergey на homenkow.ru
Пт Окт 26 08:41:21 PDT 2012
Привет!
Это видимо уже оффтопик, но всё таки.
Не очень верю вашим бенчмаркам.
Вот было у вас 100x2 iops с зеркала.
И вы говорите что на отдачу 1 файла - 1 iops на директорию и 1 iops на
сам маленький файл.
т.е. при условии что в кеш ничего не влезает - 100 файлов в секунду.
Вот мы метаданные засунули в базу и говорите что она вся в памяти и
iops-ы вы на неё тратить перестали.
А файлы как и положено в память не влезают и лежат на диске. На чтение
диска остался 1 iops.
Получаем 100x2 / 1 => 200 файлов в сек.
По тестам у вас 2к стало.
Откуда?
Либо ограниченное количество файлов читали бенчмаркалкой, либо читали
их в той последовательности, в которой они на диске (внутри БД) лежат.
Далее - количество одновременно отдаваемых файлов.
nginx => apache + mod_perl (prefork) => Pg (prefork).
стриминг блоба из Pg - 1 на процесс?
Pg процессов у вас кажется 64шт.
apache я полагаю столько же.
Т.е. максимум вы отдаёте 64 файла параллельно?
Не мало?
Сколько одновременных потоков запосов делал бенчмарк?
26 октября 2012 г., 16:21 пользователь Daniel Podolsky
<onokonem на gmail.com> написал:
>> Поэтому стараюсь
>> показать кривость Вашего решения.
> Пока - не получается.
--
Sergey Homenkow, icq#15323279, jabber/gtalk: shomenkow на gmail.com
Подробная информация о списке рассылки Moscow-pm