[Moscow.pm] HighLoad - Как там с хранением файлов в Пг?

[Sergey Homenkow]

Привет!

Это видимо уже оффтопик, но всё таки.
Не очень верю вашим бенчмаркам.

Вот было у вас 100x2 iops с зеркала.
И вы говорите что на отдачу 1 файла - 1 iops на директорию и 1 iops на
сам маленький файл.
т.е. при условии что в кеш ничего не влезает - 100 файлов в секунду.

Вот мы метаданные засунули в базу и говорите что она вся в памяти и
iops-ы вы на неё тратить перестали.
А файлы как и положено в память не влезают и лежат на диске. На чтение
диска остался 1 iops.

Получаем 100x2 / 1 => 200 файлов в сек.

По тестам у вас 2к стало.
Откуда?

Либо ограниченное количество файлов читали бенчмаркалкой, либо читали
их в той последовательности, в которой они на диске (внутри БД) лежат.


Далее - количество одновременно отдаваемых файлов.
nginx => apache + mod_perl (prefork) => Pg (prefork).
стриминг блоба из Pg - 1 на процесс?
Pg процессов у вас кажется 64шт.
apache я полагаю столько же.
Т.е. максимум вы отдаёте 64 файла параллельно?
Не мало?

Сколько одновременных потоков запосов делал бенчмарк?


26 октября 2012 г., 16:21 пользователь Daniel Podolsky
<onokonem на gmail.com> написал:
>> Поэтому  стараюсь
>> показать  кривость Вашего решения.
> Пока - не получается.

-- 
Sergey Homenkow, icq#15323279, jabber/gtalk: shomenkow на gmail.com