[Moscow.pm] Распараллелить

[Mons Anderson]

2012/10/16 Warstone на list.ru <warstone на list.ru>

>
> Да и базы данных все синхронные, кажется.
>
> Синхронность/асинхронность бывает разной.
>
> Бывает синхронный протокол, синхронная реализация.
> Пример: HTTP + LWP
> Бывает синхронный протокол, асинхронная реализация.
> Пример: HTTP + AnyEvent::HTTP
> Бывает асинхронный протокол, синхронная реализация.
> Пример: XMPP + Net::XMPP
> Бывает асинхронный протокол, асинхронная реализация.
> Пример: XMPP + AnyEvent::XMPP
>
> Это вообще не в кассу ответ.
>
> А насчет синхронной БД... Кое-кто заблуждается. Работа с Пг может быть
> асинхронной, например. (Но вот несколько заданий в один коннект вы не
> засуните, надо создавать линк, это да)
>

Вы кажется не поняли мой ответ.
Работа с чем-то и работа чего-то это разные вещи.
Человек написал "Да и базы данных все синхронные, кажется"
А я ему ответил, что неважно какая база данных, важно как мы с ней работаем.


>
> Вообще самый быстрый метод фетча из Пг - это асинхронный фетч из курсора в
> транзакции частями по ~10К (На самом деле вопрос времени обработки
> полученных записей, однако на задаче преобразования в CSV у меня получалось
> именно 10К)... Причем COPY будет только чуть-чуть быстрее.
>

Видимо зависит от данных и от конфигурации железа. у нас, например на
записи (массированый insert) оптимальным был объем 4k, на чтении из этой-же
базы максимальная производительность достигалось при ~20k

Правда синхронный вариант фетча на Си будет в 8 раз быстрее, но это детали.
> Тут все съедает преобразование входящих данных в Перловые переменные, ИМХО.
> (Оно, кстати, не паралелится. И вот тут можно посмотреть на потоки, чего я
> не сделал в сове время... Только сейчас мысль пришла)
>
>
-- 
Best wishes,
Vladimir V. Perepelitsa aka Mons Anderson
<inthrax на gmail.com>, <mons на cpan.org>
http://github.com/Mons
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20121018/48e4150e/attachment-0001.html>