[Kiev-pm] Утечка памяти в MongoDB драйвере.
alex o
alex.puhachev at gmail.com
Wed Aug 21 01:32:07 PDT 2013
Привет сообщество,
Давненько ничего не было в групе :)
Есть скриптец который парсит данные и вливает в MongoDB.
(Perl v5.8.8)
Заливается порядка 30 Gb.
Столкнулся с тем что течет память. Течет судя по всему в драйвере. При
отключеной работе с базой скрипт памяти практически не использует и она
точно не растет :) .
Может кто то сталкивался с подобным.
Данные вставляются через update с 'upsert' => 1
Делать просто insert нельзя для предотвращения дубликатов).
Рестартовать тоже нельзя.
(крутится все на очень мощных тазиках - ресурсов более чем достаточно)
В гугле по утечке было найдено только
https://groups.google.com/forum/#!topic/mongodb-user/kUzfoQQvja0 за 2009
год с последней записью что "all of leaks on inserting and retrieving data
have now been fixed and checked into Github"
Из рабочих вариантов на данный момент у меня осталось переписать все на
питон или плюсы.
(Но вдруг кто то столкнулся и победил это в perl............переписывать ой
как не хочется....по работе с текстом лучше перла нет)
Спасибо.
С ув. Александр.
----------- ???? ???-----------
??? ?????HTML ?? ?????hellip;
URL: <http://mail.pm.org/pipermail/kiev-pm/attachments/20130821/af27408a/attachment.html>
More information about the Kiev-pm
mailing list