Привет сообщество,

Давненько ничего не было в групе :)


Есть скриптец который парсит данные и вливает в MongoDB.
(Perl  v5.8.8)
Заливается порядка 30 Gb.
Столкнулся с тем что течет память. Течет судя по всему в драйвере. При
отключеной работе с базой скрипт памяти практически не использует и она
точно не растет :) .
Может кто то сталкивался с подобным.


Данные вставляются через update с 'upsert' => 1
Делать просто insert нельзя для предотвращения дубликатов).
Рестартовать тоже нельзя.
(крутится все на очень мощных тазиках - ресурсов более чем достаточно)

В гугле по утечке было найдено только
https://groups.google.com/forum/#!topic/mongodb-user/kUzfoQQvja0 за 2009
год с последней записью что "all of leaks on inserting and retrieving data
have now been fixed and checked into Github"

Из рабочих вариантов на данный момент у меня осталось переписать все на
питон или плюсы.
(Но вдруг кто то столкнулся и победил это в perl............переписывать ой
как не хочется....по работе с текстом лучше перла нет)

Спасибо.
С ув. Александр.
_______________________________________________
Kiev-pm mailing list
[email protected]
http://mail.pm.org/mailman/listinfo/kiev-pm

Ответить