[Moscow.pm] perl и "Очень Большие Файлы" (tm)

Alex Shatlovsky shatlovsky на gmail.com
Вт Фев 19 07:58:45 PST 2008


On 2/19/08, Монашёв Михаил <postmaster на softsearch.ru> wrote:
> Здравствуйте, Алекс.
>
> > Я не очень догоняю, в чем принципиальная сложность для системы
> > работать с дисковым файлом как с памятью, ведь по сути они отличаются
> > лишь скоростью доступа.
>
> Как написал выше Алексей Шруб, эти проблемы со скоростью доступа к
> диска сделают задачу не решаемой в обозримое время. Например 3D-игры
> загружают текстуры в память, а не сдиска их читают.
>
> Попробуй  файл замапить файл: http://search.cpan.org/search?query=mmap
> и  работать  с  файлом  как  с переменной. Но применив "универсальный"
> регэсп  к большому файлу ты быстро поймёшь, что задачу не решить из-за
> медленного чтения с диска.

Попробовал.
s/\W/?/g отрабатывается на файле:
 - 1 Мб - <1 сек
 - 10 Мб - 5 сек
 - 100Мб - 60 сек
По завершению на файлах 10 и 100 мб перл падает в Segmentation fault,
хотя все данные в файл записываются.

--

>
> --
> С уважением,
> Монашёв Михаил, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
>
> ______________________________________________________________________
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm


Подробная информация о списке рассылки Moscow-pm