[Moscow.pm] perl и "Очень Большие Файлы" (tm)
Alex Shatlovsky
shatlovsky на gmail.com
Вт Фев 19 07:58:45 PST 2008
On 2/19/08, Монашёв Михаил <postmaster на softsearch.ru> wrote:
> Здравствуйте, Алекс.
>
> > Я не очень догоняю, в чем принципиальная сложность для системы
> > работать с дисковым файлом как с памятью, ведь по сути они отличаются
> > лишь скоростью доступа.
>
> Как написал выше Алексей Шруб, эти проблемы со скоростью доступа к
> диска сделают задачу не решаемой в обозримое время. Например 3D-игры
> загружают текстуры в память, а не сдиска их читают.
>
> Попробуй файл замапить файл: http://search.cpan.org/search?query=mmap
> и работать с файлом как с переменной. Но применив "универсальный"
> регэсп к большому файлу ты быстро поймёшь, что задачу не решить из-за
> медленного чтения с диска.
Попробовал.
s/\W/?/g отрабатывается на файле:
- 1 Мб - <1 сек
- 10 Мб - 5 сек
- 100Мб - 60 сек
По завершению на файлах 10 и 100 мб перл падает в Segmentation fault,
хотя все данные в файл записываются.
--
>
> --
> С уважением,
> Монашёв Михаил, SoftSearch.ru
> mailto:postmaster на softsearch.ru
> ICQ# 166233339
> http://michael.mindmix.ru/
> Без бэкапа по жизни.
>
> ______________________________________________________________________
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm
Подробная информация о списке рассылки Moscow-pm