[Moscow.pm] Web-spider

[Jury Gorky]

phantomjs например

2012/6/2 Alessandro Gorohovski <an.gorohovski на gmail.com>

> Гнатына Александр <gnatyna на ya.ru> писал(а) в своём письме Fri, 01 Jun
> 2012 23:03:05 +0300:
>
>  wget
>>
>> Огласите требования.
>>
>
> Требования, вроде бы, не хитрые --- нужно сохранить всю инфу web-страницы
> в html -файл.
>
> Обычно, поступал так, например:
>
> my $url = 'http://www.адрес <http://www.xn--80aid7bg>';
>
>
> my $agent = LWP::UserAgent->new;
> $agent->agent("Opera");
>
> my $request = HTTP::Request->new( GET => $url );
> $request->header('Accept' => 'text/html');
>
> open(FILE, ">info.html");
> print FILE_S $response->content;
> close FILE;
>
> Но сейчас столкнулся с тем, что для Web-страниц, содержащих JavaScript
> все содержимое не могу получить,
> т.е. то что вижу в броузере (Opera or others) нет в сохранённом файле.
>
> Понимаю, что здесь проблема для меня с отработкой JavaScript, которые
> выполняются в броузере.
>
> Вопрос в том, есть ли какой Perl-модуль или что-то консольное, выполняющее
> все что делает броузер
> с возможностью сохранения этого результата?
>
>
>
>  В Птн, 01/06/2012 в 21:58 +0300, Alessandro Gorohovski пишет:
>>
>>> Уважаемое сообщество,
>>> Доброго времени суток!
>>>
>>> Посоветуйте модуль (кому реально приходилось пользоваться)
>>> хорошего Web-spider.
>>>
>>> P.s.
>>> На CPAN смотрел, их бескрайнее множество.
>>>
>>> Спасибо
>>>
>>
>>
>>
>
> --
> Alessandro
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20120602/92e83743/attachment-0001.html>