[Moscow.pm] Как парсить сайты?

Анатолий Шарифулин sharifulin на gmail.com
Вт Дек 17 10:00:10 PST 2013


Используйте Mojo::UserAgent с Mojo::DOM и Mojo::JSON, и забудьте про все
ссылки выше)
Чтобы реализовать логин, вам нужно повторить все запросы http/https со
всеми данными.



2013/12/17 Yury Pats <yu.pats на gmail.com>

> Парсер
> https://metacpan.org/release/Web-Scraper
>
> Клиент с куками
> https://metacpan.org/pod/LWP::UserAgent
>
>
> 2013/12/17 Stanislaw Pusep <creaktive на gmail.com>
>
>> <shameless_self_promotion>
>>
>> http://blogs.perl.org/users/stas/2013/01/web-scraping-with-modern-perl-part-1.html
>>
>> http://blogs.perl.org/users/stas/2013/02/web-scraping-with-modern-perl-part-2---speed-edition.html
>> </shameless_self_promotion>
>>
>>
>> 2013/12/17 Харпалёв Иван <ivan.kharpalev на gmail.com>
>>
>>> Доброго времени суток, могучие MoscowPM!
>>>
>>>
>>> Надо сделать мониторинг  нескольких десятков страниц на одном ресурсе.
>>> Вопрос в основном про то, чем получать страницы,  как их разбирать, как
>>> искать на них нужное.
>>>
>>> Из каких базовых вещей это собирать?
>>>  ( ... ~mojo, AnyEvent,...)
>>>
>>> И как делать то же самое, если на сайте ещё есть авторизация? (например,
>>> vk или gmail)
>>>
>>> C  Уважением
>>>
>>> --
>>> Moscow.pm mailing list
>>> moscow-pm на pm.org | http://moscow.pm.org
>>>
>>>
>>
>> --
>> Moscow.pm mailing list
>> moscow-pm на pm.org | http://moscow.pm.org
>>
>>
>
>
> --
> WBR, Yury Pats
> skype: yuripats
> cellular: +375 (29) 5870723
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
>


-- 
С уважением,
 Анатолий Шарифулин.
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20131217/1cd31c33/attachment-0001.html>


Подробная информация о списке рассылки Moscow-pm