[Cascavel-pm] webcrawler e perl x activeperl [era: (sem assunto)]

Breno G. de Oliveira breno em clavis.com.br
Sexta Julho 29 15:43:49 PDT 2005


Guilherme Oliveira wrote:
>  
> Gostaria que alguém qu pudesse me dizer em que link encontro material
> sobre a criação de webcrawler´s/spyder para web.

O livro "Perl Cookbook" tem ótimas receitas para criação de crawlers no
capítulo 20 ("Web Automation"). Pode ser uma boa referência. Na prática
você vai criar um User Agent e tratar o conteúdo do site como bem
entender, então vale a pena procurar os módulos LWP::UserAgent e
LWP::RobotUA (UserAgent que respeita o arquivo "robots.txt").

> Se o Módulo PWL é o mais indicado ou existe um outro melhor para a terefa.

Não conheco esse módulo, e não consegui encontrá-lo no CPAN nem no
Google. Desculpe a ignorância, mas pode dar alguma referência sobre ele?
Ou seria o próprio LWP escrito ao contrário?

> e segundo eu consigo ter todas as funionalidades do perl com activeperl
> for Windows ou pelo menos consigo desenvolver este projeto no windows ou
> vou ter que usar linux apra empreitada.

Olha, até onde eu sei "perl é perl", e a versão do activeperl possui
todas as funcionalidades da versão oficial do perl (desde que estejamos
falando da mesma versão, por exemplo "5.8") então você não deve ter
nenhum problema relacionado a portabilidade a menos que utilize chamadas
de sistema ou módulos específicos de uma plataforma (como os "Win32::").

Mas eu não uso activeperl, então certamente não sou a pessoa da lista
mais qualificada para responder essa pergunta.

[]s

breno



Mais detalhes sobre a lista de discussão Cascavel-pm