[Cascavel-pm] webcrawler (ou spider) com Perl

[Alceu R. de Freitas Jr.]

--- Joenio Marques <joenio em gmail.com> escreveu:

> Tenho trabalhado com isso ultimamente (spider) e até
> o momento tenho usado principalmente o LWP aliado as
> expresoes regulares.

É preciso ter cuidado com REGEX... se mudarem o layout
do site, você pode ficar na mão.

> As vezes pesquiso outras maneiras de fazer isso para
> ter metodos
> alternativos. Como por exemplo fazer um parser no
> HTML utilizando
> HTML::TreeBuilder ao inves de utilizar apenas regex.

HTML::Parser
HTML::TokeParser
HTML::LinkExtor

também são interessantes.

> Eu tambem nao conheco muitas fontes sobre o assunto.
> recentemente encontrei um ebook da OReilly chamado
>Spidering Hacks que traz muitas dicas sobre o
assunto.

Aqui vai um exemplo prático que fiz:
http://nau.sourceforge.net

Eu uso basicamente REGEX... o dia que a Symantec mudar
o site eu rescrevo para usar HTML::Parser ou
HTML::TokeParser. :-D

> Utilizo Perl da ActiveState sob windows para essas
> tarefas. Mas as vezes fico meio limitado por nao
>encontrar alguns modulos interessantes no repositorio
>da ActiveState.

Acho que isso é devido ao fato que existe uma
quantidade menor de monges (?) usando Windows... e cá
entre nós, compilar algo no Windows é um saco...

Aqui vai mais uns repositórios para você adicionar:
http://aspn.activestate.com/ASPN/docs/ActivePerl/5.8/faq/ActivePerl-faq2.html#repositories

Cá entre nós, não sei porque isso já não é feito por
padrão na instalação do Active Perl. :-)

[]'s





Alceu Rodrigues de Freitas Junior
--------------------------------------
glasswalk3r em yahoo.com.br
http://www.imortais.cjb.net
-----------------------------------------------------------------------
A well-used door needs no oil on its hinges.
A swift-flowing stream does not grow stagnant.
Neither sound nor thoughts can travel through a vacuum.
Software rots if not used.
These are great mysteries -- The Tao Of Programming, 5.1


	
	
		
_______________________________________________________ 
Yahoo! Acesso Grátis - Internet rápida e grátis. 
Instale o discador agora! http://br.acesso.yahoo.com/