[bcn-pm] LWP y Google.....

BgTA Hotpop bgta at hotpop.com
Thu Sep 19 10:52:32 CDT 2002


Primero un Saludo a todos pues es mi primera participación en la lista....

Seguramente suelte alguna tonteria o barbaridad (pues solo llevo unas semanas
con Perl) pero quiero compartir un problema y la solucion que le he dado....


Intentaba hacer un extractor de resultados de Google, para hacer pruebas con
LWP y tal.....y me encuentro la sorpresa de que Google, le ponga el user
Agent que le ponga, me da un Forbidden...

Lei en varias listas de correo que Google intenta quitarse los posibles
Spiders que se hagan con LWP y otros y de ahi que no funcione.....

Bien, despues de probar varios user agent opté por lo siguiente (Me baso en el
manual de CPAN):
<code>

  use LWP::UserAgent;
  use URI;

  # Create a user agent object
  $ua = LWP::UserAgent->new;
  $ua->agent('');



  # Create a request
  my $url = URI->new( 'http://www.google.com/search' );
  $url->query_form(  # And here the form data pairs:
		           'hl' => 'en',
		           'q' => 'la busqueda',
		       );

  # Pass request to the user agent and get a response back
  my $res = $ua->get($url);

  # Check the outcome of the response
  if ($res->is_success) {
      print $res->content;
  } else {
      print "Bad luck this time\n";
  }
</code>


Espero que os sirva de ayuda ;)
--
==========================================
| Raúl Romero		|  raul at bgta.homeip.net
| FreeDeveloper ;-)
==========================================
| http://bgta.homeip.net/	|  ICQ: 162258467	|
| Jabber: bgta at jabber.org	|  FreeBSD 4.6-p2
==========================================





More information about the Barcelona-pm mailing list