[bcn-pm] LWP y Google.....

toniher at arrakis.es toniher at arrakis.es
Thu Sep 19 10:51:32 CDT 2002


Gracias!

La verdad es que tambien me estaba empezando a mirar el LWP. De bien seguro q me hubiera
encontrado con ese problema cuando empezara a jugar con el 'google'. 
Espero que no lo pongan dificil de cualquier otra manera... Yo almenos procurare de
portarme bien con ellos y no sobrecargarles de forma abusiva el servidor si se me
presentara alguna necesidad para el uso. :-D

a10!
<pre>
Per enviar email a la llista:
barcelona-pm at pm.org
<a
href="http://mail.pm.org/mailman/listinfo/barcelona-pm">http://mail.pm.org/mailman/listinfo/barcelona-pm</a>
Primero un Saludo a todos pues es mi primera participación en la
lista.....

Seguramente suelte alguna tonteria o barbaridad (pues solo llevo unas
semanas
con Perl) pero quiero compartir un problema y la solucion que le he
dado.....


Intentaba hacer un extractor de resultados de Google, para hacer pruebas
con
LWP y tal.....y me encuentro la sorpresa de que Google, le ponga el user
Agent que le ponga, me da un Forbidden...

Lei en varias listas de correo que Google intenta quitarse los posibles
Spiders que se hagan con LWP y otros y de ahi que no funcione.....

Bien, despues de probar varios user agent opté por lo siguiente (Me
baso en el
manual de CPAN):
<code>

  use LWP::UserAgent;
  use URI;

  # Create a user agent object
  $ua = LWP::UserAgent->new;
  $ua->agent('');



  # Create a request
  my $url = URI->new( '<a
href="http://www.google.com/search'">http://www.google.com/search'</a>);
  $url->query_form(  # And here the form data pairs:
		           'hl' => 'en',
		           'q' => 'la busqueda',
		       );

  # Pass request to the user agent and get a response back
  my $res = $ua->get($url);

  # Check the outcome of the response
  if ($res->is_success) {
      print $res->content;
  } else {
      print "Bad luck this time\n";
  }
</code>


Espero que os sirva de ayuda ;)
--
==========================================
| Raúl Romero		|  raul at bgta.homeip.net
| FreeDeveloper ;-)
==========================================
| <a href="http://bgta.homeip.net/">http://bgta.homeip.net/</a>|  ICQ: 162258467	|
| Jabber: bgta at jabber.org	|  FreeBSD 4.6-p2
==========================================


_______________________________________________
Barcelona-pm mailing list
Barcelona-pm at mail.pm.org
<a
href="http://mail.pm.org/mailman/listinfo/barcelona-pm">http://mail.pm.org/mailman/listinfo/barcelona-pm</a>http://mail.pm.org/mailman/listinfo/barcelona-pm
</pre>





More information about the Barcelona-pm mailing list