[bcn-pm] LWP y Google.....

[Angel Faus]

Hola,

Creo que la forma "correcta" de acceder a google es registrandose para 
obtener un número de desarrollador, y usando la API para hacer las 
búsquedas (te dejan hacer hasta 1000 en un día). 

http://www.google.com/apis/api_faq.html

Un saludo,

-angel


> Primero un Saludo a todos pues es mi primera participación en la
> lista....
>
> Seguramente suelte alguna tonteria o barbaridad (pues solo llevo
> unas semanas con Perl) pero quiero compartir un problema y la
> solucion que le he dado....
>
>
> Intentaba hacer un extractor de resultados de Google, para hacer
> pruebas con LWP y tal.....y me encuentro la sorpresa de que Google,
> le ponga el user Agent que le ponga, me da un Forbidden...
>
> Lei en varias listas de correo que Google intenta quitarse los
> posibles Spiders que se hagan con LWP y otros y de ahi que no
> funcione.....
>
> Bien, despues de probar varios user agent opté por lo siguiente (Me
> baso en el manual de CPAN):
> <code>
>
>   use LWP::UserAgent;
>   use URI;
>
>   # Create a user agent object
>   $ua = LWP::UserAgent->new;
>   $ua->agent('');
>
>
>
>   # Create a request
>   my $url = URI->new( 'http://www.google.com/search' );
>   $url->query_form(  # And here the form data pairs:
> 		           'hl' => 'en',
> 		           'q' => 'la busqueda',
> 		       );
>
>   # Pass request to the user agent and get a response back
>   my $res = $ua->get($url);
>
>   # Check the outcome of the response
>   if ($res->is_success) {
>       print $res->content;
>   } else {
>       print "Bad luck this time\n";
>   }
> </code>
>
>
> Espero que os sirva de ayuda ;)