[SP-pm] Capturar dados de sites

[Andre Carneiro]

Se o site tá em ASP.NET não esqueça de incluir o token gigantesco na
requisição, que os sites feitos em ASP.NET normalmente geram
automaticamente através de componentes .NET. Para facilitar utilize algum
sniffer de http como Burp, wireshark ou mesmo o bom e velho Data Tamper(nem
sei se existe isso ainda). Com isso poderás ver tudo o que está rolando na
requisição desde cabeçalhos http até as variáveis que deverão ser incluídas
na requisição(acho mais prático).

Não sei se dá para fazer  isso automaticamente com WWW::Mechanize, acredito
que não. De qualquer forma, você sempre pode escolher o 'caminho mais
dolorido', abrindo o código da página, e checar as variáveis com 'os zóio'.
Eu não recomendo, pois se tiver Javascript envolvido com requisição(o que
não é difícil hoje em dia), vai ter mais trabalho para montar a requisição
com tudo o que ela precisa.

Sinceramente recomendo que você analise tudo com um sniffer ou algo
parecido para só por desencargo...



Cheers!


2013/5/9 Stanislaw Pusep <creaktive at gmail.com>

> <jabá>
> use LWP::Protocol::Net::Curl;
> use WWW::Mechanize;
>
> # pronto: WWW::Mechanize usará libcurl por baixo dos panos :)
> </jabá>
>
>
> ABS()
>
>
> 2013/5/9 Eduardo Almeida <eduardo at web2solutions.com.br>
>
>>  Esqueceram de mencionar o curl
>>
>>
>> On 09/05/2013 13:04, Marcio - Google wrote:
>>
>>  Stan,
>>
>>  Em lote. A sequencia é assim:
>> 1. Entrar usuário e senha e conferir se autenticou;
>> 2. Entrar com uma palavra chave em um campo especifico, pois o site só
>> aceita o método post;
>> 3. Submeter o form;
>> 4. Capturar vários dados;
>>  5. Acionar o botão próximo;
>> 6. Capturar mais dados até não ter mais o botão próximo.
>>
>>  Com esses dados, vou entrar em outra parte do site e fazer a mesma
>> coisa:
>>  1. Entrar usuário e senha e conferir se autenticou;
>> 2. Entrar com uma palavra chave em um campo especifico, pois o site só
>> aceita o método post. Essa palavra-chave é o resultado da captura anterior;
>> 3. Submeter o form;
>>  4. Entrar em um link;
>>  5. Capturar vários dados;
>> 6. Repetir a partir do 2.
>>
>>
>>  [...]'s
>>
>> Marcio
>>
>>  ========================================
>> ########### Campanha Ajude o Marcio! ###########
>> http://sosmarcio.blogspot.com.br/
>> http://www.vakinha.com.br/VaquinhaP.aspx?e=195793
>>  ========================================
>>
>>
>> Em 9 de maio de 2013 11:47, Stanislaw Pusep <creaktive at gmail.com>escreveu:
>>
>>> Depende! Você precisa fazer isso "on-fly"? Ou em lote? Se for em lote,
>>> você quer percorrer o site todo? Ou tem uma lista de palavras-chaves?
>>>
>>>
>>> ABS()
>>>
>>>
>>>  2013/5/9 Marcio - Google <marciorp at gmail.com>
>>>
>>>>   Mestres,
>>>>
>>>>  Estou procurando uma forma de fazer um aplicativo que navegue em um
>>>> determinado site, capture algumas informações e grave em BD.
>>>>
>>>>  Pra ficar mais fácil de entender, vai um exemplo.
>>>> Entrar no site telelistas.net, preencher uma determinada palavra-chave
>>>> para busca, acionar o botão buscar e pegar os nomes e telefones para salvar
>>>> no BD. Isso sem interação/intervenção do usuário.
>>>>
>>>>  Alguma ideia? Módulo? Mágica?
>>>>
>>>>  Ah, o site alvo é Asp.Net.
>>>>
>>>>  Abs,
>>>>
>>>>
>>>> Marcio
>>>>
>>>>  ========================================
>>>> ########### Campanha Ajude o Marcio! ###########
>>>> http://sosmarcio.blogspot.com.br/
>>>>  http://www.vakinha.com.br/VaquinhaP.aspx?e=195793
>>>>  ========================================
>>>>
>>>>  =begin disclaimer
>>>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>>> =end disclaimer
>>>>
>>>>
>>>
>>> =begin disclaimer
>>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>> =end disclaimer
>>>
>>>
>>
>>
>> =begin disclaimer
>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> <http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>>
>>
>>
>> --
>> Eduardo Almeida - Software Engineer
>> eduardo at web2solutions.com.br - 27 3021-2430 / 27 9839 3755
>>
>> *WEB2 Solutions* - Inovando, sempre!
>>
>> =begin disclaimer
>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>>
>>
>
> =begin disclaimer
>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
> =end disclaimer
>
>


-- 
André Garcia Carneiro
Software Engineer
(11)982907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20130509/7fd27268/attachment.html>