[SP-pm] Capturar dados de sites

[Andre Carneiro]

 corrigi o meu texto 'bem pra caramba' ... mals!


2013/5/9 Andre Carneiro <andregarciacarneiro at gmail.com>

>
> Se o site tá em ASP.NET não esqueça de incluir o token gigantesco na
> requisição, que os sites feitos em ASP.NET normalmente geram
> automaticamente através de componentes .NET. Para facilitar utilize algum
> sniffer de http como Burp, wireshark ou mesmo o bom e velho Data Tamper(nem
> sei se existe isso ainda). Com isso poderás ver tudo o que está rolando na
> requisição desde cabeçalhos http até as variáveis que deverão ser incluídas
> na requisição(acho mais prático).
>
> Não sei se dá para fazer  isso automaticamente com WWW::Mechanize,
> acredito que não. De qualquer forma, você sempre pode escolher o 'caminho
> mais dolorido', abrindo o código da página, e checar as variáveis com 'os
> zóio'. Eu não recomendo, pois se tiver Javascript envolvido com
> requisição(o que não é difícil hoje em dia), vai ter mais trabalho para
> montar a requisição com tudo o que ela precisa.
>
> Sinceramente recomendo que você analise tudo com um sniffer ou algo
> parecido para só por desencargo...
>
>
>
> Cheers!
>
>
> 2013/5/9 Stanislaw Pusep <creaktive at gmail.com>
>
>> <jabá>
>> use LWP::Protocol::Net::Curl;
>> use WWW::Mechanize;
>>
>> # pronto: WWW::Mechanize usará libcurl por baixo dos panos :)
>> </jabá>
>>
>>
>> ABS()
>>
>>
>> 2013/5/9 Eduardo Almeida <eduardo at web2solutions.com.br>
>>
>>>  Esqueceram de mencionar o curl
>>>
>>>
>>> On 09/05/2013 13:04, Marcio - Google wrote:
>>>
>>>  Stan,
>>>
>>>  Em lote. A sequencia é assim:
>>> 1. Entrar usuário e senha e conferir se autenticou;
>>> 2. Entrar com uma palavra chave em um campo especifico, pois o site só
>>> aceita o método post;
>>> 3. Submeter o form;
>>> 4. Capturar vários dados;
>>>  5. Acionar o botão próximo;
>>> 6. Capturar mais dados até não ter mais o botão próximo.
>>>
>>>  Com esses dados, vou entrar em outra parte do site e fazer a mesma
>>> coisa:
>>>  1. Entrar usuário e senha e conferir se autenticou;
>>> 2. Entrar com uma palavra chave em um campo especifico, pois o site só
>>> aceita o método post. Essa palavra-chave é o resultado da captura anterior;
>>> 3. Submeter o form;
>>>  4. Entrar em um link;
>>>  5. Capturar vários dados;
>>> 6. Repetir a partir do 2.
>>>
>>>
>>>  [...]'s
>>>
>>> Marcio
>>>
>>>  ========================================
>>> ########### Campanha Ajude o Marcio! ###########
>>> http://sosmarcio.blogspot.com.br/
>>> http://www.vakinha.com.br/VaquinhaP.aspx?e=195793
>>>  ========================================
>>>
>>>
>>> Em 9 de maio de 2013 11:47, Stanislaw Pusep <creaktive at gmail.com>escreveu:
>>>
>>>> Depende! Você precisa fazer isso "on-fly"? Ou em lote? Se for em lote,
>>>> você quer percorrer o site todo? Ou tem uma lista de palavras-chaves?
>>>>
>>>>
>>>> ABS()
>>>>
>>>>
>>>>  2013/5/9 Marcio - Google <marciorp at gmail.com>
>>>>
>>>>>   Mestres,
>>>>>
>>>>>  Estou procurando uma forma de fazer um aplicativo que navegue em um
>>>>> determinado site, capture algumas informações e grave em BD.
>>>>>
>>>>>  Pra ficar mais fácil de entender, vai um exemplo.
>>>>> Entrar no site telelistas.net, preencher uma determinada
>>>>> palavra-chave para busca, acionar o botão buscar e pegar os nomes e
>>>>> telefones para salvar no BD. Isso sem interação/intervenção do usuário.
>>>>>
>>>>>  Alguma ideia? Módulo? Mágica?
>>>>>
>>>>>  Ah, o site alvo é Asp.Net.
>>>>>
>>>>>  Abs,
>>>>>
>>>>>
>>>>> Marcio
>>>>>
>>>>>  ========================================
>>>>> ########### Campanha Ajude o Marcio! ###########
>>>>> http://sosmarcio.blogspot.com.br/
>>>>>  http://www.vakinha.com.br/VaquinhaP.aspx?e=195793
>>>>>  ========================================
>>>>>
>>>>>  =begin disclaimer
>>>>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>>>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>>>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>>>> =end disclaimer
>>>>>
>>>>>
>>>>
>>>> =begin disclaimer
>>>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>>> =end disclaimer
>>>>
>>>>
>>>
>>>
>>> =begin disclaimer
>>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> <http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>> =end disclaimer
>>>
>>>
>>>
>>> --
>>> Eduardo Almeida - Software Engineer
>>> eduardo at web2solutions.com.br - 27 3021-2430 / 27 9839 3755
>>>
>>> *WEB2 Solutions* - Inovando, sempre!
>>>
>>> =begin disclaimer
>>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>> =end disclaimer
>>>
>>>
>>
>> =begin disclaimer
>>    Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>  SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>>
>>
>
>
> --
> André Garcia Carneiro
> Software Engineer
> (11)982907780
>



-- 
André Garcia Carneiro
Software Engineer
(11)982907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20130509/d210841c/attachment-0001.html>