[SP-pm] Capturar dados de sites
Andre Carneiro
andregarciacarneiro at gmail.com
Thu May 9 09:54:14 PDT 2013
Se o site tá em ASP.NET não esqueça de incluir o token gigantesco na
requisição, que os sites feitos em ASP.NET normalmente geram
automaticamente através de componentes .NET. Para facilitar utilize algum
sniffer de http como Burp, wireshark ou mesmo o bom e velho Data Tamper(nem
sei se existe isso ainda). Com isso poderás ver tudo o que está rolando na
requisição desde cabeçalhos http até as variáveis que deverão ser incluídas
na requisição(acho mais prático).
Não sei se dá para fazer isso automaticamente com WWW::Mechanize, acredito
que não. De qualquer forma, você sempre pode escolher o 'caminho mais
dolorido', abrindo o código da página, e checar as variáveis com 'os zóio'.
Eu não recomendo, pois se tiver Javascript envolvido com requisição(o que
não é difícil hoje em dia), vai ter mais trabalho para montar a requisição
com tudo o que ela precisa.
Sinceramente recomendo que você analise tudo com um sniffer ou algo
parecido para só por desencargo...
Cheers!
2013/5/9 Stanislaw Pusep <creaktive at gmail.com>
> <jabá>
> use LWP::Protocol::Net::Curl;
> use WWW::Mechanize;
>
> # pronto: WWW::Mechanize usará libcurl por baixo dos panos :)
> </jabá>
>
>
> ABS()
>
>
> 2013/5/9 Eduardo Almeida <eduardo at web2solutions.com.br>
>
>> Esqueceram de mencionar o curl
>>
>>
>> On 09/05/2013 13:04, Marcio - Google wrote:
>>
>> Stan,
>>
>> Em lote. A sequencia é assim:
>> 1. Entrar usuário e senha e conferir se autenticou;
>> 2. Entrar com uma palavra chave em um campo especifico, pois o site só
>> aceita o método post;
>> 3. Submeter o form;
>> 4. Capturar vários dados;
>> 5. Acionar o botão próximo;
>> 6. Capturar mais dados até não ter mais o botão próximo.
>>
>> Com esses dados, vou entrar em outra parte do site e fazer a mesma
>> coisa:
>> 1. Entrar usuário e senha e conferir se autenticou;
>> 2. Entrar com uma palavra chave em um campo especifico, pois o site só
>> aceita o método post. Essa palavra-chave é o resultado da captura anterior;
>> 3. Submeter o form;
>> 4. Entrar em um link;
>> 5. Capturar vários dados;
>> 6. Repetir a partir do 2.
>>
>>
>> [...]'s
>>
>> Marcio
>>
>> ========================================
>> ########### Campanha Ajude o Marcio! ###########
>> http://sosmarcio.blogspot.com.br/
>> http://www.vakinha.com.br/VaquinhaP.aspx?e=195793
>> ========================================
>>
>>
>> Em 9 de maio de 2013 11:47, Stanislaw Pusep <creaktive at gmail.com>escreveu:
>>
>>> Depende! Você precisa fazer isso "on-fly"? Ou em lote? Se for em lote,
>>> você quer percorrer o site todo? Ou tem uma lista de palavras-chaves?
>>>
>>>
>>> ABS()
>>>
>>>
>>> 2013/5/9 Marcio - Google <marciorp at gmail.com>
>>>
>>>> Mestres,
>>>>
>>>> Estou procurando uma forma de fazer um aplicativo que navegue em um
>>>> determinado site, capture algumas informações e grave em BD.
>>>>
>>>> Pra ficar mais fácil de entender, vai um exemplo.
>>>> Entrar no site telelistas.net, preencher uma determinada palavra-chave
>>>> para busca, acionar o botão buscar e pegar os nomes e telefones para salvar
>>>> no BD. Isso sem interação/intervenção do usuário.
>>>>
>>>> Alguma ideia? Módulo? Mágica?
>>>>
>>>> Ah, o site alvo é Asp.Net.
>>>>
>>>> Abs,
>>>>
>>>>
>>>> Marcio
>>>>
>>>> ========================================
>>>> ########### Campanha Ajude o Marcio! ###########
>>>> http://sosmarcio.blogspot.com.br/
>>>> http://www.vakinha.com.br/VaquinhaP.aspx?e=195793
>>>> ========================================
>>>>
>>>> =begin disclaimer
>>>> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>>> SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>>> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>>> =end disclaimer
>>>>
>>>>
>>>
>>> =begin disclaimer
>>> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>>> SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>>> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>>> =end disclaimer
>>>
>>>
>>
>>
>> =begin disclaimer
>> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>> SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> <http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>>
>>
>>
>> --
>> Eduardo Almeida - Software Engineer
>> eduardo at web2solutions.com.br - 27 3021-2430 / 27 9839 3755
>>
>> *WEB2 Solutions* - Inovando, sempre!
>>
>> =begin disclaimer
>> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>> SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
>> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
>> =end disclaimer
>>
>>
>
> =begin disclaimer
> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
> SaoPaulo-pm mailing list: SaoPaulo-pm at pm.org
> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
> =end disclaimer
>
>
--
André Garcia Carneiro
Software Engineer
(11)982907780
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20130509/7fd27268/attachment.html>
More information about the SaoPaulo-pm
mailing list