Hi.<br><br>Se o retorno será devolvido ao usuário, seria válido pensar na utilização do nodejs. Para o queue system, daria pra usar o kue[1]. Ou mesmo implementar o node-stomp[2] que já integra com ActiveMQ e RabbitMQ...<br>
A aplicação em comet ficaria bem interessante. Isto se esta comunicação com o cliente for mesmo necessária.<br><br>[1] <a href="https://github.com/learnboost/kue">https://github.com/learnboost/kue</a><br>[2] <a href="https://github.com/kates/node-stomp">https://github.com/kates/node-stomp</a><br>
<br>[]'s<br><br><div class="gmail_quote">Em 14 de março de 2012 08:27, Renato Santos <span dir="ltr"><<a href="mailto:renato.cron@gmail.com">renato.cron@gmail.com</a>></span> escreveu:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<p>Também tem a arquitetura q o ebay apresentou: <a href="http://highscalability.com/blog/2008/5/27/ebay-architecture.html" target="_blank">http://highscalability.com/blog/2008/5/27/ebay-architecture.html</a></p>
<div class="gmail_quote">Em 14/03/2012 08:16, "Marcio Ferreira" <<a href="mailto:marciodesouzaferreira@gmail.com" target="_blank">marciodesouzaferreira@gmail.com</a>> escreveu:<div><div class="h5"><br type="attribution">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<p>Só dando um pitaco, ao contrário do mongoDB, experimente o ElasticSearch - performance incrível. E se atente na forma de como será feita a consulta na API das redes, as vezes consultar uma vez ao dia já resolva seu problema, e evite os horários de pico prq rodar seu scraper =S</p>
<div class="gmail_quote">On Mar 14, 2012 8:03 AM, "Tiago Peczenyj" <<a href="mailto:tiago.peczenyj@gmail.com" target="_blank">tiago.peczenyj@gmail.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Oi<br>
<br>
é possivel criar uma fila usando um feed rss ou criando arquivos em um<br>
diretorio. basta ver o que é mais interessante para o teu projeto. Por<br>
exemplo, se vc publicar um feed e tiver do outro lado um consumidor<br>
fazendo pooling vai ser tão bom quanto um ActiveMQ se vc não estiver<br>
com um volume muito grande de dados E se puder esperar uns segundos.<br>
Isso pode simplificar a tua infra num primeiro momento.<br>
<br>
On Tue, Mar 13, 2012 at 11:33 PM, Daniel de Oliveira Mantovani<br>
<<a href="mailto:daniel.oliveira.mantovani@gmail.com" target="_blank">daniel.oliveira.mantovani@gmail.com</a>> wrote:<br>
> Shonorio, o Gearman não é um sistema de fila, ele funciona como um<br>
> distribuid system.<br>
><br>
> Você deva usar o AMPQ[1] ou o Apache ActiveMQ[2] para criar a fila e o<br>
> Gearman para processar a informação. O Worker não sabe da existência<br>
> do Client, quem faz esse intermédio é o Gearman Server[3].<br>
><br>
> "A Gearman powered application consists of three parts: a client, a<br>
> worker, and a job server. The client is responsible for creating a job<br>
> to be run and sending it to a job server. The job server will find a<br>
> suitable worker that can run the job and forwards the job on. The<br>
> worker performs the work requested by the client and sends a response<br>
> to the client through the job server. Gearman provides client and<br>
> worker APIs that your applications call to talk with the Gearman job<br>
> server (also known as gearmand) so you don't need to deal with<br>
> networking or mapping of jobs. Internally, the gearman client and<br>
> worker APIs communicate with the job server using TCP sockets. To<br>
> explain how Gearman works in more detail, lets look at a simple<br>
> application that will reverse the order of characters in a string. "<br>
><br>
> [User Interface] <===>[RDBMS]<===> [Queue System]<br>
> /\<br>
> ||<br>
> ||<br>
> [Distribuid<br>
> System] <===> [Document-oriented database]<br>
><br>
><br>
> Se baseando nesse arquitetura o Queue System vai mandando "jobs" de<br>
> acordo com número de workers que você tem disponível, evitando um<br>
> overhead e criando um sistema "auto scalability".<br>
><br>
> Se eu fosse você eu me preocuparia com a forma de armazenamento dos<br>
> dados, as redes sociais já garantem a integridade dos dados, sendo<br>
> assim uma solução Document-oriented database te pouparia muito<br>
> processamento e trabalho. Existem várias opções, eu recomendo o<br>
> MongoDB[4] mesmo com o Eden Cardim me crucificando por isso.<br>
><br>
> Guarde os dados dos usuários e do site num RDBMS, se você estiver<br>
> pensando num RDBMS open source eu te recomendo o PostgreSQL, ele tem<br>
> um ótimo suporte ao paradigma temporal.<br>
> Se você usar o PostgreSQL, eu te recomendo usar o Pgpool[5] para<br>
> replication, clustering, load balance etc.<br>
><br>
> [1] - <a href="http://www.amqp.org/about/what" target="_blank">http://www.amqp.org/about/what</a><br>
> [2] - <a href="http://activemq.apache.org/" target="_blank">http://activemq.apache.org/</a><br>
> [3] - <a href="http://gearman.org/" target="_blank">http://gearman.org/</a><br>
> [4] - <a href="http://www.mongodb.org/display/DOCS/Sharding+Introduction" target="_blank">http://www.mongodb.org/display/DOCS/Sharding+Introduction</a><br>
> [5] - <a href="http://www.pgpool.net/mediawiki/index.php/Main_Page" target="_blank">http://www.pgpool.net/mediawiki/index.php/Main_Page</a><br>
><br>
> Grande Abraço.<br>
><br>
> 2012/3/13 Solli Honorio <<a href="mailto:shonorio@gmail.com" target="_blank">shonorio@gmail.com</a>>:<br>
>> Pessoal,<br>
>><br>
>> Estou iniciando um projeto de monitoramento de mídias sociais e fazer algum<br>
>> processamento com estas informações, e acredito que utilizar esquemas de<br>
>> fila serviria muito bem para este ambiente.<br>
>><br>
>> Basicamente o esquema que estou imaginando para o ambiente é :<br>
>><br>
>> [ Interface com o usuário ] <===> [Banco de Dados] <====> [Sistema de Fila]<br>
>><br>
>> || ||<br>
>><br>
>> || +- [Executa a pesquisa]<br>
>><br>
>> ||<br>
>><br>
>> +-- [ Processa o resultado da pesquisa]<br>
>><br>
>> As ações que eu imagino nisto são :<br>
>><br>
>> * interface com o usuário não é meu problema, tem um webdeveloper<br>
>> trabalhando nisto;<br>
>> * não quero de maneira alguma fazer os 'agentes' interagir diretamente com o<br>
>> banco de dados, por isto penso em criar um cliente que leia o banco de dados<br>
>> e coloque os dados formatados para o agente na fila do agente. O caminho<br>
>> contrário também, ler o resultado do agente e gravar no banco de dados;<br>
>><br>
>> Estou avaliando a possibilidade de utilizar o Gearman (na verdade não tenho<br>
>> certeza se esta é a melhor alternativa mesmo), na verdade o<br>
>> AnyEvent::Gearman. Mas algumas coisas me chamaram no Gearman do qual eu<br>
>> acho meio estranho para o ambiente sistema de fila que eu tenho na minha<br>
>> cabeça.<br>
>><br>
>> 1. o worker (aparentemente o cara que executará o serviço) não fica em loop<br>
>> lendo uma fila, parece que ele está sendo acionado pelo cliente;<br>
>> 2. o parece que o cliente fica 'preso' aguardando o final da execução do<br>
>> worker.<br>
>><br>
>> Ainda não tenho código (que o meu cliente não leia isto, pois estou muito<br>
>> atrasado), mas eu gostaria de obter recomendações de vocês sobre a<br>
>> arquitetura que estou imaginando.<br>
>><br>
>> Obrigado,<br>
>><br>
>> Solli Honorio<br>
>><br>
>><br>
>> --<br>
>> "o animal satisfeito dorme". - Guimarães Rosa<br>
>><br>
>> =begin disclaimer<br>
>> Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
>> SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
>> L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
>> =end disclaimer<br>
>><br>
><br>
><br>
><br>
> --<br>
> "If you’ve never written anything thoughtful, then you’ve never had<br>
> any difficult, important, or interesting thoughts. That’s the secret:<br>
> people who don’t write, are people who don’t think."<br>
> =begin disclaimer<br>
> Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
> SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
> L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
> =end disclaimer<br>
<br>
<br>
<br>
--<br>
Tiago B. Peczenyj<br>
Linux User #405772<br>
<br>
<a href="http://pacman.blog.br" target="_blank">http://pacman.blog.br</a><br>
=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
</blockquote></div>
<br>=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org" target="_blank">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div></div></div>
<br>=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
<br></blockquote></div><br><br clear="all"><br>-- <br><span style="color:rgb(0,0,0);font-family:'Times New Roman';font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;font-size:medium"><font>Junior Moraes (fvox)<br>
Perl Developer<br><a href="http://www.unsecurity.com.br/" target="_blank">http://www.unsecurity.com.br/</a><br><br></font></span><span style="color:rgb(0,0,0);font-family:'Times New Roman';font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;font-size:medium"><a href="http://www.twitter.com/juniiormoraes" target="_blank"><img src="http://i.imgur.com/yIS1c.png"></a><span> </span><a href="http://pt-br.facebook.com/juniiormoraes" target="_blank"><img src="http://i.imgur.com/BhlCG.png"></a><span> </span><a href="http://plus.google.com/104958988925423385684" target="_blank"><img src="http://i.imgur.com/y1VgL.png"></a><span> </span><a href="http://www.lastfm.com.br/user/juniior182" target="_blank"><img src="http://i.imgur.com/UgjTP.png"></a><span> </span><a href="http://www.delicious.com/fvox" target="_blank"><img src="http://i.imgur.com/Xmoky.png"></a><span> </span><a href="http://github.com/fvox" target="_blank"><img src="http://i.imgur.com/qK5SU.png"></a></span><br>
<br>