Bem na verdade o hadoop é "vendido" como um banco NOSQL que trabalha em cima desse sistema de arquivos distribuidos como o HDFS e o HBase como base de dados e possui outras diversas ferramentas para complementar suas funcionalidades. Creio que muita gente ainda precisa se desprender dessa old-schoolzice pois senão ficará para trás.<div>
<br></div><div>Alguns links do meus favoritos aqui para consulta:</div><div><a href="http://escalabilidade.com/2010/06/30/introducao-ao-hadoop-parte-iii-guia-de-projetos/">http://escalabilidade.com/2010/06/30/introducao-ao-hadoop-parte-iii-guia-de-projetos/</a></div>
<div><br></div><div><a href="http://escalabilidade.com/2010/06/30/introducao-ao-hadoop-parte-iii-guia-de-projetos/"></a><a href="http://imasters.com.br/artigo/18122/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_01/">http://imasters.com.br/artigo/18122/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_01/</a></div>
<div><a href="http://imasters.com.br/artigo/18122/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_01/"></a><a href="http://imasters.com.br/artigo/18336/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_02_indo_mais_longe/">http://imasters.com.br/artigo/18336/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_02_indo_mais_longe/</a></div>
<div><br></div><div><a href="http://hadoop.apache.org/">http://hadoop.apache.org/</a></div><div><br></div><div>O foco é escalabilidade.</div><div><br><br><div class="gmail_quote">2011/1/12 Douglas Campos <span dir="ltr"><<a href="mailto:douglas@theros.info">douglas@theros.info</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">> Não entendi. Qual preconceito?<br>
Era brincadeira :P<br>
<br>
>> TL;DR<br>
Tentei explicar o que era o hadoop pra mim, de forma sucinta; não sei<br>
se a galera de perl tem background de java (ou se sequer querem ter<br>
isso)<br>
<div class="im"><br>
> Ok, pode me chamar de velho, old-school, o que for. Mas na minha época,<br>
> file-system era algo que tinha alguma coisa a ver com o kernel do sistema<br>
> operacional. Mesmo com o uso cada vez menos incomum de "user space" file<br>
> systems hoje, sempre há um gancho no kernel. Por exemplo, sou um feliz<br>
> usuário de sshfs [1], mas ele precisa que o fuse [2] faça o gancho dentro do<br>
> kernel do Linux.<br>
<br>
</div>uso o fuse também, mas já sofri bastante com infra restritiva (que não<br>
deixava você colocar nada no kernel), logo essas coisas "application<br>
level" fazem algum sentido pra desembaraçar o processo de deploy<br>
<div class="im"><br>
> Dei uma lida rápida no começo da documentação do HDFS. Ok, entendi (em<br>
> linahs gerais) o que o cara quis fazer. Eu mudaria o nome de "filesystem"<br>
> para algo como "JVM-based filesystem" ou algo assim, para evitar<br>
> ambiguidades. But hey, that's just me.<br>
<br>
</div>A idéia não é performance, é escalabilidade, então sem problemas<br>
<div class="im"><br>
> Pessoalmente eu não sei se usaria algo em Java (+ pesado) para lidar com<br>
> algo que pode ter requerimentos de performance como I/O de dados. Algo em<br>
<br>
</div>Cuidado com a falácia de que java é pesado, o foco da vm é otimização<br>
adaptiva, e no caso de long-running processes pode até ganhar de muita<br>
aplicação com otimização agressiva (já bati código C compilado com -O4<br>
usando java).<br>
<div class="im"><br>
> Java dificilmente irá se aproveitar de coisas como tamanho do bloco no disco<br>
> físico para melhorar o desempenho. Em escala menor, isso não importa, mas se<br>
> falarmos de massas de dados gigantes, esse tipo de detalhe pode fazer<br>
> diferença. O HDFS será tão bom com os arquivos quanto for a implementação de<br>
> Java utilizada para rodá-lo. Espero *muito* que estejam usando java.nio.* -<br>
<br>
</div>Estão, se não estivessem realmente só uma surra pra resolver ¬¬<br>
<div class="im"><br>
> não faria sentido se não usassem. Eu pensaria em algo feito em C/C++ para<br>
> implementar esse "file system", e que provesse essa funcionalidade<br>
> "genérica" em todas as plataformas onde fosse compilado, mas que pudesse se<br>
> proveitar de coisas como o FUSE no Linux para ser acessado diretamente como<br>
> um "real file system" (mesmo que em user-space), sem que isso tenha um custo<br>
> de performance tão alto.<br>
<br>
</div>Resumindo: a merda é tentar vender como fs, mesmo sendo um fs devia<br>
ser vendido como datastore<br>
<br>
> yet another $0.02<br>
Aprecio suas opiniões e as respeito. 0.02 é pouco<br>
<br>
alexei++<br>
<div><div></div><div class="h5">=begin disclaimer<br>
Sao Paulo Perl Mongers: <a href="http://sao-paulo.pm.org/" target="_blank">http://sao-paulo.pm.org/</a><br>
SaoPaulo-pm mailing list: <a href="mailto:SaoPaulo-pm@pm.org">SaoPaulo-pm@pm.org</a><br>
L<<a href="http://mail.pm.org/mailman/listinfo/saopaulo-pm" target="_blank">http://mail.pm.org/mailman/listinfo/saopaulo-pm</a>><br>
=end disclaimer<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Jean C. Nascimento aka Suissa<br>Prof. Análise e Soluções Web Fafit/Facic & UML - Itararé - SP<div>Especializando em Desenvolvimento Web<br><div><br>WebDeveloper - <a href="http://www.wgbnet.com.br/" target="_blank">wgbnet.com.br/</a> | <a href="http://www.localclub.com.br" target="_blank">localclub.com.br</a>/</div>
<div>NoSQL Evangelist - <a href="http://nosqlbr.com.br/" target="_blank">nosqlbr.com.br/</a></div><div>iGrape Evangelist - <a href="http://igrape.org" target="_blank">igrape.org</a>/</div><div>TheWebMind Evangelist - <a href="http://thewebmind.org/" target="_blank">thewebmind.org/</a><div>
<br></div></div><div><a href="http://www.linkedin.com/profile/view?id=46505642" target="_blank"><img src="http://www.images.wisestamp.com/linkedin.png"></a> <a href="http://www.facebook.com/suissa" target="_blank"><img src="http://www.images.wisestamp.com/facebook.png"></a> <a href="http://twitter.com/suissacorp" target="_blank"><img src="http://www.images.wisestamp.com/twitter.png"></a> <a href="http://www.delicious.com/suissa" target="_blank"><img src="http://www.images.wisestamp.com/delicious.png"></a> <a href="mailto:jnascimento@gmail.com" target="_blank"><img src="http://www.images.wisestamp.com/gtalk.png"> <img src="http://www.images.wisestamp.com/msn.png"> </a></div>
</div><br>
</div>