[SP-pm] Map Reduce

[Suissa]

Bem na verdade o hadoop é "vendido" como um banco NOSQL que trabalha em cima
desse sistema de arquivos distribuidos como o HDFS e o HBase como base de
dados e possui outras diversas ferramentas para complementar suas
funcionalidades. Creio que muita gente ainda precisa se desprender dessa
old-schoolzice pois senão ficará para trás.

Alguns links do meus favoritos aqui para consulta:
http://escalabilidade.com/2010/06/30/introducao-ao-hadoop-parte-iii-guia-de-projetos/

<http://escalabilidade.com/2010/06/30/introducao-ao-hadoop-parte-iii-guia-de-projetos/>
http://imasters.com.br/artigo/18122/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_01/
<http://imasters.com.br/artigo/18122/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_01/>
http://imasters.com.br/artigo/18336/desenvolvimento/processamento_de_dados_distribuidos_com_hadoop_parte_02_indo_mais_longe/

http://hadoop.apache.org/

O foco é escalabilidade.


2011/1/12 Douglas Campos <douglas em theros.info>

> > Não entendi. Qual preconceito?
> Era brincadeira :P
>
> >> TL;DR
> Tentei explicar o que era o hadoop pra mim, de forma sucinta; não sei
> se a galera de perl tem background de java (ou se sequer querem ter
> isso)
>
> > Ok, pode me chamar de velho, old-school, o que for. Mas na minha época,
> > file-system era algo que tinha alguma coisa a ver com o kernel do sistema
> > operacional. Mesmo com o uso cada vez menos incomum de "user space" file
> > systems hoje, sempre há um gancho no kernel. Por exemplo, sou um feliz
> > usuário de sshfs [1], mas ele precisa que o fuse [2] faça o gancho dentro
> do
> > kernel do Linux.
>
> uso o fuse também, mas já sofri bastante com infra restritiva (que não
> deixava você colocar nada no kernel), logo essas coisas "application
> level" fazem algum sentido pra desembaraçar o processo de deploy
>
> > Dei uma lida rápida no começo da documentação do HDFS. Ok, entendi (em
> > linahs gerais) o que o cara quis fazer. Eu mudaria o nome de "filesystem"
> > para algo como "JVM-based filesystem" ou algo assim, para evitar
> > ambiguidades. But hey, that's just me.
>
> A idéia não é performance, é escalabilidade, então sem problemas
>
> > Pessoalmente eu não sei se usaria algo em Java (+ pesado) para lidar com
> > algo que pode ter requerimentos de performance como I/O de dados. Algo em
>
> Cuidado com a falácia de que java é pesado, o foco da vm é otimização
> adaptiva, e no caso de long-running processes pode até ganhar de muita
> aplicação com otimização agressiva (já bati código C compilado com -O4
> usando java).
>
> > Java dificilmente irá se aproveitar de coisas como tamanho do bloco no
> disco
> > físico para melhorar o desempenho. Em escala menor, isso não importa, mas
> se
> > falarmos de massas de dados gigantes, esse tipo de detalhe pode fazer
> > diferença. O HDFS será tão bom com os arquivos quanto for a implementação
> de
> > Java utilizada para rodá-lo. Espero *muito* que estejam usando java.nio.*
> -
>
> Estão, se não estivessem realmente só uma surra pra resolver ¬¬
>
> > não faria sentido se não usassem. Eu pensaria em algo feito em C/C++ para
> > implementar esse "file system", e que provesse essa funcionalidade
> > "genérica" em todas as plataformas onde fosse compilado, mas que pudesse
> se
> > proveitar de coisas como o FUSE no Linux para ser acessado diretamente
> como
> > um "real file system" (mesmo que em user-space), sem que isso tenha um
> custo
> > de performance tão alto.
>
> Resumindo: a merda é tentar vender como fs, mesmo sendo um fs devia
> ser vendido como datastore
>
> > yet another $0.02
> Aprecio suas opiniões e as respeito. 0.02 é pouco
>
> alexei++
> =begin disclaimer
>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>  SaoPaulo-pm mailing list: SaoPaulo-pm em pm.org
>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
> =end disclaimer
>



-- 
Jean C. Nascimento aka Suissa
Prof. Análise e Soluções Web Fafit/Facic & UML - Itararé - SP
Especializando em Desenvolvimento Web

WebDeveloper - wgbnet.com.br/ <http://www.wgbnet.com.br/> |
localclub.com.br<http://www.localclub.com.br>
/
NoSQL Evangelist - nosqlbr.com.br/
iGrape Evangelist - igrape.org/
TheWebMind Evangelist - thewebmind.org/

<http://www.linkedin.com/profile/view?id=46505642>
<http://www.facebook.com/suissa>
  <http://twitter.com/suissacorp>  <http://www.delicious.com/suissa>
<jnascimento em gmail.com>
-------------- Pr?xima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20110112/f4fc2ced/attachment-0001.html>