[SP-pm] Map Reduce

[Alexei Znamensky]

2011/1/12 Douglas Campos <douglas em theros.info>

> > Acho que não.
> > Logo, é algo que serve muito bem para quem tem esse filesystem.
> Linux-only,
> > provavelmente. Em 2011? Sorry, não vai decolar...
>
> Alexei, desliga o preconceito e dá uma olhada. O hadoop é bem legal
> (apesar de ser complicado pra caramba):
>

Não entendi. Qual preconceito?


> TL;DR
>

?


> O hadoop é uma plataforma de processamento distribuído, com um fs
> replicado distribuido tolerante à falhas (HDFS), implementado em
> userpace (o hdfs está em nível de aplicação, então funciona onde o
> java funcionar)
>

Ok, pode me chamar de velho, old-school, o que for. Mas na minha época,
file-system era algo que tinha alguma coisa a ver com o kernel do sistema
operacional. Mesmo com o uso cada vez menos incomum de "user space" file
systems hoje, sempre há um gancho no kernel. Por exemplo, sou um feliz
usuário de sshfs [1], mas ele precisa que o fuse [2] faça o gancho dentro do
kernel do Linux.

Dei uma lida rápida no começo da documentação do HDFS. Ok, entendi (em
linahs gerais) o que o cara quis fazer. Eu mudaria o nome de "filesystem"
para algo como "JVM-based filesystem" ou algo assim, para evitar
ambiguidades. But hey, that's just me.

Pessoalmente eu não sei se usaria algo em Java (+ pesado) para lidar com
algo que pode ter requerimentos de performance como I/O de dados. Algo em
Java dificilmente irá se aproveitar de coisas como tamanho do bloco no disco
físico para melhorar o desempenho. Em escala menor, isso não importa, mas se
falarmos de massas de dados gigantes, esse tipo de detalhe pode fazer
diferença. O HDFS será tão bom com os arquivos quanto for a implementação de
Java utilizada para rodá-lo. Espero *muito* que estejam usando java.nio.* -
não faria sentido se não usassem. Eu pensaria em algo feito em C/C++ para
implementar esse "file system", e que provesse essa funcionalidade
"genérica" em todas as plataformas onde fosse compilado, mas que pudesse se
proveitar de coisas como o FUSE no Linux para ser acessado diretamente como
um "real file system" (mesmo que em user-space), sem que isso tenha um custo
de performance tão alto.

yet another $0.02


> Usei ele pra IA, funciona que é uma beleza pra processar massas de
> dados estúpidas.
>
> >>> a mesma coisa alguns séculos atrás: dividir e conquistar.
> exatamente!
>
> []'z
> =begin disclaimer
>   Sao Paulo Perl Mongers: http://sao-paulo.pm.org/
>  SaoPaulo-pm mailing list: SaoPaulo-pm em pm.org
>  L<http://mail.pm.org/mailman/listinfo/saopaulo-pm>
> =end disclaimer
>



-- 
Alexei Znamensky [russoz_gmail_com] [russoz.wordpress.com] [
www.flickr.com/photos/alexeiz]
«Only love / Can bring the rain / That makes you yearn to the sky»
-------------- Pr�xima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20110112/16e3bda8/attachment.html>