[SP-pm] Res: DataFlow QuickStart

[Alexei Znamensky]

2011/6/22 Nelson Ferraz <nferraz em gmail.com>

> Russo,
>
> Eu tentei instalar o DataFlow em duas máquinas -- Mac (perl 5.10.0) e
> Ubuntu Linux (perl 5.10.1), e ambas falharam devido a dependências:
> LWP::Curl e WWW::Mechanize.
>

Hmm, estranho, estou num ubuntu (perl 5.10.1) e vai de boa. Vou dar um
double-check nas dependencias (estou usando o [AutoPrereqs] do Dist::Zilla,
então não tenho manipulado as deps manualmente por um bom tempo, mas esse
módulos, pelo que lembro, estão sendo carregados dinamicamente, logo o
auto-prereqs não pega). E os ultimos reports todos estão dando sucesso :-o).

Adicionalmente, sobre o LWP::Curl e o WWW::Mechanize, eu estava mesmo
comentando isso no #sao-paulo.pm outro dia com o Eden e o Maluco: esse
código não tem nada que estar dentro do DataFlow, isso é oriundo de um
código meio "tampão" feito no começo do projeto OpenData-BR, quando não se
tinha nenhuma idéia de onde isso iria levar. Eu estou pensando em refatorar
isso para algo como um HTTPClient::Any (não necessariamente com esse
namespace), que tire de dentro do DataFlow a preocupação com *qual módulo de
HTTP client estou usando?*

Essa abstração: 1) pode ser útil para mais pessoas; 2) não faz parte do
escopo do projeto e 3) está funcionando basicão do jeito que está, mas toda
vez que é preciso mexer qualquer besteirinha, só enche o saco.


> Sugestão: separe o núcleo do DataFlow dos módulos Proc, de maneira que
> seja possível instalar o DataFlow apenas com as dependências realmente
> necessárias.
>

Na verdade eu já comecei a fazer isso - eu percebi que a distribuição estava
ficando meio "bloated", com uma lista de dependências gigante. Já estou
refatorando Procs para fora do projeto. O primeiro foi o MessagePack, os
próximos vão ser o proc de JSON e o YAML.


> Por exemplo: alguém que queira usar o DataFlow para ETL não deveria
> ser obrigado a instalar módulos relacionados a web (LWP::Curl,
> WWW::Mechanize, etc).
>
> []s
>

Valeu pelos comments, e estou devendo uma cerva a você: foi a sua levantada
de bola em Novembro que trouxe o assunto Opendata para o Equinócio, e isso
foi o kickstart do DataFlow.

[]s,
-- 
Alexei "RUSSOZ" Znamensky - russoz EM gmail com - http://russoz.org
GPG fingerprint = 42AB E78C B83A AE31 7D27  1CF3 C66F B5C7 71CA 9F3C
http://www.flickr.com/photos/alexeiz http://github.com/russoz
-------------- Pr�xima Parte ----------
Um anexo em HTML foi limpo...
URL: <http://mail.pm.org/pipermail/saopaulo-pm/attachments/20110622/f81326bd/attachment.html>