[Cascavel-pm] webcrawler usando Socket

[Alceu R. de Freitas Jr.]

--- Nilson Santos Figueiredo Junior <acid06 em gmail.com>
escreveu:

> Se realmente consumo de memória for uma questão
> crítica, na
> implementação desse servidor você não deveria usar
> threads ou fork e
> fazer todo o gerenciamento de muitos clientes por
> você mesmo.

Isso provavelmente tornaria bem lento... não dá para
enfileirar as requisições, isso demoraria muito.

Disputar memória com o Squid também não é uma boa
idéia. Eu teria que ter esse servidor Perl em outra
máquina e os redirecionadores alcançarem ela via
sockets. E se eu for usar sockets, então voltamos no
mesmo problema.

> Agora... tem um porém meio "filosófico". Você está
> ciente que você
> estaria possivelmente gastando o dobro da banda para
> cada request, né?

O dobro eu não diria... mas teria que, pelo menos,
fazer a requisição duas vezes. Para obter o header de
uma requisição é necessário apenas iniciar uma
transação e no primeiro pacote abandonar a mesma.

Eu acho isso pouco educado, mas o consumo extra de
banda seria desprezível.

> Se você não tomar cuidado, pode até chegar a
> eliminar os benefícios do
> Squid como cache, uma vez que o seu programa não
> poderá fazer o
> request ao Squid senão entraria num loop infinito,
> creio eu (porque aí
> o Squid chamaria de novo o seu redirecionador).

Isso é real. Mas é possível criar regras no Squid para
ele não passar certas requisições para o
redirecionador. Pode-se criar isso usando endereço IP
ou um UserAgent pré-definido. O próprio servidor Perl
poderia ser um usuário do Squid e se beneficiar do
cache.

Mas fazer isso é praticamente instalar um servidor
ICAP e usar um redirecionador no Squid que seja um
cliente ICAP. Ou seja, provavelmente será trabalhoso
da mesma forma e exigirá hardware adicional.

Estou quase desistindo da idéia. :-(

[]'s


Alceu Rodrigues de Freitas Junior
--------------------------------------
glasswalk3r em yahoo.com.br
http://www.imortais.cjb.net
-----------------------------------------------------------------------
A well-used door needs no oil on its hinges.
A swift-flowing stream does not grow stagnant.
Neither sound nor thoughts can travel through a vacuum.
Software rots if not used.
These are great mysteries -- The Tao Of Programming, 5.1


	



	
		
_______________________________________________________ 
Promoção Yahoo! Acesso Grátis: a cada hora navegada você acumula cupons e concorre a mais de 500 prêmios! Participe! http://yahoo.fbiz.com.br/