[Moscow.pm] Парcер на mojo с несколькими IP
Денис Ильиных
greyhard на gmail.com
Вт Янв 27 03:36:42 PST 2015
Не могу понять причем тут (iptables|ipfw) так как если делать все в цикле
все запросы по очереди все работает нормально. Через какой айпи запрашиваю
тот айпи и получаю.
Вероятно был прав Илья что конкурентные запросы переписывают общий $ua и
поэтому надо подымать по отдельному экземпляру для каждого запроса ). Но
это мне ломает голову чуть чуть.
27 января 2015 г., 13:40 пользователь Anatoly Y <snelius на tsu.ru> написал:
> Нужно покрутить маршрутизацию (iptables|ipfw). Чтобы пакеты возвращались
> на тот ойпи откуда они ушли.
>
> 2015-01-27 16:27 GMT+06:00 Денис Ильиных <greyhard на gmail.com>:
>
>> Здравствуйте.
>> Есть сервер с кучей айпи, Пытаюсь на mojo написать парсер что бы на
>> каждый запрос использовался разный айпи.
>>
>> my $max_conn = 4;
>> Mojo::IOLoop->recurring(
>> 0 => sub {
>> for ($active + 1 .. $max_conn) {
>> return ($active or Mojo::IOLoop->stop)
>> unless my $ip = shift @ips;
>> ++$active;
>> $ua->local_address($ip);
>> $ua->get('http://myip.ru/?ip='.$ip => \&get_ip);
>> }
>> }
>> );
>>
>>
>> Вывод
>>
>> http://myip.ru/?ip=193.124.18.205 > remote_ip: 193.124.18.205
>>
>> http://myip.ru/?ip=193.124.44.44 > remote_ip: 193.124.44.44
>>
>> http://myip.ru/?ip=151.248.125.194 > remote_ip: 151.248.125.194
>>
>> http://myip.ru/?ip=193.124.16.139 > remote_ip: 193.124.16.139
>>
>> ----- а вот отсюда начинаются несовпадения между тем что я хочу и тем что
>> получаю
>>
>> http://myip.ru/?ip=194.58.61.231 > remote_ip: 193.124.18.205
>>
>> http://myip.ru/?ip=193.124.44.45 > remote_ip: 193.124.16.139
>>
>> http://myip.ru/?ip=193.124.18.206 > remote_ip: 151.248.125.194
>>
>> http://myip.ru/?ip=194.58.61.232 > remote_ip: 193.124.18.205
>>
>> http://myip.ru/?ip=193.124.16.184 > remote_ip: 193.124.16.139
>> В итоге идет разброд и шатание между айпи через который я хочу сделать
>> запрос и айпи через который этот запрос реально проходит.
>>
>> Не могли бы подсказать как это правильно реализовать ?
>>
>> --
>> С уважением.
>> Ильиных Денис
>> Программист
>> Компания "GT-Shop.ru"
>> Телефон: +7(963) 995-7616
>>
>> --
>> Moscow.pm mailing list
>> moscow-pm на pm.org | http://moscow.pm.org
>>
>>
>
> --
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
>
>
--
С уважением.
Ильиных Денис
Программист
Компания "GT-Shop.ru"
Телефон: +7(963) 995-7616
----------- следущая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mail.pm.org/pipermail/moscow-pm/attachments/20150127/823a725a/attachment-0001.html>
Подробная информация о списке рассылки Moscow-pm