[Moscow.pm] perl method "between"
Kaltashkin Eugene
zhecka на gmail.com
Сб Фев 16 06:43:01 PST 2008
Добрый день
А ктонибудь встречал реализацию between в виде хешей или именованных
массивов ?
Хочется скорости и простоты. Как вариант юзать Patricia для моих нужд,
но может кто знает
метод попроще.
Объясню задачку. Сразу оговорюсь, что SQL конечно выход, но накладывает
разные ограничения
в плане портируемости и использования на разных системах.
Имеем таблицу спам-отлупов построенную на основании данных за 1 месяц из
2.500.000 значений.
http://zhecka.323f.net.ru/server/15.02.2008/stat.html
Таблица уже приведена в соответствие нужной форме при помощи базы perl +
geoip + sql.
Изначальная форма таблицы вот в таком шаблоне:
DD Mon YYYY HH:MM:SS xxx.xxx.xxx.xxx (дата/время адрес)
Есть база geoip на 85000 блоков адресов, нужно каждой записи исходной
таблицы присвоить региональный код
и посчитать количество вхождений по разным группировкам(час, день,
месяц, неделя, любой другой промежуток, регион)
IP адреса конвертятся в bigint, база geoip содержит диапазоны ip адресов
переведенные в bigint в виде fromip<->toip.
Есть ли возможность организовать в перле поиск в диапазонах аля between
в SQL?
p5-Patricia в принципе это умеет, но я сомневаюсь, что на объеме в 85000
исходных блоков она будет делать это быстро.
Объем просчета примерно около 10-15 миллионов строк.
В будущем хочется иметь realtime отчет по данным, предварительно
просчитанный естественно.
Подробная информация о списке рассылки Moscow-pm