[Moscow.pm] perl method "between"

Ivan B. Serezhkin ivan на serezhkin.com
Вс Фев 17 09:38:34 PST 2008


Привет.
Боюсь тебе тут надо смотреть всторону BDB.
Фишка в том, что такой поиск надо делать на даных, которые лежат в деревьях.
Можешь конечно сам сделать хэши хэшей - но это неправильное решение.
Вообщем выборку по времени bdb делает влёт, и по ip кажется тоже.
Можешь ещё попробовать с libalias повозится? но к ней вроде нет 
перлового фронтенда.


Kaltashkin Eugene wrote:
> Добрый день
>
> А ктонибудь встречал реализацию between в виде хешей или именованных 
> массивов ?
> Хочется скорости и простоты. Как вариант юзать Patricia для моих нужд, 
> но может кто знает
> метод попроще.
> Объясню задачку. Сразу оговорюсь, что SQL конечно выход, но накладывает 
> разные ограничения
> в плане портируемости и использования на разных системах.
> Имеем таблицу спам-отлупов построенную на основании данных за 1 месяц из 
> 2.500.000 значений.
> http://zhecka.323f.net.ru/server/15.02.2008/stat.html
> Таблица уже приведена в соответствие нужной форме при помощи базы perl + 
> geoip + sql.
> Изначальная форма таблицы вот в таком шаблоне:
> DD Mon YYYY HH:MM:SS xxx.xxx.xxx.xxx (дата/время адрес)
> Есть база geoip на 85000 блоков адресов, нужно каждой записи исходной 
> таблицы присвоить региональный код
> и посчитать количество вхождений по разным группировкам(час, день, 
> месяц, неделя, любой другой промежуток, регион)
> IP адреса конвертятся в bigint, база geoip содержит диапазоны ip адресов 
> переведенные в bigint в виде fromip<->toip.
> Есть ли возможность организовать в перле поиск в диапазонах аля between 
> в SQL?
> p5-Patricia в принципе это умеет, но я сомневаюсь, что на объеме в 85000 
> исходных блоков она будет делать это быстро.
> Объем просчета примерно около 10-15 миллионов строк.
> В будущем хочется иметь realtime отчет по данным, предварительно 
> просчитанный естественно.
>
>
>
> ______________________________________________________________________
> Moscow.pm mailing list
> moscow-pm на pm.org | http://moscow.pm.org
> http://mail.pm.org/mailman/listinfo/moscow-pm


-- 
Ivan B. Serezhkin



Подробная информация о списке рассылки Moscow-pm