[PerlChina] 中文分词用什么模块好些?

agentzh agentzh at gmail.com
Tue Nov 11 21:20:05 PST 2008


2008/11/12 Silent <silent2600 at gmail.com>

> rt,
>
> 用来提取文章的关键字, cpan上lingua::XXX 有几个,还没试呢, 不过貌似那些东西依赖都很大的
>

我们 4E team 在过去的几个月中开发了一个 C 的分词库 Bamboo:

http://code.google.com/p/nlpbamboo/

主要的开发者 jianingy 是我的同事,呵呵,平时就坐我身后。我正在考虑把它做成 XS 扩展放 CPAN 上去,我也刚刚跟他交换了一下意见。现有
CPAN 上的我试了几个感觉都巨慢无比,而且效果不好,呵呵。

我自己的 Blog 的中文全文搜索就是利用 Bamboo 的 PostgreSQL 扩展进行分词,最后通过 OpenResty
暴露出服务。有兴趣可以玩一玩,比如下面这个例子:

    http://blog.agentzh.org/#search/1/%E7%BD%91%E7%AB%99

有兴趣提供帮助的朋友,我们会非常欢迎!

-agentzh
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/china-pm/attachments/20081112/e2ae7315/attachment.html>


More information about the China-pm mailing list