[PerlChina] 发个活儿,有兴趣的人可以试试。偶没时间弄

Wan Chaowei wanmyome at gmail.com
Tue Nov 4 08:45:02 PST 2008


这个系统涉及很多知识,其中涉及NLP部分在下倒是很有兴趣。

不过可惜,怎么不干正事呢

2008/11/4 黄叶 <hylinux at gmail.com>

> 一个新闻抓取系统,下面是人家写的要求。
> 偶比较忙,也没什么兴趣,有兴趣的人和他们联系一下:
> 联系人邮箱和MSN:
> 邮箱:richardxu7 at gmail.com
> MSN: richardxu7 at hotmail.com
>
>
> 系统配置:
>
> Linux
> Perl
> Mysql
> Html
>
> 目的:
>
> 一套能够自动抓取新闻内容,并产生网页的系统。
> 新闻来源 - google news, yahoo news, news.sina.com.cn,或者是一个可以RSS输出的新闻源
> (是双语系统,但英文为主)
>
> 功能要求:
>
> Perl 语言后台运行 + Cron (每天运行, 时间频率可以调节)
> 新闻内容读取后,存入Mysql数据库
> 能够自动过滤重复的新闻,做简单的内容重复分析
> Perl 语言从数据库中读取新闻,根据模板重新生成优化的 HTML 网页
>     模板里面包括可调用的不同的Google广告代码,或其它个性化的广告代码(java script, 或简单html 代码)
>     模板以后可以不断调节
>     模板也可能根据一个已经成型的网站设计
>         内容重写 =》 次序,避免被S认为重复
>
> 从新生成的HTML过程每天一次(会让搜索引擎机器人认为文档比较新鲜)
> Sitemap 然后自动提交(这个不用设计,已经有现成的)
> SEO优化
>     每个页面的keywords, description, title 都会根据新闻内容做简单的智能优化。
>   对新闻标题进行智能改变 - 减少版权纠纷。
>   并能够自动产生一定数量的Tag标签
> 整个新闻系统形成一个简单的导航内容,方便读者寻找以往内容。
> 并配以Google 站内搜索的内容(考虑结合模板设计,也是可以调节的)
> 考虑配置Addthis的推广代码
> 可以从后台进行新闻的简单编辑和增减 - 版权的考虑
> 在页面底部能够随机产生5-6条相关新闻。
> 在底部会形成Google分析代码,可以加在模板内。
> 页面的编码可以调配,中文或英文
> 底部有Webmaster的联系方式。
> 整个新闻体系可以进行RSS输出,或者可以写入一个Wordpress系统。 利用Blog来进行输出。
>     能够ping其它服务器,自动形成Tag?
> 一个可以在其它网站上面显示的调用的widget(JS),显示几条最新新闻?
>
>
> 新闻源和抓取数量可以调节
> 新闻关键词可以调节
> 模板使用可以调节
> 模板文件可以手工编辑
> 服务器上的路径可以调节或改变
> 新闻日期范围可以定制
> 分类可以明确
> 支持一个或多个关键词
> 可以确定新闻抓取数量上限
>
> 变量通过一个设置文档进行调解
>
>
>
>
>
>
>
>
> _______________________________________________
> China-pm mailing list
> China-pm at pm.org
> http://mail.pm.org/mailman/listinfo/china-pm
>



-- 
gegewan的博客技术含量高,写程序的兄弟不要错过
http://www.opendict.net
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/china-pm/attachments/20081105/f05127e0/attachment.html>


More information about the China-pm mailing list