[PerlChina] 发个活儿，有兴趣的人可以试试。偶没时间弄

[黄叶]

一个新闻抓取系统，下面是人家写的要求。
偶比较忙，也没什么兴趣，有兴趣的人和他们联系一下：
联系人邮箱和MSN：
邮箱：richardxu7 at gmail.com
MSN： richardxu7 at hotmail.com


系统配置：

Linux
Perl
Mysql
Html

目的：

一套能够自动抓取新闻内容，并产生网页的系统。
新闻来源 - google news, yahoo news, news.sina.com.cn，或者是一个可以RSS输出的新闻源
（是双语系统，但英文为主）

功能要求：

Perl 语言后台运行 + Cron （每天运行, 时间频率可以调节）
新闻内容读取后，存入Mysql数据库
能够自动过滤重复的新闻，做简单的内容重复分析
Perl 语言从数据库中读取新闻，根据模板重新生成优化的 HTML 网页
    模板里面包括可调用的不同的Google广告代码，或其它个性化的广告代码（java script, 或简单html 代码）
    模板以后可以不断调节
    模板也可能根据一个已经成型的网站设计
        内容重写 =》 次序，避免被S认为重复

从新生成的HTML过程每天一次（会让搜索引擎机器人认为文档比较新鲜）
Sitemap 然后自动提交（这个不用设计，已经有现成的）
SEO优化
    每个页面的keywords, description, title 都会根据新闻内容做简单的智能优化。
  对新闻标题进行智能改变 - 减少版权纠纷。
  并能够自动产生一定数量的Tag标签
整个新闻系统形成一个简单的导航内容，方便读者寻找以往内容。
并配以Google 站内搜索的内容（考虑结合模板设计，也是可以调节的）
考虑配置Addthis的推广代码
可以从后台进行新闻的简单编辑和增减 - 版权的考虑
在页面底部能够随机产生5-6条相关新闻。
在底部会形成Google分析代码，可以加在模板内。
页面的编码可以调配，中文或英文
底部有Webmaster的联系方式。
整个新闻体系可以进行RSS输出，或者可以写入一个Wordpress系统。 利用Blog来进行输出。
    能够ping其它服务器，自动形成Tag？
一个可以在其它网站上面显示的调用的widget（JS），显示几条最新新闻？


新闻源和抓取数量可以调节
新闻关键词可以调节
模板使用可以调节
模板文件可以手工编辑
服务器上的路径可以调节或改变
新闻日期范围可以定制
分类可以明确
支持一个或多个关键词
可以确定新闻抓取数量上限

变量通过一个设置文档进行调解
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mail.pm.org/pipermail/china-pm/attachments/20081104/4bddee64/attachment.html>