(转)Java编写的一个论坛自动发贴机

2008-04-20 – 11:20 pm

这个星期做课程设计,就写了这个小程序,界面内容仿照晨风论坛灌水机,内容还包括发贴后自动回贴,回复已经存在的贴子,这两个还没有写,不过挺容易实现的,遵循release early的原则。Java代码写的不是很好,基本没有做什么异常处理。先完成课程设计的要求,以后再继续更新,以后会加入验证码分析、或者获得验证码,手动输入。当然更可能的是在程序里显示验证码,然后手动输入,因为毕竟验证码的分析不是一件很容易的事情。

Popularity: 11% [?]

阅读全文...

Heritrix中定制Queue-assignment-policy的相关研究

2008-03-31 – 1:36 am

Heritrix缺省使用的QueueAssignmentPolicy是HostnameQueueAssignmentPolicy,就是基于主机名区分。这样在主要抓同一个网站的情况下,只有一个线程工作。这里讨论了对于这个问题的一些基本测试和使用自己的QueueAssignmentPolicy替换缺省Policy的方法。仅仅是一些初步的研究,具体那个算法适合不同的应用还有区分不同的需要来确定。

Popularity: 13% [?]

阅读全文...

(转)几个Java的开源爬虫

2008-03-18 – 9:36 pm

这里列出了网上流行的几个开源Java网络爬虫和简单介绍。

Popularity: 22% [?]

阅读全文...

(转)PHP开发安全建议TOP20

2008-03-13 – 2:27 am

PHP开发安全建议TOP20

Popularity: 24% [?]

阅读全文...

Heritrix的Modules界面不能改变选择项的问题(涉及Scope, Frontier, PreProcessor, Fetcher, Extractor, Writer, PostProcessor)

2008-03-10 – 9:50 pm

在Eclipse环境中配置好我的Heritrix后,就可以使用Heritrix了。很快我就遇到了第一个问题(实际是两个,但是只能先解决第一个了)。我在新建Job的时候,按照书上说的,先选Jobs,再With defauls,再输入名字,然后”Modules”,这时候我发现我的界面和书上说的不一样。书上说这个界面里面应该是显示现在已经缺省设置的 Scope,Frontier,PreProcessor,Fetcher,Extractor,Writer,PostProcessor,然后用户可以选择添加或者替换这些Class的。但是我的界面里面只显示了现在设置的Class,可以改变次序,可以删除。但是所有本来应该是添加新Class或者改变现在选择项目的功能在我的界面上都没有。怎么办呢?

Popularity: 42% [?]

阅读全文...

在Windows平台上配置Heritrix的Eclipse开发环境

2008-03-10 – 3:27 am

最近由于对搜索引擎有兴趣,买了一本《开发自己的搜索引擎-Lucene 2.0 + Heritrix》。看到其中介绍的强大的Heritrix,就决定开始研究一下。遍历了网上,发现到处有求助如何在Eclipse环境下配置Heritrix的帖子,但是没有解答。决心自己花一点时间来解决这个问题。

Popularity: 44% [?]

阅读全文...

(转)网站分析常用的指标

2008-02-28 – 6:37 am

最近开始学习网站分析,边学边把重要的内容记下,也算作是自己复习。网站分析采用的指标可能有各种各样的,根据网站的目标和网站的客户的不同,可以有许多不同的指标来衡量。常用的网站分析指标有内容指标和商业指标,内容指标指的是衡量访问者的活动的指标,商业指标是指衡量访问者活动转化为商业利润的指标。

Popularity: 12% [?]

阅读全文...

(转)蜘蛛SEO:牵着百度爬,让百度来更新自己的站!

2008-02-28 – 6:29 am

SEO需要灵活运用。SEO技术是死的,但是我们的大脑不是死的!!!

Popularity: 12% [?]

阅读全文...

(转)Nutch 0.8笔记–Google式的搜索引擎实现

2008-02-21 – 9:50 pm

Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化,而且很容易集成到自己的应用之中。

Popularity: 20% [?]

阅读全文...

(转) Heritrix爬虫和Nutch爬虫的比较

2008-02-21 – 9:31 pm

对于Heritrix和Nutch这两个比较出名的开源网络爬虫的比较。

Popularity: 27% [?]

阅读全文...