Bad Behavior反采集与反反采集

时间：2008-03-04 19:53:41   类别：技术   访问：3740

改今天采一个站的时候,老是403不让我采,但我用浏览器打开却能看.

不断的改我的请求头和查看回应,改了好久还是不行.

原来他装上了反采集程序,Bad Behavior

作者: Andy http://www.21andy.com

于是我把请求头写得完全完整了,跟踪301,302和cookie和严格的referer,完全真实模拟了浏览器的行为, 终于采了它

研究了一下Bad Behavior 发现Bad Behavior里有些代码写得不错, 甚至还有黑名单...晕死

Bad Behavior对于完全模拟的请求是无法过滤的,不过对于假Google蜘蛛,还是能判断出来,要是采多了,可能会被封,我还没试,只采了一点,目前还没被封

http://www.21andy.com

有兴趣的可以下载个玩下

下载 bad-behavior-2.0.10.zip

Tags: 采集, Bad Behavior, 反采集

本文地址: http://www.21andy.com/new/20080304/1049.html