Bad Behavior反采集与反反采集
改今天采一个站的时候,老是403不让我采,但我用浏览器打开却能看.
不断的改我的请求头和查看回应,改了好久还是不行.
原来他装上了反采集程序,Bad Behavior
作者: Andy http://www.21andy.com
于是我把请求头写得完全完整了,跟踪301,302和cookie和严格的referer,完全真实模拟了浏览器的行为, 终于采了它
研究了一下Bad Behavior 发现Bad Behavior里有些代码写得不错, 甚至还有黑名单...晕死
Bad Behavior对于完全模拟的请求是无法过滤的,不过对于假Google蜘蛛,还是能判断出来,要是采多了,可能会被封,我还没试,只采了一点,目前还没被封
有兴趣的可以下载个玩下
Tags: 采集, Bad Behavior, 反采集