爬虫小技巧

一个爬虫的小技巧

先看这篇文章

爬信息爬到服务器瘫痪,今日头条的头条搜索成了小网站的噩梦!

可以看到大家都被今日头条的爬虫弄的苦不堪言。。。

不知道你看完这篇文章有没有学到什么?


只要你把User-Agent改成 Bytespider,那么你就可以甩锅给头条了(哈哈哈

把User-Agent 伪装成搜索引擎的,也算一个小技巧(一般大家都欢迎搜索引擎爬取,不容易被封IP)

当然在爬取的时候还是要注意频率

推荐文章