爬虫小技巧

一个爬虫的小技巧

先看这篇文章

爬信息爬到服务器瘫痪，今日头条的头条搜索成了小网站的噩梦！

可以看到大家都被今日头条的爬虫弄的苦不堪言。。。

不知道你看完这篇文章有没有学到什么？

---

只要你把User-Agent改成 Bytespider,那么你就可以甩锅给头条了（哈哈哈

把User-Agent 伪装成搜索引擎的，也算一个小技巧（一般大家都欢迎搜索引擎爬取，不容易被封IP）

当然在爬取的时候还是要注意频率

本文作者：高金
本文地址： https://igaojin.me/2019/10/26/爬虫小技巧/
版权声明：转载请注明出处！