爬虫

拒绝撕逼，用数据来告诉你选择器到底哪家强

背景

前几天写了一篇文章，爬虫入门到精通-网页的解析（xpath） - 知乎专栏
然后有人问我，xpath速度比bs4快么?说实话，我也不太清楚。。。

还有人说，“XPATH是最快的”,那么xpath,bs4,pyquery到底谁比较快呢？

作为一个严谨的程序员，我们必须拿数据说话

测试环境

硬件环境：

操作系统：Windows7 64
处理器：Inter(R)Xeon(R) CPU E5-2650 v3
内存：8G

软件环境：

pyquery:1.2.17
lxml:3.7.3
bs4:4.5.1
parsel:1.1.0

测试代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
from pyquery import PyQuery as pq
from lxml import etree
from bs4 import BeautifulSoup
from parsel import Selector

html = u"""
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>
"""

然后每段都跑10000次

最后的结果是

总结

显而易见 xpath以绝对的优势领先

所有代码都放在了 kimg1234/pachong

推荐文章