Python3，通过re模块中的sub()和findall()2个方法提升爬虫提取数据的效率

直接上Demo：

测试数据 - HTML：

"""<div id="songs-list">"
			"<h2 class="title">各种汽车</h2>"
			"<p class="introduction">"
				"各种汽车列表"
			"</p>"
			"<ul id="list" class="list-group">"
				"<li data-view="2">奥迪TT</li>"
				"<li data-view="7">"
					"<a href="/2.png" type="大众">CC</a>"
				"</li>"
				"<li data-view="4" class="active">"
					"<a href="/3.png" type="宝马">Mini</a>"
				"</li>"
				"<li data-view="6"><a href="/4.png" type="奥迪">Q7</a></li>"
				"<li data-view="5"><a href="/5.png" type="吉利">金刚</a></li>"
				"<li data-view="5">"
					"<a href="/6.png" type="大众"><i class="fa fa-user"></i>速腾</a>"
				"</li>"
			"</ul>"
   "</div>"""

HTML结构分析，

思路1，若想要获取每类汽车下面的具体汽车名字，python需要去解析HTML中的节点，有的汽车名，

1。裸露在"<li></li>"标签下，

2。有的在"<li><a></a></li>"标签下,

通过上面分析，我们构造的正则需要匹配上面2种情况，如下：

"<li.*?>s*?(<a.*?>)?(w+)(</a>)?s*?</li>"

思路2，通过re模块的sub(),去除标签"<a></a>"，简化HTML中的节点。构造2个匹配规则：

用于匹配HTML中所有标签:"<a></a>" ,

"<a.*?>|</a>"

用于提取被简化后HTML中的数据：

"<li.*?>(w+)</li>"

测试Python代码：

import re
import time


def reTest1(str2):
    """
        比较re模块下findall()
        与findall()+sub()提取页面数据效率和复杂程度
    
    """

    #匹配规则
    part = r"<li.*?>s*?(<a.*?>)?(w+)(</a>)?s*?</li>"
    
    #实际操作页面时，re.S,使通配符可以匹配换行符
    ret = re.findall(part, str2, re.S)

    for i in ret:
        print(i[1])

def reTest2(str2):
    """
        比较re模块下findall()
        与findall()+sub()提取页面数据效率和复杂程度
    
    """

    #匹配规则
    part = r"<li.*?>s*?(<a.*?>)?(w+)(</a>)?s*?</li>"
    
    #想法:通过re模块sub()方法去掉标签：<a></a>
    #sub(RegExp, NewString, oldString, args)
    #RegExp: 匹配规则
    #NewString: 想要要替换的字符串
    #oldString: 原始字符串
    #args: re.S ...
    subStr = re.sub("<a.*?>|</a>", "", str2, re.S)

    #实际操作页面时，re.S,使通配符可以匹配换行符
    ret = re.findall("<li.*?>(w+)</li>", subStr, re.S)
    
    for i in ret:
        print(i)

if __name__ == "__main__":

    str2 = (""""<div id="Car-list">"
			"<h2 class="title">各种汽车</h2>"
			"<p class="introduction">"
				"各种汽车列表"
                                	"</p>"
			"<ul id="list" class="list-group">"
				"<li data-view="2">奥迪TT</li>"
				"<li data-view="7">"
					"<a href="/2.png" type="大众">CC</a>"
				"</li>"
				"<li data-view="4" class="active">"
					"<a href="/3.png" type="宝马">Mini</a>"
				"</li>"
				"<li data-view="6"><a href="/4.png" type="奥迪">Q7</a></li>"
				"<li data-view="5"><a href="/5.png" type="吉利">金刚</a></li>"
				"<li data-view="5">"
					"<a href="/6.png" type="大众"><i class="fa fa-user"></i>速腾</a>"
				"</li>"
			"</ul>"
			"</div>"""")
    
    #测试１:find()
    start1 = time.time()
    reTest1(str2)
    end1 = time.time()
   
    print("*"*50)

    #测试２，find()+sub()
    start2 = time.time()
    reTest2(str2)
    end2 = time.time()
    
    print("*"*50)
    print("通过find()直接提取目标数据，所用时间Time1：")
    print(end1 - start1)
    print("")
    print("通过sub() + find()提取目标数据，所用时间Time2：")
    print(end2 - start2)
    print("")
    print("时间差：")
    print("Time1 - Time2=", (end1-start1)-(end2-start2))

测试结果：



总结：
测试结果中，很明显，思路2比思路1提取数据效率明显高，re模块中各种方法组合一起有奇效
大量数据中，在保证精准的前提下，提升数去获取的效率也是很重要的