怎么在python3项目中安装lxml解析库-mile米乐体育

本篇文章给大家分享的是有关怎么在python3项目中安装lxml解析库，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

1、python库lxml的安装

windows系统下的安装：

#pip安装 pip3installlxml  #wheel安装 #下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml pip3installlxml-4.2.1-cp36-cp36m-win_amd64.whl

linux下安装：

yuminstall-yepel-releaselibxslt-devellibxml2-developenssl-devel  pip3installlxml

验证安装：

$python3 >>>importlxml

2、xpath常用规则

（1）读取文本解析节点

fromlxmlimportetree  text=''' 
 
 第一个 seconditem a属性 
 
 ''' html=etree.html(text)#初始化生成一个xpath解析对象 result=etree.tostring(html,encoding='utf-8')#解析对象输出代码 print(type(html)) print(type(result)) print(result.decode('utf-8'))  #etree会修复html文本节点   
 
 第一个 seconditem a属性 
 
 

（2）读取html文件进行解析

fromlxmlimportetree  html=etree.parse('test.html',etree.htmlparser())#指定解析器htmlparser会根据文件修复html文件中缺失的如声明信息 result=etree.tostring(html)#解析成字节 #result=etree.tostringlist(html)#解析成列表 print(type(html)) print(type(result)) print(result)  #   b'\n

\n

\nfirstitem
\nseconditem
\nthirditem
\nfourthitem
\nfifthitem
\n
\n
\n'

（3）获取所有节点

返回一个列表每个元素都是element类型，所有节点都包含在其中

fromlxmlimportetree  html=etree.parse('test',etree.htmlparser()) result=html.xpath('//*')#//代表获取子孙节点，*代表获取所有  print(type(html)) print(type(result)) print(result)  #   [,,,,,,,,,,,,,]

如要获取li节点，可以使用//后面加上节点名称，然后调用xpath()方法

html.xpath('//li')#获取所有子孙节点的li节点

（4）获取子节点

通过/或者//即可查找元素的子节点或者子孙节点，如果想选择li节点的所有直接a节点，可以这样使用

result=html.xpath('//li/a')#通过追加/a选择所有li节点的所有直接a节点，因为//li用于选中所有li节点，/a用于选中li节点的所有直接子节点a

（5）获取父节点

我们知道通过连续的/或者//可以查找子节点或子孙节点，那么要查找父节点可以使用..来实现也可以使用parent::来获取父节点

fromlxmlimportetree fromlxml.etreeimporthtmlparser text=''' 
 
 第一个 seconditem 
 
 '''  html=etree.html(text,etree.htmlparser()) result=html.xpath('//a[@href="link2.html"]/../@class') result1=html.xpath('//a[@href="link2.html"]/parent::*/@class') print(result) print(result1)   # ['item-1'] ['item-1']

（6）属性匹配

在选取的时候，我们还可以用@符号进行属性过滤。比如，这里如果要选取class为item-1的li节点，可以这样实现:

fromlxmlimportetree fromlxml.etreeimporthtmlparser text=''' 
 
 第一个 seconditem 
 
 '''  html=etree.html(text,etree.htmlparser()) result=html.xpath('//li[@class="item-1"]') print(result)

（7）文本获取

我们用xpath中的text()方法获取节点中的文本

fromlxmlimportetree  text=''' 
 
 第一个 seconditem 
 
 '''  html=etree.html(text,etree.htmlparser()) result=html.xpath('//li[@class="item-1"]/a/text()')#获取a节点下的内容 result1=html.xpath('//li[@class="item-1"]//text()')#获取li下所有子孙节点的内容  print(result) print(result1)

（8）属性获取

使用@符号即可获取节点的属性，如下：获取所有li节点下所有a节点的href属性

result=html.xpath('//li/a/@href')#获取a的href属性 result=html.xpath('//li//@href')#获取所有li子孙节点的href属性

（9）属性多值匹配

如果某个属性的值有多个时，我们可以使用contains()函数来获取

fromlxmlimportetree  text1=''' 
 
 第一个 seconditem 
 
 '''  html=etree.html(text1,etree.htmlparser()) result=html.xpath('//li[@class="aaa"]/a/text()') result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')  print(result) print(result1)  #通过第一种方法没有取到值，通过contains（）就能精确匹配到节点了 [] ['第一个']

（10）多属性匹配

另外我们还可能遇到一种情况，那就是根据多个属性确定一个节点，这时就需要同时匹配多个属性，此时可用运用and运算符来连接使用：

fromlxmlimportetree  text1=''' 
 
 第一个 seconditem 
 
 '''  html=etree.html(text1,etree.htmlparser()) result=html.xpath('//li[@class="aaa"and@name="fore"]/a/text()') result1=html.xpath('//li[contains(@class,"aaa")and@name="fore"]/a/text()')   print(result) print(result1)   # ['seconditem'] ['seconditem']

（11）xpath中的运算符

此表参考来源:http://www.w3school.com.cn/xpath/xpath_operators.asp

（12）按序选择

有时候，我们在选择的时候某些属性可能同时匹配多个节点，但我们只想要其中的某个节点，如第二个节点或者最后一个节点，这时可以利用中括号引入索引的方法获取特定次序的节点：

fromlxmlimportetree  text1=''' 
 
 第一个 第二个 第三个 第四个 
 
 '''  html=etree.html(text1,etree.htmlparser())  result=html.xpath('//li[contains(@class,"aaa")]/a/text()')#获取所有li节点下a节点的内容 result1=html.xpath('//li[1][contains(@class,"aaa")]/a/text()')#获取第一个 result2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()')#获取最后一个 result3=html.xpath('//li[position()>2andposition()<4][contains(@class,"aaa")]/a/text()')#获取第一个 result4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()')#获取倒数第三个   print(result) print(result1) print(result2) print(result3) print(result4)   # ['第一个','第二个','第三个','第四个'] ['第一个'] ['第四个'] ['第三个'] ['第二个']

这里使用了last()、position()函数，在xpath中，提供了100多个函数，包括存取、数值、字符串、逻辑、节点、序列等处理功能，它们的具体作用可参考：http://www.w3school.com.cn/xpath/xpath_functions.asp

（13）节点轴选择

xpath提供了很多节点选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等，示例如下：

fromlxmlimportetree  text1=''' 
 
 第一个 第二个 第三个 第四个 
 
 '''  html=etree.html(text1,etree.htmlparser()) result=html.xpath('//li[1]/ancestor::*')#获取所有祖先节点 result1=html.xpath('//li[1]/ancestor::div')#获取div祖先节点 result2=html.xpath('//li[1]/attribute::*')#获取所有属性值 result3=html.xpath('//li[1]/child::*')#获取所有直接子节点 result4=html.xpath('//li[1]/descendant::a')#获取所有子孙节点的a节点 result5=html.xpath('//li[1]/following::*')#获取当前子节之后的所有节点 result6=html.xpath('//li[1]/following-sibling::*')#获取当前节点的所有同级节点   # [,,,] [] ['aaa','item'] [] [] [,,,,,] [,,]

以上使用的是xpath轴的用法，更多轴的用法可参考：http://www.w3school.com.cn/xpath/xpath_axes.asp

（14）案例应用：抓取tiobe指数前20名排行开发语言

#!/usr/bin/envpython #coding:utf-8 importrequests fromrequests.exceptionsimportrequestexception fromlxmlimportetree fromlxml.etreeimportparseerror importjson  defone_to_page(html): headers={ 'user-agent':'mozilla/5.0(windowsnt10.0;win64;x64)applewebkit/537.36(khtml,likegecko)chrome/67.0.3396.62safari/537.36' } try: response=requests.get(html,headers=headers) body=response.text#获取网页内容 exceptrequestexceptionase: print('requestiserror!',e) try: html=etree.html(body,etree.htmlparser())#解析html文本内容 result=html.xpath('//table[contains(@class,"table-top20")]/tbody/tr//text()')#获取列表数据 pos=0 foriinrange(20): ifi==0: yieldresult[i:5] else: yieldresult[pos:pos 5]#返回排名生成器数据 pos =5 exceptparseerrorase: print(e.position)   defwrite_file(data):#将数据重新组合成字典写入文件并输出 foriindata: sul={ '2018年6月排行':i[0], '2017年6排行':i[1], '开发语言':i[2], '评级':i[3], '变化率':i[4] } withopen('test.txt','a',encoding='utf-8')asf: f.write(json.dumps(sul,ensure_ascii=false) '\n')#必须格式化数据 f.close() print(sul) returnnone   defmain(): url='https://www.tiobe.com/tiobe-index/' data=one_to_page(url) revaule=write_file(data) ifrevaule==none: print('ok')     if__name__=='__main__': main()    # {'2018年6月排行':'1','2017年6排行':'1','开发语言':'java','评级':'15.368%','变化率':' 0.88%'} {'2018年6月排行':'2','2017年6排行':'2','开发语言':'c','评级':'14.936%','变化率':' 8.09%'} {'2018年6月排行':'3','2017年6排行':'3','开发语言':'c  ','评级':'8.337%','变化率':' 2.61%'} {'2018年6月排行':'4','2017年6排行':'4','开发语言':'python','评级':'5.761%','变化率':' 1.43%'} {'2018年6月排行':'5','2017年6排行':'5','开发语言':'c#','评级':'4.314%','变化率':' 0.78%'} {'2018年6月排行':'6','2017年6排行':'6','开发语言':'visualbasic.net','评级':'3.762%','变化率':' 0.65%'} {'2018年6月排行':'7','2017年6排行':'8','开发语言':'php','评级':'2.881%','变化率':' 0.11%'} {'2018年6月排行':'8','2017年6排行':'7','开发语言':'javascript','评级':'2.495%','变化率':'-0.53%'} {'2018年6月排行':'9','2017年6排行':'-','开发语言':'sql','评级':'2.339%','变化率':' 2.34%'} {'2018年6月排行':'10','2017年6排行':'14','开发语言':'r','评级':'1.452%','变化率':'-0.70%'} {'2018年6月排行':'11','2017年6排行':'11','开发语言':'ruby','评级':'1.253%','变化率':'-0.97%'} {'2018年6月排行':'12','2017年6排行':'18','开发语言':'objective-c','评级':'1.181%','变化率':'-0.78%'} {'2018年6月排行':'13','2017年6排行':'16','开发语言':'visualbasic','评级':'1.154%','变化率':'-0.86%'} {'2018年6月排行':'14','2017年6排行':'9','开发语言':'perl','评级':'1.147%','变化率':'-1.16%'} {'2018年6月排行':'15','2017年6排行':'12','开发语言':'swift','评级':'1.145%','变化率':'-1.06%'} {'2018年6月排行':'16','2017年6排行':'10','开发语言':'assemblylanguage','评级':'0.915%','变化率':'-1.34%'} {'2018年6月排行':'17','2017年6排行':'17','开发语言':'matlab','评级':'0.894%','变化率':'-1.10%'} {'2018年6月排行':'18','2017年6排行':'15','开发语言':'go','评级':'0.879%','变化率':'-1.17%'} {'2018年6月排行':'19','2017年6排行':'13','开发语言':'delphi/objectpascal','评级':'0.875%','变化率':'-1.28%'} {'2018年6月排行':'20','2017年6排行':'20','开发语言':'pl/sql','评级':'0.848%','变化率':'-0.72%'}

以上就是怎么在python3项目中安装lxml解析库，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注恰卡编程网行业资讯频道。