是爬虫在网页定位中的较优接纳,Xpath定位速度异常的快

xpath速度非常快,是爬虫在网页定位中的较优选取,不过很多网页前端代码混乱难以牢固,而上学定位也相比不错(重尽管宏观的科目非常少),这里列出一些编制程序进程中也可能有效的事物,应接共同学习钻探指正。
检查实验意况:Python境况,lxml.etree

本篇首要介绍Xpath的有的高级用法,Xpath定位速度十分的快,是爬虫在网页定位中的较优采用。
测量检验工具及情况:Python3.6.4,lxml(第三方库)

  • 试验所使用的html代码
  • 测验所使用的html代码片段:

<!DOCTYPE html>
<html>
<head>
    <title>xpath test</title>
</head>
<body>
<div price="99.8">
    <div>
        <ul>
            <li>时间</li>
            <li>地点</li>
            <li>任务</li>
        </ul>
    </div>
    <div id='testid' data-h="first">
        <h2>这里是个小标题</h2>
        <ol>
            <li data="one">1</li>
            <li data="two">2</li>
            <li data="three">3</li>
        </ol>
        <ul>
            <li code="84">84</li>
            <li code="104">104</li>
            <li code="223">223</li>
        </ul>
    </div>
    <div>
        <h3>这里是H3的内容
            <a href="http://www.baidu.com">百度一下</a>
            <ul>
                <li>test1</li>
                <li>test2</li>
            </ul>
        </h3>
    </div>
    <div id="go">
        <ul>
            <li>1</li>
            <li>2</li>
            <li>3</li>
            <li>4</li>
            <li>5</li>
            <li>6</li>
            <li>7</li>
            <li>8</li>
            <li>9</li>
            <li>10</li>
        </ul>
    </div>
</div>
</body>
</html>
<!DOCTYPE html>
<html>
<head>
    <title>xpath test</title>
</head>
<body>
<div price="99.8">
    <div>
        <ul>
            <li>时间</li>
            <li>地点</li>
            <li>任务</li>
        </ul>
    </div>
    <div id='testid' data-h="first">
        <h2>这里是个小标题</h2>
        <ol>
            <li data="one">1</li>
            <li data="two">2</li>
            <li data="three">3</li>
        </ol>
        <ul>
            <li code="84">84</li>
            <li code="104">104</li>
            <li code="223">223</li>
        </ul>
    </div>
    <div>
        <h3>这里是H3的内容
            <a href="http://www.baidu.com">百度一下</a>
            <ul>
                <li>test1</li>
                <li>test2</li>
            </ul>
        </h3>
    </div>
    <div id="go">
        <ul>
            <li>1</li>
            <li>2</li>
            <li>3</li>
            <li>4</li>
            <li>5</li>
            <li>6</li>
            <li>7</li>
            <li>8</li>
            <li>9</li>
            <li>10</li>
        </ul>
    </div>
</div>
</body>
</html>
1、相配某节点下的富有.//

//获得文书档案中颇具相配的节点,.获取当前节点,不常大家须要得到当前节点下的兼具节点,.//自然要结成.使用//,不然都会拿走整个文书档案的相配结果.

1、匹配某节点下的具有

  • // 获取文书档案中装有相配的节点
  • . 获取当前节点,不时我们须要获得当前节点下的具有节点
  • 料定要组成 . 使用 //,不然会赢得整个文书档案的同盟结果
2、相称包括某属性的持有的属性值//@lang
print tree.xpath('//@code') #匹配所有带有code属性的属性值
>>['84', '104', '223']

2、相称包罗某属性的有着的习性值(//@lang)

# 匹配所有带有code属性的属性值
>>print(tree.xpath('//@code'))  
>>['84', '104', '223']
3、选用若干渠道|

其一符号用于在三个xpath中写八个表明式用,用|分手,每一种表明式互不苦恼

print tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()') #多个匹配条件
>>[u'\u8fd9\u91cc\u662f\u4e2a\u5c0f\u6807\u9898', '1', '2', '3']

3、选取若干路线(|)

4、 Axes(轴)
  • ###### child:选拔当前节点的装有子成分

>>print tree.xpath('//div[@id="testid"]/child::ul/li/text()') #child子节点定位
>>['84', '104', '223']

>>print tree.xpath('//div[@id="testid"]/child::*') #child::*当前节点的所有子元素
>>[<Element h2 at 0x21bd148>, <Element ol at 0x21bd108>, <Element ul at 0x21bd0c8>]

>>#定位某节点下为ol的子节点下的所有节点
>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()') 
>>['1', '2', '3']
  • ###### attribute:采取当前节点的具有属性

>>print tree.xpath('//div/attribute::id') #attribute定位id属性值
>>['testid', 'go']

>>print tree.xpath('//div[@id="testid"]/attribute::*') #定位当前节点的所有属性
>>['testid', 'first']
  • ###### ancestor:父辈成分 / ancestor-or-self:父辈成分及当前成分

>>print tree.xpath('//div[@id="testid"]/ancestor::div/@price') #定位父辈div元素的price属性
>>['99.8']

>>print tree.xpath('//div[@id="testid"]/ancestor::div') #所有父辈div元素
>>print tree.xpath('//div[@id="testid"]/ancestor-or-self::div') #所有父辈及当前节点div元素
>>[<Element div at 0x23fc108>]
>>[<Element div at 0x23fc108>, <Element div at 0x23fc0c8>]
  • ###### descendant:后代 / descendant-or-self:后代及当前节点自己

使用格局同上

  • ###### following :采取文书档案中当前节点的终止标签之后的兼具节点

#定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性
>>print tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()') 
>>['test1']
  • ###### namespace:选择当前节点的全体命名空间节点

>>print tree.xpath('//div[@id="testid"]/namespace::*') #选取命名空间节点
>>[('xml', 'http://www.w3.org/XML/1998/namespace')]
  • ###### parent:选用当前节点的父节点

>>#选取data值为one的父节点的子节点中最后一个节点的值
>>print tree.xpath('//li[@data="one"]/parent::ol/li[last()]/text()') 
>>['3']
  • ###### preceding:采纳文档中当前节点的开端标签以前的有所节点

>>#记住是标签开始之前,同级前节点及其子节点
>>print tree.xpath('//div[@id="testid"]/preceding::div/ul/li[1]/text()')[0] 
>>时间
>>#下面这两条可以看到其顺序是靠近testid节点的优先
>>print tree.xpath('//div[@id="testid"]/preceding::li[1]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding::li[3]/text()')[0]
>>任务
>>时间
  • ###### preceding-sibling:选用当前节点此前的兼具同级节点

>>#记住只能是同级节点
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::div/ul/li[2]/text()')[0]
>>print tree.xpath('//div[@id="testid"]/preceding-sibling::li') #这里返回的就是空的了
>>地点
>>[]
  • ###### self:选择当前节点

>>#选取带id属性值的div中包含data-h属性的标签的所有属性值
>>print tree.xpath('//div[@id]/self::div[@data-h]/attribute::*') 
>>['testid', 'first']
  • ###### 组合拳

#定位id值为testid下的ol下的li属性值data为two的父元素ol的兄弟前节点h2的text值
>>print tree.xpath('//*[@id="testid"]/ol/li[@data="two"]/parent::ol/preceding-sibling::h2/text()')[0] 
>>这里是个小标题
本条符号用于在贰个xpath中写七个表明式,用 | 分开,各样表明式互不搅扰
# 多个匹配条件
>>print(tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()'))   
>>['这里是个小标题', '1', '2', '3']
5、position定位
>>print tree.xpath('//*[@id="testid"]/ol/li[position()=2]/text()')[0] 
>>2

4、Axes(轴)

  • child:采取当前节点的有着子成分

# child 子节点定位
>>print(tree.xpath('//div[@id="testid"]/child::ul/li/text()'))
>>['84', '104', '223']

# child::* 当前节点的所有子元素
>>print(tree.xpath('//div[@id="testid"]/child::*'))
>>[<Element h2 at 0x21bd148>, <Element ol at 0x21bd108>, <Element ul at 0x21bd0c8>]

# 定位某节点下为ol的子节点下的所有节点
>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()') 
>>['1', '2', '3']
  • attribute:选取当前节点的兼具属性

# attribute定位id属性值
>>print(tree.xpath('//div/attribute::id'))
>>['testid', 'go']

# 定位当前节点的所有属性
>>print(tree.xpath('//div[@id="testid"]/attribute::*'))
>>['testid', 'first']
  • ancestor:父辈成分 / ancestor-or-self:父辈成分及当前因素

# 定位父辈div元素的price属性
>>print(tree.xpath('//div[@id="testid"]/ancestor::div/@price'))
>>['99.8']

# 所有父辈div元素
>>print(tree.xpath('//div[@id="testid"]/ancestor::div'))
>>[<Element div at 0x5db70f8>]

# 所有父辈及当前节点div元素
>>print(tree.xpath('//div[@id="testid"]/ancestor-or-self::div')) 
>>[<Element div at 0x5db70f8>, <Element div at 0x5db70d0>]
  • descendant:后代成分/ descendant-or-self:后代成分及当前成分
  • following:选择文书档案中当前节点的收尾标签之后的有所节点

# 定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性
>>print(tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()')) 
>>['test1']
  • namespace:选择当前节点的兼具命名空间节点

# 选取命名空间节点
>>print(tree.xpath('//div[@id="testid"]/namespace::*'))
>>[('xml', 'http://www.w3.org/XML/1998/namespace')]
  • parent:选拔当前节点的父节点

# 选取data值为one的父节点的子节点中最后一个节点的值
>>print(tree.xpath('//li[@data="one"]/parent::ol/li[last()]/text()'))
>>['3']
  • preceding:采纳文书档案中当前节点的发端标签在此以前的享有节点

# 记住是标签开始之前,同级前节点及其子节点
>>print(tree.xpath('//div[@id="testid"]/preceding::div/ul/li[1]/text()')[0])
>>时间

# 下面这两条可以看到其顺序是靠近testid节点的优先
>>print(tree.xpath('//div[@id="testid"]/preceding::li[1]/text()')[0])
>>任务

>>print(tree.xpath('//div[@id="testid"]/preceding::li[3]/text()')[0])
>>时间
  • preceding-sibling:选拔当前节点从前的持有同级节点

# 记住只能是同级节点
>>print(tree.xpath('//div[@id="testid"]/preceding-sibling::div/ul/li[2]/text()')[0])
>>地点

# 这里返回的就是空的了
>>print(tree.xpath('//div[@id="testid"]/preceding-sibling::li'))
>>[]
  • self:选用当前节点

# 选取带id属性值的div中包含data-h属性的标签的所有属性值
>>print(tree.xpath('//div[@id]/self::div[@data-h]/attribute::*'))
>>['testid', 'first']
  • 组合拳

# 定位id值为testid下的ol下的li属性值data为two的父元素ol的兄弟前节点h2的text值
>>print(tree.xpath('//*[@id="testid"]/ol/li[@data="two"]/parent::ol/preceding-sibling::h2/text()')[0]) 
>>这里是个小标题
6、条件
>>定位所有h2标签中text值为`这里是个小标题`
>>print tree.xpath(u'//h2[text()="这里是个小标题"]/text()')[0]
>>这里是个小标题

5、position定位

>>print(tree.xpath('//*[@id="testid"]/ol/li[position()=2]/text()')[0])
>>2
7、函数
  • ###### count:统计

>>print tree.xpath('count(//li[@data])') #节点统计
>>3.0
  • ###### concat:字符串连接

>>print tree.xpath('concat(//li[@data="one"]/text(),//li[@data="three"]/text())')
>>13
  • ###### string:深入分析当前节点下的字符

>>#string只能解析匹配到的第一个节点下的值,也就是作用于list时只匹配第一个
>>print tree.xpath('string(//li)') 
>>时间
  • ###### local-name:分析节点名称

>>print tree.xpath('local-name(//*[@id="testid"])') #local-name解析节点名称
>>div
  • ###### contains(string1,string2):假如 string1 包括 string2,则赶回 true,不然再次来到 false

>>tree.xpath('//h3[contains(text(),"H3")]/a/text()')[0] #使用字符内容来辅助定位
>>百度一下

>>一记组合拳
>>#匹配带有href属性的a标签的先辈节点中的div,其兄弟节点中前一个div节点下ul下li中text属性包含“务”字的节点的值
>>print tree.xpath(u'//a[@href]/ancestor::div/preceding::div/ul/li[contains(text(),"务")]/text()')[0] 
>>任务
  • ###### not:布尔值(否)

>>print tree.xpath('count(//li[not(@data)])') #不包含data属性的li标签统计
>>18.0
  • ###### string-length:重返内定字符串的尺寸

>>#string-length函数+local-name函数定位节点名长度小于2的元素
>>print tree.xpath('//*[string-length(local-name())<2]/text()')[0] 
>>百度一下
  • ###### 组合拳2

>>#contains函数+local-name函数定位节点名包含di的元素
>>print tree.xpath('//div[@id="testid"]/following::div[contains(local-name(),"di")]') 
>>[<Element div at 0x225e108>, <Element div at 0x225e0c8>]
  • ###### or:多规格合营

>>print tree.xpath('//li[@data="one" or @code="84"]/text()') #or匹配多个条件
>>['1', '84']
>>#也可使用|
>>print tree.xpath('//li[@data="one"]/text() | //li[@code="84"]/text()') #|匹配多个条件
>>['1', '84']
  • ###### 组合拳3:floor + div除法 + ceiling

>>#position定位+last+div除法,选取中间两个
>>tree.xpath('//div[@id="go"]/ul/li[position()=floor(last() div 2+0.5) or position()=ceiling(last() div 2+0.5)]/text()') 
>>['5', '6']
  • ###### 组合拳4隔行定位:position+mod取余

>>#position+取余运算隔行定位
>>tree.xpath('//div[@id="go"]/ul/li[position()=((position() mod 2)=0)]/text()') 
  • ###### starts-with:以。。开始

>>#starts-with定位属性值以8开头的li元素
>>print tree.xpath('//li[starts-with(@code,"8")]/text()')[0]
>>84

6、条件

# 定位所有h2标签中text值为 '这里是个小标题'
>>print(tree.xpath('//h2[text()="这里是个小标题"]/text()')[0])
>>这里是个小标题
8、数值相比
  • ###### <:小于

>>#所有li的code属性小于200的节点
>>print tree.xpath('//li[@code<200]/text()')
>>['84', '104']
  • ###### div:对某八个节点的属性值做除法

>>print tree.xpath('//div[@id="testid"]/ul/li[3]/@code div //div[@id="testid"]/ul/li[1]/@code')
>>2.65476190476
  • ###### 组合拳4:依据节点下的某一节点数量稳固

>>#选取所有ul下li节点数大于5的ul节点
>>print tree.xpath('//ul[count(li)>5]/li/text()')
>>['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']

7、函数

  • count:统计

 # 节点统计
>>print(tree.xpath('count(//li[@data])'))
>>3.0
  • concat:字符串连接

>>print(tree.xpath('concat(//li[@data="one"]/text(),//li[@data="three"]/text())'))
>>13
  • string:剖析当前节点下的字符

# string只能解析匹配到的第一个节点下的值,也就是作用于list时只匹配第一个
>>print(tree.xpath('string(//li)'))
>>时间
  • local-name:剖析节点名称

# local-name解析节点名称
>>print(tree.xpath('local-name(//*[@id="testid"])'))
>>div
  • contains(string1,string2):如若 string1 包括 string2,则赶回
    true,不然再次回到 false

# 使用字符内容来辅助定位
>>tree.xpath('//h3[contains(text(),"H3")]/a/text()')[0]
>>百度一下
9、将对象还原为字符串
>>> s = tree.xpath('//*[@id="testid"]')[0] #使用xpath定位一个节点
>>> s
<Element div at 0x2b6ffc8>
>>> s2 = etree.tostring(s) #还原这个对象为html字符串
>>> s2
'<div id="testid">\n\t\t<h2>&#213;&#226;&#192;&#239;&#202;&#199;&#184;&#246;&#208;&#161;&#177;&#234;&#204;&#226;</h2>\n\t\t<ol>\n\t\t\t<li data="one">1</li>\n\t\t\t<li data="two">2</li>\n\t\t\t<li data="three">3</li>\n\t\t</ol>\n\t\t<ul>\n\t\t\t<li code="84">84</li>\n\t\t\t<li code="104">104</li>\n\t\t\t<li code="223">223</li>\n\t\t</ul>\n\t</div>\n\t'

上述正是近来本身整理出的全体内容,表明某个,xpath虽快,可是使用时尽可能使用轻松高效的艺术,本文目的在于定位那一个较难的地点选择,刻意追求晦涩难懂的技术会影响其效能,并不可取。

如有错误请钻探提议,如有更加强硬风趣儿的也足以贴出来大家一同学习。
末尾修改日期:2017/1约得其半3

一记组合拳
# 匹配带有href属性的a标签的先辈节点中的div,其兄弟节点中前一个div节点下ul下li中text属性包含“务”字的节点的值
>>print(tree.xpath('//a[@href]/ancestor::div/preceding::div/ul/li[contains(text(),"务")]/text()')[0])
>>任务
  • not:布尔值(否)

# 不包含data属性的li标签统计
>>print(tree.xpath('count(//li[not(@data)])'))
>>18.0
  • string-length:重返钦赐字符串的长度

# string-length函数+local-name函数定位节点名长度小于2的元素
>>print tree.xpath('//*[string-length(local-name())<2]/text()')[0] 
>>百度一下
组合拳2
# contains函数+local-name函数定位节点名包含di的元素
>>print(tree.xpath('//div[@id="testid"]/following::div[contains(local-name(),"di")]'))
>>[<Element div at 0x5db70f8>, <Element div at 0x5db70d0>]
  • or:多规格协作

# or 匹配多个条件
>>print(tree.xpath('//li[@data="one" or @code="84"]/text()'))
>>['1', '84']

# | 匹配多个条件
>>print tree.xpath('//li[@data="one"]/text() | //li[@code="84"]/text()') 
>>['1', '84']
组合拳3:floor + div除法 + ceiling
# position定位+last+div除法,选取中间两个
>>tree.xpath('//div[@id="go"]/ul/li[position()=floor(last() div 2+0.5) or position()=ceiling(last() div 2+0.5)]/text()') 
>>['5', '6']
组合拳4:隔行定位:position+mod取余
# position+取余运算隔行定位
>>tree.xpath('//div[@id="go"]/ul/li[position()=((position() mod 2)=0)]/text()')
starts-with:以…开始
# 定位属性值以8开头的li元素
>>print(tree.xpath('//li[starts-with(@code,"8")]/text()')[0])
>>84

8、数值比较

  • <:小于

# 所有li的code属性小于200的节点
>>print(tree.xpath('//li[@code<200]/text()'))
>>['84', '104']
  • div:对某多个节点的属性值做除法

>>print(tree.xpath('//div[@id="testid"]/ul/li[3]/@code div //div[@id="testid"]/ul/li[1]/@code'))
>>2.65476190476
组合拳5:依照节点下的某一节点数量稳固
# 选取所有ul下li节点数大于5的ul节点
>>print(tree.xpath('//ul[count(li)>5]/li/text()'))
>>['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']

9、将指标还原为字符串

# 使用xpath定位一个节点
>>> s = tree.xpath('//*[@id="testid"]')[0]
>>> s
[<Element div at 0x5db70d0>]

# 还原这个对象为html字符串
>>> s2 = etree.tostring(s, encoding='utf-8').decode()
>>> s2
<div id="testid" data-h="first">
        <h2>这里是个小标题</h2>
        <ol>
            <li data="one">1</li>
            <li data="two">2</li>
            <li data="three">3</li>
        </ol>
        <ul>
            <li code="84">84</li>
            <li code="104">104</li>
            <li code="223">223</li>
        </ul>
    </div>


进程已结束,退出代码0

证实一些,xpath虽快,可是选拔时尽也许选用轻便高效的措施,本文目的在于定位那一个较难的地点选择,特意追求晦涩难懂的本事会影响其成效,并不可取。

末尾修改日期:2018/058%1 23:12:30