jsonpath表达式语法参考文档 http://goessner.net/articles/JsonPath/jsonpath表达式示例jsonpath Python库https://pypi.python.org/pypi/jsonpath/0.75示例代码# !/usr/bin/env python# -*- coding:utf-8

以eclipse为例在桌面创建eclipse.desktop文件打开文件sudo gedit /home/brandon/桌面/eclipse.desktop写入内容[Desktop Entry]Encoding=UTF-8Name=eclipseComment=Eclipse IDEExec=/opt/eclipse/eclipseIcon=/opt/eclipse/icon.xpm

源码# !/usr/bin/env python# -*- coding:utf-8 -*-import requestsfrom lxml import etreeimport jsondef main():while True:page=input('请输入页码: ')if isinstance(int(page),int):

概述核心是网址链接的正则表达式，如下：r'(\w+?)'源码# !/usr/bin/env python# -*- coding:utf-8 -*-import urllib.requestimport redef crawl():url='https://www.hao123.com/'headers={'User-Agent'

概述使用urllib和re模块爬取百思不得姐段子源码# !/usr/bin/env python# -*- coding:utf-8 -*-"""\w+?"""import urllib.requestimport redef crawl():base_url='http://www.budejie.com/text/'for page i

与其它面向对象语言一样，Python也支持抽象超类，一般用于接口设计中。实现方式一:：抛出异常在父类中，在需要由子类实现的方法(“抽象方法”)中，抛出NotImplementedError异常。子类实例调用该方法前，子类必须先实现（重写），否则，发生异常。代码如下# !/usr/bin/env python# -*- coding:utf-8 -*-class

urllib库request模块中各种Handler的用法总结如下：# !/usr/bin/env python# -*- coding:utf-8 -*-"""HTTPHandlerHTTPBasicAuthHandlerProxyHandlerProxyBasicAuthHandlerHTTPCookieProcessor"""import urllib.request

urllib库parse模块用法总结如下:# !/usr/bin/env python# -*- coding:utf-8 -*-"""urllib.parse处理URL的模块"""import urllib.parse# 解析url，返回包含url信息的6元元组res=urllib.parse.urlparse("https://docs.python.org/

用到的知识1.用urllib库发送GET请求2.用XPath搜索匹配文档节点3.lxml库解析HTML文档源码# !/usr/bin/env python# -*- coding:utf-8 -*-from lxml import etreeimport urllib.requestimport urllib.parseimport randomimpor

源码# !/usr/bin/env python# -*- coding:utf-8 -*-"""爬去内涵吧的段子关键点:1.分析url2.分析html源码中段子的标题和内容,构建正则表达式3.findall()方法"""import urllib.requestimport reclass Spider(o