logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

爬虫(三)requests模块

1 为什么要重点学习requests模块,而不是urllibrequests的底层实现就是urllibrequests在python2 和python3中通用,方法完全一样requests简单易用Requests能够自动帮助我们解压(gzip压缩的等)响应内容 2 requests的作用作用:发送网络请求,返回响应数据中文文档 : http://docs.python...

#爬虫
五分钟告诉你什么是爬虫?

1 什么是爬虫把互联网比喻成一张网,那么爬虫就是网上爬行的蜘蛛,把网的节点比喻成一个个网页,爬虫爬取到就相当于访问了该页面,获取了其信息,爬虫可以通过一个节点之后,顺着节点连线(链接) 继续爬行到下一个节点,即通过一个网页继续获取后续的网页,这样整个网的节点就可以被爬虫全部爬到。实际实现可理解为:网络爬虫(又称网页蜘蛛,网络机器人)模拟浏览器发送网络请求,接...

#爬虫
期望、方差、协方差、标准差

期望, 方差, 协方差,标准差期望概率论中描述一个随机事件中的随机变量的平均值的大小可以用数学期望这个概念,数学期望的定义是实验中可能的结果的概率乘以其结果的总和。定义设P(x) 是一个离散概率分布,自变量的取值范围为{x1,x2,...,xn}。其期望被定义为:E(x)=∑k=1nxkP(xk)设P(x) 是一个连续概率密度函数,其期望为:E(x)=∫+∞−∞x...

什么是 DNS,有什么作用?为什么需要更换公共DNS服务器?

基本上接触过网络相关知识的人应该多少都会听过 DNS 这个名词。因为它非常重要,在我们上网的过程中扮演着重要的角色—“将网址/域名解析成 IP 地址”。如果配置了不合理的 DNS 服务器,可能会导致网速缓慢、打不开网站;一些恶意的 DNS 还会让你电脑出现弹窗广告、网站被劫持修改 (中间人攻击)、监听等等一系列的安全问题。DNS 的全称是 Domain Name System 或者 D...

#网络
什么是PaaS平台 ?

转:https://yq.aliyun.com/articles/68828 一、PaaS的发展简史PaaS作为新一代的云计算平台,目前在业界得到了广泛的关注与讨论。诸多大公司也纷纷推出自己的PaaS平台,比如Pivotal的CloudFoundry, IBM的Bluemix和Redhat的OpenShift等。其实在此之前, PaaS已经有很长一段时间的发展历程。2007年,...

#云计算
二十三种设计模式及其python实现

本文源码寄放于github:https://github.com/w392807287/Design_pattern_of_python参考文献:《大话设计模式》——吴强《Python设计模式》——pythontip.com《23种设计模式》——http://www.cnblogs.com/beijiguangyong/一、设计模式是什么?设计模式:经过总结、优化的,...

#设计模式
Linux环境安装IPython配置python开发环境

一.IPython简介IPython 是一个交互式的shell,比默认终端好用,支持自动缩进,Tab补全,并且内置了很多有用的功能和函数。可以在任何操作系统上使用。二.安装方法1.pip 在线安装pip3 install ipythonpip3 install "ipython[notebook]"2.下载安装可以到GitHub 下载安装包,切换到目录下然后运行下面的脚...

#ipython
Python报错:(编码问题)SyntaxError: Non-ASCII character '\xe2' in file

报错信息:报错原因:SyntaxError: Non-ASCII character '\xe2' in file意思是说,在文件中存在非ASCII字符;ASCII是8位即一个字符,一共256个字符,随着计算机的发展,现在已经用到2个或者4个字符;最重要的原因就是文件中有中文解决方法:在相应文件头加#!/usr/bin/python# -*- coding: UTF-8 -...

#python
Python加密之hashlib、hmac

Python中的用于加密的函数位于hashlib,hmac模块中,均为内置模块。import hashlibimport hmachashlib模块实现了md5,sha1,sha224,sha256,sha384,sha512等算法,可以通过hashlib.algorithms_available查看>>> import hashlib>>> ...

到底了