HTTP必须要有很深刻的理解，这是你网络爬虫之本；BeautifulSoup、xpath这些都是基础操作了，一定要做到非常熟练；Scrapy框架要会用，要能信手捏来写个分布式爬虫；Webdriver、Selenium、PhantomJS也要会使用；有一定的深度和广度。深度就是类似反反爬、加密破解、验证登录等技术；广度就是分布式、云计算等等随着手持设备的市场占比越来越高，app 的数据采集...

1. Java语言概述java语言的特性：①面向对象性 ②健壮性 ③跨平台性（write once ，run anywhere）—JVM河床好比操作底层，jdk好比是河水，java应用程序好比是船。JVM (Java Virtual Machine) : 解决了不同操作系统之间的差异；JRE (Java Runtime Environment) : 包括java虚拟机 + 解释器；JDK...

【代码】linux获取随机字符串（或数字）的3种方法。

【代码】用python扫描linux开放的端口（3种方式）

win10安装selenium环境请参考：https://cuiyonghua.blog.csdn.net/article/details/103699493下面是：linux 安装selenium+chrome+chromedriver一. 安装chrome1.1 增加yum源在/etc/yum.repos.d/目录下新建文件google-chrome.repo，向其中添加如下内容:[googl

目录：绝对路径： 从根目录开始，指定一个位置、文件相对路径：从当前进程工作目录位置开始，指定一个位置、文件。shell：命令解析器。默认运行在终端当中的程序（进程）。—— unix —— bornbash：born again shell。 Linux版的shell。命令解析器。文件：在Linux操作系统中，所见皆文件。用户：Linux 是一款多用户多任务的分时复用操作系统。...

二. PostgreSQL 11 的安装与配置2.1 安装与启动PostgreSQL 11安装与配置可参考官网：https://www.pgadmin.org/2.2 pgAdmin 4的基本操作2.3 使用psql工具登录PostgreSQL数据库2.4 Linux系统下安装Postgresql 11Linux操作系统的发行版比较多。本章节以常用的Linux系统CentOS 7操作系...

Python中好用的collections模块文章目录CounterdefaultdictOrderedDictnamedtupledequeChainMap这个模块实现了特定目标的容器，以提供Python标准内建容器 dict、list、set、tuple 的替代选择。Counter：字典的子类，提供了可哈希对象的计数功能defaultdict：字典的子类，提供了一个工厂函数，为字典查询提供了默

数组的特点 适合查询，但是删除和修改有点慢数据结构不仅是数据的容器，还要提供对数据的操作方法，比如检索、插入、删除、排序等1. 无序数组无序数组的优点：插入快，如果知道下标，可以很快的存取无序数组的缺点：查找慢，删除慢，大小固定。2. 有序数组有序数组的优点：查找效率高有序数组的缺点：删除和插入慢，大小固定...

json反序列化是指，将json字符串 反序列化成对应数据（比如：结构体，map，切片）下面分别将struct，map，slice 反序列化成对应数据。案例1：将json字符串，反序列化成structpackage mainimport ("encoding/json""fmt")type Hero struct {Name stringAge intBirth...