三行代码，在服务器安装谷歌浏览器wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpmyum install -y lsbyum localinstall google-chrome-stable_current_x86_64.rpm注意：安装相应版本的谷歌，修改后面的参数就好...

错误的原因：服务器强制把redis快照关闭了导致不能持久化。解决办法：1、redis-cli连接上redis输入config set stop-writes-on-bgsave-error no2.修改redis.conf文件：vi打开redis.conf文件，然后将stop-writes-on-bgsave-error改为no。...

1、浏览器有界面情况下设置下载路径def selenium_driver(enact):"""驱动浏览器无头模式设置"""options = Options()# options.add_argument('--headless')# options.add_argument('--no-sandbox')# option...

爬虫过程中，为了设置headers，往往都会将原生的headers拷贝到py文件中，但是还需要我们手动将对应的每一个键值转换成字符串，并组成字典。如果headers中的键值较少，手动挨个转换还行，但是键值较多的话，就会非常的浪费时间。为了节省时间，查了一下pycharm有没有快捷方式可以直接转换，可惜没有快捷键，但是可以通过其中的替换功能+正则来快速实现这一功能。参考文章：https://blog

学习爬虫主要是为了从网站上获取我们想要的数据，但是工作以后，我们爬去的数据是多种多样的，所以这就要求我们掌握多种查找数据的方式。今天以查找文本为例给大家介绍我常用的四种查找数据的方式。以在scrapy框架抓取百度贴吧为例，介绍四种抓取文本的方式。1. 获取最外层标签，遍历内部所有的子标签“/text()”，获取标签文本class XiaoshuoSpider(scrapy.Spide...

贴一个封装好的日志模块，可以直接放在项目中，日志存放的路径配置一下就可以#!/user/bin/even python# -*- coding:utf-8 -*-import osimport timeimport loggingimport inspectfrom logging.handlers import RotatingFileHandlerfrom sns_spider.config.