Squid 介绍Squid 是一款缓存代理服务器软件，广泛用于网站的负载均衡架构中，常见的缓存服务器还有varnish、ATS等。正向代理服务器可满足内网仅有一台服务器可以上网，而要供内网所有机器上网的需求，也可以用于爬虫的代理访问。在实践中我将Squid作为爬虫代理服务器，实现了多IP切换的功能，将在后续文章中记录实现过程。下载与安装开启远程访问iptables -F#清除防火墙filter表中

HTTP 的 OPTIONS 方法用于获取目的资源所支持的通信选项。客户端可以对特定的 URL 使用 OPTIONS 方法，也可以对整站（通过将 URL 设置为“*”）使用该方法；简单来说，就是可以用 options 请求去嗅探某个请求在对应的服务器中都支持哪种请求方法；前端一般不会主动发起这个请求，但是通过F12 debug页面，一般可以看到 相同的请求会有两次，其中一次的 Request Me

最近爬某yin，使用了代理仍然疯狂报这个错，成功率很低，错误为：HTTPSConnectionPool(host='v.douyin.com', port=443): Max retries exceeded with url: /GomJPf/ (Caused by ConnectTimeoutError(<urllib3.connection.VerifiedHTTPSConnectio

方案一通过selenium拿到cookie后，带着cookie发送请求方案二1、安装pip install cfscrape2、demoimport cfscrape# get请求# 实例化一个create_scraper对象scraper = cfscrape.create_scraper(delay = 10)# 获取网页源代码resp = scraper.get("https://wallh

1、docker pull fauria/vsftpd2、docker run -d -p 20:20 -p 21:21 -p 21100-21110:21100-21110 -v /Ftpfile:/home/vsftpd -e FTP_USER=user -e FTP_PASS=userpwd -e PASV_ADDRESS=<宿主机ip> -e PASV_MIN_PORT=211

阿里云管理后台进入阿里云管理员后台的云盘管理中心挂载。1、登录 ECS管理控制台2、左侧导航栏：存储 -> 云盘 -> 选择地域;3、待挂载 云盘 -> 操作 -> 更多 > 挂载;目标实例：只能选择同一可用区的ECS实例;磁盘随实例释放：如果选中，当实例释放时，该云盘也会同时释放;自动快照随磁盘释放：如果选中，当云盘释放时，该云盘创建的所有自动快照都会一起释放，但手

前言在上一篇对所有机器进行了 Docker 的安装配置后，这篇文章我们来批量安装与配置 K8s；Ansible 批量设置k8s环境的前置条件首先回顾一下手动配置前置条件的步骤，再改写为 playbook 去批量操作；安装K8s前的准备工作1、关闭防火墙ufw disable# orsystemctl stop ufw2、关闭selinuxsed -i 's/SELINUX=permissive/S

用了3年Kubernetes，我们得到的5个教训链接：https://mp.weixin.qq.com/s/6n5OAvvejmMHQxn6roN1kQ1、JAVA 应用的内存限制如果我们必须选择 Java，请确保版本为 11 或更高。并且 Kubernetes 的内存限制要在 JVM 最大堆内存（-Xmx）的基础上增加 1GB，以留有余量。也就是说，如果 JVM 使用 8GB 的堆内存，则我们对

前言本篇开始我们正式进入实战阶段，实战的目标就是把业务迁移到 K8s 集群中去管理，从而 达到 具备 CI/CD 、自动修复错误、一键扩容缩容、监测与预警等功能，我们使用的技术栈就是上文提到的 ：Ansible + Gitlab + Jenkins Pipeline + Docker+k8s + Helm本篇我们开始实战 ansible 的使用，并用这个工具 多机安装并配置 Docker。认识 A

认识K8S（kubernetes）定义生产级别的容器管理平台。容器快速创建、部署任何操作系统迁移资源隔离资源更高效利用架构一个K8S集群由Master Node 和Worker Node 两种节点角色 组成；1、Master Nodekube-apiserver：集群对外的接口，提供一套 RESTful 的 Kubernetes API，可供客户端和其他组件调用；etcd：存储集群的信息，比如配置