logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

反爬虫-反反爬虫

一、常见的反爬虫手段1、User_Agent浏览器类型、版本信息等2、Referer表示我们从哪个连接跳转过来的3、Cookis登录信息二、常用的反反爬虫手段1、模拟用户浏览器的User_Agent2、模拟用户登录(1) requestes的 post 请求(2) WebDriver 模拟浏览器行为3、验证码三、实例1、模拟用户浏览器的User_Agent(1)使用第三方库#安装第三方库pip i

nginx 反向代理字符集设置错误导致页面乱码

在chrome浏览器中,进入开发者模式,查看返回头,发现支付编码是koi8-r 导致了乱码,下面的图是我该过之后的截图。查看nginx配置改成utf-8就OK了

ELK部署收集nginx日志

简介ELK 是 elasticsearch + logstash + kibana 三款开源软件的简称。elasticsearch:是个开源的分布式搜索引擎,特点是:分布式、配置简单、自动发现、索引自动分片、索引副本机制、restful风格接口,多数据源,自动搜索负载等logstash:可以对日志进行收集、滤过、并将其存储在 elasticsearch中kibana:可以为 elasticsear

国内开源镜像站点汇总

一、站点版(一)、企业站网易:https://mirrors.163.com/搜狐:http://mirrors.sohu.com/(Ubuntu旧发行版同步被冻结,不同步Ubuntu新发行版,Ubuntu源同步正常)阿里云:https://opsx.alibaba.com/mirror(部分镜像同步延迟超过1天)首都在线科技股份有限公司(英文名Capital Online Data Servic

爬虫:使用爬虫爬取数据时遇到需要展开的文字怎么处理

使用Chrome浏览器F12打开开发者模式,转到Network这一栏先把请求清空,然后点击展开按钮。

查看docker 容器的在宿主机中的pid

Docker(1)使用linux 系统命令 ps 进行查找[root@web01 ~]# docker psCONTAINER IDIMAGECOMMANDCREATEDSTATUSPORTSNAMES7a8f16c97ec9feisky/nginx:cpu-fix"nginx -g 'daemon

docker stats 查看容器资源的使用情况

在容器的使用过程中,如果能及时的掌握容器使用的系统资源,无论对开发还是运维工作都是非常有益的。幸运的是 docker 自己就提供了这样的命令:docker stats。docker stats默认情况下,stats 命令会每隔 1 秒钟刷新一次输出的内容直到你按下 ctrl + c。下面是输出的主要内容:[CONTAINER]: 以短格式显示容器的 ID。[CPU %]: CPU 的使用情况。[M

#docker
MongoDB可视化工具Compass的使用

Compass页面介绍、创建Database、创建Collection、插入Document、条件过滤搜索Documenthttps://blog.csdn.net/weixin_37490221/article/details/87636281索引、文档的创建和删除https://blog.csdn.net/ltuantuan/article/details/80281079基本界面使用http

Python 实现日志监控

日志监控,是一种外挂式的采集。通过读取进程打印的日志,来进行监控数据的采集与汇聚计算。汇聚成标准的时间序列数据之后,推送给统一的后端存储。日志监控是一种典型的应用、业务监控的手段,如果我们没法在应用程序里内嵌SDK埋点,使用日志监控不失为一种折中方案。这么说好像还不太明白日志监控到底能够做什么,简单点就是说就是对程序的日志内容进行过滤,如果出现了我们设定的关键字,对其进行计数当达到一定数量时可以触

#python#开发语言
Docker部署私有仓库(registry&Harbor)

简介Docker Hub 官方仓库在 Docker 中,当我们执行 docker pull xxx 的时候 ,它实际上是从 registry.hub.docker.com 这个地址去查找,这就是Docker公司为我们提供的公共仓库。在工作中,我们不可能把企业项目push到公有仓库进行管理。所以为了更好的管理镜像,Docker不仅提供了一个中央仓库,同时也允许我们搭建本地私有仓库。仓库(Re...

    共 13 条
  • 1
  • 2
  • 请选择