logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

Linux

可提供的服务

暂无可提供的服务

python爬虫之selenium+BeautifulSoup库,爬取搜索内容并保存excel

前面文章已经介绍了selenium库使用,及浏览器提取信息相关方法。python爬虫之selenium库现在目标要求,用爬虫通过浏览器,搜索关键词,将搜索到的视频信息存储在excel表中。里面有button_next 为跳转下一页的功能,之所有不用By.CLASS_NAME定位。看html代码可知 下一页 ="

#python#爬虫#selenium +2
使用ffmpeg转码MP4至m3u8格式并切片,以及自动检测切片m3u8脚本编写

HLS,Http Live Streaming 是由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现,传输内容包括两部分,一是M3U8描述文件,二是TS媒体文件。M3U8文件是指UTF-8编码格式的M3U文件。M3U文件是记录了一个索引纯文本文件,打开它时播放软件并不是播放它,而是根据它的索引找到对应的音视频文件的网络地址进行在线播放。M3U8是一种常见的流媒体格式,主要以文件

#运维#服务器#linux +2
python爬虫之多线程threading、多进程multiprocessing、协程aiohttp 批量下载图片

对于多任务爬虫来说,多线程、多进程、协程这几种方式处理效率的排序为:aiohttp协程 > 多线程 > 多进程。但是aiohttp协程难度有点复杂,需要了解,而且本人目前没有解决协程下载大尺寸图片不完整的情况,还需要后续继续学习。

#python#爬虫#开发语言 +2
Linux搭建Promtail + Loki + Grafana 轻量日志监控系统

一:简介日志监控告警系统,较为主流的是ELK(Elasticsearch 、 Logstash和Kibana核心套件构成),虽然优点是功能丰富,允许复杂的操作。但是,这些方案往往规模复杂,资源占用高,操作苦难。很多功能往往用不上,大多数查询只关注一定时间范围和一些简单的参数(如host、service等),使用这些解决方案就有点杀鸡用牛刀的感觉了。所以寻找更轻量级的日志监控系统,所以也就有了EFK

#linux#docker#elasticsearch +2
运维笔记:rsync+sersync实现实时监控备份同步

rsync+sersync简介sersync是基于inotify开发的,类似于inotify-tools的工具。所以同样内核需先支持inotify,才能搭建。sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录。相对于inotify-tools遍历更快,在同步大量数据时更有优势。inot

#运维#linux#centos +1
Docker Stack(堆栈) 部署多服务集群,多服务编排

Docker Stack(堆栈) 是在 Swarm 上管理服务堆栈的工具。而在以前文章介绍的 Docker Swarm 只能实现对单个服务的简单部署,于是就引出了Docker Stack。上面我们介绍到那Docker Stack(堆栈) 是将docker-compose和docker swarm结合起来,在多台服务器集群,部署多个服务。Docker Stack 使用与 Docker Compose

文章图片
#docker#容器#运维 +2
使用ffmpeg转码MP4至m3u8格式并切片,以及自动检测切片m3u8脚本编写

HLS,Http Live Streaming 是由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现,传输内容包括两部分,一是M3U8描述文件,二是TS媒体文件。M3U8文件是指UTF-8编码格式的M3U文件。M3U文件是记录了一个索引纯文本文件,打开它时播放软件并不是播放它,而是根据它的索引找到对应的音视频文件的网络地址进行在线播放。M3U8是一种常见的流媒体格式,主要以文件

#运维#服务器#linux +2
普罗米修斯Prometheus+Grafana,监控搭建与界面基础配置

httpsPrometheus(普罗米修斯)是一套开源的监控&报警&时间序列数据库的组合,由SoundCloud公司开发。Prometheus基本原理是通过HTTP协议周期性抓取被监控组件的状态,这样做的好处是任意组件只要提供HTTP接口就可以接入监控系统,不需要任何SDK或者其他的集成过程。这样做非常适合虚拟化环境比如VM或者Docker。Prometheus应该是为数不多的适合Docker、M

#linux#服务器#运维 +2
基于docker快速搭建自己的域名邮箱,mailu邮件服务器

一:简介Mailu.io是一款免费开源且性能强大、功能丰富的域名邮箱系统。它基于Docker, 具有部署简单,可移植性高,备份方便等多种优势。主要的功能:基本的邮件服务器 IMAP IMAP+,SMTP和进阶电子邮件功能 别名,域别名,自定义路由Web访问 多个Webmail管理界面用户功能 别名,自动回复,自动转发,获取帐户管理员功能 全局管理员,公告,每域配额安全 强制启用TLS,Letsen

#docker#服务器#运维 +2
Linux搭建nginx+keepalived 高可用(主备+双主模式)

一:keepalived简介反向代理及负载均衡参考:nginx反向代理与负载均衡当你了解会搭建nginx负载均衡后,需要考虑nginx这台服务器的安全性啦,如果只有一台,这台nginx一出问题,web就会无法访问的情况,所以为了应对这种情况,就需要两台nginx做主备服务器。nginx+keepalived如下图所示:Keepalived:是Linux下面实现VRRP备份路由的高可靠性运行件。基于

#负载均衡#linux#运维 +2
    共 37 条
  • 1
  • 2
  • 3
  • 4
  • 请选择