logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

redis实现分布式锁

加锁:使用set扩展命令,key:锁标识,value:持有当前锁线程标识,NX是if not exists(如果不存在)的简写,PX:超时时间(毫秒)。Redisson分布式锁的主要原理非常简单,利用了lua脚本的原子性。解锁:只有当前锁的持有者才可以执行删除操作,通过lua脚本保证了get和del命令执行的原子性操作。如果在一个客户端持有锁的期间,这个客户端崩溃了,也要保证后续的其他客户端可以上

#redis#分布式#java
markdown 存储图片的几种方式

markdown 存储图片的几种方式方式一:使用base64编码图片转Base64:https://www.beejson.com/encryption/imagebase64.htmlmarkdown 格式如下# 格式![avatar][base64str]# 例如![](data:image/jpeg;base64,/9j/4AAQSkZJ……方式二:图片存储到gitee创建一个公开仓库,把图

爬虫练习——爬取纵横小说网

爬取纵横小说网任务代码实现缺点解决方法任务爬取月票榜并把小说保存到本地效果代码实现import requestsimport refrom bs4 import BeautifulSoupimport osimport threadingdef getHTMLText(url,timeout = 100):try:r = requests.get(url)r.raise_for_status()r

#python
springboot财务管理系统

财务管理系统的开发运用java技术、springboot框架,MIS的总体思想,以及Mysql等技术的支持下共同完成了该系统的开发,实现了财务管理的信息化,使员工体验到更优秀的财务管理,管理员管理操作将更加方便,实现目标。主要对首页,个人中心,员工管理,部门管理,员工工资管理,工资调整管理,资产类别管理,固定资产管理,经营信息管理,序时账管理,年度利润管理,系统管理的实现。

文章图片
#spring boot#java#后端
spark数据清洗练习

通过编写Spark程序清洗酒店数据里的缺失数据、非法数据、重复数据。

#spark#大数据#scala
spark分布式数据集DataSet

从Spark 2.0开始,DataFrame与Dataset合并,每个Dataset也有一个被称为一个DataFrame的类型化视图,这种DataFrame是Row类型的Dataset,即Dataset[Row]。Dataset是在Spark1.6中添加的新的接口,是DataFrame API的一个扩展,是Spark最新的数据抽象,结合了RDD和DataFrame的优点。DataFrame 其实是

#spark#分布式#scala
spark数据分析练习

新数据集中需 城市名称、城市总订单、城市酒店平均用户评分、城市酒店总评论数。分别计算以下三个字段的最大值和最小值(城市总订单、城市酒店平均用户评分、城市酒店总评论数)打印输出

#spark#数据分析#大数据
pandas案例——预处理部分地区数据

数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。

#pandas#python#数据分析
解决Linux虚拟机无法拖入文件问题

本人使用的虚拟机未遇到此问题版本为:VMware 15安装 VMware Tools点击虚拟机选择 安装 VMware Tools把压缩包复制到桌面或其它位置解压文件得到 vmware-tools-distrib 文件夹cd ~/Desktopsudo tar -zxvf VMwareTools-10.0.6-3595377.tar.gz执行 vmware-install.pl 文件sudo ./

ubuntu 搭建 Hadoop 完全分布式集群

文章目录Hadoop 相关软件及版本虚拟机参数配置准备工作分布式模式配置错误Hadoop 相关软件及版本软件版本Linux OSubuntu-20.04.1JDKjdk-8u261-linux-x64VMware15.5.6Hadoophadoop-2.7.7虚拟机参数配置master:1.5G ~ 4G 内存、20G 硬盘、NAT、1 ~ 4 核slave1 ~ slave2:1G 内存、20G

#分布式#hadoop#linux +1
到底了