logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python 定时清理日志(schedule)

本来是打算用Linux的crontab去操作的,但是在使用crontab -e的时候发现里面有任务在执行,且不知道来源何处。于是就用python的while True去执行,如果不需要使用就用kill杀死。schedule需要安装 pip3 install schedule即可。在工作中我发现日志累积太多,翻阅不方便,遂写一个清理日志的定时。不使用start去定时,该文件可单独执行。我的文件命名啥

文章图片
#python#linux
实验3 熟悉常用的HBase操作

一、实验目的理解HBase在Hadoop体系结构中的角色;熟练使用HBase操作常用的shell命令;熟悉HBase操作常用的Java API;二、实验平台操作系统:Linux;Hadoop版本:3.1.3;HBase版本:2.2.2;JDK版本:1.8;Java IDE:Eclipse。三、实验步骤(一)编程实现以下指定功能,并利用Hadoop提供的HBase Shell命令完成相同任务;列出H

#hbase#hadoop#java
实验7 Spark初级编程实践

1.实验目的(1)掌握使用Spark访问本地文件和HDFS文件的方法(2)掌握Spark应用程序的编写、编译和运行方法2.实验平台(1)操作系统:Ubuntu18.04(或Ubuntu16.04);(2)Spark版本:2.4.0;(3)Hadoop版本:3.1.3。3.实验步骤(1)Spark读取文件系统的数据1.在spark-shell中读取Linux系统本地文件“/home/hadoop/t

#spark#scala#大数据
实验5MapReduce初级编程实践

1.实验目的(1)通过实验掌握基本的MapReduce编程方法;(2)掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。2.实验平台(1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04)(2)Hadoop版本:3.1.33.实验步骤(一)编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个

#mapreduce#hadoop#大数据
第10章综合案例1广电大数据分析

记2022上半年hive学习1. Linux Ubuntu 20.042. JDK1.83. Hadoop3.1.04. MySQL8.0.285. Hive3.1.2

#数据分析#数据挖掘
实验4 NoSQL和关系数据库的操作比较

实验4NoSQL和关系数据库的操作比较1.实验目的(1)理解四种数据库(MySQL、HBase、Redis和MongoDB)的概念以及不同点;(2)熟练使用四种数据库操作常用的Shell命令;(3)熟悉四种数据库操作常用的Java API。2.实验平台(1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04);(2)Hadoop版本:3.1.3;(3)MySQL版本:5.6;

#java#hadoop#big data
到底了