logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据清理脚本

大数据计算过程中可能会遗留大量的日志,中间文件,以及过期的计算结果在数据量是很大的情况下,这些数据会占用很多存储资源,甚至可能导致因磁盘满载出现机器停止运行的问题下面是笔者在工作中编写的用于清理这些数据的脚本,目前可清理数据有:本地日志和其它文件hdfs目录hive表hbase表详情见代码: https://github.com/xufwind95/data_cleaner...

#python#hive#hadoop +1
java ProcessBuilder start 后进程一直卡住如何处理

【代码】java ProcessBuilder start 后进程一直卡住如何处理。

#java
django 上传静态文件到云(亚马逊S3)的简单设置

django 的默认静态路径是存储在本地的某些文件夹中的,要将静态文件的存储路径指向到云,除了修改settings中的文件路径,还需要安装相应的库下面是使用django将上传的文件直接保存在亚马逊s3上的配置,如有不当和错误请指正。1. 申请S3云存储,这里不再细说       参考资料: https://simpleisbetterthancomplex.com/tutorial/2...

#django
docker container 访问外部宿主机服务

docker 容器的默认网络是采用桥接的形式(和主机在同一个局域网中,但是单独使用一个独立的局域网IP),程序在生产环境中运行时,连接数据库、redis等只需要配置对应的服务地址就可以了。在开发环境中,如果服务在docker中运行,数据库在本机运行,配置数据库连接的时候配置 127.0.0.1 就不好使了。可以用两种方式解决这个问题。一是将宿主机和容器看着是独立的两台机器,在配置地址的...

#docker
docker mac 命令行登录报错处理 : Error saving credentials: error storing credentials - err: exit status 1

比较新版本的docker命令行登录会出现以下错误:Error saving credentials: error storing credentials - err: exit status 1, out: `The user name or passphrase you entered is not correct.`在网上找了很久,总算找个一个能用的:以下为具体操作1. 点开启动...

#docker
logstash消费kafka过程中对数据的一些常规清洗和处理

logstash通过插件的形式来配置input,filter,output,在消费数据后,如果需要对数据做处理,需要用到filter的很多功能。最近使用logstash传递kafka数据到es时,了解了一些logstash处理数据的方式,以下logstash的config做个简单分享:input {kafka {bootstrap_servers => "...

#kafka
到底了