logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark + hadoop 访问 基于Kerberos 安全认证、授权的hdfs集群

1.在本地安装kerberos client 组件yum install krb5-user libpam-krb5 libpam-ccreds auth-client-configyum install krb5-workstation2.拷贝kerberos 集群的 /etc/krb5.conf 到本地 的 /etc/ (覆盖组件初始化的krb5.conf)3.拷贝...

Spark+hadoop 开发总结

错误总结:1.Caused by: java.lang.ClassNotFoundException: scala.xml.MetaData解决:POM配置依赖dependency>dependency>2.版本冲突Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lsca

#hadoop
connect to host hadoop port 22: No route to host

connect to host hadoop port 22: No route to host

DataX 同步mysql数据到hive

安装配置datax略配置mysql数据源和目标端 hivevim conf/table2hdfs.json{"job": {"setting": {"speed": {"channel":1}},"content": [{"reader": {"name": "mysqlreader","parameter": {

Java Runtime无法执行复杂特殊linux shell命令

Java使用Runtime,ProcesBuilder执行shell命令失败问题

#linux#运维#服务器
对于java文件不能访问的情况分析

java.io.IOException: 拒绝访问。at java.io.WinNTFileSystem.createFileExclusively(Native Method)at java.io.File.createNewFile(File.java:850)

#java
python爬虫初探

由于项目需要,需要抓取某些网站数据,抓取后收集用作大数据分析,展示,但是基于网站,网页的数据抓取,每次数据量不大,所以用python,go(本文用python).但是每个网站的编码格式也不一样,所以需要下载chardet 进行相应的网页编码格式进行解码,编码,避免进行手工判断.以下为抓取网页例子1.安装chatdet,此处为ubunt 安装,linux安装可以下载chardet-*.g

#爬虫#python
DataX 同步mysql数据到hive

安装配置datax略配置mysql数据源和目标端 hivevim conf/table2hdfs.json{"job": {"setting": {"speed": {"channel":1}},"content": [{"reader": {"name": "mysqlreader","parameter": {

linux 查看某个目录的磁盘空间占用

这里写自定义目录标题查看空间使用查看各个目录使用情况查看当前目录磁盘空间使用情况往下二级级目录使用情况对当前目录的子目录使用空间进行排序按照byte进行排序,其他单位排序不正确截取排序后的前10截取排序后的后10查看空间使用查看各个目录使用情况df -h查看当前目录磁盘空间使用情况包含各个目录,及总使用量 du -h .往下二级级目录使用情况即当前目录的二级子目录使用情况对当前目录的子目录使用空间

#linux#运维#服务器
到底了