logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

将windows中HDFS-javaAPI文件打包,在linux的hadoop平台运行

打进 Jar 包,编译时保留、打包剔除集群执行用 hadoop jar 命令时,程序运行依赖的 Hadoop 核心包(hadoop-common、hadoop-hdfs、mapreduce、yarn 等)全部由集群服务自带,运行时自动加载,不用打入自己的业务 Jar。hadoop jar 读取 Jar 内部 META-INF/MANIFEST.MF 里的 Main-Class 属性,如果配置了,命

#hadoop#windows#hdfs
HDFS javaAPI-windows的IDEA中java文件在linux中的hadoop平台运行

1、windows能ping通虚拟机IP地址【虚拟机网络改为桥接模式,改为固定IP】2、Linux开放端口:9000,9870,8088【使用windows的 PowerShell,执行:Test-NetConnection IP地址 -Port 9000,需要修改linux中hadoop配置文件hdfs-site.xml和core-site.xml】3、windows配置Hadoop本地依赖4、

#java#hadoop#hdfs
大数据比赛-环境搭建(二)

链接:https://pan.baidu.com/s/1w4Hsa1wbJDfC95fX2vU_1A。链接:https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。链接:https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。大概意思:无法使用1.8的环境(52对应jdk1.8)运行17(61对应的。再启动即可,如果还

文章图片
#intellij-idea#java#ide
mysql 导入导出大文件

mysql导入:loaddatalocalinfile'C:/Users/Administrator.USER-20190225BY/Desktop/test.csv'intotabletestfieldsterminatedby'\t'linesterminatedby'\n'ignore1lines(xianlu,chepai,shijian,j...

Xshell连接阿里云服务器ECS

1. 参考资料:   1). 《阿里云服务器怎么用?阿里云服务器使用教程》        链接:http://www.cr173.com/html/50758_1.html    2). eagle-zhang的CSDN博客《Xshell连接不上阿里云服务 链接:http://blog.csdn.net/zhangxing52077/article/details/780482542....

使用Xftp5连接云服务器

软件详细介绍见:https://baike.baidu.com/item/Xftp/249096?fr=aladdin软件下载链接见:http://www.netsarang.com/products/xfp_overview.html安装完成打开软件出现如下界面,成功:二、连接使用Xftp1、打开Xftpl软件,在会话窗口中点新建(建立和哪个服务器进行连接),具体信息填写如下:...

python 对json数据读取及保存与读取,对dump,dumps,load,loads的理解

 一、对json文件的读取data1={"programmers":[{ "firstName": "Brett", "lastName":"McLaughlin", "email": "aaaa" },{ "firstName": &qu

django 按天水平分表并插入数据

db = pymysql.connect("localhost", "数据库管理员名", "数据库密码", "数据库名")cursor = db.cursor()unix_time = str(int(time.time()))win_time = datetime.datetime.now().strftime('%

hadoop在put数据时,出现org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException 分析

NotReplicatedYetException这个异常是在写文件过程中新分配一个数据块getAdditionalBlock()时调用checkFileProgress(pendingFile, false)检查。检查$HADOOP_HOME/etc/hadoop/worker文件中是否至少有三个节点,如果不够,请添加三个节点及以上。,不达到则抛NotReplicatedYetException

#hadoop#apache#hdfs
vscode——显示出现黄色方框怎么办

设置-搜索unicode,所有设置为false。

文章图片
#vscode
    共 38 条
  • 1
  • 2
  • 3
  • 4
  • 请选择