1，检查传输到服务器端的文件夹的权限2，创建rsyncd.conf配置文件，sudo vim /etc/rsyncd.conffake super = yes #无需rsync以root身份运行，允许接受数据

Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/data/SogouQ不知道为什么只识别本地路径，不识别hdfs上的路径解决办法hadoop jar HDFS_B19042015-1.0-SNAPSHOT-

git 批量删除文件夹和文件本地删除文件后，执行 $ git status然后接着 $ git rm <文件>此时如果是要删除大批量文件，这么一个一个命令下去不得累死人啊其实可以这样（不管之前有没有已经本地物理删除）执行 $ git rm * -r（记得，cd 到你要删除的目录下。当然 * 可以换成指定目录）这时删除文件已经进入本地缓存区，接下来就是正常的提交操作了$ git add

1.取消密码把requirepass 注释即可2.设置密码取消requirepass 在后面加上密码如设置密码123456requirepass123456

idea设置scala自动推断变量类型在写scala代码的时候可以使用.var方式得到变量的返回值类型，设置方式如下:1,先写一个变量，这里以一个字符串为例。2, 后边接着写.var，出现快捷提示后按回车3, 出现以下提示后，点击settings4, 按照下图所示进行勾选，并点击OK5, 配置OK之后，查看此处是否有勾选，若无勾选，进行勾选然后就可以愉快的写代码啦，可以方便的查看自己的代码的返回值

初始化hive元数据库在使用schematool-initschema-dbtype MySQL-verb时，出现如下错误：org.apache.hadoop.hive.metastore.HiveMetaException：无法获取架构版本。根本原因：java.sql.SQLException：用户’root’@'hadoop102’的访问被拒绝（使用密码：是）SQL错误代码：1045原因分析：

错误如下：因为我配置spark的历史纪录文件夹的路径在hdfs上面，spark需要访问hdfs，所以编辑spark-defaults.conf文件的时候，spark.eventLog.dir的值的主机名端口号要和你hadoop中配置文件core-site中fs.defaultFS的值一致，并且文件夹要已经存在。比如我的如上所示，我把spark.eventLog.dir改为hdfs://hadoop

检查hive-site.xml文件<configuration><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.

Error:DataXceiver error processing WRITE_BLOCK operation src: /x.x.x.x:50373 dest: /x.x.x.x:50010Solution:1.修改进程最大文件打开数sudo vim /etc/security/limits.confEnd of file*-nofile1000000*-nproc1000000

2.下图可以看到，硬盘空间增大为53.7GB，在设备那里可以看到有两个分区，sda1跟sda2（请忽略sda3）。接着用 dh –f，发现实际容量并没有变化，因为我们的系统还不认识刚刚添加进来的磁盘的文件系统，所以还需要对文件系统进行扩容。这里一定要写比25大的数，因为他是“增加到”50GB，而不是“增加了25GB”图片中可以看到挂载点“/”的利用率移到100%，空间不够，所以要对其进行分区。键入