虽然第三届的决赛举行完到现在快一年了，但是最近终于有了属于自己的时间，想整理下做过的一些事情，回忆并记录下青春????。一、初赛（准备与训练阶段）  关于这个比赛，我是在20年11月参加的第三届总决赛，有幸获得了总决赛二等奖，简单谈谈经验吧：比赛主要考察集群的搭建能力和队员的协作能力，20年6月份是我第一次接触搭集群，虽然照着文档搞，但还是和舍友搞了三天，每天搞到半夜一点多，当时看到那些报错信

昨天上午启动集群，发现master莫名其妙引导坏了，修了半天也修不好，无奈之下把原来搭的集群的master“嫁接”到这个集群里（动态节点增删）。昨天shutdown now关机后，今天开机启动hive又不行了，主要部分错误代码：Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException:Call

这将生成一个包含点云数据的 PLY 文件。请注意，保存为 PLY 格式可能需要更长的时间，并且生成的文件可能会比二进制或 ASCII 格式的文件更大。您可以将其替换为您想要的任何文件名和路径。其中是要保存的文件名，它将保存为二进制 OctoMap 格式。请确保在运行保存命令之前，您已经启动了 OctoMap 服务器并生成了地图。请注意，ASCII 格式的文件可能会比二进制格式的文件大得多。Q: R

view(1, -1)：这种形式的 .view() 操作将张量重新塑造为一个行数为 1，列数自动推断的二维张量。如果张量原来的形状是 (a, b, c)，则 .view(1, -1) 将其转换为 (1, a * b * c) 的形状。如果张量原来的形状是 (a, b, c)，则 .view(-1, 1) 将其转换为 (a * b * c, 1) 的形状。因此，.view(1, -1) 和 .vie

一些网站需要使用自动点击或者自动输入一些内容。正在B站学习白月黑羽的视频，链接Python + Selenium Web自动化我简要的将今天学到的内容放在这里：第一步，安装selenium，WIN+R输入cmd回车：pip install selenium第二步，安装WebDriver,需要到下载对应浏览器的对应版本，以谷歌为例，点击Chrome WebDriver第三步，以百度为例...

昨天上午启动集群，发现master莫名其妙引导坏了，修了半天也修不好，无奈之下把原来搭的集群的master“嫁接”到这个集群里（动态节点增删）。昨天shutdown now关机后，今天开机启动hive又不行了，主要部分错误代码：Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException:Call

用户名脱敏在给用户名进行脱敏时，通常情况下我们使用正则表达式或者其他方法，但是正则表达式在kettle中不容易实现动态脱敏（即将一个用户名除去首字符和尾字符都替换为***）举个例子：CSDN 脱敏后为 C**N//4-2 = 2 个 *abcdefg 脱敏后为 a*****g//7-2 =5 个 *即在中间输出：（字符串的长度-2）个*时间模糊将时间字段模糊至年月日，如将2013-9-30 07:

这段时间在学习搭建集群，搭建过程很辛酸哈哈。原来搭集群一窍不通，用了三天，之后自己半天就可以搭完。现在和小伙伴合作，在阿里云服务器搭建集群，1个小时内就可以完成，哈哈。hive启动报错原因分析搭建完集群后我关了虚拟机，然后下次启动hive的时候发现会报错，部分错误代码如下：Caused by: java.sql.SQLException: Unable to open a test connect

本地虚拟机安装有：、jdk1.8、hadoop2.7.1、hive2.1.1、sqoop1.4.7、mysql5.7阿里云RDSMysql版本为8.0因为sqoop是要抽取阿里云Mysql8.0当中的数据，所以起初sqoop的lib目录下只放了mysql8.0的驱动，但是执行以下代码bin/sqoop list-databases --connect jdbc:mysql://rds:3306/

因为单节点虚拟机中没安装HBase、HCatalog 和Accumulo以及Zookeeper，所以报下列错误：`Warning: /usr/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail.Please set $HBASE_HOME to the root of your H